Generic Statistical Business Process Model
advertisement
Совместное рабочее совещание по статистическим метаданным ЕЭК ООН, Евростата и ОЭСР (METIS) Общая модель статистического бизнес-процесса Редакция 4.0 – апрель 2009 г. Подготовлена Секретариатом ЕЭК ООН1 I. История вопроса 1. В течение последних нескольких лет Совместное рабочее совещание по статистическим метаданным (METIS) ЕЭК ООН, Евростата и ОЭСР работало над документом “Общая Система Метаданных” (CMF) 2 . Часть С этой системы называется “Метаданные и статистический бизнес-процесс”. Эта часть содержит описание стадий статистического бизнес-процесса (также известного как цепь создания ценности в статистике [statistical value chain] или как статистический цикл) и определяет общие термины для их описания. 2. Чтобы продвинуть процесс разработки части С CMF, во время рабочего совещания в Вене в июле 2007 г. 3 его участники согласились с тем, что модель, использовавшаяся в то время Статистикой Новой Зеландии и дополненная стадиями “Архивирование” и “Оценка”, представляла бы хорошую основу для разработки “Общей модели статистического бизнес-процесса” (GSBPM). Первая рабочая версия GSBPM была представлена Секретариатом ЕЭК ООН на рабочем совещании METIS в Люксембурге в апреле 2008 г. 4 По материалам двух раундов критических замечаний в марте 2009 г. было проведено еще одно совещание в Лиссабоне5, чтобы подготовить окончательный вариант модели. Современная версия модели (версия 4) была одобрена для публикации Руководящей группой METIS в апреле 2009 г. В то время модель рассматривалась как окончательная, однако предполагалось, что в ближайшие годы могут быть необходимы дальнейшие улучшения, отражающие как опыт практического применения модели, так и эволюцию характера статистического производства. Поэтому, читателю предлагается проверять на webсайте www.unece.org/stats/gsbpm, что он имеет самую последнюю версию модели. Подготовлена Стивеном Вейлом (steven.vale@unece.org ) на основе предшествующей работы Статистики Новой Зеландии (для первых семи стадий) и Статистики Канады (для стадии архивации) при значительном вкладе и отзывах членов группы METIS. 2 Смотри: http://www.unece.org/stats/cmf/ 3 Документы этото cовещания доступны на: http://www.unece.org/stats/documents/2007.07.metis.htm 4 Смотри: http://www.unece.org/stats/documents/ece/ces/ge.40/2008/wp.17.e.pdf 5 Смотри: http://www.unece.org/stats/documents/2009.03.metis.htm 1 2 II. Модель Цель 3. Изначальным замыслом GSBPM-модели было предоставление статистическим организациям основы для того, чтобы договориться о стандартной терминологии с целью облегчения дискуссий по вопросу разработки статистических систем метаданных и процессов. Поэтому GSBPM-модель должна рассматриваться как гибкое средство для описания и определения совокупности бизнес-процессов, необходимых для производства официальной статистики. Использование этой модели может предусматриваться и в различных других родственных случаях, таких как гармонизация статистических вычислительных инфраструктур, содействие совместному использованию компонентов программных средств, в руководстве пользователя по обмену статистическими данными и метаданными (SDMX) с целью разъяснить, как следует использовать SDMX в статистической организации, а также для обеспечения основы оценки качества и улучшения процессов. Эти прочие назначения, для которых может использоваться GSBPM, конкретизируются далее в разделе VI. Применимость 4. GSBPM-модель предназначена для применения во всех видах деятельности, выполняемых производителями официальной статистики как на национальном, так и на международном уровнях, результатом которых является выпуск данных. Модель разрабатывалась таким образом, чтобы не зависеть от источника данных, так что ее можно использовать для описания и оценки качества процессов, основанных на данных обследований, переписей, административных записей и других нестатистических или смешанных источников. 5. В то время как типичный статистический бизнес-процесс включает в себя сбор и обработку первичных данных для производства статистических продуктов, GSBPM также применима к случаям, когда пересматриваются существующие данные или пересчитываются временные ряды в результате использования более полного или лучшего источника данных, либо в результате изменения методологии. В этих случаях входными данными являются ранее опубликованные статистические данные, которые затем обрабатываются и анализируются с целью пересмотра выходных данных. В таких случаях могут опускаться некоторые подпроцессы и, возможно, некоторые (в частности, начальные стадии) стадии. 6. Наряду с применением в процессах, результатом которых являются статистические данные, GSBPM может также применяться для разработки и поддержания статистических регистров, когда входные данные аналогичны входным данным статистического производства (хотя, обычно с большей фокусировкой на административных данных), а выходные продукты представляют собой блоки данных или извлечения из данных, которые затем используются как входные данные для других процессов. 7. Некоторые элементы GSBPM-модели могут быть более значимы для одного типа процесса обработки, чем для другого, что зависит от вида используемых источников данных, либо от вида производимых выходных продуктов. Некоторые элементы 3 будут накладываться друг друга, образуя иногда итеративные петли. В силу этого GSBPM-модель должна применяться и интерпретироваться гибко. Она не является жесткой структурой, в которой все шаги должны следовать в строгом порядке, а скорее представляет собой модель, которая определяет шаги внутри статистического бизнес-процесса и взаимозависимости между ними. Хотя изложение материала придерживается логической последовательности шагов в большинстве статистических бизнес-процессов, элементы модели могут располагаться в различном порядке при различных обстоятельствах. Таким образом, GSBPM-модель имеет своей целью обрести достаточную общность, чтобы широко применяться и способствовать стандартному представлению статистического бизнес-процесса, не становясь слишком ограничительной, либо абстрактнотеоретической. 8. В некоторых случаях может быть целесообразно объединить в группы некоторые элементы модели. Например, стадии с первой по третью могут рассматриваться как соответствующие одной стадии планирования. В других случаях может понадобиться добавить еще один, более детализированный уровень к структуре, представленной ниже, для того, чтобы в отдельности определить различные компоненты подпроцессов. Кроме того, может существовать требование для формальной постадийной приемки работы, когда результаты одной стадии сертифицируются на пригодность в качестве входных данных для следующей стадии. Такая формальная приемка не представлена в модели явно, но может осуществляться различным образом в зависимости от организационных требований. Чтобы применяться во всех вышеупомянутых сценариях, GSBPM-модель должна восприниматься с достаточной степенью гибкости. Структура 9. GSBPM-модель охватывает четыре следующих уровня: уровень 0, статистический бизнес-процесс; уровень 1, девять стадий статистического бизнес-процесса; уровень 2, подпроцессы внутри каждой стадии; уровень 3, описание этих подпроцессов. 10. Дальнейшие уровни детализация могут быть уместны для определенных статистических бизнес-процессов или в определенных организациях, однако они вряд ли являются достаточно общими для того, чтобы включаться в данную модель. Диаграмма, отображающая стадии (уровень 1) и подпроцессы (уровень 2), включена в раздел IV. Подпроцессы детально описываются в разделе V. 11. В соответствии с теорией моделирования процессов каждый подпроцесс должен иметь несколько точно определенных атрибутов: входной ресурс(ы); результат(ы); цель (прирост полезности); хозяин; руководство (например, руководство пользователя и документация); 4 инструменты реализации (люди и системы); цепи и механизмы обратной связи. Однако эти атрибуты с большой долей вероятности различаются, по крайней мере, до некоторой степени между различными статистическими процессами и разными организациями. По этой причине данные атрибуты редко упоминаются в настоящей общей модели. Вместе с тем, настоятельно рекомендуется их идентифицировать при применении модели к любому конкретному статистическому бизнес-процессу. 12. GSBPM-модель также различает несколько общих процессов, которые имеют место на всех девяти стадиях, и проходят через весь статистический бизнес-процесс. Эти процессы могут быть сгруппированы в две категории: процессы, которые имеют статистическую составляющую, и более общие процессы, которые приложимы к любому типу систем. Процессы первой группа более важны в контексте этой модели, однако, процессы второй группы также должны приниматься во внимание, поскольку они оказывают (часто непрямое) воздействие на отдельные части модели. 13. Всеобъемлющие статистические процессы включают следующие. Первые два наиболее тесно связаны с моделью и поэтому показаны на схемах модели и детально представлены в разделе VI. Управление качеством. Этот процесс включает в себя оценку качества и механизмы контроля. Он зиждется на признании важности оценки и обратной связи на всем протяжении статистическом бизнес-процесса. Управление метаданными. Метаданные производятся и обрабатываются на каждой стадии процесса, поэтому существует определенное требование к системе управления метаданными – обеспечить поддержание связей соответствующих метаданных с данными повсюду в GSBPM-модели. Управление статистическими концепциями. Оно включает разработку стандартов, например, методологии, понятий и классификаций, которые пронизывают многие процессы. Управление статистическими программами. Оно включает систематический мониторинг и анализ требований к новой информации и к новым и изменяющимся источникам данных во всех областям статистики. В результате этого могут быть определены новые статистические бизнеспроцессы или переработаны существующие. Управление знаниями. Этот процесс ответственен за то, чтобы статистические бизнес-процессы были воспроизводимы, главным образом, благодаря документированию процесса. Управление данными. Оно включает самостоятельные по отношению к процессам вопросы, такие как общая безопасность данных, а также вопросы хранения сторонних данных и собственности на данные. Управление данными процесса. Это включает в себя управление данными и метаданными, произведенными всеми звеньями статистического бизнеспроцесса и предоставляющими информацию по этим звеньям. Управление источниками данных. Оно включает распределение косвенных затрат между процессами, а также такие вопросы, как профилирование и 5 управление контактной информацией (и, таким образом, тесно связано со статистическими бизнес-процессами, которые обеспечивают поддержание реестров). Управление пользователями. Оно включает общую маркетинговую деятельность, повышение статистической грамотности и работу с отзывами и предложениями неспецифических потребителей. 14. Еще общие всеобъемлющие процессы включают: управление человеческими ресурсами; управление финансами; управление проектом; управление правовой базой; управление организационной основой; стратегическое планирование III. Взаимосвязи с другими моделями и стандартами 15. GSBPM-модель была разработана, опираясь в значительной степени на Общую модель бизнес-процесса, разработанную Статистикой Новой Зеландии, дополненную вкладом Статистики Канады на этапе 8 (архивирование), а также других статистических организаций, имеющих опыт моделирования статистического процесса. Однако существует ряд других родственных моделей и стандартов для различных целей и в различных организациях, как на национальном, так и на международном уровнях. Было бы нецелесообразно приводить здесь детали всех национальных моделей 6 , но основные международные модели и стандарты, связанные GSBPM, рассматриваются ниже. Схема этой взаимосвязи приведена в конце данного раздела, и она показывает, что GSBPM может рассматриваться как объединение других моделей, так как отражает все их компоненты. Архитектура информационных систем для национальных и международных статистических служб 16. Данная подборка руководств и рекомендаций была опубликована Организацией Объединенных Наций в 1999 г. Она содержит модель стадий и процессов системы обработки материалов обследований, показанную ниже. Хотя данная модель представлена в отличном от GSBPM виде, ее суть является во многом аналогичной. Тем не менее, примеры из Австралии и Норвегии могут быть найдены про следующим ссылкам: http://www1.unece.org/stat/platform/display/metis/2.+Statistical+metadata+systems+and+the+statistical+ business+process+(Australia) http://www.ssb.no/english/subjects/00/90/doc_200817_en/doc_200817_en.pdf 6 6 Источник: Архитектура информационных систем для национальных и международных статистических служб – Руководство и рекомендации, ООН, 1999, http://www.unece.org/stats/documents/information_systems_architecture/1.e.pdf Модель Евростата “Cycle de Vie des Données" (CVD) 17. Проект CVD ("Cycle de Vie des Données" или "Жизненный цикл данных") нацелен на фундаментальный пересмотр подхода Евростата к обработке статистических данных путем формирования согласованной системы понятий, структур метаданных и ИТ-инструментов для применения во всех областях статистики. Он также нацелен на получение значительных преимуществ, таких как экономия от масштаба при разработке и развитии вычислительных средств и следование важным корпоративным целевым установкам, таким как ориентация на качество и большая мобильность менеджеров по областям деятельности. Проект CDV ставит во главу угла метаданные как основную интегрирующую концепцию проекта, признавая вездесущую и главенствующую роль метаданных в статистическом бизнес-процессе. Он также принимает GSBPM для моделирования статистического бизнес-процесса. Стандарты и руководства SDMX играют ключевую роль во всем подходе CDV-проекта – от передачи данных до распространения, равно как и в обмене данными между компонентами системы производства. Модель объединенного жизненного цикла DDI 3.0 18. Эта модель была разработана в рамках Инициативы по документации данных (DDI), являющейся попыткой на международном уровне установить стандарт для технической документации, описывающей социальные научные данные. Альянс DDI включает в себя главным образом академические и исследовательские институты, вследствие чего сфера применения нижеописанной модели отличается от сферы применения GSBPM, которая обычно применяется в официальных статистических организациях. Несмотря на это, статистические бизнес-процессы, по-видимому, являются весьма схожими у официальных и неофициальных 7 производителей статистической информации, о чем ясно свидетельствует высокий уровень совместимости между моделями. 19. Основными отличиями между моделями являются следующие: Модель GSBPM располагает архивирование данных в самом конце процесса, после стадии анализа. В модели DDI архивирование может также представлять собой окончание процесса обработки в конкретной организации, но ключевое отличие состоит в том, что модель DDI не обязательно ограничивается процессами внутри одной организации. Такие процессы, как “анализ данных” и “переориентация” могут выполняться другой организацией, чем та, которая собирала данные. Модель DDI заменяет стадию распространения данных стадией “распределение данных” [data distribution], которая имеет место до стадии анализа. Этот факт отражает различие в приоритетах между исследовательским сообществом и сообществом официальной статистики, ведь последняя акцентирует внимание на распространении данных, в отличие от исследований, которые основаны на данных, распространяемых другими. DDI модель содержит процесс “переориентация”, определяемый как дополнительное использование массива данных, либо создание реального или виртуального гармонизированного массива данных. Обычно это относится к какому-либо новому использованию массива данных, которое не было предусмотрено первоначально на стадиях проектирования и сбора. Этот процесс в GSBPM-модели относится к стадии 1 (определение потребностей), где имеется подпроцесс для проверки доступности существующих данных и их использования повсюду, где возможно. Это также отражено в подпроцессе объединения данных на стадии 5 (обработка). Модель DDI имеет отдельные стадии для исследования данных [data discovery] и анализа данных, в то время как в модели GSBPM эти функции объединены внутри стадии 6 (анализ). В некоторых случаях элементы стадии анализа GSBPM-модели могут также входить в стадию “обработка данных” DDI модели – в зависимости от объема аналитической работы, предшествующей стадии “распределение данных”. 8 Источник: Data Documentation Initiative (DDI) Technical Specification, Part I: Overview, Version 3.0, April 2008, http://www.ddialliance.org SDMX 20. Стандарты SDMX (Обмена Статистическими Данными и Метаданными) 7 не являются моделью статистического бизнес-процесса в том же самом смысле, как три вышеизложенных случая. Однако они обеспечивают стандартную терминологию по статистическим данным и метаданным, а также технические стандарты и информационно-ориентированные рекомендации по передаче данных и метаданных, которые могут применяться также для передачи между подпроцессами внутри статистической организации. Использование повсеместно согласованных структур данных и метаданных позволяет преобразовывать или передавать подлежащие обмену данные из внутренних статистических систем или в них. Чтобы продвинуть этот подход, спонсоры SDMX опубликовали набор кросс-доменных понятий в январе 2009 г. Использование этих общих понятий может способствовать стандартизации и улучшению передачи данных и метаданных между различными организациями, даже если они используют различные модели и системы. Поскольку есть потребность в передаче метаданных, необходима состыковка между концепциями метаданных, используемых различными международными организациями; она учтена в пакете информационно-ориентированных рекомендаций SDMX и поддерживает идею открытого обмена и совместного пользования метаданными на основе на общей терминологии. 21. Взаимосвязь между рассматриваемой моделью и SDMX обсуждалось в апреле 2008 г. на совещании группы METIS. Окончательный отчет этого совещания8 (п. 22) содержит предложение инкорпорировать модель в Общий словарь метаданных и/или в SDMX как кросс-доменную концепцию. SDMX имеет своей целью гармонизовать терминологию и качество данных и метаданных путем использования информационно-ориентированных рекомендаций, а также 7 8 См.: www.sdmx.org http://www.unece.org/stats/documents/ece/ces/ge.40/2008/zip.9.e.pdf 9 предоставляет стандарты передачи. Представляется, что модель GSBPM, предлагая стандартную терминологию для различных стадий и подпроцессов статистического бизнес-процесса, дополняет и логически соответствует информационноориентированным рекомендациям SDMX. Взаимосвязи между различными моделями Общая модель статистического бизнес-процесса 1. Определение потребностей Модель архитектуры информационных систем Модель жизненного цикла DDI 3.0 Планирование - Определение содержание обследования - Установление процедур обследования Изучение методологии Переориентация (часть) Осуществление (часть) - Создание основы наблюдения - Выборка - Измерение Осуществление (часть) - Подготовка данных - Создание регистра результатов наблюдения Осуществление (часть) - Оценка и анализ Сбор данных 2. Проектирование 3. Создание 4. Сбор данных 5. Обработка 6. Анализ 7. Распространение Оценка (часть) - Проверка результатов обследования Осуществление (часть) - Представление и распространение Управление качеством Управление метаданными Исследование данных Анализ данных Обработка данных (часть) Распределение данных Архивирование данных 8. Архивирование 9. Оценка Обработка данных (по большей части) Переориентация (часть) Оценка (часть) - Оценка метаданных по итогам обследования 10 IV. Уровни 1 и 2 Общей модели статистического бизнес-процесса Управление качеством / Управление метаданными 1. Определение потребностей 2. Проектирование 1.1. Определение потребностей в информации 2.1. Проектирование выходного продукта 3.1. Создание инструмента сбора данных 4.1. Осуществление выборки 1.2. Обсуждение и подтверждение потребностей 2.2 Разработка описания показателей 3.2. Создание или улучшение компонентов процесса 4.2. 5.2. Подготовка к Классификация сбору данных и кодирование 1.3. Постановка задач 2.3. Разработка методологии сбора данных 3.3. 4.3. Конфигурирова- Проведение ние технологиче- сбора данных ского процесса 1.4. 2.4. Идентификация Проектирование понятий границ совокупности и методологии выборок 3.4. Тестирование системы производства 1.5. Исследование доступности данных 2.5. Создание методологии статистической обработки 1.6. Разработка экономического обоснования 2.6. Проектирование системы производства и техпроцесса 3. Создание 4. Сбор данных 6. Анализ 7. Распространение 8. Архивирование 6.1. Подготовка предварительных результатов 7.1. Обновление систем выходных данных 8.1. Определение правил архивирования 9.1. Сбор данных для оценки 6.2. Контроль результатов 7.2. Производство распространяемых продуктов 8.2. Управление архивным хранилищем 9.2. Проведение оценки 5.3. Проверка, контроль и редактирование 6.3. Объяснение результатов 7.3. Управление выпуском распространяемых продуктов 8.3. Сохранение данных и сопутствующих метаданных 9.3. Согласование плана дальнейших действий 5.4. Восстановление данных 6.4. Контроль за раскрытием информации 7.4. Продвижение распространяемых продуктов 8.4. Уничтожение данных и сопутствующих метаданных 3.5. Тестирование статистического бизнеспроцесса 5.5. Расчет новых показателей и статистических единиц 6.5. Окончательное оформление результатов 7.5. Управление запросами потребителей 3.6. Завершение создания системы производства 5.6. Расчет весов 4.4. Завершение сбора данных 5. Обработка 5.1. Объединение данных 5.7. Расчет агрегированных показателей 5.8. Окончательное оформление файлов данных 9. Оценка 11 V. Уровни 2 и 3 Общей модели статистического бизнес-процесса 22. Данный раздел рассматривает каждую стадию по очереди, идентифицируя различные подпроцессы этой стадии и описывая их содержание, то есть она охватывает уровни 2 и 3 GSBPM-модели. Стадия 1 – Определение потребностей 23. Эта стадия инициируется, если выявляется потребность в новых статистических данных, либо отзывы потребителей о существующей статистике требуют ее пересмотра. Определяется, имеет ли место в настоящее время неудовлетворенный спрос на данные, и могут ли статистические организации производить их. 24. На этой стадии организации: определяют потребность в статистических данных; подтверждают детальный состав статистических потребностей заинтересованных сторон; устанавливают высокие требования к выходному статистическому продукту; определяют соответствующие этому понятия и показатели, для которых предназначен сбор данных; проверяют, могут ли существующие массивы данных и/или методологии удовлетворить эти потребности; готовят обоснование с целью получения разрешения на производство статистических данных. 25. Эта стадия подразделяется на шесть подпроцессов. Как правило, эти процессы следуют один за другим, слева направо, но могут выполняться параллельно, а также могут быть итерационными. Подпроцессы таковы: 1.1. Определение потребностей в информации. Этот подпроцесс включает первоначальное исследование и идентификацию того, что необходимо от статистики. Он также включает анализ опыта других 12 национальных и международных организаций, производящих похожие данные, и, в частности, используемых этими организациями методов. 1.2. Обсуждение и подтверждение потребностей. Этот подпроцесс фокусируется на том, чтобы проконсультироваться с заинтересованными пользователями и детально убедиться в наличии потребностей в статистических данных. Требуется хорошее понимание нужд пользователей, так что статистические организации должны знать не только, что от них ожидают получить, но также когда, как и – что, повидимому, наиболее важно – почему. На второй и последующих итерациях этой стадии основное внимание должно быть уделено тому, изменились ли определенные в прошлом потребности. Такое детальное понимание нужд пользователей является важнейшей частью этого подпроцесса. 1.3. Постановка задач. Этот подпроцесс определяет выходной статистический продукт, требуемый для удовлетворения нужд пользователей, идентифицированных в подпроцессе 1.2 (Обсуждение и подтверждение потребностей). Он включает согласование с пользователями предполагаемых выходных данных и оценок их качества. 1.4. Идентификация понятий. Этот подпроцесс уточняет с точки зрения пользователей интересующие их понятия, которые должны быть измерены в ходе бизнес-процесса. На этой стадии идентифицированные понятия могут не быть выверены с существующими статистическими стандартами. Такая выверка, а также выбор и определение статистических понятий и показателей, имеет место в подпроцессе 2.2. 1.5. Исследование доступности данных. Этот подпроцесс проверяет, могут ли существующие источники данных отвечать требованиям пользователей, а также условия, при которых они могут быть доступны, включая любые ограничения по их использованию. Оценка возможных альтернатив обычно включает исследование потенциальных административных источников данных и их методологий с целью определения пригодности их использования для статистических целей. После экспертизы существующих источников подготавливается стратегия заполнения остающихся пробелов в требуемых данных. Этот подпроцесс также включает более широкую оценку правовых рамок сбора и использования данных, и поэтому может намечать предложения по изменению существующего законодательства или внедрению новых правовых рамок. 1.6. Разработка экономического обоснования. Этот подпроцесс документирует выводы других подпроцессов этой стадии в форме бизнесмодели с целью получить одобрение на создание нового или 13 модифицированного статистического бизнес-процесса. Такая бизнесмодель обычно также включает: Описание бизнес-процесса «как есть» (если он уже существует) с информацией о том, как производится существующая статистика, подчеркивающей точки неэффективности и требующие решения вопросы; Предлагаемые будущие решения, детализирующие, как статистический бизнес-процесс будет развиваться с целью производства новой или пересмотренной статистики; Оценку затрат и выгод, равно как и внешних ограничений. Стадия 2 – Проектирование 26. Эта фаза описывает разработку и проектную деятельность и любые связанные с этим прикладные исследовательские работы, необходимые для определения статистических продуктов, понятий, методологий, инструментов сбора и процессов их применения. Для статистических продуктов, производимых на регулярной основе, эта стадия обычно выполняется при первой итерации, когда же проводится работа по улучшению, она идентифицируется на стадии 9 (Оценка) предшествующей итерации. 27. Эта стадия подразделяется на шесть подпроцессов, которые обычно следуют один за другим, слева направо, но могут выполняться параллельно, а также могут быть итерационными. Эти подпроцессы таковы: 2.1. Проектирование выходного продукта. Этот подпроцесс включает детальный проект выходного статистического продукта, который будет производиться, включая связанные опытные работы и подготовку систем и инструментов, используемых на стадии 7 (Распространение). Всегда, когда это возможно, выходной продукт должен проектироваться, следуя существующим стандартам, с тем, чтобы на входе процесса использовались метаданные аналогичных или предшествующих массивов информации, международные стандарты и сведения о практике других 14 статистических организаций потребностей в информации). из подпроцесса 1.1 (Определение 2.2. Разработка описания показателей. Этот подпроцесс определяет статистические показатели, которые должны собираться с использованием инструментов сбора данных, а также любые другие показатели, которые будут формироваться из них в подпроцессе 5.5 (Расчет новых показателей и статистических единиц), а также любые классификации, которые будут использоваться. Ожидается, что существующие национальные и международные стандарты будут соблюдаться всегда, когда это возможно. Может потребоваться, чтобы этот подпроцесс выполнялся параллельно с подпроцессом 2.3 (Разработка методологии сбора данных), поскольку определения собираемых показателей и выбор инструментов сбора данных могут быть до некоторой степени взаимозависимыми. Подготовка описания метаданных для собираемых и производных от них показателей, а также классификаций является необходимым предварительным условием для последующих стадий. 2.3. Разработка методологии сбора данных. Этот подпроцесс определяет наиболее подходящие методы и инструменты сбора данных. В реальности деятельность в рамках этого подпроцесса будет варьировать в зависимости от типа потребных инструментов сбора данных, которые могут включать интервьюирование с помощью компьютера, вопросники на бумаге, интерфейсы с административными данными, а также технологии интеграции данных. Этот подпроцесс включает разработку вопросов и форматов ответов (в сопряжении с показателями и классификациями, разработанными в подпроцессе 2.2 (Разработка описания показателей)). Он также включает разработку любых формальных соглашений, связанных с предоставлением данных, таких как меморандумы о взаимопонимании и обоснование правовой базы сбора данных. Этот подпроцесс обеспечивается такими инструментами как библиотека вопросов (что облегчает повторное использование вопросов и связанных с ними атрибутов), инструменты составления вопросников (что дает возможность быстрого и легкого структурирования вопросов в рамках форматов, пригодных для тестирования), форматы соглашений (что помогает стандартизировать их положения и условия). Этот подпроцесс также включает разработку специализированной под процесс системы управления производством у исполнителя. 2.4. Проектирование границ совокупности и методологии выборок. Этот подпроцесс идентифицирует и детально описывает изучаемую статистическую совокупность, определяет основу выборки (и, где необходимо, регистры, из которых она извлекается), устанавливает наиболее подходящие критерии отбора и методологию (которая может включать сплошное обследование). Обычно источниками являются 15 административные и статистические регистры, переписи и выборочные обследования. Этот подпроцесс описывает, как эти источники могут комбинироваться, если это необходимо. Должен выполняться анализ того, покрывают ли границы совокупности всю целевую совокупность. Должно быть сделано планирование выборки. Собственно выборка создается в рамках подпроцесса 4.1 (Осуществление выборки), используя методологию, проработанную в данном подпроцессе. 2.5. Создание методологии статистической обработки. Этот подпроцесс разрабатывает методологию статистической обработки для применения на стадии 5 (Обработка) и стадии 6 (Анализ). Это может включать подробное изложение операций кодирования, редактирования, восстановления (импутации) данных, оценивания, объединения, контроля и окончательного оформления массивов данных. 2.6. Проектирование системы производства и техпроцесса. Этот подпроцесс определяет организацию технологического процесса от сбора данных до архивирования путем целостного представления всех процессов, необходимых в составе процесса статистического производства как целого, и путем обеспечения их эффективной взаимной сопряженности без пробелов и дублирования. Различные системы и базы данных могут потребоваться для осуществления процесса. Общий принцип состоит в повторном использовании процессов и технологии для многих статистических бизнес-процессов; поэтому, прежде всего, существующие системы и базы данных должны быть проверены на предмет их пригодности применительно к целям рассматриваемого процесса, а затем, если выявлены какие-либо пробелы, то должны быть разработаны новые решения. В этом подпроцессе также прорабатывается, как персонал будет взаимодействовать с системами, кто, когда и за что будет ответственным. Стадия 3 – Создание 28. Эта стадия создает и тестирует системы производства до той точки, где они готовы для использования в “живой” среде. Для статистических выходных продуктов, производимых на регулярной основе, эта стадия обычно выполняется при первой итерации, следующей за пересмотром 16 или изменением методологии, а не при каждой итерации. Она подразделяется на шесть подпроцессов, которые обычно следуют один за другим, слева направо, но могут выполняться параллельно, а также могут быть итерационными. Эти подпроцессы таковы: 3.1. Создание инструмента сбора данных. Этот подпроцесс описывает действия по созданию инструментов сбора с целью их использования на стадии 4 (Сбор данных). Инструмент сбора генерируется или создается на базе проектных спецификаций, созданных на стадии 2 (Проектирование). При сборе могут использоваться один или более способов получения данных, например, личные или телефонные интервью, бумага, электронные или web-вопросники, SDMX хабы. Инструментами сбора могут также быть операции по извлечению данных из существующих статистических или административных массивов данных. Этот подпроцесс также включает подготовку и тестирование, как содержательной части, так и функционирования инструмента (например, тестирование вопросов в вопроснике). Рекомендуется проработать возможность прямой связи инструмента сбора с системой статистических метаданных, поскольку метаданные легче присоединять на стадии сбора. Связывание метаданных и данных при сборе (или вводе) данных позволяет уменьшить объем работы на последующих стадиях. Регистрация в системе количественных параметров процесса сбора данных (параданные) также является важным предметом рассмотрения в этом подпроцессе. 3.2. Создание или улучшение компонентов процесса. Этот подпроцесс описывает действия по созданию новых и улучшению существующих программных компонентов необходимых для осуществления бизнеспроцесса, спроектированных на стадии 2 (Проектирование). Компоненты могут включать dashboard функции и характеристики, репозитарии данных, инструменты преобразований, компоненты структурирования последовательности операций (workflow framework components), инструменты управления метаданными. 3.3. Конфигурирование технологического процесса. Этот подпроцесс конфигурирует последовательность операций в рамках техпроцесса, системы и преобразования, используемые в статистическом бизнеспроцессе, от сбора данных до архивирования окончательных выходных данных. Этим обеспечивается, что система технологических операций, детально разработанная в подпроцессе 2.6 (Проектирование системы производства и технологического процесса), будет работать на практике. 3.4. Тестирование системы производства. Этот подпроцесс имеет дело с тестированием компьютерных систем и инструментов. Это включает техническое тестирование и принятие в эксплуатацию новых программ и технологических операций, равно как и подтверждение того, что 17 существующие операции из других статистических бизнес-процессов являются пригодными для использования в данном случае. Хотя часть этой деятельности, касающаяся тестирования отдельных компонентов, по логике, связана с подпроцессом 3.2 (Создание или улучшение компонентов процесса), данный подпроцесс также включает тестирование взаимодействия между компонентами и обеспечение того, что производственная система будет работать как гармонично связанная совокупность компонентов. 3.5. Тестирование статистического бизнес-процесса. Этот подпроцесс описывает деятельность по организации опытной эксплуатации (field test) или пилотному осуществлению статистического бизнес-процесса. Обычно это включает сбор уменьшенного объема данных для тестирования инструментов сбора, после чего следует обработка и анализ собранных данных, чтобы убедиться в том, что статистический бизнес-процесс выполняется согласно ожиданиям. После осуществления пилотной эксплуатации может оказаться необходимым вернуться к предыдущему шагу, чтобы откорректировать инструменты, системы или компоненты. Для крупных статистических бизнес-процессов, например, переписи населения, могут потребоваться несколько итераций, чтобы процесс работал удовлетворительно. 3.6. Завершение создания системы производства. Этот подпроцесс включает деятельность по передаче процесса в производство, включая систему технологических операций (workflow systems), модифицированных и вновь созданных компонентов, в состоянии готовности для использования в сфере практической деятельности. Эта деятельность включает: изготовление документации на компоненты процесса, техническую документацию и указания по использованию, включая обучение эксплуатационного персонала тому, как выполнять процесс, передача компонентов процесса в производственную эксплуатацию и обеспечение ожидаемого качества их работы в реальной среде (эта деятельность может быть также частью подпроцесса 3.4 (Тестирование системы производства)). 18 Стадия 4 – Сбор данных 29. На этой стадии собираются все необходимые данные с использованием различных способов сбора (включая извлечение из административных и статистических регистров и баз данных) и осуществляется их загрузка в соответствующую среду. Это не включает какие-либо преобразования собранных данных, поскольку все это делается на стадии 5 (Обработка). Если статический продукт производится регулярно, эта стадия выполняется при каждой итерации. 30. Стадия «Сбор» подразделяется на четыре подпроцесса, которые обычно следуют один за другим, слева направо, но могут выполняться также параллельно, и могут быть итерационными. Эти подпроцессы таковы: 4.1. Осуществление выборки. Этот подпроцесс устанавливает границы совокупности и осуществляет извлечение выборки для данной итерации сбора данных, как это детально определено в подпроцессе 2.4 (Проектирование границ совокупностей и методологии выборок). Он также включает координацию между различными извлечениями выборок внутри одного статистического бизнес-процесса (например, с целью оптимизации пересечения выборок и их ротации), а также между различными бизнес-процессами, использующими общую основу выборки или общий регистр (например, с целью оптимизации пересечений или выравнивания нагрузки на респондентов). Поддержание актуальности основы выборки и обеспечение качества извлечения выборок также осуществляется в этом подпроцессе, хотя поддержание регистров, из которых формируются основы выборок для нескольких статистических бизнес-процессов, рассматривается как отдельный бизнес-процесс. Выборочный подход, присущий этому подпроцессу, обычно не имеет отношения к процессам, полностью основанным на использовании уже существующих источников данных (например, административных данных), поскольку такие процессы обычно формируют обследуемые совокупности на основе доступных данных и затем используют метод сплошного наблюдения (census approach). 19 4.2. Подготовка к сбору данных. Этот подпроцесс призван обеспечить, чтобы люди, процессы и технологии были готовы к сбору данных всеми способами, которые были запроектированы. Это занимает определенное время, поскольку включает деятельность стратегического, планового и обучающего характера по подготовке к конкретному случаю применения статистического бизнес-процесса. Если процесс регулярно повторяется, некоторые (или все) из этих работ могут не требоваться в детальном исполнении при каждой итерации. Для одноразовых или новых процессов эти работы могут быть продолжительными. Этот подпроцесс включает: подготовку стратегии сбора данных; тренинг персонала, осуществляющего сбор; обеспечение наличия ресурсов, необходимых для сбора, например, лэптопов; конфигурирование системы сбора с целью запрашивания респондентов и получения данных; обеспечение защиты собираемых данных; подготовка инструментов сбора (например, печатание вопросников, предварительное заполнение их существующими данными, загрузка вопросников и данных на компьютеры интервьюеров и т.д.). 4.3. Проведение сбора данных. Этот подпроцесс имеет место, когда выполняется сбор данных с использованием для этого различных инструментов сбора. Он включает установление предварительных контактов с поставщиками данных и любые последующие действия, связанные с передачей дополнительных сообщений и напоминаний. В данном процессе фиксируется, когда и как был установлен контакт с поставщиком, получен ли от него ответ. Этот подпроцесс также включает работу с поставщиками, вовлеченными в сбор данных, обеспечивающую, чтобы отношения между статистической организацией и поставщиками данных оставались позитивными, а также регистрацию комментариев, запросов и жалоб, а также подготовку ответов на них. В случае административных данных этот процесс краток: к поставщику либо обращаются с просьбой выслать данные, либо он высылает их согласно графику. Когда сбор данных достигает своих целей (что обычно отслеживается по доле ответивших респондентов), сбор закрывается, и подготавливается отчет о его выполнении. 4.4. Завершение сбора данных. Этот подпроцесс включает загрузку собранных данных и метаданных в подходящую электронную среду для дальнейшей обработки на стадии 5 (Обработка). Это может включать автоматический прием данных, например, с использованием инструментов оптического распознавания символов с целью извлечения данных из бумажных вопросников, либо конвертирование форматов файлов данных, получаемых от других организаций. В случае использования физического 20 инструмента сбора, такого как бумажный вопросник, который нет нужды подвергать дальнейшей обработке, этот подпроцесс организует архивирование этого материала в соответствии с принципами, установленными для стадии 8 (Архивирование). Стадия 5 – Обработка 31. Эта стадия описывает «вычищение» записей данных и их подготовку к анализу. Она состоит из подпроцессов, которые проверяют, «вычищают» и трансформируют собранные данные, и может быть повторена несколько раз. В случае регулярно производимого статистического продукта эта стадия может иметь место при каждой итерации. Подпроцессы этой стадии могут применяться к данным из статистических и нестатистических источников (с возможным исключением для подпроцесса 5.6 (Расчет весов), который обычно характерен для выборочных данных). 32. Стадии “Обработка” и “Анализ” могут быть итеративными и параллельными. Анализ позволяет добиться лучшего понимания данных, в результате может вскрыться необходимость дополнительной обработки данных. Работа в рамках стадий “Обработка” и “Анализ” может начинаться до завершения стадии “Сбор”. Это дает возможность получения предварительных результатов в тех случаях, когда своевременность является предметом значительной озабоченности пользователей; а также это увеличивает время для проведения анализа. Ключевое отличие между этими стадиями состоит в том, что “Обработка” связана с трансформацией микроданных, тогда как “Анализ” связан с дальнейшей обработкой статистических агрегатов. 33. Эта стадия подразделяется на восемь подпроцессов, которые могут следовать один за другим, слева направо, но могут выполняться параллельно, а также могут быть итерационными. Эти подпроцессы таковы: 21 5.1. Объединение данных. Этот подпроцесс объединяет данные из одного или более источников. Входные данные могут происходить от смешения внешнего и внутреннего источника и многих способов сбора данных, включая извлечения из административных данных. Результатом является упорядоченный массив данных. Объединение данных обычно включает: операции по приведению в соответствие / сцеплению записей с целью связывания данных из разных источников, в которых эти данные относятся к одной и той же единице; установление приоритетов для случаев, когда два или более источников содержат данные об одном и том же показателе (с потенциально различными значениями). Объединение данных может иметь место в любой точке этой стадии, до или после любого из других подпроцессов. Может также быть несколько случаев объединения в любом статистическом бизнес-процессе. В зависимости от требований по защите данных после объединения данные могут быть анонимизированы, то есть, лишены идентификаторов, таких как имя и адрес, что способствует защите конфиденциальности. 5.2. Классификация и кодирование. Этот подпроцесс классифицирует и кодирует входные данные. Например, автоматическая или ручная операция кодирования может присваивать цифровой код текстовому ответу респондента согласно установленной схеме классификации. 5.3. Проверка, контроль и редактирование. Этот подпроцесс применяется к собранным микроданным путем просмотра каждой записи с целью постараться идентифицировать (и, где необходимо, исправить) потенциальные проблемы, ошибки, противоречия, такие как выбросы, неответы на вопросы и неправильные коды. Это также можно назвать контролем входных данных. Он может выполняться многократно путем контроля данных по заранее установленным правилам, обычно в определенной последовательности. Может применяться автоматическое редактирование, либо выдаваться сигнал на проведение проверки «вручную» и корректировки данных. Проверка, контроль и редактирование могут применяться к единичной записи, происходящей как из статистического наблюдения, так и из административных источников, до или после объединения. В определенных случаях восстановление (импутация) данных (подпроцесс 5.4) может проходить в форме редактирования. 5.4. Восстановление (импутация) данных. Когда данные пропущены или нереальны, показателю могут быть вменены (импутированы) оценочные значения, обычно это делается на основе системы правил. Характерные шаги обычно таковы: 22 идентификация потенциальных ошибок и пропусков; выбор данных для включения или исключения из процедуры восстановления; восстановление с использованием одного или более заранее определенного метода, например, “hot-deck” [метод заполнения случайным подбором из того же класса единиц] или “cold-deck” [метод заполнения случайным подбором из другого класса единиц]; возвращение восстановленных данных в массив данных с пометкой, что они восстановлены; производство метаданных для процесса восстановления. 5.5. Расчет новых показателей и статистических единиц. В этом подпроцессе формируются значения для показателей и статистических единиц, которые не были в явном виде получены при сборе данных, но необходимы для получения требуемой статистики на выходе. Подпроцесс формирует новые показатели посредством применения арифметических формул к одному или более показателям, уже представленным в массиве данных. Это может требовать итеративности, поскольку некоторые производные показатели могут в свою очередь базироваться на других производных показателях. Поэтому важно обеспечить, чтобы показатели формировались правильно. Новые статистические единицы могут быть сформированы путем агрегирования или разбиения данных по собранным единицам, либо посредством различных других методов оценивания. Примером является формирование домохозяйства, когда единицей сбора данных является персона; либо формирование предприятия, когда единицей сбора является юридическое лицо. 5.6. Расчет весов. Этот подпроцесс создает веса для относящихся к статистической единице записей согласно методологии, разработанной в подпроцессе 2.5 (Создание методологии статистической обработки). Эти веса могут использоваться при распространении выборочных данных на целевую генеральную совокупность, чтобы получить представительные для последней результаты, либо при досчете на неответы в случае сплошного наблюдения. 5.7. Расчет агрегированных показателей. Этот подпроцесс создает из микроданных агрегированные данные или сводные итоги по совокупности в целом. Это включает суммирование данных по всем записям с определенной характеристикой, определение значений средних величин и дисперсий, а также взвешивание выборочных данных с использованием весов, определенных в подпроцессе 5.6, с целью получения итогов по генеральной совокупности. 5.8. Окончательное оформление файлов данных. Этот процесс соединяет вместе результаты других подпроцессов данной стадии, результатом чего 23 является файл данных (обычно макроданных), который используется на входе стадии 6 (Анализ). Иногда это может быть скорее промежуточный, чем окончательный файл, особенно для бизнес-процессов, находящихся под сильным давлением сроков исполнения, а также когда требуется произвести как предварительные, так и окончательные оценки. Стадия 6 – Анализ 34. На этой стадии статистические данные производится, детально проверяются и становятся готовыми к распространению. Эта стадия включает подпроцессы и виды деятельности, которые дают возможность статистическим аналитикам понимать произведенную статистику. Для производимых регулярно статистических продуктов эта стадия имеет место при каждой итерации. Стадия «Анализ» и ее подпроцессы характерны для всех статистических продуктов, независимо от источников данных. 35. Стадия «Анализ» подразделяется на пять подпроцессов, которые обычно следуют один за другим, слева направо, но могут также выполняться параллельно и могут быть итерационными. Эти подпроцессы таковы: 6.1. Подготовка предварительных результатов. Этот подпроцесс имеет место, когда собранные данные преобразуются в выходной результат. Это включает производство дополнительных показателей, таких как индексы, тренды или сезонно-скорректированные ряды данных, равно как и регистрацию характеристик качества. 6.2. Контроль результатов. Этот подпроцесс имеет место там, где статистики контролируют качество выходного результата согласно принятой схеме с учетом допустимых пределов, а также ожиданий. Этот подпроцесс также включает работу, связанную с отслеживанием любых сведений о наблюдаемом объекте, с кумулятивным эффектом накопления специальных знаний в исследуемой области. Эти знания затем используются применительно к текущему массиву данных и текущим условиям, чтобы выявить отклонения от ожидаемого результата и 24 провести обоснованный анализ. Деятельность по контролю может включать: проверку того, что степень покрытия статистической совокупности и процент ответов соответствует требуемому уровню; сравнение полученной статистики с результатами предыдущих циклов (если это не лишено смысла); сопоставление статистики с другими относящимися к делу данными (внутренними и внешними); проработка неувязок и противоречий в статистике; выполнение макро-редактирования; проверка статистики на соответствие ожиданиям и предметноориентированным знаниям. 6.3. Объяснение результатов. Этот подпроцесс состоит в том, чтобы статистики получили полное понимание выходных результатов. Опираясь на это понимание, они тщательно анализируют и объясняют произведенную в данном цикле статистику, оценивая, насколько хорошо эта статистика отражает их первоначальные ожидания, рассматривая статистику во всех аспектах с использованием различных инструментов и средств и с проведением досконального статистического анализа. 6.4. Контроль за раскрытием информации. Этот подпроцесс обеспечивает, чтобы подлежащие распространению данные (и метаданные) не нарушали установленных правил по конфиденциальности. Это может включать проверку данных для первичного и вторичного раскрытия, равно как и применение техники блокировки и пертурбации данных. 6.5. Окончательное оформление результатов. Этот подпроцесс обеспечивает, чтобы статистика и связанная с ней информация соответствовала целевому назначению и требуемому уровню качества и, таким образом, была готова для использования. Он включает: завершение проверки на непротиворечивость; определение категории публикации, анонсирование и аннотирование; подготовка поддерживающей информации, включая интерпретацию, брифинги, характеристики точности информации и другие необходимые метаданные; подготовка сопровождающих внутренних документов; пред-публикационное обсуждение с соответствующими внутренними экспертами по предметной области; утверждение статистического материала к публикации. 25 Стадия 7 – Распространение 36. Эта стадия организует выпуск статистических продуктов для доступа пользователей. Для регулярно производимых статистических продуктов эта стадия имеет место при каждой итерации. Она состоит из пяти подпроцессов, которые обычно следуют один за другим, слева направо, но могут также выполняться параллельно и могут быть итерационными. Эти подпроцессы таковы: 7.1. Обновление систем выходных данных. Этот подпроцесс актуализирует системы, в которых данные и метаданные хранятся с целью распространения, включая: форматирование данных и метаданных в состояние готовности помещения в базу данных готовых продуктов; загрузка данных и метаданных в базу данных готовых продуктов; обеспечение связи данных с соответствующими метаданными. Примечание: форматирование, загрузка и связывание с метаданными предпочтительно осуществлять преимущественно на более ранних стадиях, однако данный подпроцесс включает проверку того, что все необходимые метаданные находятся на месте и готовы к распространению. 7.2. Производство распространяемых продуктов. Этот подпроцесс производит статистические продукты, как ранее было спроектировано (в подпроцессе 2.1) с целью удовлетворения нужд пользователей. Продукты могут иметь различные формы, включая печатные публикации, прессрелизы и web-сайты. Типичными шагами являются: подготовка компонентов продукта (поясняющий текст, таблицы, графики и так далее); объединение компонентов в продукт; редактирование продуктов и проверка их соответствия издательским стандартам. 7.3. Управление выпуском распространяемых продуктов. Этот подпроцесс обеспечивает, чтобы все необходимые для выпуска элементы были в наличии, включая назначение времени выпуска. Он включает 26 брифинги для специфических групп пользователей, таких как пресса и чиновники, равно как и соглашения о любых предпубликационных эмбарго. Он также включает предоставление продуктов подписчикам. 7.4. Продвижение распространяемых продуктов. В то время как маркетинг вообще может рассматриваться как общий процесс, этот подпроцесс, в частности, охватывает активное продвижение статистических продуктов, произведенных в специфическом – статистическом – бизнес-процессе, благодаря чему продукты достигают наиболее широкой аудитории. Он включает использование инструментов управления взаимосвязями с пользователями, позволяющих лучше находить потенциальных пользователей продукта, а также использование таких инструментов как web-сайты, wiki и блоги для облегчения процесса передачи статистической информации пользователям. 7.5. Управление запросами потребителей. Этот подпроцесс обеспечивает, чтобы запросы пользователей регистрировались, а ответы предоставлялись в установленные сроки. Эти запросы должны регулярно просматриваться, результаты чего являются входными данными для общего процесса управления качеством, поскольку эти результаты могут указывать на новые или изменяющиеся потребности. Стадия 8 – Архивирование 37. Эта стадия управляет архивированием и уничтожением статистических данных и метаданных. В силу снижения стоимости хранения данных принятая статистической организацией стратегия архивирования, возможно, может не включать условие об уничтожении, поэтому последний подпроцесс может не относиться ко всем статистическим бизнес-процессам. В других случаях уничтожение может ограничиваться промежуточными файлами прошлых итераций, но не касаться распространяемых данных. 38. Для регулярно производимых статистических продуктов архивирование присутствует при каждой итерации, хотя определение правил архивирования, вероятнее всего, производится с меньшей регулярностью. Эта стадия состоит из четырех подпроцессов, которые 27 обычно следуют один за другим, слева направо, но могут также выполняться параллельно и могут быть итерационными. Эти подпроцессы таковы: 8.1. Определение правил архивирования. Этот подпроцесс имеет место при определении правил архивирования статистических данных и метаданных, являющихся результатом статистического бизнес-процесса. Также должны быть учтены требования архивировать промежуточные выходные материалы, такие как файлы выборок, сырые данные со стадии сбора, а также результаты различных этапов процесса и стадии анализа. Правила архивирования для конкретного статистического бизнес-процесса могут полностью или частично зависеть от более общей политики архивирования статистической организации или (для национальных организаций) от стандартов, применяемых по всему сектору правительства. Правила должны включать вопросы оснащения и расположения архива, а также требования по хранению дубликатов. Они должны также оговаривать условия уничтожения данных и метаданных (если таковое имеет место). (Примечание – этот подпроцесс логически сильно связан со стадией 2 «Проектирование», во всяком случае, при первой итерации статистического бизнес-процесса). 8.2. Управление архивным хранилищем. Этот подпроцесс представляет собой управление одним или более архивными хранилищами. Это могут быть базы данных или физическое помещение, где хранятся экземпляры данных и метаданных. Он включает: ведение каталогов архивов данных и метаданных, содержащих достаточную информацию для обеспечения легкого поиска конкретных данных или метаданных; тестирование процесса поиска и извлечения; периодическую проверку целостности архивных данных и метаданных; обновление компьютерно-специфических архивных форматов при изменении программного обеспечения. Этот подпроцесс может относиться к отдельному статистическому бизнеспроцессу или группе процессов в зависимости от степени универсальности стандартов в организации. В пределе он может рассматриваться как всеобъемлющий процесс, если стандартизация в организации является исчерпывающей. 8.3. Сохранение данных и сопутствующих метаданных. Этот подпроцесс имеет место, когда архивируются данные и метаданные, порожденные конкретным статистическим бизнес-процессом. Он включает: идентификацию подлежащих архивированию данных и метаданных согласно правилам, определенным в 8.1; 28 форматирование этих данных и метаданных для хранения; загрузку или помещение данных и метаданных в хранилище; каталогизацию архивированных данных и метаданных; проверку того, что данные и метаданные заархивированы успешно. 8.4. Уничтожение данных и сопутствующих метаданных. Этот подпроцесс имеет место, когда уничтожаются данные и метаданные по конкретному статистическому бизнес-процессу. Он включает: идентификацию подлежащих уничтожению данных и метаданных согласно правилам, определенным в 8.1; уничтожение этих данных и метаданных; документирование того, что эти данные и метаданные были уничтожены. Стадия 9 – Оценка 39. Эта стадия управляет оцениванием конкретных реализаций статистического бизнес-процесса, тогда как более общий и всеохватывающий процесс менеджмента качества статистики описан в разделе VI. Логически, эта стадия имеет место в конце конкретной реализации процесса, но опирается на материалы, собранные на различных стадиях данной реализации этого процесса. Для регулярно производимого статистического продукта оценивание должно (по крайней мере, в теории) происходить при каждой итерации, определяя целесообразность будущих итераций и необходимость каких-либо улучшений. Однако в некоторых случаях, особенно при регулярных и хорошо налаженных статистических бизнес-процессах, оценивание может не выполняться буквально при каждой итерации. В таких случаях эта стадия может сводиться к принятию решения, начинать ли следующую итерацию со стадии 1 (Определение потребностей) или с какой-либо более поздней стадии (часто со стадии 4 (Сбор)). 29 40. Эта стадия состоит из трех подпроцессов, которые обычно следуют друг за другом, слева направо, но которые могут частично перекрываться на практике. Эти подпроцессы таковы: 9.1. Сбор данных для оценки. Материалы для оценивания могут быть произведены на любой другой стадии или подпроцессе. Они могут иметь различные формы, включая обратную реакцию пользователей, обработку метаданных, систему зарегистрированных параметров процесса, а также предложения персонала. Материалом для оценки последующей итерации может также быть отчет о выполнении плана действий, намеченного в ходе предыдущей итерации. Этот подпроцесс собирает все такие материалы и предоставляет их лицу или группе, производящим оценку. 9.2. Проведение оценки. Этот подроцесс анализирует собранные для оценки данные и синтезирует их в отчет об оценке. В отчете должно быть обращено внимание на любые касающиеся качества вопросы, характерные для данной итерации статистического бизнес-процесса, и должны быть даны рекомендации по внесению изменений, если это уместно. Эти рекомендации могут касаться изменений любой стадии или подпроцесса при будущих итерациях процесса, либо может быть предложено не повторять этот процесс. 9.3. Согласование плана дальнейших действий. Этот подпроцесс объединяет вместе все необходимые решения, сформулированные уполномоченными на то уровнями, с целью формирования и согласования плана действий на основе отчета о проведении оценки. Он также должен включать определение механизма мониторинга результативности этих действий, что, в свою очередь, может дать материал для оценивания будущих итераций процесса. VI. Общие процессы Управление Качеством 41. Этот процесс присутствует повсюду в модели. Он тесно привязан к стадии 9 (оценка), собственная роль которой состоит в оценке отдельных реализаций статистического бизнес-процесса. Однако общий процесс управления качеством имеет более глубокий и широкий смысл. Наряду с оценкой итераций процесса, также необходимо оценивать отдельные стадии и подпроцессы, в идеальном случае – каждый раз при их осуществлении, но, по крайней мере, в соответствии с согласованным графиком. Метаданные, генерируемые различными подпроцессами, также представляют интерес в качестве входных данных для процесса оценки качества. Такие оценивания могут выполняться внутри отдельно взятого 30 процесса, либо применительно к нескольким процессам, использующим общие компоненты. 42. Управление качеством также включает в себя оценку групп статистических бизнесс-процессов и поэтому может обнаруживать потенциальное дублирование или пропуски. Все оценки должны порождать обратную реакцию, которая должна учитываться при улучшении соответствующего процесса, стадии или подпроцесса, формируя замкнутую петлю качества. 43. Управление качеством может принимать несколько форм, включая: • поиск и анализ отзывов пользователей; • изучение выполненных операций и документирование полученного опыта; • изучение метаданных процесса и других показателей работы системы; • сопоставительный анализ [бенчмаркинг] и экспертное рецензирование. 44. Как правило, оценка осуществляется внутри специфической для организации системы обеспечения качества и может поэтому принимать различные формы и приносить различные результаты в различных организациях. Однако между статистическими организациями есть общее согласие, что качество должно определяться в соответствии со стандартом ISO 9000-2005: “степень, в которой совокупность внутренне присущих характеристик удовлетворяет требованиям”9. 45. Таким образом, качество является многогранным, зависящим от пользователя понятием. Измерения качества, считающиеся наиболее важными, зависят от точки зрения пользователя, нужд и приоритетов, которые отличаются между процессами и группами пользователей. Ряд статистических организаций уже разработали перечни измерений показателей качества, которые для международных организаций гармонизируются под руководством Комитета по координации статистической деятельности (CCSA)10. ISO 9000:2005, Системы менеджмента качества – Основные положения и словарь. Международная организация по стандартизации. 10 В настоящее время существуют специфические для организаций системы качества, содержащие перечень измерений: для ЕЭК ООН – http://unstats.un.org/unsd/accsub/2007docs-10th/SA-2007-14-Add1ECERep.pdf, 9 31 46. Существующее разнообразие систем качества усиливает важность подходов к оцениванию, основанных на сопоставительном анализе и экспертном рецензировании; и поскольку маловероятно, что эти подходы будут применяться для каждой итерации каждой составляющей каждого статистического процесса, они должны использоваться систематически в соответствии с заранее определенным графиком, что позволяет проанализировать все главные компоненты процесса в рамках определенного периода времени. Управление метаданными 47. Хорошее управление метаданными принципиально важно для эффективного осуществления статистического бизнес-процесса. Метаданные присутствуют внутри каждой стадии – либо созданные на этой стадии, либо перенесенные из предыдущей стадии. В контексте этой модели общий процесс управления метаданными акцентируется на создании и использовании статистических метаданных, хотя метаданные по самим подпроцессам также представляют интерес, включая случай их использования в качестве входных данных для управления качеством. Ключевой проблемой является обеспечение того, чтобы эти метаданные получались как можно раньше, сохранялись и передавались от стадии к стадии вместе с данными, к которым они относятся. Поэтому стратегия и системы управления метаданными являются критически важными для функционирования этой модели. 48. Часть А Общей системы метаданных 11 выделяет следующие шестнадцать основных принципов управления метаданными, все из которых должны покрываться общим процессом управления метаданными и приниматься во внимание при подготовке концепции и глобальной архитектуры системы статистических метаданных (SMS), а также при внедрении SMS. Принципы могут быть представлены в составе следующих групп: Оперирование метаданными i. Модель статистического бизнес-процесса: Управлять метаданными, фокусируясь на целостной модели статистического бизнес-процесса. ii. Активность применения, не пассивность: Сделать метаданные активными в максимально возможной для ОЭСР – http://www.oecd.org/dataoecd/26/38/21687665.pdf, и для Евростата – http://epp.eurostat.ec.europa.eu/portal/page/portal/quality/documents/ess%20quality%20defin ition.pdf . 11 См.: http://www.unece.org/stats/cmf/PartA.html 32 степени. Активные метаданные – это метаданные, которые управляют другими процессами и действиями. Пользование метаданными, таким образом, обеспечит их правильность и актуальность. iii. Многократность использования: Использовать метаданные многократно везде, где возможно, с целью интеграции статистики, а также по соображениям эффективности. iv. Версии: Хранить историю метаданных (старые версии). Обоснованность метаданных i. Регистрация: Обеспечить правильное документирование процесса регистрации (последовательности операций), связанных с каждым элементом метаданных, чтобы был ясно определен собственник, статус утверждения, дата операции и пр. ii. Единственный источник: Обеспечить, чтобы существовал один достоверный источник для каждого элемента метаданных (регистрирующий орган). iii. Однократность ввода/обновления: Минимизировать ошибки путем ввода один раз и обновления в одном месте. iv. Отклонения от стандартов: Обеспечить, чтобы отклонения от стандартов жестко контролировались и утверждались, были задокументированы, и о них было известно. Взаимосвязь со i. статистическим циклом / процессами ii. Неотделимость: Сделать работу, связанную с метаданными, неотъемлемой частью бизнеспроцесса во всей организации. Стыкуемость метаданных: Обеспечить, чтобы метаданные, представляемые конечным пользователям, соответствовали метаданным, которые управляют бизнес-процессом или производятся в этом процессе. iii. Описание потока: Описывать поток метаданных в увязке со статистическим и производственным процессами (с потоком данных и производственной логикой). 33 iv. Получать данные в источнике: Получать данные в их источнике, желательно, автоматически или как побочных продукт других процессов. v. Обмен и использование: Обмениваться метаданными и использовать их в качестве информации, как для машинных процессов, так и для обработки человеком. Инфраструктура для обмена данными и связанными с ними метаданными должна основываться на свободной конфигурации компонентов с выбором стандартного языка обмена, такого как XML. Пользователи i. Определение пользователей: Обеспечить, чтобы пользователи были точно определены для всех процессов обработки метаданных, и чтобы все получаемые метаданные были полезны им. ii. Различные форматы: Признается разнообразие метаданных, и существуют различные их представления, соответствующие различным применениям данных. Разным пользователям требуются разные уровни детализации. Метаданные представляются в различных форматах в зависимости от процессов и целей, для которых они производятся и используются. iii. Доступность: Обеспечить, чтобы метаданные были легкодоступны и используемы в контексте информационных нужд пользователей (внутренних или внешних). VII. Другие области использования модели GSBPM Как утверждалось в разделе о цели GSBPM-модели, изначальной целью работы по созданию этой модели было предоставление статистическим организациям основы для того, чтобы договориться о стандартной терминологии с целью облегчения дискуссий по вопросу разработки статистических систем метаданных и процессов. Однако когда модель была разработана, стало все более и более очевидно, что она может быть использована и для других целей. Этот факт был подтвержден Статистикой Новой Зеландии, которая либо уже применила, либо планировала применять свою национальную версию модели в нескольких различных областях. Нижеприведенный список имеет целью высветить скорее потенциальные, чем рекомендуемые направления использования и 34 стимулировать дальнейшие размышления о том, как GSBPM-модель может применяться на практике. 1. Гармонизация архитектуры статистической компьютерной системы – GSBPM может рассматриваться как модель функционального представления статистической компьютерной архитектуры. Она определяет ключевые компоненты статистического бизнес-процесса, поддерживает стандартную терминологию и стандартные способы обработки по всему статистическому бизнес-процессу. Потенциал GSBPM как модели статистических компьютерных архитектур будет оценен в предлагаемом Европейским Союзом проекте “ESSNet” по Универсальной эталонной архитектуре [Common Reference Architecture]12 в течение 2009 г. 2. Содействие совместному использованию статистических программных продуктов – В связи с предыдущим пунктом модель GSBPM определяет компоненты статистических процессов таким образом, что содействует совместному использованию программных продуктов не только различными статистическими бизнес-процессами, но также различными статистическими организациями, которые применяют модель. Это дает материал для деятельности “Консультативного совета по совместному использованию” [Sharing Advisory Board], создаваемого под эгидой рабочих совещаний ЕЭК ООН, Евростата и ОЭСР по Управлению статистическими информационными системами13. 3. Обеспечение основы для пояснений к использованию SDMX в статистических организациях в Руководстве пользователя по обмену статистическими данными и метаданными (SDMX) 14 . Глава А2 этого руководства пользователя рассматривает, как SDMX применяется в статистической работе в контексте модели бизнес-процесса. 4. Обеспечение основы для процесса оценки качества и его повышения – Чтобы подход к процессу оценки качества с использованием сравнительного анализа был успешным, необходимо стандартизировать процессы настолько, насколько это возможно. GSBPM предоставляет механизм для содействия этому. 5. Лучшая интеграция работ по статистическим метаданным и качеству – В связи с предыдущим пунктом предоставляемая GSBPM общая основа может способствовать интеграции международной работы по статистическим метаданным с работой по качеству данных путем 12 http://circa.europa.eu/Public/irc/dsis/itsteer/library?l=/directors_1314/proposal_essnetdoc/_EN_1.0_&a=d 13 Как предложено в отчете целевой рабочей группы MSIS по совместному использованию программных продуктов: http://www.unece.org/stats/documents/ece/ces/ge.50/2008/crp.2.e.doc 14 См.: http://sdmx.org/index.php?page_id=38 , версия 2009 г. 35 предоставления общей основы и общей терминологии для описания статистического бизнес-процесса. 6. Предоставление основополагающей модели для системы методологических стандартов – Методологические стандарты могут быть привязаны к стадии(ям) или подпроцессу(ам), к которым они относятся, а могут затем классифиииицироваться и сохраняться в структуре, основанной на GSBPM. 7. Обеспечение структуры для хранения документов – Наряду с основой для методологических стандартов, GSBPM может также предоставлять основу для систематизации и хранения других документов внутри организации в сочетании с программными средствами по управлению документами. Модель может обеспечивать базовую классификацию для хранения документов, которая обеспечивает четкую связь между документами и частями статистического бизнес-процесса, к которым они относятся. 8. Обеспечение основ для укрепления организационных возможностей – GSBPM может быть использована для разработки системы оценки знаний и возможностей, уже существующих внутри организации, а также для выявления пробелов, которые нужно заполнить для повышения эффективности работы. 9. Обеспечение входной информации для планирования корпоративной работы на высоком уровне – Национальная модель бизнес-процесса, разработанная Статистикой Новой Зеландии, была использована как входная информация при подготовке программы обследований на высоком уровня. 10. Создание хранилища данных для модели бизнес-процесса – Статистика Новой Зеландии разработала базу данных для хранения выходных данных процесса моделирования и обеспечила связь этих данных с их моделью статистического бизнес-процесса. Там также планируется создать Сообщество по практическому моделированию бизнес-процесса – т.е. постоянный форум с целью углубления знаний о процессе моделирования, продвижения их модели бизнес-процесса и улучшения ее понимания, а также для обсуждения процесса моделирования и моделей как инструментов усовершенствования процесса. 11. Измерение операционных затрат – GSBPM может, предположительно, использоваться в качестве основы для измерения затрат по различным частям статистического бизнес-процесса. Это, в свою очередь, могло бы помочь сориентировать цели работы на повышение эффективности тех частей процесса, которые являются наиболее затратными. 36 12. Оценка эффективности системы – В увязке с предыдущим пунктом по затратам GSBPM-модель может также использоваться для выявления компонент, которые работают неэффективно, без необходимости повторяют друг друга или требуют замены. Подобным же образом могут быть определены бреши, для заполнения которых должны создаваться новые компоненты. 37 Приложение – глоссарий терминов Примечание – этот краткий глоссарий покрывает лишь некоторые ключевые термины и аббревиатуры, использованные в этом документе. Более полный глоссарий терминов, относящихся к процессу статистического производства, смотри в Общем словаре метаданных SDMX – http://sdmx.org/?page_id=11. ОСМ (CMF) – Общая система метаданных: необходимость в общей системе метаданных возникла в ходе дискуссий на международных форумах. Совместная Группа по статистическим метаданным ЕЭК ООН, Евростата и ОЭСР (METIS) координирует работу по разработке этой системы. Замысел состоит в том, чтобы организовать обширный ресурс информации о статистических метаданных в общую систему для использования национальными и международными статистическими организациями. Смотри: http://www.unece.org/stats/cmf/ Сбор/Сбор данных – систематический процесс сбора данных для официальной статистики. (Источник: Общий словарь метаданных SDMX, 2009 г.) Поэтому для целей этой модели “сбор” включает получение данных из административных источников наряду с более традиционным сбором данных путем обследований и переписей. GSBPM – Общая модель статистического бизнесс-процесса: гибкий инструмент для описания и определения совокупности бизнес-процессов, необходимых для производства официальной статистики. METIS – Совместная Группа по статистическим метаданным ЕЭК ООН, Евростата и ОЭСР. Общий процесс – процессы, который применяется на всем протяжении статистических бизнес-процессов и пронизывая все их. Они могут группироваться в две категории: процессы, которые имеют статистическую составляющую, и более общие процессы, которые приложимы к любому типу систем. SDMX – набор технических стандартов и информационноориентированных руководящих принципов в совокупности с ИТархитектурой и инструментами, предназначенными для применения в целях эффективного обмена и коллективного использования статистических данных и метаданных. (Источник: Общий словарь метаданных SDMX, 2009 г.) Статистический бизнес-процесс – полный набор подпроцессов, необходимых для обеспечения статистического производства. (Источник: Общий словарь метаданных SDMX, 2009 г.) 38 Система статистических метаданных – система обработки данных, которая использует, хранит и производит статистические метаданные. (Источник: Общий словарь метаданных SDMX, 2009 г.)