Мониторинг и оценка общественной политики

Мониторинг и оценка в Кыргызстане.
«Методы мониторинга и
оценки общественной
политики»
Третьякова Татьяна
ОО Институт гуманитарного проектирования
Предпосылки создания системы
МиО
1. В стране идет реформа государственного управления
2. Принята уже третья по счету стратегия, которая
постоянно ставит вопрос о мониторинге и оценке
результатов.
3. Достаточная открытость государственных органов,
ответственных за создание стратегий.
4. Прошли публичные и экспертные обсуждения в стране
по итогам первой стратегии НСCБ в 2007 году.
5. Прошло публичное обсуждение стратегии (СРС 2008
году)
Основания участия общественности в мониторинге и
оценке
Политики
Ставят задачи
и
контролируют.
Внешний
контроль.
Избирают
Внутренний
контроль.
Общество
(Граждане).
Должны
работать на
благо
общества
Контроль со
стороны
общества ?
Зона
мониторинга.
Государст
венные
органы.
Система мониторинга и оценки
Среда оценки
Государственные
органы
Гражданское
общество
Государственные органы
СТРАТЕГИИ
ПРОГРАММЫ
ПРОЕКТЫ
Политика
Оценка
инфраструктуры и
кадровой
готовности
Внутренний
аудит
Мониторинг и
Оценка
Государственные органы
Институциональные возможности ведения МиО:
Целостность управленческого цикла
Постановка
целей
Определение
показателей
Принятие
решений
Отслеживание
показателей
Обработка
и анализ
данных
Подготовка
аналитических
документов
МОДЕЛЬ ПРОГРАММЫ
Оборудование
ПРОБЛЕМА
Люди
Материалы
Среда
ПРОЦЕСС
Технологии
Мониторинг
Оценка
РЕШЕНИЕ
ПРОБЛЕМЫ
Модель программы: теория и реальность
Теория
• Миссия
Реальность
• Влияние программы
• Цель
• Результат программы
• Задачи
• Запланированные
действия
• Результаты действий
• Выполненные
действия
Для чего нужны мониторинг и
оценка?
• Мониторинг и оценка (МиО) необходимы
для принятия управленческих решений, основанных на
данных и для отчетности.
МиО обеспечивают информацию о функционировании
государственных и неправительственных программ и
проектов, а также определяют что, как и почему (не)
работает.
МиО не обладают внутренней ценностью;
вся их ценность в том, как они помогают
усовершенствовать деятельность организаций.
ОЦЕНКА
Информация
для принятия
решений
ИССЛЕДОВАНИЕ
РЕЗУЛЬТАТ
Новое
знание
МЕТОДЫ
Расширить и
углубить
существующее
знание
Получить
информацию
для принятия
решений
ПОСТАНОВКА ЗАДАЧИ
Оценка и исследование
«Оценка программы – это
систематический сбор информации
о деятельности в рамках
программы, ее характеристиках и
результатах,
который проводится для того, чтобы
вынести суждение о программе,
повысить эффективность программы
и/или разработать планы на
будущее»
(Patton, 1997)
Исследование – это
систематическая деятельность,
направленная на получение
нового знания.
Существенной характеристикой
исследования является
возможность получения
обобщенного знания, которое
может использоваться в
различных условиях.
Оценка в управлении программой
Мониторинг
Аудит
Проверка на
соответствие
Инспекция
Выявление и
предотвращение
нарушений
Контроль
Отслеживание хода
программы по
сравнению с планом
на основании замера
значений показателей
(индикаторов)
Оценка
Анализ
процесса
выполнения
программы,
достигнутых
результатов и
причин
отклонений
от плана
Исследование
Получение нового знания,
моделирование
Получение
нового знания
ОЦЕНКА
•
•
•
•
Правильные ли вещи мы делаем?
Правильно ли мы их делаем?
Что у нас получается и почему?
Как можно это сделать лучше?
Оценка - это совокупность механизмов и методов по измерению
фактических результатов политики (программ, проектов) которые
завершены или находятся в стадии реализации,
• в современных условиях невозможно проводить политику
и принимать решения без ее всесторонней ОЦЕНКИ, так
как проблемы становятся все сложнее, и возрастает цена
ошибки, не говоря уже о необходимости рационально
расходовать государственные ресурсы.
• Организации государственного управления выступают
инициаторами и заказчиками ОЦЕНКИ.
• ОЦЕНКУ, как правило, осуществляют сторонние
гражданские, профессиональные организации.
• ОЦЕНКА не имеет задачи наказания виновных.
Мониторинг
• Как идут дела?
• В какой мере выполняются планы?
-----------------------------------------------------------------------Систематический сбор информации о значениях заранее
выбранных индикаторов для обеспечения
руководителей и других заинтересованных сторон
сведениями о том, насколько успешно выполняется
программа развития, в какой степени достигаются
поставленные цели и как используются фонды,
выделенные на данную программу.
На стадии
разработки
программы
Когда нужно создавать
систему мониторинга?
2
4
5
1
3
Для эффективного управления нужно знать:
1. Скорость
2. Температуру охлаждающей жидкости
3. Количество топлива
4. Включены ли фары
5. …
Вышестояща
я или
специальная
организация
Внутренние
управленческие
функциональны
е места
Внешняя
независимая
КОНТРОЛЬ
ОЦЕНКА
МОНИТОРИНГ
Нормы,
стандарты
, правила
В соответствии
с целями заказа
В соответствии с
целями
управления
РЕАЛЬНОСТЬ
Мониторинг
Система мониторинга в организации\учреждении.
Управление
Цели.
Задачи.
Индикаторы.
Мероприятия.
Периодичн.
Издержки.
Отв. Лица.
Мониторинг.
Информационна
я система.
Аналитическая
система.
Оперативная
система.
Теоретический (максимальный) уровень М.
Приемлемый уровень М.
Технологический уровень М.
М. интуитивная, нерефлексивная.
Потребность в
информации
Формирование
задания
Планирование
Стадии
процесса
оценки
программы
Сбор данных
Анализ
данных
Написание
отчета
Принятие
решения
«Обратная
связь»
Проблемы создания системы М и О
в Кыргызстане.
• Все проделанные ранее действия, направлены на
создание лишь элементов мониторинга и оценки, то есть
малой части того, что необходимо сделать .
• «Понятийная катастрофа» в сфере. М,О, Контроль,
практически не различены.
• Мониторинг осуществляется как дополнительная нагрузка
к деятельности ведомства, которая никаким образом не
связана с эффективностью выполнения программы
развития.
• При этом в органах, ответственных за разработку и
внедрение мониторинга и оценки нет представления о
полной, работающей системе. Создаваемую
информационную часть они полагают уже и законченной
часть, и в этом смысле не ставятся задачи на продолжение
работ.
Государственные органы.
Рекомендации.
• Должна быть создана инфраструктура оценки
в учреждениях.
• Подготовлены кадры.
• Разработаны инструкции и регламенты
• Лица принимающие решение должны быть
лояльны к процедурам МиО и пользоваться
результатами.
• Должна быть создана информационная база
данных (Национальный статистический
комитет, ведомственная статистика)
Гражданское общество
• Очевидно, что не достаточно разрозненных
организаций которые занимаются оценкой, так
как они работают с государством в режиме
«заказчик -исполнитель».
• Должна быть создана открытая организация,
способная, оценивать Стратегии и политики
независимо, содействовать подготовке
оценщиков, экспертов, вести публичные
обсуждения достижений, вводить
профессиональные стандарты оценки.
Разрабатывать этику оценки и оценщиков.
Национальная сеть МиО
В Кыргызстане создана Национальная сеть мониторинга и
оценки в 2008 году.
Стратегической целью является –
• Формирование института профессиональной оценки,
экспертизы и мониторинга.
• Создание эффективных механизмов участия оценщиков
в анализе национальных, локальных и секторальных
программ.
• Информирования, о значимых моментах в сфере МиО
и реализации программ.
• Повышения квалификации членов сети
• Содействовать формированию политики в области МиО.
Для чего нужны индикаторы ?
• Индикаторы – это единицы того, что вкладывается
в проект, какие процессы при этом происходят,
какие результаты при этом получаются, и каков
долгосрочный эффект. При условии научного
подхода к сбору информации, предоставляется
реальная возможность отслеживать прогресс
проекта, демонстрировать результаты, и, в случае
необходимости, корректировать процесс.
СТРУКТУРА
ИНДИКАТОРЫ
СТРАТЕГИЧЕСКАЯ ЦЕЛЬ
СОЦИАЛЬНЫЙ ЭФФЕКТ - измеренные долгосрочные
улучшения социального положения потребителей и
общества (impact)
КОНЕЧНЫЙ РЕЗУЛЬТАТ - результат программы,
выраженный объективными показателями
улучшения положения получателей услуг
(outcomes)
ПРОМЕЖУТОЧНЫЕ РЕЗУЛЬТАТЫ – результаты
выполнения задач, выраженные объективными
показателями воздействия на потребителей услуг
(interim outcomes)
ПРЯМЫЕ РЕЗУЛЬТАТЫ/ ОБЪЕМЫ РАБОТ, УСЛУГ:
произведенные работы госорганов, изданные
нормативные акты, подготовленные кадры,
построенные объекты и др. (outputs)
ЗАТРАТЫ/ СТОИМОСТЬ: количество задействованных
людей, финансов, оборудования, материалов
(inputs)
ЦЕЛЬ
ПРОГРАММЫ
ЗАДАЧИ
МЕРОПРИЯТИЯ
РЕСУРСЫ
Упражнение: Поддержка малого бизнеса
Проведено N консультаций с
предпринимателями,
разработано ХХ предложений
в налоговое, таможенное
законодательство
Рост занятости на
N%, снижение
бедности на X%,
рост
благосостояния
населения Y%
Принято N предложений от
предпринимателей, сделано
46 поправок в законы, создан
Сокращение времени на
Бизнес-инкубатор
таможенные процедуры с 3
дней до 0,5 дней, снижение
ставки налога с 15% до 9%
Потрачено 12
человекомесяцев
юристов и
экономистов
Прирост новых предприятий
малого бизнеса, прирост
продукции, увеличение доли на
рынке
Основные индикаторы программ
• Конечный результат – воздействие на потребителей
• Качество – уровень удовлетворенности потребителей,
точность, уровень ошибок, надежность
• Своевременность - % работ, выполненных в срок
• Производительность – количество услуг (работ) на
единицу затрат (на 1 госслужащего)
• Прямой результат – объем работ, услуг
Пример: Цель - Снижение уровня
безработицы
Для того, чтобы определить, когда мы
добьемся успехов в достижении этой цели,
нам необходимо ответить на следующий
вопрос:
– Для кого?
– Где?
– Сколько?
– К какому сроку?
Упражнение:
Улучшение доступа фермеров к рынкам
• Какие индикаторы покажут нам этот
результат?
• увеличение ежегодного дохода в %
• сокращение больных растений в %
• сокращение цен на продукцию в силу
роста конкуренции
• повышение уровня занятости в сельском
хозяйстве
Прочие?
Методы сбора информации
• Анкетирование
• Наблюдение
• Интервьюирование
• Изучение документации
Построение системы мониторинга
Оборудование
ПРОБЛЕМА
Люди
Материалы
Среда
ПРОЦЕСС
Технологии
РЕШЕНИЕ
ПРОБЛЕМЫ
Построение системы мониторинга программы
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Разработать индикаторы и дать им определения
Определить источники информации
Выбрать методы сбора данных
Определить периодичность и график сбора данных
Распределить ответственность за сбор данных
Сформировать каналы передачи данных лицам,
принимающим решения
Определить порядок обработки данных и разработать
соответствующие инструменты
Определить схему распространения и использования
информации
Обучить людей, которые будут заняты в проведении
мониторинга
Предусмотреть в бюджете расходы на мониторинг
Материалы по оценке: