Совместный Мониторинг и Оценка

Документ Праксис № 21
Совместный Мониторинг и
Оценка
Извлеченные уроки в Центральной
Азии
Авторы: Джерри Адамс и Анн Гарбутт
Май 2008
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Содержание
Раздел 1
1.1.
Введение
1.2.
Республики Центральной Азии: Кыргызстан, Казахстан, Узбекистан, Таджикистан и
Туркменистан
1.3.
НПО в Центральной Азии
1.4.
История ИНТРАК в Центральной Азии
Раздел 2
2.1
Проблемы в проведении совместного мониторинга и оценки
2.2
Проблемы для оценщиков
2.3
Проблемы для мониторинга программ
Раздел 3
3.
Подход ИНТРАК к совместному проведению МиО в Центральной Азии
3.1
Последовательность метода
3.2
Моделирование
3.3
Принадлежность
3.4
Повторяющийся процесс
3.5
Полезность для заинтересованных сторон
3.6
Скрупулезность и качество системы
3.7
Выбор подхода с участием
3.8
Процесс
3.8.1 Детальное описание подхода
3.9
Фаза первая
3.9.1 Определение результатов и индикаторов
3.9.2 Разработка результатов
3.9.3 Разработка индикаторов
3.10 Фаза вторая
3.10.1 Разработка инструментов и методологии сбора
3.11 Обработка и хранение информации
3.11.1 Попытка использовать программное обеспечение QualDM
3.12 Обзор процесса развития МиО
3.13 Извлеченные уроки
3.14 Заключение
Приложение 1
Дополнительные ресурсы
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Ключевые слова: совместный мониторинг и оценка, НПО, ОГО, Центральная Азия
Раздел 1
1.1 Введение
Участие в развитии в целом воспринимается фундаментальным в решении вопросов
принадлежности и устойчивости. Каждый понимает важное значение участия. Тем не
менее, если это касается разработки системы мониторинга и оценки (МиО) многие
организации гражданского общества (ОГО) продолжают привлекать экспертов для
разработки целей, индикаторов и методики сбора информации – с весьма ограниченным
участием тех людей, с которыми они пытаются объединиться. Данный документ
описывает попытку разработки системы МиО с полномасштабным участием, с описанием
опыта работы рабочей группы сотрудников ИНТРАК, работающих по программе усиления
гражданского общества в тесном сотрудничестве со своими партнерами в пяти
республиках Центральной Азии.
Грандиозным стремлением на начальном этапе программы была разработка системы
совместного МиО, которая предоставила бы важные уроки, как для участников процесса,
так и для любых других практиков, которые начинали разработку своих собственных
систем МиО. Процесс будет принадлежать участникам, чтобы они контролировали то, что
необходимо при мониторинге своих собственных процессов развития.
Данный документ описывает, каким образом организация ИНТРАК стремилась к:
• реализации участия при разработки системы МиО
• использованию программы ИНТРАК в Центральной Азии в качестве
модели, по которой партнеры смогут развивать свои навыки по МиО. Это
была программа «Институционального Развития Гражданского Общества в
Центральной Азии», финансируемая DFID(Департамент по Международному
Развитию Великобритании).
• обеспечению обратной связи с ИНТРАК, чтобы программа оказывала
необходимую поддержку местным ОГО в наращивании потенциала
• обеспечению необходимой отчетности для DFID плюс общее
управление информацией о ходе выполнения программы
• предоставлению возможности партнерам ИНТРАК повысить свои
полномочия путем разработки задач программы для удовлетворения их
потребностям в построении потенциала, которые они сами определяют,
включая разработку индикаторов, которые будут использованы для
измерения любых успехов или слабых сторон программы
• обеспечению результатов, используемых ИНТРАКом для продолжения
программы в обеспечении поддержки в построении потенциала, необходимой
для партнеров с помощью процесса разработки новых и инновационных
вкладов в случае необходимости
Данный документ отражает различные этапы процесса, возникающие проблемы и
способы, с помощью которых рабочая команда ИНТРАК и местные партнеры старались
справиться с ними. Доноры, практики и исполнители смогли бы воспользоваться
извлеченными уроками из данного документа. Этот документ решает также следующие
очень важные вопросы:
•
Можно ли внедрять метод участия в МиО путем интеграции процесса в практику
развития при решении вопроса принадлежности?
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
•
•
Насколько эффективным являются мониторинг и оценка в качестве инструмента
управления процессом программы, а также в решении вопросов подотчетности и
обучения?
Могут ли системы и методы МиО соответствовать и помогать целям программы?
Документ направлен на все секторы развивающегося сообщества. Он отражает вопросы
совместного мониторинга и оценки с практической точки зрения, основанных на
трехгодичной региональной программе, охватывающей пять республик Центральной Азии.
Следовательно, он основан на реальности управления программой и работе с местными
партнерами. В тоже время вопросы участия и значимости МиО оцениваются с учетом
дискуссий и опытов других людей. Документ отражает метод ИНТРАК по использованию
обучения, исследования и консультаций динамичным путем. По этой причине он будет
очень полезен для академиков и исследователей, менеджеров программ и политик, а
также для менеджеров и практиков на местах. Он имеет более широкое воздействие
помимо Центральной Азии, так как вопросы участия и значимости МиО наблюдаются в
глобальном развивающемся сообществе.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
1.2 Республики Центральной Азии: Кыргызстан, Казахстан,
Узбекистан, Таджикистан и Туркменистан
Начиная с 1991 года все республики Центральной Азии испытывали массовый рост
бедности в связи с экономическим кризисом и одновременным разрушением комплексной
Советской системы социального обеспечения. Объем производства и доходы населения
резко упали и действительно резко ухудшились все системы социального обеспечения и
здравоохранения. Кроме того, рост бедности сопровождался явным и растущим
неравенством. Хотя очень трудно получить какой-либо ясный смысл из статистических
данных, кто в переходном процессе выигрывает или проигрывает, тем не менее очевидно,
что прогресс, совершенный во время Советского периода в сфере политического и
гендерного равенства значительно пострадал. Женщины больше пострадали от потери
работы, чем мужчины, они значительно устранились от принятия политических решений и
представительства. Неопределенность ведет к возобновлению старых патриархальных
культурных традиций. Во вторых, переход к приватизации и рыночной экономике принес
пользу определенным элитным группам, и одновременно привел к росту уровня бедности
и социальной исключенности большей части населения. Наиболее дестаблизирующим
является процесс обнищания, связанный с энтичеством, создающий благодатную почву
для возникновения конфликтов. Напряженность с земельными и водными ресурсами, а
также незаконная торговля наркотиками являются возможными горячими сферами.
Экономическая миграция молодого населения вызвала обеднение населения преклонного
возраста, особенно в связи с развалом государственных пенсионных систем.
Хотя среди правительственных кругов существует понимание, что они не способны
обеспечить все потребности своего населения и что НПО привлекают необходимые
иностранные инвестиции, ни одна республика из Центральной Азии не имеет ясную или
прозрачную политику в отношении НПО. Тогда как некоторая часть проблем связана с
отсутствием у правительств знаний о концепции и потенциале НПО, правительства очень
боятся НПО, как альтернативного сектора, интересы которого сильно отличаются или
противоречат Государству. Правительства со старой традицией государственного
обеспечения и абсолютного государственного контроля боятся потерять свои бразды
правления. В связи с тем, что
роль и потенциал правительств после обретения
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
независмости в отношении социальных и экономических вопросов стали развиваться,
возникла общая тенденция в сокращении пространства для НПО и усилении
централизованного контроля государства.
Все пять республик испытывают отсутствие юридических или согласованных определений
об НПО. Этот вид правовой среды не только позволил регистрацию огромного
разнообразия организаций в качестве НПО – от цирка до Торговой Палаты, но также
осуществил широкораспространенную практику создания государственных НПО. Это не
только послужило цели получения финансирования доноров для НПО, но также и для
объединения сектора НПО с государственными структурами. Аналогичным образом в
республиках, где изменились государственные законы, главная цель в основном
заключалась в регулировании и контролировании НПО вместо оказания содействия в их
развитии.
1.3 НПО в Центральной Азии
После завоевания независимости НПО появились в качестве совершенно новых
форм организаций в республиках Центральной Азии. В каждой стране имеется
значительное и растущее количество НПО, образованных преданными профессионалами,
которые стремятся к внесению позитивных изменений в своих странах, завоевавших
независимость. Финансирование иностранных доноров, обучение и техническая
поддержка оказали помощь этим неопытным организациям утвердиться, определить свою
роль и начать делать свои первые шаги. Тем не менее, во всех республиках Центральной
Азии, многие НПО находятся на самом раннем этапе развития с ограниченным
потенциалом и незначительным воздействием на социальное и экономическое изменение.
Несколько факторов, объединенных вместе, тормозят быстрое развитие преуспевающего
независимого и эффективного сектора НПО:
• продолжающееся состояние политического, экономического и социального сплава
• определенные аспекты Советского наследия (т.е. Советские легальные системы не
подходят для неправительственных организаций)
• зачастую негативные восприятия и отношение государства
• характеристики НПО
• подходы и роль донорских организаций
НПО остаются зависимыми от доноров, и им еще предстоит утвердиться в качестве
неотъемлемых и общепризнанных элементов общества Центральной Азии.
В дополнение к общей изоляции от дебатов по развитию и опыта работы, известных для
организаций, работающих в других частях планеты, существует очень незначительное
вовлечение местного академического сообщества в дискуссию и анализ развития.
Сотрудники НПО не имеют ни опыта международных интервенций, ни открытости для
большего количества методов оказания им помощи по адаптированию идей к местному
контексту. Незначительное количество мероприятий НПО получило развитие от
начального процесса консультаций и анализа с вовлечением целевых групп. Вместо этого,
очень часто персонал НПО, вовлеченный в оказании услуг, представляет себя в качестве
сервис провайдеров для бенефициаров, они принимают решения по мероприятиям НПО в
соответствии со своим собственным пониманием потребностей. В целом, незначительное
количество НПО в состоянии четко осмыслить свою деятельность, незначительное
количество НПО имеют связи с другими местными сервис провайдерами или
демонстрируют знания извлеченных уроков и хорошей практики. Незначительное
количество НПО определили цели или индикаторы для оценки прогресса и воздействия.
Ограниченный доступ персонала НПО к информации, связанной с развитием и
ограниченность навыков, в совокупности с проблемами финансирования донорами
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
вызвали развитие зависимого сектора НПО. Обучение, связанное с развитием, зависящее
от финансирования доноров, не оставило места для НПО в оспаривании политики и
подходов. Преобладание «низкокачественного» финансирования доноров, т.е. низкого
уровня, краткосрочного и специализированного по проектам, означает весьма
ограниченное существование большей части НПО и ограниченные возможности для
организационного развития. С другой стороны, высокие уровни финансирования
приводят к высокой обусловленности. Практически без всякой альтернативы для
собственной устойчивости, НПО приговорены «соответствовать требованию», которое, по
их мнению, ожидают доноры.
В дополнение, очень трудно для местных организаций поддержки НПО эффективно
реагировать на растущую потребность в обучении, связанного с развитием. Между тем,
как обучение тренеров основам образования НПО является сравнительно простым,
пооддержка обучения, связанного с развитием аналогичным способом имеет очень
ограниченное значение. Совместная Быстрая Оценка (PRAs) и «организационное
развитие» например, стали наиболее модными, однако, упакованные в качестве
инструментов в руках неопытных тренеров они просто отдаляются от своей
концептуальной основы, ценности и значения.
Донорское сообщество несет ответственность за формирование профиля и деятельности
НПО, поддерживая и финансируя организации западного стиля. Совсем недавно доноры
признали и начали стремиться больше привлекать местные и коренные общественные
организации, как например, организации общинного типа, которые произошли или
заменили предыдущие государственные кооперативные структуры.
Центральная Азия продолжает представлять огромную незнакомую среду для западных
агенств. Все организации (коммерческие, государственные и негосударственные)
проходят процесс знакомства, чтобы лучше понять, каким образом работать там более
эффективнее.
Молодая женщина из нового НПО развития в Узбекистане однажды описала
авторам, каким образом огромные изменения, происходящие внутри страны,
влияют на их жизнь: «До 1991 года, когда отключали электричество, мы
зажигали свечи и ждали, пока Москва не исправит ситуацию. Начиная с 1991
года, иностранцы, приехавшие в нашу страну, ожидают от нас не только
исправления ситуации, но и руководства процессом».
1.4 История ИНТРАК в Центральной Азии
Вовлечение ИНТРАК в эту быстро развивающююся и очень неустойчивую среду в
Центральной Азии началось в 1994 году с приглашения от организации UNV/UNDP
(Добровольцы ООН/ПРООН) для разработки программы сокращения бедности на базе
организаций общинного типа в Кыргызстане. Пока внешние агентства полагали, что
местные НПО будут оказывать услуги вместо развалившихся государственных структур,
стало сразу очевидным отсутствие известных (в западном понимании) структур НПО, с
которыми можно работать. С 1994 по 1997 год ИНТРАК фокусировался на усилении
организационного потенциала НПО и организаций поддержки НПО в Кыргызстане и
Казахстане. Большая часть этих НПО были образованы с помощью финансирования от
ЮСАИД через консорциум американских НПО, который назывался Каунтерпарт
Консорциум (КК). Одна из партнерских НПО организации ИНТРАК описала
взаимоотношения с ИНТРАК и КК следующим образом: «КК можно сравнить со школой,
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
которая обучает нас, как стать НПО. ИНТРАК является университетом, обучающим нас,
каким образом руководить и развивать наши НПО».
В период начального этапа работы в Центральной Азии происходил огромный процесс
обучения внутри местных НПО и ИНТРАК – как в развитии понимания региона, так и в
работе внутри посткоммунистической переходной среде. Сектор НПО был настолько
новым и неразвитым, что не было необходимости для комплексной системы мониторинга
и оценки. Все мероприятия были такими новыми и отличительными от всех ранее
предлагаемых мероприятий, что было очень легко обнаружить происшедшие изменения.
ИНТРАК смог задокументировать эти изменения и опубликовать результаты работы в
своих публикациях.
К концу 1996 года выяснилось, что «сами организации, занятые построением потенциала,
могут повлиять на ограниченное развитие сектора НПО, если окружающая его среда
останется бедной»1. Учитывая это, с 1997 года, ИНТРАК расширил свой фокус на
институциональное развитие сектора в целом – стараясь охватить всю окружающую
среду, в которой функционировал сектор НПО, и в то же время продолжая оказывать
поддержку НПО в построении их потенциала и организациям поддержки НПО. В этот
период ИНТРАК принял определение построения потенциала в качестве «процесса
адаптации к изменению и внутреннего самоутверждения, которая дает организации не
только ресурсы для решения возникающих проблем, но и желание продолжать работать»
(Eade, 1997)2.
Для того, чтобы проводить широкомасштабную работу ИНТРАК назначил Менеджера
Программы с офисом в Оксфорде и Менеджера по стране с офисом в Бишкеке. Новая
программа предполагала работу на многих уровнях – общины, местные органы власти,
НПО, организации поддержки НПО и коалиционные организации, доноры и в меньшей
степени центральные органы власти – балансируя продолжение развития роли и
потенциала НПО путем развития позитивной благоприятной обстановки для деятельности
НПО. Работа фокусировалась в Кыргызстане и Казахстане, но привлекала и поощряла
участие организаций и индивидуальных сотрудников НПО из Узбекистана, Туркменистана
и Таджикистана. ИНТРАК осознавал, что оказание помощи в построении потенциала
только для НПО не может быть эффективным, если среда, в которой они работают, не
будет способствовать их росту.
Становилось все более очевидным, что работая на таких многих уровнях очень важным
становится мониторинг прогресса интервенций. Сектор в целом не был знаком с
системами мониторинга и оценки, и ИНТРАК, как и многие другие международные НПО,
был озабочен вопросом, каким образом он собирается регистрировать прогресс в
результате интервенций, чтобы удовлетворить трех различных доноров.
ИНТРАК теперь уже был готов перейти в комплексную фазу своей деятельности в
регионе. Извлеченные уроки в предыдущих двух фазах четко обозначили ИНТРАК
необходимость расширения своей деятельности в более широком географическом
масштабе, чтобы максимально увеличить критическую массу, необходимую для оказания
изменений внутри гражданского общества.
В 2002 году ИНТРАК при тесном сотрудничестве с DFID разработал более масштабную
фазу трех годичную программу, направленную на усиление гражданского общества во
1
2
Пратт,Гудхэнд (1996). «Подготовка ИНТРАК к Центральной Азии», внутренний документ ИНТРАК.
Eade, D (1997) Построение Потенциала, Подход к Развитию Людей (Руководящие принципы
Оксфам по Развитию)
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
всех пяти республиках Центральной Азии, работая более интенсивнее в Узбекистане,
Таджикистане и Туркменистане по сравнению с предыдущими фазами. ИНТРАК открыл
офисы в Кыргызстане, Казахстане и Узбекистане с наймом, как иностранных, так и
местных сотрудников.
В предыдущих фазах ИНТРАК, как и многие другие международные НПО, предварительно
разработал свою логическую рамку до согласования финансирования. На начальном
этапе этой фазы ИНТРАК затратил большую часть времени на переговоры с DFID о том,
что согласованная логическая рамка, разработанная в качестве предложения, будет
промежуточной версией, которая будет написана повторно в течение первого года
совместно с ключевыми действующими лицами в регионе, как часть процесса обучения
партнеров. Как исключение, DFID согласился с этим процессом и финансировал
программу, в которой не были прописаны ее окончательные цели до завершения первого
года. Одним из самых крупных мероприятий программы было использование программы в
качестве модели, по которой партнеры смогут развивать свои навыки по совместному
мониторингу и оценке.
На этапе разработки системы МиО ИНТРАК работал совместно с местными партнерами
НПО, которым он оказывал поддержку в построении потенциала в предыдущие годы, с
местными сотрудниками DFID, представителями местной власти и несколькими
заинтересованными международными НПО, чтобы получить внешнюю оценку. Следующий
раздел раскрывает вопросы и извлеченные уроки из процесса, осуществленного ИНТРАК.
Раздел 2
2.1 Проблемы в проведении совместного мониторинга и
оценки
В течение прошедших двух декад применение метода участия к развитию считалось
неотъемлемой частью при решении следующих вопросов:
• принадлежность
• устойчивость
• усиленный фокус на последствия и процессы
• акцент на понимание и оценку воздействия интервенций развития
Другие очень важные возникающие вопросы включают следующее:
• переход от проектного к программному подходу
• применение подхода, преследующего интересы бедного населения
• развитие сильного гражданского общества/третьего сектора
Каждый из этих вопросов имеет свои определенные трудности для решения. Мы очень
часто сталкивались с ними и системы МиО старались их преодолеть при сжатых сроках и
ограниченных ресурсах для решения фундаментальных вопросов и оказания поддержки
сотрудникам. Даже если системы МиО пересматриваются, они очень часто слишком
сложные и очень быстро становятся непригодными, как только первоначальный энтузиазм
и стимул заменяются «требованием сделать работу».
В связи с тем, что участие ключевых заинтересованных лиц было очень важным, все
более остро возрастала необходимость последовательности процессов развития и
мероприятий, включая мониторинг и оценку.3
3
Роше. (1999) Оценка Воздействия для Агентств по Развитию, стр.22-3
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Участие должно было стать составной частью мониторинга и оценки, а не только просто
мероприятием развития.
Этот эффект почувствовали на себе разработчики и исполнители программ развития,
которых буквально завалили требованиями включить метод участия в мониторинг и
оценку в свою работу, мало понимая, что означает применение метода участия и каким
образом оно должно быть логически связано с мониторингом и оценкой. Очень часто это
отражалось на понимании различных действующих лиц, что означает для них участие и
мониторинг и оценка в пределах их программы. Системы назывались совместными, когда
в действительности участие было ограничено предоставлением или сбором информации
по форме и в сферах, установленных наиболее влиятельным заинтересованным лицом
(очень часто донором). Одним из его эффектов по работе с развитием гражданского
общества стало то, что местные ОГО почувствовали, что их поощряют работать методом
участия, но на самом деле им необходимо уделять особое внимание более сильным
действующим лицам для удовлетворения своих потребностей по мониторингу и оценке
засчет средств местных ОГО. Проблема заключалась в том, что очень часто слово
«участие» не определялось или не понималось так, каким образом оно должно
применяться на практике.
Дискуссия по пониманию и применению метода участия в практике является частью
более масштабного вопроса в контексте и фокуса развития, перехода от традиционного
подхода, направленного на оказание услуг к построению потенциала местных
действующих лиц, групп гражданского общества и организаций. Важным аспектом этого
изменения является переход от проектного или фокусированного вида деятельности на
другой вид, основанный на понимании и оценке основных вопросов, результатов и
воздействия процессов развития.
С точки зрения подходов к мониторингу и оценке, понимание и объединение этих
изменений в мышление и практику было очень затруднительным, так как они
представляют собой полную смену парадигмы от традиционных подходов и пониманий.
Проблема в радикальном изменении мышления и практики при развитии систем и
подходов для более широкой группы заинтересованных лиц, которые распространяют
информацию для подотчетности и обучения, оказала влияние на системы, которые
слишком сложные и невозможные к применению на практике, или слишком простые,
дающие неправильную информацию.
2.2 Проблемы для оценщиков
Ключевые моменты, которые необходимо отметить, это проблема внедрения совместной
оценки в практику, особенно с разными заинтересованными лицами, которые очень часто
имеют различные взаимоотношения власти и повестку дня. Очень часто лидирующее
агентство продвигает процесс или это поручается какой-либо внешней команде (очень
часто финальный отчет составляется одним «экспертом»).4
Однако, произвести изменение очень затруднительно. Хью Гойдер5, описывая работу
организации Action Aid по разработке оценки воздействия методом участия, отметил, что:
4
Проблемы по развитию метода более активного участия задокументированы, например, в статье
Джерри Адамса «НПО и Оценка Воздействия», Policy Briefing Paper No 3, ИНТРАК 2001 год, и
статья, которая исследует вовлечение ключевых заинтересованных лиц в крупномасштабной
оценке Irish Aid’s MAPS (Informed 13, INTRAC, 2005)
5
Хью Гойдер (1998) “Совместная Оценка Воздействия: Опыт организации ACTION AID», в
«Результатах и Воздействии, ИНТРАК
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
• Путь, который позволил бы применение сравнительно ограниченного количества
методов с участием, одолел работников развития, и возникла необходимость более
глубокого обдумывания (рассуждения) при выборе конкретных методов по сбору
информации. Необходимо больше размышления (и исследования) для определения,
какие инструменты больше всего подходят для понимания воздействия от различных
интервенций.
• С этим связано предположение о том, что должно быть использовано огромное
количество методов участия и большой ошибкой считается использование только
одного комплекта методов. Результаты данного исследования показывают
необходимость быть более критичным и избирательным при подборе методов.6
• Важность диалога и участия между сотрудниками НПО и бенефициарами особенно при
выборе индикаторов. С этим связан вопрос о том, что полевые работники и
бенефициары очень часто имеют ценные мнения о ситуации, а также опыт прежней
работы, который слишком часто игнорируется или не признается.
Некритичное предположение о том, что методы участия (и время, которое они занимают)
наделяют их полномочиями, плохо обосновывается. Люди, вовлеченные в процесс
обсуждения своей ситуации, а также сбор и анализ этой информации требуют определить
реальные изменения в своих собственных ситуациях. Процесс должен быть настолько
осмысленным и полезным для них, как и информация, которую они собирают.
2.3 Проблемы для мониторинга программ
Менеджеров программ очень часто просят разработать системы мониторинга, которые
отслеживают достижение цели и задач их программ. Это естественно напрямую приводит
к нескольким проблемам.
Первая (и обычно неотъемлемая) проблема, которая стоит перед менеджерами,
заключается в процессе планирования. Дается очень мало времени для выявления очень
сложных целей социального развития, которые заинтересованные лица надеются решить
в рамках проекта или программы, или установления логической связи между проблемой и
заявлением о цели, задачах и мероприятиях. В течение короткого времени менеджеры
сами разрабатывают возможные задачи, часто с ограниченной поддержкой со стороны
других заинтересованных лиц. Даже если есть участие более широкой группы
заинтересованных лиц, это может быть пассивным и ограниченным лишь
информированием их о задачах, без предоставления возможности для реальных
комментариев и полезного вклада.
Вторым распространенным примером для менеджеров по развитию является то, что они
назначаются руководить проектом или программой только тогда, когда уже получено
финансирование и разработаны рамки программы и установлены цели – и снова без
какой-либо возможности для их участия или вклада и малой вероятности для интеграции
метода участия в мониторинге.
Этот недостаток пространства для ключевых заинтересованных лиц программы, которые
будут вовлечены в развитие фундаментального логического обоснования или гипотезы
программы затем переходит через разработку методов для оценки и измерения прогресса
– обычно через индикаторы, основанных на логической рамке, которая очень часто
завершается списком совершенных мероприятий или вкладов. Это приводит к тому, что
6
Эта точка зрения содержит работу, проведенную другими лицами, которые считают, что несмотря
на бесспорную простоту, методы участия требуют применения больше навыков, чем традиционные
количественные методы. «Изучение примера Коммиссии по Развитию Католичества, Зимбабве» в
Марсден, Оклей и Пратт (1994), Измеряя Процесс, ИНТРАК
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
результаты и воздействие измеряются «экспертами», которые не имеют каких-либо
имущественных интересов в успехе проекта, кроме отчетности вышестоящим менеджерам
или даже донорам.
В результате чего, на начальном этапе важное участие ключевых заинтересованных лиц
во многих программах ограничивается. Любые методы участия, применяемые в качестве
части программы, могут быть осуществлены только при установлении концепции, которая
не имеет или имеет ограниченное участие.
В более крупных организациях задача по разработке систем мониторинга и оценки очень
часто возлагается на специализированную группу МиО. Основной причиной этого может
обычно быть то, что МиО рассматривается в качестве деятельности, которую могут
осуществить только эксперты МиО, а не проектировщики программы или исполнители.
Мониторинг не рассматривается в качестве неотъемлемой части управления проектом или
проектным процессом. Это особенно уместно, если группа МиО в головном офисе
устанавливает систему МиО для страновых программ и проектов, и местные менеджеры
должны достигать заранее выбранные цели и результаты.
Хорошо сконструированные системы мониторинга и оценки могут внести вклад в
достижение целей. Аналогично плохо сконструированная система мониторинга и оценки
может негативно повлиять на достижение целей. В сложных программах социального
развития очень часто не существует концепции о роли и причины применения метода
участия и наделения полномочиями в мониторинге, которая включает людей,
классифицируемых в качестве «бенефициариев».
Раздел 3
3. Подход ИНТРАК к совместному проведению МиО в
Центральной Азии.
3.1 Последовательность метода
Предложенный подход ИНТРАК по развитию системы совместного мониторинга и оценки
методом участия (PME) для Программы в Центральной Азии заключался в разработке
системы, которая будет последовательной в своем подходе и методологии с целью и
задачами программы. Это рассматривалось как фундаментальным и соответствующим
мышлению о методах участия в развитии. В дополнение это было очень важно для
Программы в Центральной Азии, в связи с ее фокусом на наращивании потенциала ОГО.
Казалось очень важным решить общую проблему систем МиО, которые разрабатывались
отдельно от программ и не были связаны с ними. В связи с последовательностью метода
мы полагали также, что мы сможем решить проблемы принадлежности системы МиО,
процессов и результатов к различным заинтересованным лицам.
3.2 Моделирование
Продолжая сказанное, казалось очень важным, что принятый подход и процесс, и
использованные методы для разработки и управления системой МиО будут служить в
качестве модели для заинтересованных лиц ИНТРАК и партнеров в регионе. По этой
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
причине мы считали моделлирование системы совместного МиО для программы по
наращиванию потенциала особенно необходимой и полезной для партнеров.7
3.3 Принадлежность
Принадлежность системы МиО, процессов и продуктов считалась ключевым элементом,
связанного с необходимостью последовательности подхода. Если ключевые
заинтересованные лица оценили цель и результаты проекта, тогда важным элементом
этого (а также индикатором) будет ценность принадлежности самого процесса оценки
прогресса в отношении достижения целей программы и вклад для внесения поправок и
изменений в случае необходимости.
Для решения вопросов принадлежности заинтересованные лица будут вовлечены в
каждый этап процесса. В этом отношении ИНТРАК заложил очень важный фундамент
доверия и знаний в регионе в период с 1994 по 2000 год. Многие партнеры, которых
предполагалось вовлечь в эту программу, внесли огромный вклад в разработку
проектного предложения. Это также отразилось в логической рамке проекта, так как
результаты и индикаторы должны были разрабатываться в качестве составной части
программного процесса во время консультаций с партнерами. Это казалось очень важным
фундаментальным моментом, направленным на решение общего критического обзора
систем МиО и логических рамок, которые навязывались извне.
3.4 Повторяющийся процесс
Для вовлечения ключевых заинтересованных лиц, и чтобы процесс имел смысл,
считалось очень важным наличие возможности критически рассматривать процесс и
предлагать поправки или изменения. В действительности концептуальная структура
рассматривалась, как что-то, что можно было бы отредактировать, а не сделать
неподвижным. Для того чтобы это случилось, были созданы формальные и неформальные
возможности для обратной связи и обзоры во время программных мероприятий, рабочих
семинаров и формальных интервью.
Примеры вовлечения ключевых заинтересованных лиц включают разработку и
детализацию целей и индикаторов, а также пересмотр индикаторов и структуру
инструментов в конце первого года.
3.5. Полезность для заинтересованных лиц
Системы МиО очень часть воспринимаются, как предназначенные для обеспечения
информацией донора, не принося пользу тем, кто вовлечен в процесс сбора информации.
Существуют даже критические замечание о предполагаемых методах участия, основной
функцией которых является сбор информации для доноров с небольшой пользой или
отсутствием пользы для предполагаемых бенефициариев программы.
ИНТРАК понимал, что вовлечение в процесс по разработке данной системы МиО
потребует огромное время у различных представителей, и что многие выгоды будут
считаться долгосрочными или больше напрямую приносить пользу ИНТРАК. Для решения
этой проблемы одной из задач стало обучение и наставничество с целью, что это окажет
помощь вовлеченным партнерам и в их работе и отчетности своим собственным
7
Касательно моделлирования существует вопрос напряженности между обучением и отчетностью,
который будет рассмотрен позднее.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
заинтересованным лицам и донорам. Стало очень важным, чтобы ИНТРАК предоставил
сильный обучающий компонент.
3.6. Скрупулезность и качество системы
Первой целью по предоставлению поддержки в обучении и наставничестве было
признание того, что разработка системы МиО, которая больше фокусировалась на
результатах программы, а не на ее деятельности, и которая согласовалась с подходом
участия, требует обучающую программу поддержки, сопутствуемая непрерывным
наставничеством. Обучение и наставничество считалось очень важным для перехода
концепции и практики МиО от простого проектного понимания в другое значение, т.е.
пониманию комплексных целей программы.
3.7. Выбор подхода с участием
На начальном этапе программы было запланировано проведение серии рабочих
семинаров, чтобы ключевые заинтересованные лица (партнеры и представители доноров)
имели возможность комментировать и дальше уточнять цели программы, а также
участвовавать в развитии фундаментальных элементов проектной системы мониторинга и
оценки до начала многих мероприятий. Участие должно быть скорее строительным
фундаментом подхода к совместному МиО, чем просто риторикой. Это рассматривалось,
как важный начальный момент в процессе. Мы характеризовали активное участие
заинтересованных лиц в качестве принадлежности и наделения полномочий, используя
следующую структуру участия:
Процесс участия
Пассивное участие
Ø
Растующее
вовлечение
Ø
Активное участие
Ø
Принадлежность/
наделение
полномочиями
Заинтересованные лица просто отвечают на запросы по
информации и не имеют никакой другой роли в
совместном МиО
Заинтересованные лица добровольно предоставляют
информацию и выражают интерес к тому, каким образом
она используется
Заинтересованные лица вовлечены в принятие решений,
какую информацию следует собирать, какие методы
использовать и анализировать данные
Заинтересованные лица играют ключевую роль при
выборе критериев и индикаторов для оценки прогресса
проекта и требуют от сотрудников отчетности по
реализации проекта
Проблема заключалась в том, что участие было инклюзивным процессом, который не
ограничивает доминантных заинтересованных лиц, имеющих более высокие голоса и
больше власти (реальной или предполагаемой). Внезапно возникли несколько вопросов:
•
•
Всегда ли оправдано или правильно, чтобы все заинтересованные лица участвовали с
одинаковой степенью на протяжении всей программы?
Существует ли опасность превращения участия во всепоглощающий процесс, и
повлиять на результат работы и, следовательно, нарушить и разрушить ценности и
потенциал, которые были заложены для поддержки и развития?
ИНТРАК признавал, что эффект разработки системы совместного МиО будет таким, что он
также способен выделить потенциальные различия в программе, которые необходимо
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
ликвидировать. Поэтому, считалось очень важным, чтобы системы совместного МиО
описывали воздействие на всех ключевых заинтересованных лиц и сторон для
обеспечения равного распределения пользы, и проект не внес вклад в неравенство
между разными организациями – например, когда НПО из столичного города принимают
участие в каждом рабочем семинаре, а региональные НПО исключаются.
Причиной этой формы метода участия было активное вовлечение ключевых
заинтересованных лиц в процесс и поощрение их чувства принадлежности к
мониторингу и оценке программы в течение трех лет. Желание получения выгоды от
применения данного подхода заключалось в том, что он будет моделировать процесс
включения наращивания потенциала и принадлежности (и в плане обеспечения
устойчивости) в самую сущность программного процесса. Дополнительной
запланированной пользой было то, что разработка и реализация процесса мониторинга и
оценки предоставит необходимый и «живой» пример, по которому можно строить
будущие семинары по МиО для НПО и местных организаций поддержки в регионе.
Участие ключевых заинтересованных лиц в процессе, их вовлечение в обучение и
обеспечение поддержки наставничества считались взаимосвязанными и важными в
поддержке и поощрении участников, чтобы они начали продвигать процесс, идеи и
подходы и применять их в своих собственных ситуациях.
Применение подхода с участием занимало очень много времени и требовало вклада и
поддержки от ИНТРАК. Вклад ИНТРАК включал работу авторов данного документа,
которые проводили рабочие семинары во время своих 3-4 визитов в год для оказания
помощи в разработке системы. Они руководили обучающими курсами по МиО и тесно
работали с региональными сотрудниками ИНТРАК, расположенными в Кыргызской
Республике и Узбекистане, оказывая наставническую помощь в процессе работы.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
3.8 Процесс
Структура плана работы была следующей:
Срок
Июнь
Июль-сентябрь
Год 1
Октябрьдекабрь
Январь-март
Апрель-июнь
Мероприятия
Начало программы
Фаза 1: Вводные рабочие семинары по
ознакомлению с работой по МиО, окончательное
формулирование задач и разработка
индикаторов – предусмотрены 3-4 рабочих
семинара.
Заключительные рабочие семинары по задачам и
индикаторам с основной командой ключевых
заинтересованных лиц с совместным
составлением списка индикаторов.
Фаза 2: Начальные рабочие семинары по выбору
и применению различных инструментов для
сбора данных с использованием концепции
триангуляции.
Продолжение рабочих семинаров по выбору
инструментов и концепции триангуляции и
подходы к сбору и описанию качественной
информации.
Начало полевых работ.
Фаза 3: завершение полевых работ, описание,
обсуждение и обзор, чему мы научились.
Ввведение информации в программное
обеспечение в качестве средства для обмена и
анализа с различных точек зрения.
Написание отчета за первый год работы.
Разработка руководства по совместному МиО для
ИНТРАК в Центральной Азии
Процесс во втором и третьем году включал процесс консолидации использования
инструментов по сбору информации, развитие навыков составления отчета и оказание
поддержки партнерам в разработке систем МиО в их собственных организациях.
3.8.1 Детальное описание подхода
Система мониторинга и оценки ИНТРАК была моделью системы мониторинга, которая в
процессе своей разработки могла быть использована различными заинтересованными
лицами для развития своих навыков и знаний в разработке системы совместного МиО.
Это было связано с продолжительной программой обучения по мониторингу и оценке.
Каждый этап разработки и реализации системы сопровождался рабочими семинарами для
развития навыков заинтересованных лиц. В рестроспективе это было особенно дерзким
шагом, так как неудачи ИНТРАК, а также успехи будут выставлены для своих партнеров.
ИНТРАК считал, что это соответствовало его собственному видению и цели Программы в
Центральной Азии.
Разработка системы МиО была разделена на следующие различные фазы:
3.9 Фаза первая:
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
3.9.1 Определение результатов и индикаторов
Причина в затрате времени на разработку задач и индикаторов для Программы в
Центральной Азии заключалась в решении вопросов принадлежности ключевых
заинтересованных лиц – организаций поддержки НПО, с которыми мы работали в разных
республиках. Мы смогли это сделать потому, что DFID (наш главный донор по программе)
согласился, что логическая рамка, разработанная для программы, не будет иметь
утвержденный набор индикаторов, обычно разрабатываемый до согласования
финансирования. А также цели программы были обсуждены с ключевыми
заинтересованными лицами, как составной части процесса развития программы.
Первый этап разработки системы мониторинга и оценки заключался в разработке задач и
индикаторов на основе трех рабочих семинаров с представителями из местных
организаций поддержки, НПО, доноров, международных организаций, представителей
местных органов власти и сотрудников ИНТРАК из пяти республик Центральной Азии.
Рабочие семинары были направлены на:
•
•
•
достижение соглашения по масштабным целям работы ИНТРАК в Центральной Азии
разработку комплекса ключевых вопросов, которые будут использованы в качестве
структуры для оценки результатов и воздействия по отношению к масштабным
целям программы
создание комплекса индикаторов, которые могут быть использованы на многих
уровнях в качестве средств по мониторингу прогресса программы
Предварительно установленной целью программы было «Развитие вибрирующего,
эффективного и независимого гражданского общества в Центральной Азии»
Ее намерение было сформулировано как «Потенциал, независимость и эффективность
целевых НПО, ООТ и организациий поддержки значительно укрепились»
Цель и намерение, согласованные с DFID, были разработаны партнерами ИНТРАК до
финансирования третьего этапа программы. DFID согласился, что результаты, индикаторы
и мероприятия программы будут разработаны после получения финансирования в
процессе участия, в которое будет вовлечен и DFID.
3.9.2 Разработка результатов
Шесть предварительных результатов поддерживали цель и намерение, которые
подлежали уточнению во время первого этапа. Другой основной деятельностью в течение
первых шести месяцев программы было определение всех индикаторов для
окончательных результатов. Эта работа затем станет базисом для разработки системы
МиО. Для того чтобы участники получали также помощь в построении потенциала во
время этого процесса, сотрудники ИНТРАК провели семинар по МиО и оказали
наставническую помощь.
В июле 2002 года был организован первый рабочий семинар. После краткой вводной
части, участники рабочего семинара были разделены на три группы для обсуждения
шести масштабных результатов, которые были разработаны в предыдущий финансовый
период. Ключевыми сферами обсуждения были – насколько партнеры чувствуют, что
шесть результатов репрезентативны для того, чтобы оценить деятельность ИНТРАК в
регионе.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Группам было предложено обсудить каждый из предварительных результатов для оценки
их соответствия на начальном этапе программы, внести свои комментарии и, в случае
необходимости, уточнить их, чтобы решить свои потребности в наращивании потенциала.
Затем эти три группы встретились, чтобы обсудить заново сформулированные результаты.
Предварительно предложенные результаты:
• Усиление организационного потенциала и независимости существующих и новых
партнерских организаций поддержки НПО и коалиций НПО
• Повысить знания, навыки и критическое мышление, связанное с развитием среди
организаций поддержки НПО и персонала поддержки НПО
• Развивать связи и оказывать помощь организациям общинного типа
• Содействовать развитию эффективных рабочих взаимоотношений между НПО,
местными органами власти и группами бенефициариев в отобранных целевых
регионах.
• Значительно улучшить коммуникации между НПО и донорским сообществом
• Разработать программы по конкретным республикам, которые оказывают влияние на
благоприятную обстановку и отношение центрального правительства (добавлено
представителями DFID, которые присутствовали на рабочем семинаре в качестве
ключевых заинтересованных лиц)
Обсуждение результатов тремя группами было сконцентрировано на нескольких
вопросах. Одна группа считала необходимость «обеспечения вовлечение сектора
НПО/ООТ из Туркменистана и Таджикистана не только «при появлении возможности».
Было также и беспокойство о том, что необходимо провести базовое исследование,
чтобы оценить прогресс на каком-либо этапе в будущем. Группы также придавали
важное значение развитию потенциала местных НПО по работе с ООТ и разработке
альтернативных методов по подбору новых партнерских организаций.
Шесть пересмотренных результатов программы были сформулированы следующим
образом:
1.
2.
3.
4.
5.
6.
Организационный потенциал, независимость и эффективность существующих и
новых партнерских организаций поддержки НПО и коалиций НПО значительно
усилились.
Знания, навыки и критическое мышление, связанное с развитием, повысились среди
организаций поддержки НПО и сотрудников (в отношении вопросов, включая
совместное развитие, роль гражданского общества, сокращение бедности и гендер)
Стратегии по работе с ООТ разработаны и реализованы
Эффективные рабочие взаимоотношения между НПО, местными органами власти и
группами бенефициариев улучшились в выбранных целевых районах
Коммуникация и понимание между НПО и донорским сообществом значительно
улучшились
Программа мероприятий регулярно анализировалась и редактировалась с учетом
полученных знаний и возможностей, и изменившейся политической обстановкой
Согласованные результаты были вставлены в простую рамочную конструкцию, которая
отражала логическую рамку, но она имела только первую разработанную колонку.
3.9.3 Разработка индикаторов
Хотя мы все знакомы с индикаторами, в действительности кажется очень трудно
разработать один подходящий для потребностей интервенции. Очень часто индикаторы
не кажутся соответствующими тому, чего мы в действительности желаем достигнуть. В
дополнение они зачастую ориентированы на законченные мероприятия, которые не
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
подходят, если мы стараемся понять эффект проекта или программы. Самым важным
принципом при разработке индикаторов является обеспечение их действительной связи с
иерархией целей – общее воздействие, последствия, результаты и мероприятия
программы. В качестве первого шага при определении индикаторов для системы МиО, мы
использовали процесс, разработанный Питером Оуклей с использованием ключевых
вопросов в качестве средства разработки необходимых индикаторов. Ответы на эти
ключевые вопросы затем будут сформулированы в качестве индикаторов, которые дадут
информацию о прогрессе, совершенного в связи с достижением общих целей на
различных уровнях усилия, эффекта и изменения.
Был предложен ключевой вопрос для участников «Какое изменение по сравнению с
нынешней ситуацией вы планируете увидеть, если результаты осуществлены или
достигнуты?».
Участники работали в малых группах и изучали, что означают результаты, и во время
процесса отвечали на этот ключевой вопрос. Фасилитаторы помогали участникам
сфокусировать свое мышление путем добавления следующих дополнительных вопросов:
Усилие – какие интервенции были начаты для изменения ситуации?
Эффект – каким образом были использованы и восприняты эти интервенции целевыми
группами?
Изменения – какое имеется подтверждение, что ситуация изменилась?
Количество ключевых вопросов и соответствующих индикаторов были строго ограничены,
чтобы система была управляемой. При разработке системы мониторинга количество
индикаторов должно сокращаться при переходе от уровня оценки усилия к уровню оценки
эффекта и далее к уровню изменений. Этот же принцип применяется в разработке
ключевых вопросов. В этом случае участников попросили разработать один или два
ключевых вопроса для каждого результата.
Как только определяются ключевые вопросы, следующий этап – это подумать о том,
какие индикаторы могут быть подходящими для обзора, чтобы ответить на эти вопросы.
Мы не стремились найти объективно измеряемые индикаторы, чем знаки, которые дают
некоторое подтверждение о том, что мы двигаемся в сторону достижения результатов.
Как было упомянуто ранее, важным фактором при разработке индикаторов было
стремление использовать и сократить их до минимума, и таким образом противостоять
желанию разработать систему, которая будет собирать информацию обо всем.
Комментарий Рика Дэйвиса о слишком сложной системе сбора информации служит
прекрасным напоминанием их эффекта:
«Удел» многих систем МиО, который скользит по ступеням, начиная от:
«излишнего внимания» на детали при их разработке
к сдержанному отношению при накоплении информации
к наименьшему интересу в их применении и
и наконец к «минимальному» интересу к ним в качестве инструментов для
оценки8
8
Дэйвис (1995 год) «Эволюционный Подход к Фасилитации Организационного Обучения», в
«Результаты и Воздействие», Оклей, Пратт и Клэйтон, ИНТРАК 1998 год
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Пример ключевых вопросов и индикаторов, разработанных во время этих рабочих
семинаров приведены далее – просим учесть, что первоначально было слишком много
индикаторов и нижеследующий список является «исходным продуктом» от первого
рабочего семинара
Пересмотренные результаты и предварительные ключевые вопросы и
индикаторы
Результаты
Результат 1
Усиление
организационного
потенциала и
независимости
существующих и
новых партнерских
организаций
поддержки и
коалиций НПО
Ключевые
вопросы
Индикаторы
Имеют ли коалиции,
объединения и сети
легитимность среди
ОГО и правительства и
имеют ли они значение
в секторе?
•
•
•
•
•
•
•
•
Количество членов
Степень активного участия членов
Уровень сознательного участия
Кол-во заявок; кол-во мероприятий;
качество и количество информационных
пособий
Поток информации
Кол-во зарегистрированных коалиций
Кол-во инициатив в коалициях
(региональных, национальных, местных)
Кол-во незарегистрированных, но
активных коалиций
Являются ли услуги,
предоставляемые
местными НПО,
высокого качества и
востребованными?
•
•
•
•
Кол-во заявок и степень
удовлетворенности
Кол-во решенных вопросов
Признание клиентами
Имидж организации
Какие
организационные
способности и навыки
были усилены?
•
•
•
•
•
Ценности организации
Структура
Система работы
Управление
Уровни прозрачности и отчетности
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Результат 2
Повысить знания,
навыки и критическое
мышление, связанное
с развитием среди
организаций
поддержки НПО и
персонала поддержки
Какое имеется
подтверждение того,
что повышенные
знания, навыки и
критическое
мышление, связанные
с развитием приносит
пользу организациям
поддержки и ОГО?
Отражает ли
содержание
созданного материала
по развитию
потребности в
продвижении
гражданского
общества?
•
•
•
•
•
•
•
Кол-во программ, семинаров и визитов,
отвечающих следующим требованиям:
учет международного опыта,
адаптированный местными экспертами;
результаты местных исследований
(мнения местного сообщества)
Повышенное участие
НПО, ООТ инициировали больше
программ по местным проблемам
Более активное участие государства,
бизнеса и средств массовой
информации в проектных программах
Повысилась осведомленность населения
в вопросах развития
Кол-во НПО и ООТ с
усовершенствованными навыками и
ставшими более устойчивыми
Армия местных экспертов
3.10 Фаза вторая
3.10.1 Разработка инструментов и методов сбора
В феврале 2003 года была проведена обзорная встреча с сотрудниками ИНТРАК для
уточнения индикаторов и создания базы для разработки новой системы МиО. Во время
этой встречи были проведены обсуждения, какие конкретные инструменты будут
необходимы для сбора данных и заключение первоначального соглашения о местах сбора
данных. Общая система будет исходить от этого с течением времени. Было достигнуто
соглашение о том, что наступило время для интеграции индикаторов, разработанных для
шести результатов программы в план мониторинга, которые впоследствии будут
использованы для сбора данных и сформируют основание для ежегодного отчета по
результатам.
Этот процесс обзора повторился со всеми ключевыми заинтересованными сторонами для
того, чтобы продолжить процесс обеспечения принадлежности, вовлечения и критики
всеми вовлеченными лицами. Вовлечение сотрудников НПО и организаций поддержки в
процесс разработки системы был связан с проведением рабочих семинаров по МиО
(фокусированный на отчетности), встречей с референтной группой НПО и встречей с
региональной командой ИНТРАК, чтобы различные заинтересованные стороны смогли
согласовать и повторно проверить структуру индикаторов, инструменты и места сбора
информации. Эта фаза была очень важной, так как она была связана с концепцией
триангуляции инструментов, источников данных и перспектив.
Метод триангуляции был использован для разработки инструментов и места сбора
данных, так как он считается средством решения вопросов надежности и точности,
исключая отклонения, если любой метод заменяется другим. Это не означает, что разные
методы выбираются наугад и комплектуются вместе, скорее всего они выбираются таким
образом, чтобы уравновешивать угрозу искажения данных в каждом методе. Ключ
заключается в систематическом применении качественных методов. Триангуляция может
быть применена с помощью использования комплекса методов, инструментов и
перспектив, например, работа в командах и использование разнообразных источников
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
данных. Ее цель заключается в предоставлении приемлемой степени объективности для
субъективных взглядов.
Так как Программа ИНТРАК в Центральной Азии в первую очередь была заинтересована в
качественных изменениях, поэтому было очень важно сначала использовать
качественный метод. Основными инструментами, которые участники решили
воспользоваться, были обсуждения в фокус группах, встречи с ключевыми информантами,
анализ вторичной информации и наблюдение. В дополнение, было достигнуто
соглашение об использовании некоторых анкет – осознавая, что им потребуется
внимательность при их разработке и применения.9 Кроме того, инструменты сбора
качественной информации требуют навыков, чтобы правильно и эффективно их
использовать. Ключевой вопрос, который нужно было решить, заключался в следующем:
«Предоставляют ли они достаточно надежные и достоверные данные количества и
качества?». Можно было использовать другие инструменты, как картирование и
ранжирование, если только они соответствуют вышеуказанным условиям и не будут
использованы в экстрактивном виде. Индикаторы выхода, запланированные инструменты
сбора данных и места сбора информации теперь были внесены в традиционной формат
логической рамки.
9
Анкеты были разработаны и впоследствии отменены, так как они имели очень низкий уровень
реакции, несмотря на многочисленные старания получить информацию.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Институциональное Развитие Гражданского Общества в Центральной Азии
ЛОГИЧЕСКАЯ РАМКА
Описание
Результаты
Индикатор, измеряющий задачи
Средства измерения
1. Организационный
потенциал, независимость и
эффективность существующих
и новых партнерских
организаций поддержки НПО
и коалиций НПО значительно
усилены
2. Знания, навыки и
критическое мышление,
связанные с развитием,
(относящиеся к проблемам,
включающих совместное
развитие, роль гражданского
общества, сокращение
бедности и гендер) среди ОП
НПО и персоналом поддержки
НПО улучшены
3. Стратегии для работы с
ООТ разработаны и
реализованы
•
Полу-структурированные интервью с ОПНПО
в Кыргызстане, Узбекистане и Казахстане –
инд.1 и 2
Обсуждения за круглым столом с
НПО/организациями поддержки НПО в
Кыргызстане – инд.1 и 2
Анализ вторичных данных – инд. 2
Анкета для выпускников – индикаторы 1 и 2
•
•
•
1.
2.
3.
4.
Повышенная устойчивость организаций
поддержки НПО и коалиций НПО –
измеряемая с финансовой и
организационной точки зрения
Повышенное количество услуг и
разнообразие мероприятий НПО и
количество членов коалиций НПО
Количество выпускников обучающих
мероприятий/семинаров ИНТРАК, которые
проявили способность к оказанию
аналогичных услуг своим целевым группам
через 6 месяцев после завершения обучения
Количество выпускников мероприятий
ИНТРАК, которые развивают свои
исследования и готовят материалы,
соответствующие поднятым вопросам, через
шесть месяцев после завершения обучения
Глубокий анализ работы с ООТ завершен и
результаты обсуждены с заинтересованными
лицами в Центральной Азии
Партнеры ИНТРАК лучше разрабатывают
программы поддержки ООТ на основе
участия и результатов глубокого анализа,
предоставленного ИНТРАК
Региональные семинары, проведенные для
обмена опытом по стратегиям ООТ, включая
их распространение в другие государства ЦА
Увеличено количество НПО/организаций
поддержки НПО, участвующих в программах
Анализ вторичных данных – индикатор 2
Включение анализа результатов из обучения
по исследованию (ASTP).
Анализ отчетов - индикаторы 1-5
Документирование программы
Отчеты по оценке семинаров
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Предположения/риск
Политическая ситуация
позволяет НПО
разрабатывать гендерные
стратегии.
ООТ желают и могут
работать с ИНТРАК
4. Эффективные рабочие
взаимоотношения между НПО,
местными органами власти и
группами бенефициариев
развиты в избранных целевых
регионах
5. Контакты и
взаимопонимание между НПО
и донорским сообществом
значительно улучшены
6. Программы работы
регулярно пересматриваются
и корректируются для учета
появившихся знаний и
возможностей и меняющейся
политической ситуации
ИНТРАК по поддержке ООТ
5. Участие представителей ООТ на семинарах
организаций поддержки НПО/НПО, и т.д
1. Повышение количества фасилитированных
ИНТРАКом дискуссий между НПО,
организациями поддержки НПО и местными
органами власти с предоставлением
возможности для рефлексии и дискуссий
2. Повышение количества совместных
проектов, начатых между НПО и местными
органами власти
1. Улучшение контактов и взаимопонимания в
вопросах, связанных с политикой доноров в
регионе (которые более чувствительны к
потребностям гражданского общества)
2. Растущее использование донорами местных
экспертов и материалов, предоставляемых
партнерами ИНТРАК
3. Количество материалов и мероприятий
проведенных по наращиванию потенциала,
которые помогают анализу эффективного
взаимоотношения донора-гражданского
общества
1. Регулярный обзор и корректировка для учета
появившихся знаний и возможностей и
изменение политической ситуации.
2. Предоставление эффективной поддержки
НПО, ОГО и коалициям, способствуя
законодательным изменениям и работе в
улучшенной обстановке гражданского
общества.
Отчеты – индикаторы 1 и 2
Полу-структурированные интервью
(неформальные) с донорами в Кыргызстане –
индикаторы 1 и 2
Обсуждения в фокус группах – индикаторы 1
и2
Анализ вторичных данных – индикатор 3
Публикация материалов исследования
Отчеты – индикатор 1. Потребность в
обеспечении обзора. Включить анализ
политической ситуации в пяти странах с
вкладом от менеджера по стране Регулярно
проводить обновление
Обсуждения за круглым столом – индикатор 2
Полу-структурированные интервью –
индикатор 2
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Группы бенефициариев
стремятся доверять ООТ/НПО.
Государственные чиновники
утверждают, что хотят
работать с местными
ООТ/НПО. Государство
разрешает независимым
ООТ/НПО играть
конструктивную роль в
процессе Комплексного
Развития (CDF).
НПО не превращаются в
анти-государственный сектор
НПО/ООТ утверждают, что
способны и желают излагать
свои потребности донорским
организациям
Доноры стремятся
продолжить работу с ИНТРАК
3.11 Обработка и хранение информации
Обработка и хранение информации является важной частью системы МиО, так как после
сбора информации, она должна быть легко доступна для анализа и составления отчетов.
Для фасилитации процесса исследователям была предложена следующая схема
структуры, которую они могли адаптировать к своим основным мониторинговым
форматам. При использовании каждого инструмента или средства мониторинга
регистрировалась следующая информация:
• Инструмент – Какой метод был использован для сбора информации?
Источник – Кто предоставил информацию? – фамилия дающего интервью, вид
интервью, количество человек в группе, и т.д.
Дата – Когда был использован инструмент? - дата и количество дней, если
использованы в течение периода (например, возможно еженедельный дневник был
использован в период с 1/5/02 по 30/6/02)
Соответствующие индикаторы – По каким индикаторам была собрана информация?
• Результаты – Для каждого соответствующего индикатора, что показывает процесс
мониторинга об индикаторе? Убедитесь, что вы включаете отрицательные результаты
или результаты без изменений, а также положительные результаты в индикаторах.
Прочие наблюдения – Любые другие наблюдения или результаты, которые показывают
некоторые признаки прогресса в достижении целей, но которые не включены в список
индикаторов.
В дополнение, чтобы помочь в составлении цепи доказательств и сделать проще
перекрестную ссылку, каждый отчет должен указывать, где была собрана информация и
должна содержать уникальную ссылку, которая поможет произвести перекрестную
ссылку по этой части данных на каждом этапе. Соответствующий формат для уникальной
ссылки может быть следующим:
Страна/год/номер результата и ссылка на партнера, например, Кыргызстан/год
1/результат 2/SCCA
Система регистрации была организована следующим образом:
ИНТРАК МиО ⇒
ИНТРАК Детали Программы
ИНТРАК Год 1 Анализ и Краткий отчет
ИНТРАК Год 1 – Краткий отчет по странам, Анализ и Детали –
Кырг, Тадж, Туркм, Узб, Каз⇒
После проведения рабочего семинара в феврале 2003 года рабочая группа ИНТРАК
приступила к сбору информации, как индивидуально, так и совместно с партнерами. Два
месяца было выделено на эту фазу, так как мы надеялись, что потом у нас будет большой
обзор данных с партнерами в сентябре. Процесс сбора данных занял больше времени,
чем было запланировано, так как нужно было включить это в плотный рабочий график
региональной команды ИНТРАК.
В период между августом и концом сентября данные, полученные в результате различных
интервью, полу-структурированных интервью и фокус группах, были отправлены Джерри
Адамс для внесения их в стандартную форму отчетности. Это было сделано с помощью
программного обеспечения (QualDM – профессиональный пакет для управления
качественной информацией). Процесс был очень длительным, потому что несколько
индивидуальных отчетов были объединены, и для классификации информации
потребовалось время (в соответствии с их темой и происхождением).
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Использование программного обеспечения по качественной информации было
разработано для предоставления возможности по анализу и использованию информации
и обеспечению постоянного доступа для различных заинтересованных лиц. Это было
предложено для того, чтобы попытаться решить проблему систем мониторинга и оценки
блокирующих информацию таким образом, что она бывает не доступной или в формате,
который не может быть использован различными заинтересованными сторонами. Процесс
продолжался, но он не занял большую часть системы, так как работа в основном
фокусировалась на разработке и моделировании МиО методом участия, а не на
краткосрочном сборе и анализе данных. Использование программного обеспечения тоже
оказалось проблемой, так как Джерри Адамса, который разработал программное
обеспечение, вводил все данные. Это означает, что у других заинтересованных лиц не
было никакого чувства соучастия в процессе.
В конце этапа по сбору и анализу информации мы использовали возможность провести
обзор того, чего мы достигли в течение года и достигаем ли мы своих целей.
Были составлены проекты отчетов, в которых была использована представленная
информация и составлены краткие обзоры по каждой стране (в данном случае
Кыргызстан, Казахстан и Узбекистан). Отчеты по этим странам впоследствии были
обсуждены с региональной рабочей группой ИНТРАК и представителями партнеров. Эти
встречи были направлены на обсуждение следующих вопросов:
• Содержание кратких обзоров или анализов; насколько они отражали основные
документы?
• Надежность информации; дает ли она подлинную картину ситуации в каждой
стране?
• Адекватность инструментов и запланированных мест сбора информации; слишком
ли много или слишком ли мало собрано информации? Каким образом можно было
бы улучшить инструменты и процесс сбора информации?
На основе этой рефлексии, а также уточнения методологии – инструменты и места сбора
информации, поступило предложение по оказанию большей поддержки в процессе
выбора и применения различных инструментов – как на практике использовать
концепцию триангуляции. Несколько рабочих семинаров, посвященных этому аспекту,
были разработаны в конце 2002 года и в начале 2003 года. Поступили также
предложения по оказанию помощи в обобщении информации и составлении отчетов.
Важным обучающим моментом стал процесс работы через операционализацию системы
МиО, которую следовало развивать более медленно, чем мы ожидали и возможно это не
понравилось бы донорам, но путем замедления и тратой времени на заинтересованные
лица, и решая их затруднения, нам удалось заново обрести их заинтересованность.
Это было бесценным в повышении качества собранной информации.
Участники получали более глубокое понимание вопросов и проблем, возникающих при
разработке системы мониторинга и оценки. Это должно было рассматриваться в качестве
повседневной части любого проекта или программы, которая может помочь людям,
выполняющих работу, чтобы осуществлять ее более эффективно.
3.11.1
QualDM
Попытка использовать программное обеспечение
Существует очень много вопросов, которые нужно учитывать при использовании
программного обеспечения и особенно во время применения их к процессу совместного
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
МиО. В особенности важно уделять достаточно времени на разработку системы МиО
совместно с ключевыми заинтересованными сторонами.
Введение
Много исследований и отчетов по оценке подчеркнули проблемы по сбору информации и
анализу. Это стало особенно очевидным в программах, направленных на социальное
развитие и необходимости в более качественной информации на уровне последствий и
воздействия – что на самом деле произошло, и какие произошли изменения в отношении
того, что сделали люди.
Всем известно, что это очень сложная проблема, состоящая из
нескольких аспектов:
•
•
•
•
Качественная информация более объемная, состоящая из длинных отчетов и
записей встреч, по сравнению с количественной информацией, которая может
представлять результаты в сжатой форме, как например, набор цифр
Качественная информация требует больше времени для анализа. Процесс требует,
чтобы люди тратили время на глубокое осмысление данных, анализ и выделение
ключевых моментов
Качественная информация может быть в различных формах – включая записи,
звуковые записи, чертежи и фотографии
Задачи программ социального развития могут быть очень сложными, особенно,
если они применяются в различных регионах и странах, а также с различными
уровнями результатов, последствий и воздействия
Использование программного обеспечения явилось средством решения этих проблем
путем обеспечения средств сбора информации по форме, которая поможет облегчить
проведение анализа на различных уровнях, средством составления отчетов и доступа
для заинтересованных лиц, чтобы можно было исследовать набор данных для себя и
учиться на них. Программное обеспечение помогает пользователям стркутрировать свои
главные задачи и индикаторы в форме дерева. Затем информация может быть собрана,
обобщена и проанализирована. Важной особенностью программы стал потенциал для
структрирования отчетов в зависимости от потребностей использователей. В данном
случае собранная информация должна была считаться скорее всего «живой и полезной»,
чем зафиксированной и недоступной.
Использованное программное обеспечение решило некоторые проблемы по оценке
сложных задач в много-уровневой программе, реализуемой одновременно в нескольких
странах. В дополнение для оказания помощи в организации такого большого проекта,
программное обеспечение было способно интегрировать различные виды информации и
данные, и следовательно, позволило бы использовать различные иснтрументы
исследования. Последнее не только повысило достоверность результатов, но также и
потенциал для отражения «уровня и разнообразия организаций, опыта работы и
рассуждений, сделанных в этой многообразной программе».10
Что произошло
Хотя решение об использовании программного обеспечения было принято на раннем
этапе программы, его фактическое применение было отложено, в связи с высокой
загруженностью Джерри Адамса, и тем самым привело к замедлению процесса разработки
системы совместного МиО. Было принято несколько решений, которые оказали важное
влияние на процесс:
1. Хотя программное обеспечение было представлено заинтересованным лицам и они
могли увидеть его применение, не было выделено время для того, чтобы
10
Комментарий от Чарли Бакстона, Менеджер Программы ИНТРАК в Центральной Азии
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
поработать с ними относительно использования данного программного
обеспечения. Это в первую очередь было связано с отсутствием времени, и любое
свободное время в первую очередь использовалось для завершения методологии,
чтобы можно было приступать к процессу сбора данных.
2. На этом этапе программы – в мае 2002 года – внимание было сосредоточено на
завершении методологии – какие инструменты использовать, места сбора данных и
планирование, кто будет вовлечен в процесс. В связи с тем, что шесть-семь
месяцев были потеряны, мы постарались выиграть некоторое время путем
проведения процесса сбора данных в период с июня по август (несмотря на то, что
несколько человек будут в отпуске)
3. В связи с такой ограниченностью во времени Джерри Адамс предложил, что если
собранные данные переведут на английский язык и отправят ему, он сможет
ввести их в программное обеспечение. Ограничение, с которым мы вынуждены
были смириться, то что программное обеспечение может быть использовано
только на английском языке. Была возможность для использования русской версии
программы, но она не могла быть разработана без затраты времени на обучение и
поддержку – которого практически не было.
В результате этих решений, когда данные были собраны и проанализированы, несмотря
на их богатство и полезность, мы потеряли участие и принадлежность ключевых
участников и заинтересованных сторон. Почти неосознанно и, по-видимому, по понятной
причине мы отошли от них, как центральных в процессе, превратив их в пассивных
игроков, которые будут исполнять наши просьбы.
Это было даже важнее, потому что мы старались повторно завоевать доверие людей и
вовлечь в процесс. Наше стремление «сократить время» на самом деле сделало обратное
и повело нас в совершенно другую сторону! Нашим ответом было решение отказаться от
использования программного обеспечения на настоящий момент и фокусироваться на
построении потенциала заинтересованных сторон путем разработки, использования и
моделирования системы МиО путем оказания регулярной поддержки, проведением
рабочих семинаров и наставничества.
Извлеченные уроки.
Извлеченные уроки из этого опыта подняли вопрос «кто заинтересован в более
подробном и богатом отчете МиО?». Следующие критерии могут быть использованы во
время выбора, какую систему отчетов лучше использовать – программное оебспечение
или бумажную систему:
- вопрос времени
- принадлежность/соучастие
- презентация информации
- вовлечение партнеров и ключевых заинтересованных лиц
- доступность системы
- навыки в применении системы
Применение программного обеспечения не было эффективным, потому что влияло на
задержку и потерю принадлежности/соучастие процесса
3.12 Обзор процесса развития МиО
Процесс разработки системы МиО с полным участием партнеров был очень сложным, и
зачастую было трудно сбалансировать приоритеты. Особенно трудно было избежать
ловушки по внешней разработке и управлению системой (т.е. сотрудниками
ИНТРАК, чтобы быстрее завершить работы). В связи с тем, что мы перешли в следующий
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
этап, ответственность по владению и управлению процессом была переложена на
партнеров ИНТРАК в Центральной Азии. Было очень важным оценить, какая поддержка
уместна и необходима, и когда и каким образом она может быть оказана.
Было очевидно, что принятие этого метода по разработке и управлению системой дает
некоторые важные уроки и направления для будущего МиО. Путем фокусирования на
мероприятия по наращиванию потенциала и правовых подходов, уроки, извлеченные от
этой работы, возможно, внесут вклад в более глубокое понимание, каким орбразом могут
быть разработы системы МиО, которые имеют методологии со следующими
характеристиками:
•
•
•
•
•
необходимая точность, чтобы данные были достоверными и надежными
данные должны быть полезными для всех заинтересованных лиц – поэтому решали
вопросы доступности
для систем МиО, чтобы были сбалансированы в отношении сроков, необходимых
для управления ими, а не обузой для тех, кто их использует
предоставление своевременной информации (в нужное время для принятия
решений)
для участия различных заинтересованных лиц (с рабочим определением по
различным видам участия)
В конце 1-го года были согласованы следующие заключения и произведены необходимые
поправки программы, чтобы они не возникали в последующих два года.
•
Ограниченное участие. Участие ключевых партнеров в процессе не было
отслежено во время процесса сбора данных. Частично это произошло в связи с утерей
импульса из-за отсрочки по разработке структуры индикаторов, а также, что
наиболее важно, из-за отсутствия четких ролей для партнеров. Очень важно, что их
участие определяется путем разработки и использования четких ролей и
обязанностей. С этим связана необходимость уточнения важности цели участия для
партнеров и польза для них.
•
Выбор и использование инструментов. Использование анкет необходимо
пересмотреть. Все инструменты следует проанализировать и любые структуры полуструктурированных интервью или анкет необходимо разработать и протестировать
перед их использованием в процессе сбора данных. В дополнение была
необходимость в проведении обучения в отношении выбора и использования
различных инструментов.
•
Классификация данных. Была необходимость создания согласованной системы для
сохранения данных (компьютерная классификация), которая может быть
использована всеми, а не только разработчиком программного обеспечения.
•
Поддерживающая документация. Необходимостью для всех участников было
наличие четкого понимания процесса и различных элементов – ИНТРАК согласился
разработать инструкцию, которая будет переведена на русский язык.
•
Становление рабочей группы. Все участники на собрании хотели принимать
участие, так как они видели явную пользу для своих организаций. Вопросы
определения, кто войдет в рабочую группу, какие будут у них обязанности и важность
их роли в качестве ресурсных лиц и распространителей в своих организациях,
считались ключевыми для поддержания их активного участия.
•
Сеть поддержки для группы. Для оказания поддержки во время процесса сбора
данных, рабочая группа предложила провести одну или две встречи в каждой стране
для обсуждения промежуточных результатов и вопросов, связанных со сбором данных
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
и использованием различных инструментов. Этот метод поможет устранить пробелы в
информации на этапе процесса обзора.
•
Встроенное расспространение информации и обратная связь. На основании
вышеуказанной точки зрения считалось очень важным, чтобы члены рабочей группы
обменивались уроками, полученными о процессе (не данными) по отношению к своим
собственным организациям, чтобы наращивать потенциал процессов МиО своих
организаций.
•
Язык. Было очень трудно для партнеров полностью принять участие в процессе
обзора отчетов, так как они были написаны на английском языке и не были
переведены на русский язык. Это предстояло решить во 2-ой и 3-ий год.
Поэтому работа была проанализирована, чтобы учесть потребности партнеров.
3.13
Извлеченные уроки.
Программа ИНТРАК «Институциональное Развитие Гражданского Общества в Центральной
Азии» столкнулась со многими проблемами, связанными с разработкой системы
совместного МиО в течение трех лет. Были проведены серии рабочих семинаров, встреч,
тренингов и практических упражнений по сбору данных, во время которых партнеры и
сотрудники ИНТРАК из Центральной Азии и Оксфорда разработали и использовали
систему мониторинга. Последствия включают серию задач, индикаторы и заключения,
которые не только измеряли ход работы, но и предоставили адекватную информацию для
всех заинтересованных лиц, которых необходимо было вовлечь в эволюционное развитие
программы.
Несмотря на удовлетворенность финальными результатами работы, очень важно
поделиться некоторыми извлеченными уроками и некоторыми слабыми сторонами
процесса, которые могут помочь другим практикам, начинающим разработку процесса
совместного МиО.
Выводы для выбора метода участия
В ретроспективе было очевидно, что принадлежность и импульс, которые были заметны
на начальном этапе программы, со временем подверглись риску. Критический взгляд на
структуру участия, которую мы использовали, предполагал, что мы перешли от
«принадлежности и наделения полномочиями» к «усилению вовлечения» и даже в
некоторой степени «пассивному участию». Это подчеркивало высокую стоимость
индивидуального двигателя при выборе метода участия, и трудность такого метода
заключается не только в достижении желаемого уровня участия, но также и в его
управлении, который занимает огромное время на начальных этапах.
Сущность процесса, требующего больших затрат времени
В тоже время он поднял вопрос о поддержке такого трудоемкого процесса, когда у нас не
был полностью укомплектован персонал в регионе. Это легло очень тяжелым бременем
на нескольких сотрудников ИНТРАК из Оксфорда, и создало трудности для них, так как
они были загружены и другими задачами.
Это заняло значительную часть времени и усилий для организации встреч с
заинтересованными лицами в пяти разных странах. Уже в конце 1-го года стало
очевидным, что некоторые заинтересованные лица не смогут участвовать в полном
объеме и проект возможно будет сфокусирован на меньшем количестве партнеров в трех
странах (Кыргызстан, Казахстан и Узбекистан).
Различия между тремя странами
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
В дополнение было очевидно, что существуют различия между тремя странами в попытке
реализации процесса, и что негативным эффектом стремления сократить потерянное
время явилось то, что персонал ИНТРАК не прислушивался к различным потребностям
разных заинтересованных лиц. Время, предназначенное для наставничества и поддержки,
сжималось.
ИНТРАК, подстраивающийся под доноров
Чтобы попытаться и сократить потерянное время по разработке индикаторов и плана
мониторинга, меньше времени было выделено для сбора первого комплекта полевых
данных. Региональный состав ИНТРАК оказался в центре процесса по сбору данных и,
после краткого объяснения, было установлено программное обеспечение, чтобы можно
было сделать его подборку и анализ, с работой, проделанной на расстоянии Джерри
Адамсом, чтобы доработать отчеты для DFID. Совещание руководителей в регионе спустя
девять месяцев 1-го года, которое проанализировало процесс, отметило, что произошел
критический переход от выбора метода участия в разработке системы МиО к
использованию заинтересованных лиц в качестве собирателей данных. Польза процесса
касательно наставничества и наращивания потенциала их навыков была утеряна, и
требовался радикальный пересмотр подхода. При рефлексии мы непреднамеренно попали
в ловушку полагая, что предоставление отчетов внешнему донору является более важным
вопросом, чем процесс для участников. Ключевым извлеченным уроком было то, что при
выборе метода моделирования другие крайне важные вопросы, как отчетность должны
быть учтены и разработаны с учетом, как они повлияют на метод, т.е. персонал был
больше озабочен завершением процесса для донора, чем обеспечением метода полного
участия.
Отчетность и обучение
Системы совместного МиО не могут придать одинаковый приоритет отчетности и
обучению. Каждый из них требует четкого определения и согласования с ясным
осознанием этого всеми ключевыми заинтересованными лицами.
Для того, чтобы справляться с проблемами, которые периодически возникают,
необходимо повторно моделировать программу, чтобы поставить участие
заинтересованных лиц и моделирование системы МиО в качестве центральной цели. В
конце первого года процесса сбора данных были проведены серии обзорных встреч.
Поддержка была оказана двум главным командам заинтересованных лиц, которая
состояла из представителей Кыргызстана и Казахстана в одной команде и Узбекистана и
Туркменистана во второй группе.
Институциональная память
Метод совместного МиО к программе придал силу институциональной памяти ИНТРАК в
Центральной Азии. ИНТРАК присутствовал в регионе в течение многих лет до трех-летней
программы, и тем не менее, работа была проделана в тесном сотрудничестве с
партнерами, которые помогали контролировать и оценивать их работу, которая поистину
предоставила команде ИНТРАК правильное представление о слабых и сильных сторонах
наших партнеров и некоторые из них были партнерами ИНТРАК в начале его первого
появления в 1994 года.
3.14 Заключение
ИНТРАК накопил огромный опыт из программы в Центральной Азии, особенно от
эксперимента использования программы в качестве модели для развития обучения по
мониторингу и оценке. Мы совершили много ошибок и попадали в ловушки, в которые
попадают многие загруженные менеджеры проектов. Тем не менее, это стало
обогащением опыта как для персонала ИНТРАК, так и для наших партнеров; наш опыт
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
работы четко описан в данном документе. В Приложении 1 содержится понимание об
опыте партнеров. Он составляет подробный отчет о процессе, написанный участниками
из Узбекистана и описывает то, чему они научились.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Приложение 1
Основной обзор, проведенный в конце 1-го года подчеркнул необходимость для ИНТРАК
передать процесс мониторинга и оценки, включая документацию в руки партнерских
организаций. Это было сделано с одной группой из каждой страны: Узбекистана,
Таджикистана, Туркменистана и Кыргызстана (с небольшим участием из Казахстана).
Для того, чтобы читатель смог проследить процесс до конца программы, команда МиО из
Узбекистана составила следующие записи, документируя каким образом проходил
процесс и какие уроки они получили во время процесса.
Документирование процесса группой МиО из Узбекистана
Заключительный раздел подчеркивает возможные обязательства, где моделирование
процесса и обучение считаются ключевыми движущими силами. Нижеследующие
выдержки взяты из заключительного отчета, который естественно был составлен при
поддержке ИНТРАК, чтобы программа не сбивалась с пути. Отчет и последующий отчет о
процессе были завершены и переведены. Следующие заметки дают читателю чувство об
обратной связи партнеров по процессу участия, в который они были вовлечены.
Создание рабочих групп по МиО.
Работа в Узбекистане началась с задачи объединения небольшого количества участников,
которые будут заинтересованы в процессе и посвятят себя процессу. Для достижения
этой цели целый ряд потенциально заинтересованных партнеров были приглашены на
обучающий семинар, направленный на улучшение их навыков и знаний при выборе и
использовании различных инструментов для сбора данных. Это было основано на
предложении по данному вкладу в обзоре, проведенном конце года. В конце рабочего
семинара был объяснен процесс разработки системы совместного МиО, чтобы они смогли
оценить пользу и затраты – в первую очередь касательно времени, которое им
необходимо вложить в процесс. Участникам предложили подумать, хотят ли они
участвовать в таком процессе.
Кретериями для отбора участников были следующие:
• желание участвовать в процессе
• желание развивать свои базовые понятия и практические навыки по проведению
совместного МиО
• поддержка со стороны их организаций, чтобы дать возможность своим выбранным
сотрудникам участвовать во всех обучающих семинарах и рабочих встречах, а
также в процессе сбора информации и их анализе
Информация, собранная этими группами, будет использована в качестве основы для
мониторинга и оценки программы ИНТРАК в Узбекистане.
Целями предварительной оценки были следующие:
(a)
(b)
(c)
собрать информацию о деятельности программы ИНТРАК, и проанализировать в
какой степени она достигла запланированных результатов (выходов)
проанализировать роль, которую сыграли обучающие программы ИНТРАК в
трансформациях, происшедших в НПО и организациях поддержки НПО в период с
2001 по 2003 года
собирать данные и анализировать программу с учетом ОГО
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
(d)
(e)
оценить воздействие, которое программа оказала в отношениях между НПО и
государственными органами
на основе сбора данных и анализа разработать рекоммендации для ИНТРАК, каким
образом улучшить будущую программную деятельность с учетом запланированных
результатов.
Решение вопроса принадлежности/соучастия
На первом рабочем семинаре с группой по МиО встретились вместе новые выбранные
члены, они были ознакомлены с Техническим Заданием и логической рамкой программы
ИНТРАК и были поделены на команды. Географическая близость стала ключевым
критерием для создания команд, так как считалось очень важным, чтобы члены команды
могли общаться и обмениваться опытом без каких-либо дополнительных расходов.
Результаты, по которым каждой команде предстояло провести оценку, были
распределены по случайному выбору.
Первая команда – Ташкент – Термез
Вторая команда - Золотая долина
Третья команда – Шелковый путь
Четвертая команда – Хорезм – Нукус
Командам были распределены следующие результаты:
Ташкент – Термез
Результат 1. Организационный потенциал, независимость и эффективность существующих
и новых партнеров ННО, ОП и Коалиций ННО значительно усилены.
Результат 3. Стратегии для работы с общинными организациями (ОО) разработаны и
реализованы.
Золотая долина
Результат 2. Знания, навыки и критическое мышление, связанные с процессами развития
(относящиеся к проблемам, включающим развитие участия, роль гражданского общества,
искоренение бедности и гендер) среди организаций поддержки ННО и ОП ННО улучшены
Результат 3. Стратегии для работы с общинными организациями (ОО) разработаны и
реализованы.
Шелковый путь
Результат 2. Знания, навыки и критическое мышление, связанные с процессами развития
(относящиеся к проблемам, включающим развитие участия, роль гражданского общества,
искоренение бедности и гендер) среди организаций поддержки ННО и ОП ННО улучшены.
Результат 5. Контакты и взаимопонимание между ННО и сообществом доноров
значительно улучшены.
Хорезм – Нукус
Результат 1. Организационный потенциал, независимость и эффективность существующих
и новых партнеров ННО, ОП и Коалиций ННО значительно усилены.
Результат 5. Контакты и взаимопонимание между ННО и сообществом доноров
значительно улучшены.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
В дополнение члены рабочей группы произвели следующую подготовительную работу
для этапа анализа вторичных данных. Каждая команда: 11
(a)
(b)
(c)
(d)
сформулировала внутренние правила работы
назначила координатора для команд
проанализировала Техническое Задание
разработала план работы/действий, который определил все обязанности группы,
каким образом они будут распределены между членами команды, и сроки, когда они
будут выполнены.
(e) Проанализировала вторичную информацию, предоставленную ИНТРАКом.
Группам предложили также подумать о технологии и инструментах по сбору данных и
возможном формате для составления отчетов, по содержанию и процессу оценки проекта.
Пример структуры одной из команд приведен далее:
Команда «Шелковый путь»
Цель: Оценка эффективности программы ИНТРАК в Узбекистане в соответствии с
предыдущей деятельностью. Деятельность на настоящий момент. Результаты 2 и 5 (из
логической рамки).
Пользователи: ИНТРАК и клиентура
Применение оценки: Сбор информации, предоставление обратной связи для
проведения корректировки; участники повышают свои знания, навыки и опыт работы.
Сферы оценки:
• Вклады
• Извлеченные уроки
• Результаты
• Эффективность
• Приложенные усилия
• Изменения
• Воздействие (люди, организации, общество)
Участники: ключевые информанты
•
•
•
•
•
•
•
Участники тренинговой программы PRA
Участники других тренинговых программ
Участники конференций
Публикации, руководство с инструкциями
Члены рабочих групп
Доноры
Офисы/персонал ИНТРАК
Время проведения оценки: март-май 2003 года
11
Термин «рабочая группа», используемая здесь, относится ко всем членам, выбранных для
формирования (общей) группы, которая будет проводить оценку деятельности ИНТРАК в
Узбекистане. Темрин «команда» относится к под-группам, которые были созданы внутри рабочей
группы и отвечали за оценку конкретных результатов
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Ресурсы: Люди, коммуникации, полевое оборудование, партнеры, консультанты,
специалисты других организаций, средства на проживание и питание, гонорары для
привлеченных специалистов, канцелярские товары
Регион: Самарканд, Навои, Бухара и Ташкент
Критерии оценки:
• Наличие навыков по использованию инструментов
• Навыки коммуникаций
• Способность работать в команде
Содержание отчета о деятельности
• Титульный лист
• Вступительная часть – должна содержать: цели и задачи оценки, график
проведения, краткая информация об оценщиках, информация о технике и
инструментах оценки
• Исследование и анализ информации
• Заключения и рекоммендации
Второй раздел с информацией о процессе должен содержать следующее:
• Проблемы, с которыми столкнулась группа
• Достигнуты ли цели и задачи, что было сделано успешно? Что было ошибкой?
Почему?
• Извлеченные уроки
• Сотрудничество с членами команды
• Что помогло в работе
План работы
Шаги
Когда?
Где?
Сбор вторичной
информации
(записи, отчеты,
анкеты)
Составление анкет
(полуструктурирова
нные интервью,
структуризованные
интервью,
фокусные группы)
Корректировка
плана
Составление
расписания поездок
Оценка
До 1 марта,
2003
Офис
ИНТРАК в
Ташкенте
до 1 марта,
2003
Самарканд
4 марта,
2003
4 марта,
2003
С 1 апреля –
15 мая, 2003
Ташкент
Написание отчета
до 30 мая,
2003
Июль
Корректировка и
презентация отчета
Необходимые ресурсы
Члены
ИНТРАК
группы
Время
Время
Ташкент
Ташкент,
Самарканд,
Бухара,
Навои
Рабочие
офисы
Ташкент
Персональная
ответственность
Время,
труд
Организация
встречи
Организация
встречи
Финансовые
ресурсы для
поездок
Время
Рабочая группа в
соответствии с
графиком
Оценщики
Организация
встречи
Рабочая группа
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Второй этап: анализ вторичных данных
Во время второй встречи рабочей группы и ИНТРАК (март 2003 года) команды:
(a) отчитались о ходе их работы
(b) определили методы сбора данных, которые они будут использовать – это включало
обсуждение предположения, что команды будут использовать одинаковые методы
исследования, как например, полуструктурированные интервью и анализ вторичных
источников и координровать свою работу
(c) проанализировали и уточнили свои планы работы
(d) выбрали региона и ключевых информантов для сбора информации. Последние
состояли из НПО, которые участвовали в обучающих программах ИНТРАК, посещали
рабочие семинары и конференции, и персонал офиса ИНТРАК в Ташкенте
Пример командной работы: Отчет команды Ургенч-Нукус
Группа была сформирована по территориальному признаку. Два штатных сотрудника
были привлечены из соседних Центров Поддержки. Сергей Султанов и Умид Латыпов
были привлечены в командную работу после проведения рабочей встречи для разработки
плана работы в связи с огромным объемом работ в трех регионах Узбекистана. Выбор
этих людей был определен условиями оценки. В процессе отбора такие факторы, каск
мобильность, что означает возможность постоянного обмена информацией и знаниями, и
корректировка внутренней командной работы, а также их компетенция в сфере оценки
проекта были приняты во внимание. Во время сетевого тренинга (24 марта 2003 года,
Чарвак) группа обсуждала домашние правила, распределила обязанности, обсудила план
работы по оценке и инструменты оценки.
Во время встречи рабочей группы, команды презентовали свои отчеты по проделанной
работе. Тем не менее, поскольку у ИНТРАКа имелись некоторые трудности в получении
документов через электронную почту, некоторые команды не могли сделать анализ
документов. Было принято решение продлить подготовительный этап для разработки
инструментов и сбора информации.
Идея, появившаяся на первой встрече об объединение методов сбора данных среди
членов рабочей группы, результаты которых были аналогичными согласно ТЗ, была
обсуждена снова. Было принято решение утвердить одинаковые инструменты оценки –
полуструктурированные интервью и анализ документации. Тем не менее, было принято
решение самостоятельно разработать инструменты, чтобы можно было впоследствии
сравнить собранную дату.
Было принято решение, что координатор ИНТРАК будет отвечать за вопросы по
корректировке и координации поездок между командами рабочей группы. Тем не менее,
этап анализа документов и разработки инструментов был продлен, и поэтому было
решено обсудить этот вопрос на следующей встрече.
Во второй половине встречи у членов рабочей группы была возможность ознакомиться с
базовыми характеристиками общего количества образцов и принципами выбора
информантов. Информация была предоставлена Люси Эрл, консультантом ИНТРАК. Эта
информация была очень своевременной, так как группа была на стадии выбора регионов
и респондентов для проведения оценки.
Домашнее задание
Пересмотр Планов Работ
Анали Вториных данных
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Выбор регионов и ключевых информантов
Выбор Инструментов для Сбора Информации
Разработка Инструментов по Сбору Данных
Обсуждение вопросов, связанных со сбором данных, в группах
Третий этап: сбор и обработка информации
До этапа сбора информации, была организована третья встреча рабочей группы (май
2003 год). Группа обсудила следующие вопросы:
(a) отчет о ходе работ
(b) инструменты сбора данных – выбор методов полуструктурированных интервью и
анализа вторичных данных был подтвержден повторно
(c) выбранные регионы и ключевые информанты
(d) координация различных поездок команд
(e) форматы для обработки и анализа собранных данных – в основном они были
предоставлены штатными сотрудниками ИНТРАК, имеющих опыт в МиО
В дополнение сотрудники ИНТРАК, которые принимали участие во встречах, предложили
дополнительные параметры для команд, используемые для оценки обучающих программ
ИНТРАКа, как например, создание или укрепление партнерства с Государством, донорами,
НПО и организаций поддержки НПО.
Команды презентовали информацию о проделанной работе по анализу документов,
выбору регионов и ключевых информантов для проведения интервью лицом-к-лицу.
Снова состоялась дискуссия по выбору и использованию надлежащих инструментов по
сбору данных. Несомненно, это было важным вопросом. После этих дискуссий решили
использовать анализ вторичных данных и полуструктурированные интервью.
Рабочие группы решили не использовать инструмент обсуждение в фокус группах в связи
с проблемами, которые могут возникнуть при выборе участников, которые посетили
огромное количество мероприятий, проведенных в рамках программы. Было также
принято решение не использовать анкеты в связи с трудностью их координации и
времени, которое требуется для обработки информации. Некоторые команды представили
инструменты, которые они разработали для проведения полу-структурированных
интервью.
Во время обсуждения были уточнены ключевые регионы, НПО и организации поддержки
НПО для проведения оценки. Группы согласовали запланированные поездки между собой.
В конце встречи группы получили инструменты по сбору и анализу собранной
информации, которые были разработаны ИНТРАК. Была представлена также система
кодирования собранной информации.
После этой встречи группы получили задание собирать информацию, затем обработать и
проанализировать.
Четвертый этап: анализ информации и подготовка отчета
оценки
Четвертая встреча рабочей группы (июль 2003 года) фокусировалась на анализе
информации. В дополнение к решению вопросов и проблем, связанных с процессом сбора
данных, были обсуждены следующие моменты:
(a) общий ход работ
(b) анализ заполненных форм
(c) формат отчета оценки
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
(d) формат отчета о процессе и процедурах оценки
Пример командного вклада: «Золотая Долина»
Оценка проводилась путем выезда в Нукус и Ургенч и проведения полу
структурированного интервью с ключевыми информантами следующих организаций –
Центр Общественных Исследований, Союз защиты Арала и Амударьи, Нукусский Центр
Развития Гражданского Общества, Хорезмский Центр Гражданского Общества, Общество
«Аль хорезми Вамбери». Были проведены интервью отдельно с теми людьми, которые
принимали участие на мероприятиях Интрак, со штатными сотрудниками и клиентами
организации.
Члены команды «Золотая Долина» сделали отчёт по каждой организации отдельно,
основываясь на собранной информации во время оценки. После составления
индивидуальных отчётов по организациям, был составлен обобщенный отчёт.
Извлеченные уроки Узбекской группы
Сильными сторонами в командной работе при проведении мониторинга и оценки методом
учестия были следующие:
• навыки работы в команде
• координация действий
• обмен опытом и навыками между членами группы
• приобретение практического опыта в группе оценки
• возможность сохранения команды практически без изменений в ходе всего
процесса оценки
• групповое участие в программе
Несмотря на непредсказуемые проблемы группы смогли выполнить установленные
обязательства для проведения в первую очередь качественной оценки. Подтверждением
их стараний послужила демонстрация их желания уделить внимание на извлеченные
уроки и работать, чтобы преодолеть проблемы.
Были указаны слабые стороны в процессе оценки:
• значительная часть времени, требуемая для процесса
• необходимость постоянной координации основных и индивидуальных мероприятий
команд
• недостаток информации по некоторым компонентам оценки
• некоторые участники их первоначальной группы не смогли участвовать в процессе
оценки
Узбекская группа предложила следующие критерии для создания команды по оценке:
• необходимо, чтобы все участники понимали, что вовлечение в процесс совместной
оценки занимает значительную часть времени, который может привести к
сокращению количество людей в перевоначально назначенной группе и потерю
некоторых участников
• некоторых участников группы нужно было вовлекать в программу, например,
принимать участие в тренингах, рабочих встречах, конференциях, и т.д.
• участники групп должны иметь некоторый опыт в мониторинге и оценке проектов
и программ или иметь некоторые базовые навыки в исследовании.
• определение и соблюдение командных правил является очень важным
• участники группы должны быть представителями из разных географических
регионов, чтобы соблюдать объективность
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Разработка четко сформулированной и согласованной стратегии по сбору данных и
общего формата для отчетов считались очень важным, чтобы индивидуальную работу
команд можно было проанализировать и объединить вместе в одном отчете.
Рабочая группа отметила, что организация встречи для обсуждения индивидуальных
отчетов и объединение их в общий отчет является очень важным этапом в процессе.
Огромное количество времени было затрачено на проведение анализа вторичных данных
до начала процесса сбора данных. Сложилось впечатление, что группа в целом не имела
необходимых навыков по работе с документами. Они считали, что эту проблему следует
решить в будущем.
Навыки, необходимые для выбора и использования соответствующих инструментов для
сбора данных, требуют дальнейшей поддержки и развития, несмотря на знания,
обретенные группой на различных рабочих встречах. Этот процесс оценки впервые стал
для многих участников группы разработкой вопросов и форматов для различных
инструментов
Этап обработки информации, несмотря на его сложность, был хорошо проведен
благодаря специальным инструментам, предоставленных со стороны ИНТРАК. Это
помогло структурировать и анализировать собранную информацию без использования
сложного программного обеспечения для обработки качественной информации.
В заключение, анализ информации является финальной частью оценки. Этот раздел
требует определенных практических навыков при работе с собранной информацией,
кроме теоретических знаний, их систематизацию, обобщение и презентацию в форме
заключительного отчета. Проблемы на этом этапе были связаны с отсутствием
практического опыта у членов группы, но которые можно было преодолеть с помощью
более богатого полевого опыта.
Рабочая группа Узбекистана пришла к общему заключению о том, что участие в процессе
совместной оценки помогло им приобрести очень важные практические навыки. Они
почувствовали, что они теперь вооружены и мотивированы для проведения аналогичной
работы в своих собственных организациях.
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008
Дополнительные ресурсы
Материалы ИНТРАК по Центральной Азии
Документ Праксис № 15. Наращивание организационного потенциала в Центральной
Азии. Из опыта работы в Кыргызстане и Казахстане. Автор Лола Абдусалямова (2007 год)
Документ Праксис № 19. Лидерство при Переходном периоде: Развитие Лидеров
Гражданского Общества в Кыргызстане. Автор Чарльз Бакстон и Казбек Абралиев (2007
год)
Записки Праксис № 22. Наращивание организационного потенциала с помощью
Обучающей программы по развития аналитических анвыков в Центральной Азии. Автор
Миа Соргенфрей (2006 год)
Развитие Гражданского Общества в Центральной Азии. Авторы: Джанис Гиффен, Люси
Эрл и Чарльз Бакстон (2005 год)
OPS 42. Кто получает выгоду? Мониторинг и Оценка Программ Развития в Центральной
Азии. Автор Чарльз Бакстон (2004 год)
OPS 40. Развитие сообщества в Казахстане, Кыргызстане и Узбекистане. Автор Люси Эрл
(2004 год)
OPS 39. Развивая Гражданское Общество в Центральной Азии. Автор Анн Гарбутт и
Саймон Хиип (2003 год)
Сверху-вниз – или Снизу-вверх? Исследование об Участии Женщин в НПО
Кыргызстана. Автор: Мартина Хант (2000 год)
OPS 34.
OPS 33. Восхождение НПО-Бизнеса в Центральной Азии. Автор: Саймон Хиип, Гульмира
Жаманова, Эдиль Осморбетов, Сыргак Салморбеков, Дина Шукурова и Марат Тертенов
(2000 год)
Материалы по совместного мониторингу и оценке
Повторно размышляя о Мониторинге и Оценке: Проблемы и Перспективы в Изменение
Глобальной Среды Помощи. Автор: Эстер Мебрату, Брайан Пратт, Линда Лоннквист (2007
год)
Записки Праксис № 32. Обучение и Отчетность: Точка Зрения Консультанта по
Мониторингу и Оценке. Автор: Джерри Адамс (2007 год)
OPS 47. Картирование Рельефа: исследуя совместный мониторинг и оценку Римского
программирования в расширенном Европейском Союзе. Авторы: Зоса де Сас Кропивники и
Франк Диинс (2006 год).
Претворяя Политику в Практику: Совместный Мониторинг и Оценка в Эфиопии. Автор:
Эстер Мебрату (2004 год)
Творчество и Противоречие: Мониторинг и Оценка низовых
Международная Арена Помощи. Редактировано Люси Эрл (2004 год)
организации
и
OPS 36. Практическое Руководство для Мониторинга и Оценки Нарашивания Потенциала:
Из Опыта работы в Африке. Автор: Рик Джеймс (2001 год)
Документ Праксис № 21: Совместный Мониторинг и Оценка на Практике © INTRAC 2008