Assessment, monitoring, evaluation:

advertisement
ЧТО ВХОДИТ В ТЕХНИЧЕСКОЕ ЗАДАНИЕ (ТЗ)
Источник: UNICEF Evaluation Technical Notes, выпуск № 2 (Май 2002)
Техническое задание – это план или проект, в котором определены ключевые элементы: назначение,
объем, процесс, продукты и действия, а также при необходимости – управленческие и технические
моменты.
Разработка ТЗ – это принципиальный этап любой оценки. В самом узком понимании ТЗ – это основа
для заключения договора со сторонними консультантами. Если брать более широко, то поначалу ТЗ
должен служить инструментом для определения ожиданий, ролей и ответственности различных
заинтересованных сторон и для планирования работ в целом, включая последующее использование
результатов. Время и силы, затраченные на разработку хорошего ТЗ, сторицей окупаются с точки
зрения качества, нужности и полезности продукта.
Конечно, глубина и подробность проработки ТЗ может меняться. ТЗ для оценки, проводимой
сторонними оценщиками и при участии множества заинтересованных сторон, будет довольно
подробным. А для внутренней оценки конкретной работы или экстренного быстрого ассесмента оно
может быть достаточно кратким и простым.
Часто ТЗ разрабатывают в несколько этапов. В случае оценки программ
заинтересованные стороны сначала подробно обсуждают назначение и
вопросы оценки. Более проработанная версия ТЗ, которую используют
для найма сторонних консультантов, должна достаточно подробно
описывать существующие источники информации, состав команды
исполнителей и продукты, а вот описание методов и графика работ может
быть более общими. Когда команда оценщиков готова к работе, ТЗ опять
уточняют: внимательно изучают назначение и ключевые вопросы и
разрабатывают соответствующую методику.
Вы оцениваете ТЗ?
Тогда вам нужно
ответить на вопросы
на желтых плашках.
ТЗ имеют большое значение:
Для всех заинтересованных сторон

В ТЗ изложены согласованные ожидания относительно параметров и процесса работ и
определена роль каждой заинтересованной стороны.
Для команды исполнителей оценки и ассесмента


ТЗ гарантируют четкое понимание ожиданий. Они позволяют проверить, были ли достигнуты
цели.
Сторонним исполнителям может потребоваться дополнительная информация об общем
контексте и предполагаемых использовании и пользователях. Внутренним исполнителям может
быть нужно уточнить параметры задания.
Для менеджеров работ по мониторингу и оценке



Именно в ТЗ определяют стандарты исполнения (например, конкретные политики и стандарты).
С помощью ТЗ можно обеспечить использование лучших методов в процессе работ по
мониторингу и оценке (например, включить такой метод, как консультации с заинтересованными
сторонами).
ТЗ дают возможность контролировать качество (например, посредством представления и обзора
промежуточных результатов).
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
ТЗ – Техническое задание 1/6
ЧТО ВХОДИТ В ТЗ НА ПРОВЕДЕНИЕ ОЦЕНКИ ПРОГРАММЫ
Эти элементы могут также входить в ТЗ на проведение оценки проекта или отдельных действий:
Название

Определите, что нужно оценить. Используйте соответствующие
названия программ. Четко определите период времени, который
охватывает оценка.
Спросите себя:
Зачем проводить
оценку?
Почему сейчас?
Для кого?
Условия



Кратко опишите историю и современное состояние программы, в том числе цели, логику
построения программы или цепь ожидаемых результатов, продолжительность, бюджет, действия.
Опишите место оцениваемой программы в общей национальной программе организации, а также
параллельные или связанные местные национальные программы.
Назовите важные заинтересованные стороны, в том числе доноров, партнеров и агентства или
организации-исполнители.
Назначение оценки




Объясните, почему проводится оценка программы.
Опишите, каким образом будут использоваться процесс и результаты оценки, и что нового они
дадут.
Определите основных пользователей и целевые аудитории.
Определите, каким образом сроки и цели оценки связаны с конкретным мероприятием по
принятию решений (например, обзорным совещанием, консультацией, разработкой планов,
национальной конференцией) или развитием программы.
Объем и фокус






Можно говорить о «задачах» или вопросах оценки. Если используют и
Что оценивают?
то, и другое, то обычно для решения одной задачи нужно ответить на
несколько вопросов.
Перечислите основные вопросы, на которые должна ответить оценка.
Они должны быть связаны с назначением и точно сформулированы,
чтобы оценщикам было понятно, какая информация нужна, и какие
данные нужно собирать. Сгруппируйте вопросы и расставьте приоритеты. Вопросы должны быть
реалистичными, и на них должно быть возможно ответить.
Исходя из задач и объема оценки, определите ее критерии. В ходе оценки нужно использовать
стандартные критерии OECD/DAC (нужность, эффективность, результативность, устойчивость и
влияние), а также дополнительные критерии для оценки гуманитарных действий (охват,
координация, согласованность и защита). Нужно объяснить, почему одни критерии было решено
использовать, а от других – отказаться, и обсудить это с командой исполнителей. 1
При оценке программ, поддерживаемых ЮНИСЕФ, следует использовать еще два критерия:
соблюдение прав человека и управление по результатам.
Решите, нужно ли проводить анализ затрат на программу. Качественный анализ затрат помогает
управлять по результатам и повышает практическую пользу оценки. 2
Назовите основные политики и стандарты или реперы исполнения, в том числе международные
стандарты, которые нужно соблюдать при оценке программы.
Источники информации

Определите доступные источники необходимой информации, например, системы мониторинга и
результаты предыдущих оценок. Оцените их качество и надежность.
Более подробно эти критерии рассмотрены в разделе «Увязывание критериев оценки с вопросами
оценки»
1
2 Более подробно тема анализа затрат рассмотрена в части 2 модуля 6.
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
ТЗ – Техническое задание 2/6
Процесс и методы оценки




Как?
Опишите общий ход процесса оценки – последовательность основных
этапов.
Опишите общий подход оценки и методы сбора данных, с помощью
которых предлагается ответить на вопросы оценки. Первоначальное
общее описание можно далее конкретизировать совместно с командой исполнителей. В итоге
описание должно давать полный и объективный анализ. В окончательном варианте ТЗ должны
быть определены:
 Источники информации для сбора новых данных;
 Подходы к проведению выборки для различных методов, в том числе географическая
привязка и рассматриваемые группы населения, используемые процедуры и размер выборки
(если будет проводиться опрос благополучателей программы, нужно опросить и тех, кто имел
право получить помощь, но не получал ее);
 Необходимый уровень точности;
 Инструменты сбора данных;
 Виды анализа данных;
 Предполагаемые меры для обеспечения соблюдения правил этики в процессе оценки и
защиты участников оценки, например, респондентов и источников. 3
Назовите все ожидаемые результаты процесса: например, укрепление сетей, создание
механизмов диалога, достижение единого понимания ситуации рядом групп заинтересованных
сторон.
Определите все промежуточные задачи и мероприятия, которые должен реализовать оценщик, и
предварительные сроки их реализации. Это могут быть:
 Встречи, консультации и семинары с различными группами заинтересованных сторон;
 Ключевые моменты взаимодействия с управляющим комитетом;
 Процесс верификации результатов у заинтересованных сторон;
 Презентация предварительных результатов и рекомендаций.
Участие заинтересованных сторон


Определите и обоснуйте, каким образом в оценке должны принимать участие заинтересованные
стороны: внутренние заинтересованные стороны, партнеры по программе, представители донора
и т.п. Заинтересованные стороны могут выполнять роли посредников, технических консультантов,
наблюдателей и т.п. или более активно участвовать в разработке плана и проекта оценки, сборе и
анализе данных, подготовке и распространении отчетов и реализации рекомендаций.
Определите свои ожидания относительно участия заинтересованных сторон и консультаций с
ними. Четко определите, в каких работах они будут участвовать: например, в разработке плана и
проекта, сборе и анализе данных, подготовке и распространении отчетов и реализации
рекомендаций.
Ответственность

Кто будет проводить
оценку?
Определите роли и обязанности руководителя и членов команды
исполнителей оценки, а также остальных участвующих
заинтересованных сторон и консультативных структур, например, управляющего комитета. В этом
разделе нужно определить, кто будет отвечать за:
 Связь с командой исполнителей оценки;
 Техническое руководство;
 Координацию участия заинтересованных сторон;
 Выбор, ориентацию и тренинг участников команды исполнителей, и если нужно – помощников
для сбора информации и переводчиков;
 Утверждение промежуточных и конечных продуктов;
 Развитие и укрепление национальных или иных заинтересованных сторон (это может быть
одной из обязанностей команды оценщиков).
3 Более подробно управленческие вопросы, связанные с соблюдением норм этики и защитой участников
мониторинга и оценки, рассмотрены в материале “Этические вопросы при проведении полевых исследований –
работа с людьми” и “Участие детей в исследованиях и мониторингу и оценке: этика и ваши обязанности как
менеджера”
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
ТЗ – Техническое задание 3/6

Определите все проблемы и ограничения, связанные с конфликтом интересов.
Состав команды исполнителей оценки


Определите состав и компетенции команды. Они должны вытекать из фокуса оценки и
необходимых методов и видов анализа. Следует различать желательные и обязательные
компетенции, а также, какими компетенциями должны обладать все исполнители, а какими –
только отдельные члены команды.
Часто команда должна включать представителей самых разных дисциплин. Нужно определить
следующие аспекты квалификации исполнителей:
 Область специализации (сектор, тема);
 Владение языками;
 Опыт работы в стране и регионе;
 Владение методами оценки и сбора данных;
 Аналитические навыки и знание подходов, например, к гендерному анализу;
 Навыки управления процессом, например, посреднические навыки;
 Гендерный состав (не путать с умением проводить гендерный анализ).
Процедуры и логистика

Рассмотрите необходимые вопросы логистики, связанные с комплектацией штата и условиями
работы:
 Доступность и получение услуг (переводчиков на местах, интервьюеров, обработчиков
данных, водителей);
 Доступность и приобретение офисных помещений, автомобилей, ноутбуков, магнитофонов;
процедуры организации встреч; требования относительно получения обратной связи;
 График работ (рабочее время, рабочие дни, выходные) и особые инструкции, например, на
случай чрезвычайной ситуации (часто используют 7-дневную рабочую неделю с
последующим перерывом для отдыха и восстановления сил);
 Специальные процедуры, например, для работы с прессой, обеспечения безопасности и
эвакуации в случае чрезвычайной ситуации;
 Льготы и соцпакет, например, страховка (при работе в условиях чрезвычайно ситуации могут
быть военные надбавки и страховка от рисков войны);
 Сезонные ограничения, транспортные ограничения и условия, социальные и культурные
условия, которые могут повлиять на сбор данных;
 Обязательства по отчетности помимо представляемых продуктов (например, счета).
Продукты


В какой форме?
Список продуктов с указанием, кому и когда они должны быть
представлены. Это могут быть:
 Отчет об оценке;
 Полный набор данных (заполненные анкеты или опросные листы);
 Материалы для распространения (статьи для новостных бюллетеней, краткие изложения,
презентационные материалы);
 В ЮНИСЕФ в обязанности консультантов по оценке нужно включить, что они должны
предоставить всю информацию в определенном формате в национальный офис ЮНИСЕФ
для внесения ее в базу данных оценки ЮНИСЕФ.
 Ассесмент методики оценки, включая обсуждение ограничений.
Определите, в каком формате должны быть предоставлены продукты: компьютерная программа,
число бумажных копий, переводы и структура отчета об оценке. (См. “UNICEF Evaluation Report
Standards” http://www.unicef.org/evaldatabase/index.html и UNICEF Evaluation Technical Notes Series
no. 3 “Writing a good Executive summary” http://www.unicef.org/evaluation/TechNote3_Exec_Sum.pdf).
Необходимые ресурсы

Какими средствами?
Определите затраты и подготовьте подробный бюджет. Укажите
источники средств. Увяжите бюджет с основными работами или
фазами плана работ. Возможные статьи расходов:
 Поездки: зарубежные и внутри страны;
 Расходы на членов команды: зарплата, суточные и прочие расходы;
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
ТЗ – Техническое задание 4/6

 Оплата услуг переводчиков, интервьюеров, обработчиков данных и секретарей.
Отдельно определите предполагаемые затраты времени:
 Сотрудников (до, во время и после);
 Остальных заинтересованных сторон, в том числе и основных.
ЧТО ВХОДИТ В ТЗ НА ПРОВЕДЕНИЕ
ЭКСТРЕННОГО БЫСТРОГО АССЕСМЕНТА
Назначение: почему?



Чем вызвана необходимость ассесмента?
Как будут использоваться процесс и результаты ассесмента? В чем его особая ценность?
Кто ключевые пользователи и целевая аудитория? Есть ли целевое мероприятие по принятию
решений (обзорное совещание, консультация, разработка планов, конференция)?
Сводка имеющейся информации
Если информации и ее источников мало, здесь можно даже попробовать обобщить их в первом
приближении. Так как времени мало, информация, предоставляемая команде, должна быть краткой и
сфокусированной.
 Назовите подходящие доступные источники информации, например системы мониторинга и
результаты предыдущих оценок. Оцените их качество и надежность.
 Кратко обобщите имеющуюся информацию, определите, какие есть пробелы, вопросы и
проблемы с верификацией.
Объем и фокус



На какие основные вопросы должен попытаться ответить ассесмент?
Какие пробелы в информации нужно попытаться заполнить?
Определите, относительно какой совокупности нужно попытаться собрать представительные
данные. Опишите, как это будет сделано в ходе ассесмента. (Более подробно вопросы выборки
можно рассмотреть в разделе, посвященном методам, но общие параметры можно привести
здесь.)
Процесс и методы ассесмента
См. раздел «Процесс и методы оценки» ТЗ на проведение оценки программ.
Ответственность
Определите роли и обязанности руководителя и членов команды исполнителей ассесмента, а также
остальных участвующих организаций и консультативных структур, например, управляющих комитетов
очень крупных ассесментов. В этом разделе нужно определить, кто будет отвечать за:
 Ежедневную связь с командой исполнителей ассесмента;
 Техническое руководство;
 Непосредственный контроль и мониторинг;
 Заключение договоров;
 Выбор, ориентацию и тренинг участников команды исполнителей, и если нужно – помощников для
сбора информации и переводчиков;
 Утверждение проекта и инструментов ассесмента;
 Утверждение изменений в проекте и инструментах по ходу работ;
 Помощь в решении организационных вопросов, описанных ниже;
 Привлечение различных заинтересованных сторон (например, доноров, местных властей,
основных заинтересованных сторон) и координацию их участия и вклада на различных этапах
(подготовки, сбора данных и анализа);
 Предоставление результатов ассесмента различным заинтересованным сторонам, в том числе
населению, которое рассматривает ассесмент;
 Утверждение промежуточных и конечных продуктов;
 Распространение;
 Управление реализацией рекомендаций.
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
ТЗ – Техническое задание 5/6
Состав команды исполнителей
См. ТЗ на проведение оценки программы.
Процедуры и логистика
См. ТЗ на проведение оценки программы.
Продукты
См. ТЗ на проведение оценки программы.
Необходимые ресурсы
См. ТЗ на проведение оценки программы.
ЮНИСЕФ Тренинговые ресурсы по мониторингу и оценке
ТЗ – Техническое задание 6/6
Download