МЕТОДИКА проведения экспертизы.doc
advertisement
СОДЕРЖАНИЕ ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ…..2 1. ОБЩИЕ ПОЛОЖЕНИЯ 1.1 Основные понятия и определения…………………………………5 1.2 Цели и задачи проведения экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО.................................................................................................6 1.3 Основные подходы и принципы проведения экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО………………………………………………………….7 2. КРИТЕРИИ ОТБОРА ЭКСПЕРТОВ ДЛЯ ПРОВЕДЕНИЯ ЭКСПЕРТИЗЫ………………………………………………………….12 3. КРИТЕРИИ ОЦЕНКИ ПРЕДЛОЖЕНИЙ ПО ФОРМИРОВАНИЮ ТЕМАТИКИ ПРОЕКТОВ В РАМКАХ МЕРОПРИЯТИЙ ПРОГРАММЫ………………………………………………………….25 4. ПОРЯДОК ПРОВЕДЕНИЯ ЭКСПЕРТИЗЫ ПРЕДЛОЖЕНИЙ ПО ФОРМИРОВАНИЮ ТЕМАТИКИ ПРОЕКТОВ В РАМКАХ ФЕДЕРАЛЬНОЙ ЦЕЛЕВОЙ ПРОГРАММЫ РАЗВИТИЯ ОБРАЗОВАНИЯ НА 2011-2015 ГОДЫ 4.1 Организационная схема проведения экспертизы предложений по формированию тематики проектов в рамках ФЦПРО………………68 4.2 Алгоритмы расчета критериев оценки…………………………….69 4.3 Алгоритм оценки предложений по формированию тематики проектов в рамках мероприятий Программы………………………..75 4.4 Порядок отбора экспертов для проведения анализа предложений по проектам в рамках мероприятий Программы……………………….80 4.5 Порядок оценки предложений по формированию тематики проектов в рамках мероприятий Программы…………………………86 ЗАКЛЮЧЕНИЕ…………………………………………………………100 2 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ…………………..102 Приложение №1. Лист опроса экспертов для определения интегральной рейтинговой оценки эксперта………………………….106 Приложение №2. Лист опроса экспертов для определения значимости критериев для экспертизы проектов………………………………….111 Приложение №3. Форма экспертного заключения о соответствии предложений по проекту целям и задачам ФЦПРО на 2011-2015 годы………………………………………………………………………119 3 ПЕРЕЧЕНЬ УСЛОВНЫХ ОБОЗНАЧЕНИЙ И СОКРАЩЕНИЙ НИР научно-исследовательская работа ОУ образовательное учреждение ОУО органы управления образованием СПО специальное программное обеспечение ФЦПРО Федеральная целевая программа развития образования на 2011-2015 годы 4 1. ОБЩИЕ ПОЛОЖЕНИЯ 1.1 Основные понятия и определения Государственный заказчик - орган исполнительной власти, являющийся главным распорядителем бюджетных средств, который осуществляет общую организацию и координацию работ проекта для достижения его целей и несет ответственность за качество результатов проекта. Задача - один из типов целей, характеризующий общественно значимый результат деятельности органа власти на тактическом уровне, т.е. по конкретным направлениям достижения одной из стратегических целей. Инициатор проекта – в качестве инициатора может выступать практически любой из будущих участников проекта. Он выдвигает главную идею, готовит предварительное обоснование и предложения по осуществлению проекта. Но деловая инициатива по осуществлению проекта, в конечном счете, принадлежит заказчику проекта. Интегральный показатель – комплексный показатель, представляющий собой математическую свертку (индекс) значений частных (первичных и/или расчетных) показателей, сформированную с учетом вклада (веса) каждого частного показателя в интегральный. Исполнитель проекта – организация-исполнитель проекта (проектная организация). Конечный результат – выраженный в количественно измеримых величинах результат достижения стратегической цели, имеющий общественную значимость и отражающий полученные социальные эффекты. Непосредственный результат – выраженный в количественно измеримых величинах результат, характеризующий реализацию мероприятий по выполнению задач и достижению целей деятельности органов исполнительной власти. Показатель экономической – жизни численный региона, измеритель конечных явления и (явлений) социально- непосредственных результатов деятельности органов власти. 5 Программа – ряд связанных друг с другом проектов, управление которыми координируется для достижения преимуществ и степени управляемости, недоступных при управлении ими по отдельности. Программы могут содержать элементы работ, имеющих к ним отношение, но лежащих за пределами содержания отдельных проектов программы. Проект может быть или не быть частью программы, но программа всегда должна содержать проекты. Проект – комплекс взаимосвязанных действий (работ), направленных на создание, развитие и модернизацию системы и реализуемых в условиях временных и ресурсных ограничений. Результативность – степень реализации запланированной деятельности и достижения запланированных результатов. Цель - краткое описание ожидаемого конечного общественно значимого результата деятельности по реализации стратегии или концепции социальноэкономического развития территории, а также результатов деятельности органов власти, направленных на достижение стратегических целей. Эффективность – связь между достигнутым результатом и использованными ресурсами. 1.2 Цели и задачи проведения экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО Настоящая Методика предназначена для проведения комплексного анализа (экспертизы) предложений Федеральной целевой по формированию программы развития тематики образования проектов на в рамках 2011-2015 годы, поступающих от Департаментов-заказчиков Министерства образования и науки Российской Федерации. Проведение комплексного анализа предложений по проектам в соответствии с разработанными положениями Методики позволит обеспечить решение следующих задач: - формирование пула актуальных проектов для реализации в рамках ФЦПРО, соответствующих стратегическим направлениям модернизации образования, целям и 6 задачам Программы, и гарантированно обеспечивающих достижение запланированных на отчетный период значений соответствующих индикаторов и показателей хода Программы; - оценка обоснованности и целесообразности предлагаемых работ в рамках проектов с целью исключения дублирования работ и использования результатов прошлых лет; - оценка соответствия предлагаемых работ требованиям законодательства Российской Федерации, включая положения Федерального закона от 05.04.2014 № 44– ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд», Гражданского кодекса Российской Федерации, Бюджетного кодекса Российской Федерации, Федерального закона от 29.12.2013 № 273-ФЗ «Об образовании в Российской Федерации». - обеспечение эффективности расходования средств федерального бюджета на реализацию программных мероприятий. 1.3 Основные подходы и принципы проведения экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО В рамках ФЦПРО ежегодно планируется выполнить большое количество проектов, имеющих разностороннюю тематику и оказывающих различное влияние на совершенствование отдельных элементов системы образования. Поэтому в основу методического подхода для проведения оценки (экспертизы) предложений по формированию тематики проектов в рамках ФЦПРО были заложены методы многокритериального экспертного анализа, в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса экспертов с использованием "вербально-числовых шкал", процедуры парных сравнений рассматриваемых аспектов с последующей обработкой результатов для получения шкальных оценок их важности. Данный подход имеет ряд существенных преимуществ относительно других методов. Главное из которых заключается в том, что в роли экспертов выступают специалисты, имеющие долгосрочный опыт работы с предметной областью и на 7 основании своего опыта могут делать прогнозы относительно будущего развития событий. Опыт эксперта в данном случае играет определяющую роль. Для обеспечения достоверности и объективности результатов экспертиза должна базироваться на следующих основных принципах: системности организации экспертной работы и единства ее нормативного, организационного и методологического обеспечения; независимости и правовой защищенности участников экспертного процесса, их компетентности и заинтересованности в получении объективных результатов; научно-технической обоснованности экспертных оценок, их ориентации на мировой уровень развития науки и техники; участия в экспертных оценках экспертов соответствующей квалификации; объективности принимаемых заключений по результатам анализа; комплексности и полноты экспертных оценок; гласности экспертизы при условии сохранения государственной, служебной и коммерческой тайны в соответствии с действующим законодательством; комплексного подхода, позволяющего проводить оценку реализации проектов интегрально и по уровням образования в отдельности: дошкольное образование; общее (среднее, полное) образование; профессиональное образование (СПО и ВПО), дополнительное образование; объективной и всесторонней оценки разработанных критериев, которая позволяет определить особенности реализации, как отдельного проекта, так и ФЦП в целом, недостатки в работе и причины их возникновения, а также на основе полученных результатов выработать конкретные рекомендации по улучшению и оптимизации работы; выбора эффективных методов, алгоритмов и программ выполнения нарушение принципов, проектных процедур. Эксперты должны нести ответственность за организационных и правовых норм проведения экспертизы, своих договорных 8 обязательств в порядке, установленном существующими нормативными актами. Они обязаны исключить использование материалов экспертизы третьими лицами, разглашение конфиденциальной информации и сведений, составляющих государственную и коммерческую тайну. Для проведения экспертизы необходимо обеспечить привлечение квалифицированных экспертов, что позволит получить объективную картину реального положения в сфере российского образования. Ключевым фактором обеспечения адекватности экспертных оценок является подбор состава экспертной группы, охватывающего все уровни, виды и направления модернизации в сфере образования: по уровням российского образования: - уровни общего образования: дошкольное образование; начальное общее образование; основное общее образование; среднее общее образование; - уровни профессионального образования: среднее профессиональное образование; высшее образование - бакалавриат; высшее образование - специалитет, магистратура; высшее образование – подготовка кадров высшей квалификации; - подвиды дополнительного образования: дополнительное образование детей; дополнительное образование взрослых; дополнительное профессиональное образование. и по основным тематическим направлениям модернизации российского образования, представленных в ФЦПРО: информационные технологии в системе образования; повышение квалификации и переподготовка работников образования; контент (содержание образования); 9 контроль, надзор и оценка качества образования; инфраструктура; экономика образования; воспитание и социализация обучающихся; энергосбережение образовательных учреждений. Указанные меры позволят более детально подходить к анализу процессов преобразования в образовательной среде, а также учитывать большее количество факторов при принятии решений относительно последующих шагов реализации Программы, что крайне важно, учитывая, что массовый этап внедрения результатов проектов приходится на более поздние периоды, и именно в ближайшее время наиболее важна поддержка принятия решений за счет максимально объемной и детализированной картины процессов, происходящих в сфере образования. Ключевым элементом экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО является процедура организации работы привлекаемых экспертов. При ее организации должны быть соблюдены следующие требования: независимость формирования экспертами собственного мнения об оцениваемых событиях; удобство работы с предлагаемыми формами; приемлемые затраты времени на заполнение форм, удобное время получения вопросов и выдачи ответов; сохранение анонимности ответов для членов экспертной группы; проведение коллективных обсуждений оцениваемых событий; предоставление экспертам требуемой информации. Для обеспечения выполнения этих условий должны быть разработаны правила проведения экспертного опроса и организации работы экспертной группы. В них должна быть учтена специфика оцениваемых событий, а также особенности, связанные с реализацией Программы. 10 11 2. КРИТЕРИИ ОТБОРА ЭКСПЕРТОВ ДЛЯ ПРОВЕДЕНИЯ ЭКСПЕРТИЗЫ Отбор экспертов, формирование экспертных групп - достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Выбор экспертов, в первую очередь, предполагает ясное понимание критериев отбора и конкретно сформулированную процедуру отбора. Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать: креативность, то есть способность творчески решать задачи, метод решения которых полностью или частично не известен; эвристичность, то есть способность видеть или создавать неочевидные проблемы; интуиция - способность делать заключения об исследуемом объекте без осознания пути движения мысли к этому заключению; предикаторность, то есть способность предсказывать, предчувствовать будущее состояние исследуемого объекта; независимость, то есть способность противопоставлять предубеждениям и массовому мнению свою точку зрения; всесторонность, то есть способность видеть проблему с различных точек зрения. Основными общепринятыми критериями в процессе отбора экспертов- специалистов системы образования являются следующие показатели: уровень компетентности и грамотности эксперта в данной конкретно обозначенной области. Здесь можно опереться на следующие данные: профиль и уровень образования, профиль деятельности (насколько тесная связь с обозначенной областью), какой опыт работы по профилю (учитывается стаж работы непосредственно в данной области и общий стаж работы), уровень решаемости проблем (соответствует ли занимаемая должность уровню и характеру обозначенной проблемы), наличие ранее выполненных экспертиз, сбывшихся прогнозов; 12 степень незаинтересованности и объективности эксперта-участника при оценке, обобщении и анализе данных, принятии решения в обозначенной области. При оценивании экспертов по названным критериям и выборе экспертов могут использоваться следующие процедуры: 1. Самооценка экспертов по объективным параметрам. 2. Взаимная оценка экспертов. 3. Оценка экспертов независимыми специалистами. 4. Оценка уровня компетентности экспертов с учетом качества ранее проведенных экспертиз (данная оценка производится самой исследовательской командой на основе анализа ретроспективных данных о работе эксперта). Наиболее предпочтительным является отбор экспертов на основе независимой квалифицированной оценки с поправкой на качество ранее сделанных экспертиз. Таким образом, с учетом специфики проводимых экспертиз в сфере образования целесообразно ввести следующие критерии отбора экспертов: 1. соответствие профильного образования эксперта тематике проводимых исследований; 2. ученая степень; 3. ученое звание; 4. должностное положение; 5. стаж научной или практической работы в определённой сфере; 6. количество публикаций по данному направлению за последние три года; 7. цитируемость эксперта; 8. компетентностный уровень экспертной оценки; 9. количество сформированных экспертных заключений; 10. квалификация эксперта; 11. признанность эксперта. 13 Целесообразно к вышеизложенным установить еще и такие требования к экспертам, которые напрямую не могут быть измерены, но косвенно оцениваются в предложенных выше критериях: высокий уровень общей эрудиции; наличие академического научного интереса к оцениваемым проблемным вопросам; наличие опыта в оцениваемой области знаний; принципиальность; объективность; способность творчески мыслить; интуиция. Перечень критериев и диапазон их измерения представлены в таблице 2.1. Алгоритм расчета значимости критериев отбора экспертов для проведения экспертизы предложений по формированию тематики проектов для реализации в рамках ФЦПРО представлен в разделе 4. 14 Таблица 2.1 - Перечень критериев отбора экспертов для проведения экспертизы и диапазон их измерения № п/п Критерии экспертов отбора Обоснование Шкала оценки целесообразности критерия для экспертизы 1. Соответствие Позволяет оценить профильного квалификацию образования эксперта эксперта тематике проводимых исследований Диапазон измерения (баллы) несоответствие 0…2 профессионального образования тематике проводимых исследований – 0 баллов, соответствие профильного образования тематике проводимых исследований – 1 балл, соответствие профильного образования тематике проводимых исследований +прохождение повышения квалификации или стажировок по данной тематике за последние 5 лет – 2 балла Значимость «вес» критерия 0,04 15 № п/п Критерии экспертов отбора Обоснование Шкала оценки целесообразности критерия для экспертизы 2. Ученая степень Позволяет оценить владение предметной областью, способность к анализу и самоорганизации 3. Ученое звание Позволяет оценить квалификацию эксперта 4. Должность Позволяет оценить степень охвата проблем в предметной области, возможность системного подхода к оценке и анализу проблем Диапазон измерения (баллы) отсутствие ученой степени – 0 0…2 баллов, наличие кандидатской степени - 1 балл, наличие докторской степени– 2 балла отсутствие ученого звания – 0 1…5 баллов; Званиям доцент, профессор, член-корреспондент, академик, почетный академик присваивается соответственно 1, 2, 3, 4, 5 баллов. специалист – 1 балл, 1…5 старший специалист – 2 балла, начальник отдела – 3 балла, ведущий специалист – 4 балла, начальник Департамента/Управления, Министр ОУО – 5 баллов Значимость «вес» критерия 0,06 0,06 0,10 16 № п/п Критерии экспертов отбора Обоснование Шкала оценки целесообразности критерия для экспертизы 5. Стаж работы Позволяет оценить опыт работы по данному направлению в сфере образования 6. Количество публикаций по данному направлению за последние три года Позволяет оценить актуальность деятельности эксперта 7. Цитируемость эксперта Позволяет оценить уровень проработки проблем предметной области и актуальность деятельности эксперта Диапазон измерения (баллы) от 0 до 5 лет – 1 балл, 1…5 от 5 до 10 лет – 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 лет –5 баллов отсутствие публикаций - 0 0…5 баллов, количество публикаций от 1 до 5 – 1 балл, от 5 до 10 - 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 – 5 баллов отсутствие цитируемости – 0 0…5 баллов, от 1 до 5 - 1 балл, от 5 до 10 – 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 – 5 баллов Значимость «вес» критерия 0,09 0,13 0,15 17 № п/п Критерии экспертов отбора Обоснование Шкала оценки целесообразности критерия для экспертизы 8. Компетентностный Позволяет оценить уровень экспертной уровень его оценки компетентности эксперта и достоверности прогнозных оценок 9. Количество Позволяет оценить сформированных опыт экспертной экспертных работы, степень заключений вовлеченности эксперта в тематику и проблематику проводимых исследований Диапазон измерения (баллы) Значимость «вес» критерия интегральная бальная оценка, 0…1 определяется по результатам проведенных экспертиз 0,15 отсутствие сформированных 0…5 экспертных заключений – 0 баллов, от 1 до 5 – 1 балл, от 5 до 10 – 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 – 5 баллов 0,09 18 № п/п Критерии экспертов 10. Квалификация эксперта 11. Признанность эксперта отбора Обоснование Шкала оценки целесообразности критерия для экспертизы Диапазон измерения (баллы) Позволяет оценить оценивается по наличию 0…2 квалификацию международных, др. эксперта сертификатов в области экспертной деятельности: отсутствие сертификатов – 0 баллов, наличие 1 сертификата – 1 балл, наличие более одного сертификата – 2 балла Позволяет оценить интегральная бальная оценка, 0…1 признанность определяется по результатам эксперта в групповой оценки. профессиональном сообществе Значимость «вес» критерия 0,05 0,08 19 Оценка критериев отбора экспертов для проведения экспертизы производится на основе данных, представленных экспертами по специализированному запросу. Исключения составляют следующие критерии: цитируемость эксперта, компетентностный уровень экспертной оценки, признанность эксперта. Под цитируемостью эксперта понимается показатель, указывающий на значимость его опубликованных статей и вычисляющийся на основе последующих публикаций, ссылающихся на его работы. Цитируемость эксперта определяется при формировании экспертной группы на основе данных, представленных, например, на портале eLIBRARY.RU (Российский индекс научного цитирования). Возможно проведение оценивания экспертов на основе данных международных показателей Science Citation Index (SCI) и Journal Citation Reports (JCR), индекса компании Elsevier под названием Scopus (http://www.scopus.com/) или критерия Хирша (h-index) – наукометрическего показателя, предложенный в 2005 г. американским физиком Хорхе Хиршем (университет Сан-Диего, Калифорния) в качестве альтернативы классическому "индексу цитируемости", представляющему собой суммарное число ссылок на работы учёного. Критерий основан на учёте числа публикаций исследователя и числа цитирований этих публикаций. Возможно использовать различные из вышеизложенных критериев, главное, чтобы все кандидаты в эксперты оценивались по одним и тем же форматам. Компетентностный уровень экспертной оценки. Возможны различные варианты оценки компетенции эксперта. Самый простой метод – это вычисление среднеарифметического значения компетенции по результатам проведенных экспертиз. В предлагаемом методическом подходе производится расчет, оценка близости предлагаемых оценок конкретного эксперта к средневзвешенному значению экспертизы всей группы экспертов. Накопление всей истории экспертиз, проведенных 20 конкретным экспертом, позволит сформировать объективную оценку его компетенции. Второй поход к расчету компетенции базируется на формулировке профессора Г.П. Шибанова, в соответствии с которым компетенция определяется как степень соответствия эксперта определенному комплексу требований. В свою очередь, уверенность в компетентности эксперта, выраженная в процентах, позволяет определить способность эксперта к экспертизе и учесть его взвешенное мнение при отработке результатов экспертизы. Компетентность эксперта определяется структурой и весомостью аргументов, послуживших ему основанием для ответа на поставленные вопросы, а также уровнем его осведомленности в рассматриваемой области знаний. Структура аргументов учитывается коэффициентом аргументации (КАРГ), который соответствует формализованным сведениям о характере источников аргументации и о степени влияния каждого источника на принимаемые экспертом решения. Численное значение коэффициента определяется путём наложения таблицы 2.2 на аналогичную таблицу с отмеченными в ней i-м экспертом клетками и последующего суммирования соответствующих численных значений. Таблица 2.2 - Числовые оценки значимости исходной информации, соответствующие сочетаниям источников аргументации с учётом их влияния на мнение эксперта (КАРГ) Источник аргументации Степень влияния источников на мнение эксперта высокая средняя низкая 0,30 0,20 0,10 0,50 0,40 0,20 Результаты теоретического анализа Личный опыт Результаты обобщения работ 0,05 отечественных авторов Результаты обобщения работ 0,05 0,05 0,05 0,05 0,05 21 зарубежных авторов Личное знакомство с состоянием дел за 0,05 рубежом Интуиция 0,05 0,05 0,05 0,05 0,05 При составлении таблицы 2.2. принимаются во внимание следующие соображения: o значение КАРГ не должно превышать 1; o значению КАРГ=1 соответствует высокая степень влияния на мнение эксперта всех источников аргументации; o значению КАРГ=0,8 – средняя степень влияния; o значению КАРГ=0,5 – низкая степень влияния; o значение коэффициента аргументации уменьшается при переходе от «производственного опыта» к «теоретическому анализу» и от последнего к прочим источникам аргументации. Значение коэффициента аргументации для i-го эксперта определяется по формуле: , где ji – оценка, отмеченная по j-му варианту i-го источника аргументации; jimax – максимальная оценка по j-му варианту. 6 С учетом того, что max ji 1 , рабочая формула для определения j 1 коэффициента K iАРГ имеет вид K iАРГ 6 j 1 ji . 22 Степень осведомлённости эксперта в обсуждаемых вопросах учитывает коэффициент осведомленности КОСВ. Он соответствует формализованным сведениям об осведомлённости эксперта по каждому из обсуждаемых вопросов. Численное значение этого коэффициента определяется путем наложения таблицы 2.3. на аналогичную таблицу с отмеченными i-м экспертом клетками и последующим суммированием записанных в этих клетках чисел. Таблица 2.3 - Числовые квалификационные оценки, соответствующие различным степеням осведомлённости эксперта Ответы до 3 лет Вопросы Стаж работы образования в Наличие учёной степени, ученого или почетного звания в экспертируемой области знаний области 0,30 4 года 5 лет 6 лет 7 лет 8 лет 9 лет 10 и более 0,35 0,40 0,45 0,50 0,55 0,60 0,65 Доктор наук Кандидат наук Профессор 0,5 0,3 0,2 Наличие научных работ в экспертируемой области знаний Доцент Заслуженный учитель Заслуженный работник высшей школы Не имею 0,2 0,3 0,3 0,0 Монография Патент, авторское свидетельство Статьи Алгоритмы, программы 0,70 0,60 0,45 0,30 Научно-организационная работа эксперта в настоящее время Руководитель комплекса работ Руководитель одной работы Участник выполнения нескольких работ Участник выполнения одной работы 0,60 0,50 0,40 0,30 Участие в конференциях и семинарах по экспертируемой области знаний (с регулярным участием) Международные конференции и симпозиумы Всероссийские конференции и симпозиумы Отраслевые конференции семинары 0,70 0,60 0,50 и Конференции организаций предприятий и 0,40 Величина коэффициента КОСВ для i-го эксперта определяется по формуле: , Коэффициент компетентности i-го эксперта определяется как произведение коэффициентов аргументации и осведомленности, т.е. 23 . Представительность (репрезентативность) экспертной группы в целом оценивается средней арифметической величиной компетентности входящих в её состав экспертов, которая определяется по формуле где n – число экспертов, принимающих участие в экспертном опросе. Экспертная группа считается представительной при условии 0,7 M( ) 1. Процедура поиска необходимой представительности группы состоит в исключении из нее малокомпетентных специалистов из совокупности потенциальных экспертов до тех пор, пока не будет соблюдено условие M( ) 0,7. Оценка представительности группы экспертов констатирует значимость результатов экспертного опроса и позволяет судить о доверии к его результатам. Признанность эксперта – оценивается по результатам групповой оценки экспертами членов своей группы. Каждой эксперт проставляет членам своей группы рейтинг от 1 до 10 (1 – низшая, по его мнению, квалификация эксперта по выбранному направлению; 10 – наивысшая). Признанность эксперта оценивается как среднеарифметическое значение обезразмеренных оценок всех членов группы. 24 3. КРИТЕРИИ ОЦЕНКИ ПРЕДЛОЖЕНИЙ ПО ФОРМИРОВАНИЮ ТЕМАТИКИ ПРОЕКТОВ В РАМКАХ МЕРОПРИЯТИЙ ПРОГРАММЫ Система критериев для отбора предложений по формированию тематики проектов в рамках мероприятий Программы должна удовлетворять следующим требованиям: система должна быть достоверной и отражать реальную событийную картину; система должна иметь четкую направленность на решение конкретных проблем; простота в использовании. Созданная система критериев и алгоритмов должна быть понятна и проста в использовании; система должна быть экономичной. Использование выработанных алгоритмов должно приводить к минимизации возможных расчетов. По видам критериев оценки в зависимости от цели оценки можно выделить следующие: - оценка потребности в реализации проекта, которая заключается в оценке социально-экономических условий, которые привели к необходимости в реализации проекта, оценке соответствия приоритетам социально- экономического развития, приоритетам государственной политики в сфере образования (например, приоритетного соответствие национального проекта направлениям «Образование», и ориентирам национальной образовательной инициативы «Наша новая школа»); - оценка качества (проработки) предложений по проекту, которая заключается в анализе качества подготовки предложений (анализ нормативных и методических материалов, использовавшихся при разработке, логическая схема проекта, экспертиза содержания предложений по проекту и ресурсной обеспеченности проекта – см. таблицу 3.1); - оценка влияния, заключающаяся в выявлении причинно-следственных связей между параметрами социально-экономического развития и 25 предусматриваемыми работами, услугами, их результатами, соответствия проекта целям и задачам Программы, ожидаемым результатам мероприятий (подмероприятий) Программы; - оценка результативности проекта, которая заключается в оценке возможности достижения заданных результатов, поставленных задач при включении соответствующих им видов работ, услуг, поставке товаров (условием достоверности данной оценки являются четко поставленные конкретные цели и задачи проекта); - оценка продуктивности проекта (или практической значимости результатов проекта), имея в виду использование результатов проекта в целях реализации государственной политики в сфере образования, формирования документов регламентирующих образовательный процесс, воспитание, оценка качества образования. Логично предположить, чем больше охват количественных показателей (субъектов Российской Федерации, целевых групп или лиц в рамках направления или уровня образования), вовлеченных в реализацию данного проекта, или глубина проработки, тем выше значение по данному критерию. Оценка по данному критерию позволяет предупредить или минимизировать риски невостребованности проведенных работ в рамках реализации Программы; - экспертиза ожидаемых результатов, сравнение их с ранее полученными или имеющимися, включая инновационную направленность проекта, имея в виду возможности получения принципиально новых решений для развития системы образования; - оценка устойчивости ожидаемых результатов, которая заключается в проверке наличия в предложениях по проекту условий для сохранения достигнутых результатов после завершения проекта (или оценка необходимых затрат на удержание показателей конечных и непосредственных результатов после завершения проекта); - измерение положительных результатов и прочих благ, предоставленных в результате реализации проекта, в расчете на одного представителя целевой 26 группы (оценка прямого влияния (вклада) проекта на достижение запланированных значений целевых индикаторов и показателей Программы); - оценка эффективности, которая заключается в сопоставлении результатов проекта с планируемыми в ходе его реализации затратами (объемом финансирования). При этом, основная задача оценки эффективности – это поиск наиболее эффективных (минимальных по затратам) вариантов решения проблемы. В части изменения результативности и продуктивности проекта следует отметить важность отражения в предложениях по проекту и оценку показателей непосредственного результата. Целевые индикаторы Программы представляют собой показатели конечного результата (эффекта), которые характеризуют состояние целевой группы, оценивают выгоду для нее от реализации всей Программы. Показатели Программы представляют собой показатели частного конечного результата (эффекта), которые отражают изменение состояния целевой группы по конкретным аспектам - видам образовательных услуг, средствам и методам современного обучения, получаемых целевыми группами (показатели оценивают доступность качественных услуг, моделей и методов обучения, воспитания). Показатели непосредственного результата оценивают результативность как самих мероприятий (подмероприятий) Программы на уровне ожидаемых результатов каждого мероприятия (подмероприятия), так и результатов работ, услуг в рамках проектов, и могут отражать статистические, социологические и иные отчетные данные, характеризующие объем и качество выполнения мероприятий, направленных на достижение конечного социально- экономического эффекта Программы. Такие показатели наиболее полно и объективно отражают необходимость и приоритетность реализации Программы, ее задач и программных мероприятий. 27 Наподобие им проекты должны отвечать этим же требованиям путем установления в них показателей непосредственного результата, имеющих причинно-следственную связь с целевыми индикаторами и показателями Программы, и ожидаемыми результатами мероприятий (подмероприятий) Программы. Результаты анализа законодательства Российской Федерации в сфере закупок товаров, муниципальных работ, нужд, услуг для вызванного обеспечения его государственных изменением путем и принятия Федерального закона от 05.04.2013 № 44-ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд» (далее - Федеральный закон от 05.04.2013 № 44-ФЗ), свидетельствуют о необходимости уточнения подхода, конкретизации и обоснованности оценки предложений по формированию тематики проектов в рамках мероприятий Федеральной целевой программы развития образования на 2011-2015 годы. На основе одобренных научно-координационным советом Программы предложений по формированию тематики проектов, представленных в виде аннотации и обоснования стоимости с составом работ и их количественными и качественными характеристиками, составляется техническое задание (задание, государственный заказ), содержащее требования государственного заказчика к объекту закупки, определяющие условия и порядок ее проведения для обеспечения государственных нужд, в соответствии с которым осуществляются поставка товара, выполнение работ, оказание услуг и их приемка. Это исходный документ, который учитывает основное назначение закупки товаров, работ, услуг, их функциональные, технические и эксплуатационные характеристики, задание заказчика, описание первичных данных, целей и задач закупки, сроков поставки, выполнения работ, оказания услуг, требований к товару, работам, услугам, их результатам, к гарантиям, описание объекта закупки, объем закупаемых товаров, работ, услуг, формы отчетности, обоснование требований к товару, работам, услугам, эквивалентные 28 показатели, экономические требования, а также специальные требования. Таким образом, также как и предложения по формированию тематики проектов, техническое задание содержит описание потребности и нужд государственного заказчика, а также мер, необходимых для достижения заданных результатов. Формирование таких предложений, их экспертиза и общественное обсуждение до размещения извещения о проведении закупки и документации о закупке позволяет правильно рассчитать сроки, необходимые для выполнения работ, оказания услуг, поставки товара, подробно и понятно описать предмет закупки, а также: - представить результат закупки (проекта); - исключить несогласованности и ошибки; - поставить задачи; - исключить ошибочные и неправомерные требования; - проверить соответствие товаров, работ, услуг требованиям стандартов и регламентов; - спланировать все этапы закупки, в том числе после заключения контракта; - осуществить проверку закупки. Сведения, содержащиеся в предложениях по формированию тематики проектов (аннотации и обосновании стоимости), используемые при составлении технического задания, необходимы для выполнения требований Федерального закона от 05.04.2013 № 44-ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд»: 1) по выбору способа определения поставщика (подрядчика, исполнителя); 2) по определению начальной (максимальной) цены контракта, цены контракта с единственным поставщиком; 3) по подготовке извещения об осуществлении закупки; 29 4) по подготовке документации о закупке; 5) по подготовке проекта контракта; 6) по рассмотрению и оценке предложений участников закупки; 7) по заключению контракта; 8) по исполнению и приемке работ контракта. Указанные сведения должны быть понятны широкому кругу лиц, а исходные данные могут впоследствии использоваться участниками закупки в их расчетах при подаче заявки и должны быть подтверждены доступными для проверки источниками. При этом Федеральный закон от 05.04.2013 № 44-ФЗ содержит требования к нормированию закупки, заключающиеся в определении в нормативных документах количественных и качественных требований к товару, работам, услугам, в том числе предельной цены товаров, работ, услуг, и (или) установление государственных нормативных органов, затрат органов на обеспечение управления функций государственными внебюджетными фондами, муниципальных органов. Согласно статье 19 указанного Федерального закона нормирование вводится, чтобы не допустить закупку с избыточными потребительскими свойствами или предметов роскоши. При этом после размещения извещения о проведении закупки, размещения документации о закупке, основанная на аннотации и обосновании стоимости по проекту документация может быть подвергнута анализу, экспертизе со стороны участника закупки, проверке обоснованности установленных требований, от результата которых зависит решение о подаче жалобы в контролирующий орган, проведение внеплановой проверки действий заказчика, вплоть до решений данного органа об отмене процедур закупки и, как следствие, привести к упущенному времени, недостижению результатов и показателей Программы в связи с невозможностью своевременной реализации проекта. Перечисленные сведения позволят участникам закупки оценить свои возможности и преимущества, готовность выполнить данные работы (оказать 30 услуги), осуществить поставку товаров, достичь поставленную цель, оценить ресурсы и затраты, которые придется израсходовать для достижения цели, и уровень качества, по которому заказчик считает результат закупки (работы, услуги, товары) приемлемым. Сведения, содержащиеся в предложениях по формированию тематики проектов (аннотации и обосновании стоимости), преимущественно относятся к обоснованию закупки, осуществляемому заказчиком при формировании плана закупок, плана-графика и заключающемся в установлении соответствия планируемой закупки целям осуществления закупок, определенным с учетом положений статьи 13 Федерального закона от 05.04.2013 № 44-ФЗ (в том числе решениям, поручениям, указаниям Президента Российской решениям, поручениям Правительства Российской субъектов Российской Федерации, решениям, Федерации, Федерации, законам поручениям высших исполнительных органов государственной власти субъектов Российской Федерации, муниципальным правовым актам), а также законодательству Российской Федерации и иным нормативным правовым актам о контрактной системе в сфере закупок. Статья 18 Федерального закона от 05.04.2013 № 44-ФЗ, регламентирующая порядок осуществления обоснования закупок, вступает в силу с 1 января 2015 года и распространяется на план закупок, план-график закупок на 2016 год и последующий период, что выходит за временные рамки Федеральной целевой программы развития образования на 2011-2015 годы. Вместе с тем, ввиду преемственности государственной политики в сфере образования, ее программно-целевых инструментов, в случае принятия решения о разработке и реализации Федеральной целевой программы развития образования на очередной период или включения мероприятий, требующих продолжения после завершения Программы в иные программно-целевые инструменты, практика формирования и экспертизы тематик проектов в настоящее время вполне оправдана. 31 Анализ тематик действующих и завершенных в рамках ФЦПРО государственных контрактов, особенности их реализации позволил сформулировать требования к содержанию экспертной оценки в виде обоснования выбора низких балльных значений оценки и приведенных примеров обоснования (см. таблицу 3.1). На основе проведенного анализа уточнены критерии оценки предложений по формированию проектов на предмет их функциональных, технических характеристик, эксплуатационных характеристик проекта (объекта закупки). Функциональные характеристики объекта закупки составляют сведения о свойствах объекта закупки, удовлетворяющих потребностям и ожиданиям заказчика, отражают способность объекта выполнять его основную функцию. При определении функциональных характеристик, как правило, устанавливается основное назначение объекта закупки и условия его использования по назначению. Из существующих критериев оценки к параметрам, оценивающим функциональное назначение проекта и/или его результатов, относятся степень соответствия проекта стратегическим направлениям модернизации в сфере образования, тактическим установкам, общественному заказу и потребностям государства, экономики и общества, и степень актуальности проекта, поскольку выполнение основной функции, определяющееся степенью удовлетворения наиболее значимой потребности при использовании по назначению, при правильном подборе состава работ способствует достижению заданной цели. При этом важным условием является совершение вспомогательных операций, определяющееся особенностями функционирования объекта закупки на разных этапах его технологического и жизненного цикла. Данное требование является критерием оценки заявок, окончательных предложений участников закупки (часть 1 статьи 32 Федерального закона от 05.04.2013 № 44-ФЗ). В составе аннотаций и обоснований стоимости должны быть также определены технические характеристики проекта (объекта закупки), определяющие технические свойства результатов работ, услуг, поставленного 32 товара. С целью оценки новизны, актуальности выполнения проекта и его обоснованности необходимо добиться развернутого, детализированного описания объекта закупки по каждому виду работ (услуг), описания спецификации товара, исходных конечных и непосредственных установления величин, результатов и конкретных физических процессов, данных, параметров, величин показателей описать состав действий исполнителя при поставке товара, выполнении работ, оказании услуг. Как правило, при описании технических характеристик используются стандартные показатели, требования, условные обозначения и терминология, установленные в соответствии с техническими регламентами, стандартами и иными требованиями, предусмотренными законодательством Российской Федерации о техническом регулировании (ГОСТы, СанПины, РД и т.д.). Преимущественно такие требования применяются при определении работ по созданию, апробации и внедрению информационно-коммуникационных технологий в образовании. В соответствии со II этапом реализации Программы (2014-2015 годы) должны быть сформированы новые модели управления образованием в условиях широкомасштабного телекоммуникационных характеристики ранее использования технологий. созданных В связи с информационноэтим, технические информационно-телекоммуникационных технологий могут быть установлены по тем видам работ (услуг), которые предполагают использование указанных технологий для достижения цели и выполнения задач проекта. В связи с необходимостью использования ранее созданных информационно-телекоммуникационных технологий при выполнении работ (оказании услуг) в рамках реализации проектов Программы или разработки моделей (систем) управления с использованием указанных технологий, необходимым условием является установление эксплуатационных характеристик объекта закупки. В этом случае работоспособности указываются объекта закупки, характеристики условия, надежности обеспечивающие и его 33 эффективную эксплуатацию, в том числе после завершения проекта, к которым относятся, в том числе инновационность (влияющая на отсутствие необходимости в изменении или замены модели в будущем при масштабном изменении технологий), долговечность, технические параметры, объемнопланировочные, санитарно-гигиенические, экономические и эстетические характеристики. Следует отметить, что в соответствии со статьей 10 Федерального закона от 05.04.2013 № 44-ФЗ заказчики при планировании и осуществлении закупок должны исходить из приоритета обеспечения государственных и муниципальных нужд путем закупок инновационной и высокотехнологичной продукции, чему соответствует оценка предложений по степени новизны проекта и его составляющих. В случае необходимости должна быть осуществлена оценка эксплуатационных расходов, которые связаны с поддержанием объекта закупки в необходимом заказчику состоянии после завершения проекта. При невозможности определения эксплуатационных характеристик, в том числе в связи с отсутствием у заказчика специалистов, владеющих знаниями о предмете закупки профессионально, такие характеристики могут быть установлены в ходе выполнения проекта путем включения в состав работ обследования, уточнения потребностей конечных пользователей создаваемого или использованного продукта (опрос, анкетирование, обследование объекта автоматизации), что должно быть оценено экспертом по степени комплексности и достаточности работ по проекту. Таким образом, тщательной оценке должны подвергнуться предложения по проектам: - на предмет наличия в обосновании стоимости по проекту технических требований к товарам (работам, услугам), исходя из установленного заказчиком функционального назначения товаров (работ, услуг) – целей, задач, ожидаемых результатов и области практического применения результатов проекта в аннотации; 34 - на предмет наличия конкретных параметров характеристик товаров (работ, услуг), требований к результатам работ, вытекающих из нормативной и технической документации; - на предмет исключающих наличия возможность характеристик товаров недобросовестной (работ, конкуренции услуг), участников закупки; - на предмет наличия требований безопасности товаров (работ, услуг); - на предмет наличия нормативной и технической документации (ТР, ГОСТ Р, ГОСТ, СТО, ТУ и др.), положениям которой должны соответствовать характеристики товаров (работ, услуг). Учитывая, что предложения по формированию проектов включают функциональные, технические характеристики, эксплуатационные характеристики проекта, впоследствии детализирующиеся в описании объекта закупки в составе документации о закупке, а также составляющие сам предмет и существенные условия контракта, включая обоснование начальной (максимальной) цены контракта, предметом экспертизы должны быть все элементы и составляющие проекта, которые относятся или содержат указанные характеристики. Нельзя игнорировать последствия необъективной и поверхностной экспертизы предложений по проектам. Анализ результатов проведения конкурсных процедур в рамках Программы в 2013 году (последний год I этапа Программы) показал большой процент проектов, по которым снижение стоимости предложений о выполнении условий государственного контракта превышает 30% и более. Невозможно утверждать, что причина ярко проявившегося в 2013 году явления демпинга цен государственных контрактов, реализуемых в рамках Программы, в неэффективности Методики расчета стоимости проектов и начальной (максимальной) цены контрактов, предлагаемых для реализации в рамках Федеральной целевой программы развития образования на 2011-2015 годы, утвержденной Минобрнауки России 7 июля 2012 года. Основная причина 35 данного снижения стоимостей государственных контрактов относительно сумм, предусмотренных решением НКС, извещением и конкурсной документацией, заключается в следующем. Путем исполнения государственных контрактов решаются отдельные вопросы (узкое образования по направление) тематике в рамках различных совершенствования контент-заказчиков, системы отсутствует комплексный подход в реализации государственных контрактов. Контент-заказчик, в том числе по причине ротации его кадрового состава, не осуществляет контроль за результатами выполнения контрактов прошлых лет и имеющихся заделов по тематике предлагаемых проектов в рамках программ модернизации системы образования (не только ФЦПРО). Большинство исполнителей данных государственных контрактов регулярно участвуют в реализации мероприятий Программы и имеют задел по проводимым работам. Низкое качество проработки требований к выполнению работ, оказанию услуг в рамках технического задания со стороны контент-заказчиков создает предпосылки к снижению объема и качества выполнения работ, что, естественно, привело к уменьшению стоимостей предложений со стороны участников размещению заказа. Статья 37 Федерального закона от 05.04.2013 № 44-ФЗ устанавливает с 1 января 2014 года антидемпинговые меры при проведении конкурса и аукциона, которые заключается в требованиях предоставления участником закупки, предложившим цену контракта, которая на 25% и более ниже начальной (максимальной) цены контракта, обеспечения исполнения контракта в размере, превышающем в 1,5 раза размер обеспечения исполнения контракта, указанный в документации о проведении конкурса или аукциона, или предоставления информации, подтверждающей добросовестность такого участника (наличие опыта исполнения контрактов), а также при проведении конкурсов в целях заключения контрактов на выполнение НИОКР - в праве 36 заказчика установить в конкурсной документации различные величины значимости критериев оценки заявок. Такие меры не устраняют проблемы низкого качества технического задания и некачественного исполнения контрактов исполнителями, имеющими заделы по тематике предлагаемых проектов. Для устранения демпинга цен государственных контрактов и достижения качественных результатов по ним необходимо: 1. Обеспечивать подготовку крупных системообразующих проектов, предусматривающих комплексный подход в рамках совершенствования системы образования. 2. Повышение качества проработанности предложений по проектам и технических заданий (заказов) в составе документации о закупке, более четкое и детальное установление требований к качественным и количественным характеристикам выполнения работ, оказания услуг. 3. Проведение сравнения планируемых работ, услуг, их качественных и количественных характеристик, и результатов с аналогичными параметрами контрактов по проектам прошлых лет. Таблица 3.1 – Рекомендации по оценке проработанности проекта (формальные требования) № п/п 1 2 Раздел аннотации по проекту Наименование проекта Предмет оценки - факт наличия четкой формулировки наименования проекта; - факт соответствия наименования проекта проблеме, обозначенной в обосновании актуальности; - факт соответствия наименования проекта тематике подмероприятия, мероприятия, задаче Программ, на выполнение которых направлена реализация проекта (раздел «Номер и наименование мероприятия и подмероприятия») Номер и - факт соответствия номера и наименований наименование мероприятия и подмероприятия в аннотации их мероприятия и наименованиям в действующей редакции Программы; 37 подмероприятия 3 4 5 - факт соответствия мероприятия и подмероприятия друг другу в соответствии с Программой; - факт соответствия мероприятия и подмероприятия тематике проекта (при наличии возможности реализации проекта в рамках иного подмероприятия) Финансирование - факт соответствия направления расходования проект, млн. руб. (НИОКР или «Прочие нужды») направлению расходования, установленному в действующей редакции Программы по подмероприятию, указанному в разделе «Номер и наименование мероприятия и подмероприятия»; - факт соответствия объемов и сроков финансирования проекта объемам и срокам финансирования подмероприятия, указанного в разделе «Номер и наименование мероприятия и подмероприятия», в соответствии с действующей редакцией Программы за счет средств федерального бюджета; - факт соответствия сроков реализации проекта поставленным задачам (реализуемость проекта в заявленные сроки) Обоснование - факт наличия описания современного состояния дел в актуальности сфере образования по тематике проекта; выполнения - факт наличия проблемы (преимущественно в проекта количественном выражении состояния целевых уровней (групп), и их динамике); - соответствие решаемой задачи утвержденным приоритетам социально-экономического развития; - обоснование необходимости решения проблемы путем проекта в рамках ФЦПРО (возможные (альтернативные) варианты решения проблемных ситуаций по тематике проекта); - факт наличия обоснования установленных сроков реализации проекта; - факт наличия сведений о результатах выполнения аналогичных проектов в рамках реализации мероприятий ФЦПРО; - обоснование необходимости участия федерального уровня власти в решении проблемы (задачи); - проверка соответствия функциям и полномочиям Минобрнауки России; - факт наличия указаний на нормативные правовые акты (документы), регламентирующие необходимость реализации предлагаемого проекта (при наличии) Область - факт наличия области практического использования и практического применения конкретных результатов выполнения 38 6 использования и применения результатов выполнения проекта Цели и задачи, краткое описание проекта Ожидаемые результаты 7 Показатели индикаторы ФЦПРО проекта в системе образования, с указанием конкретных категорий специалистов, конкретных уровней и ступеней образования, пользователей результатов проекта - факт наличия четкой формулировки цели; - факт соответствия цели проблеме, обозначенной в обосновании актуальности; - возможность верификации (проверки) факта достижения целей; - факт наличия квантифицированных целей (задач), позволяющих оценить выполнение проекта; - отсутствие декларативности цели и задач проекта; - факт наличия конкретизации задач, подчиненных цели; - факт отражения достаточных для достижения цели и решения проблемы поставленных задач (сбалансированность масштабов); - факт наличия критериев завершения проекта (достижение окончательных целей и результатов логика «начала и конца»). - факт соответствия ожидаемых результатов поставленным в рамках проекта задачам; - факт отражения количественных измерителей ожидаемых результатов - факт соответствия выбранных показателей проблеме, и обозначенной в обосновании актуальности; -- факт соответствия выбранных показателей подмероприятия, указанного в разделе «Номер и наименование мероприятия и подмероприятия»; - факт соответствия выбранных показателей цели и задачам проекта Учитывая опыт реализации Программы в 2011-2013 годах, предлагается в качестве основных критериев для оценки степени соответствия проекта целям и задачам Программы, а, следовательно, и эффективности (значимости) проектов использовать приведенные в таблице 3.2 возможные критерии оценки, шкалу их оценивания, значения значимости проектов (для их ранжирования). В связи с поэтапным подходом к реализации Программы, при переходе от этапа к этапу меняются и критерии ранжирования проектов. На первом этапе (2011-2013 годы) основное внимание уделялось проектам, связанным с 39 разработкой моделей развития образования по отдельным направлениям, их апробацией. На втором этапе (2014-2015 годы) приоритет отдается мероприятиям, направленным в основном на внедрение и распространение результатов, полученных на предыдущем этапе. 40 Таблица 3.2 - Критерии для оценки предложений по проектам для реализации в рамках Федеральной целевой программы развития образования на 2011-2015 годы и диапазоны их измерения № Критерии оценки п/п проектов ФЦПРО Шкала оценки 1. степень соответствия проекта стратегическим направлениям модернизации в сфере образования, тактическим установкам, общественному заказу и потребностям государства, экономики и общества Шкала 1..10 1 – низкая, 10 – высокая 2. степень Шкала 1..3 Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) - не соответствие направлений подготовки 1..10 (специальностей) высокотехнологичным секторам экономики и базовыми отраслями промышленности, определенным в Концепции долгосрочного социальноэкономического развития Российской Федерации на период до 2020 года (утверждена распоряжением Правительства Российской Федерации от 17 ноября 2008 г. № 1662-р), Приоритетным направлениям развития науки, технологий и техники Российской Федерации (утверждены Указом Президента Российской Федерации от 7 июля 2011 г. № 899) - несоответствие ожидаемых результатов проекта Основным направления деятельности Правительства Российской Федерации на период до 2018 года (утверждены Правительством Российской Федерации 31 января 2013 г.) - не соответствие в предложениях по 1..3 Значимость «вес» критерия 0,06 0,06 41 № Критерии оценки п/п проектов ФЦПРО соответствия тактическим целевым установкам Программы 3. степень актуальности проекта Шкала оценки 1 – низкая 2 – средняя 3– высокая Шкала 0..5, где 5 – проект направлен на выполнение решений Президента Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) соответствующим проектам, установленным в тактических целевых установках показателям и их значениям (за исключением целевых индикаторов и показателей ФЦПРО), определенных по направлениям государственной политики в сфере развития образования (например, показатель ПНПО «Численность школьников, обучившихся по индивидуальным образовательным программам на базе ведущих вузов в течение года» – ежегодно в 2011-2013 годах по 6 тыс. человек); - несоответствие предложений по проектам приоритетам, установленным в тактических целевых установках (приоритетный проект, ключевой проект, основной проект, дополнительный проект), срокам их реализации, обоснованию для реализации проекта (нормативный документ, поручениям) Наличие в составе проекта целей, задач и 0..5 работ, составляющих основной предмет проекта, направленных на решение текущих потребностей Заказчика, в том числе Значимость «вес» критерия 0,08 42 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Российской установленных полномочий и функций Федерации, Минобрнауки России и Рособрнадзора Правительства (исключительно ведомственного характера) Российской в рамках исполнения ими законодательства Федерации, Российской Федерации. федеральных органов При этом при обосновании оценки исполнительной допустимо указание на цели и задачи власти (необходимо Программы (например, на необходимость указать реквизиты формирования стратегических проектов актов); развития образования, включающих в себя 4 – результаты ряд новых взаимоувязанных направлений), проекта оказывают а также на положения абзацев первого и сильное влияние на второго пункта 1 Порядка разработки и ход реализации реализации федеральных целевых программ ФЦПРО на 2011-2015 и межгосударственных целевых программ, годы; все уровни в осуществлении которых участвует образования; высокий Российская Федерация, утвержденного социальнопостановлением Правительства Российской экономический Федерации от 26 июня 1995 г. № 594 «О эффект от его реализации Федерального закона «О реализации; поставках продукции для федеральных 3 – проект актуален государственных нужд». для отдельного Согласно указанным положениям Порядка уровня образования; мероприятия, а соответственно, и их высокий социальноструктурные элементы – проекты, должны 43 № Критерии оценки п/п проектов ФЦПРО 4. степень новизны Шкала оценки экономический эффект от его реализации; 2 – проект актуален для учреждений образования отдельного субъекта РФ (федерального округа); 1 – проект не обладает общностью, актуален для отдельного учреждения образования; 0 – проект не актуален Шкала 0..3, где 3 – результаты, которые будут созданы в рамках проекта, являются новыми и практически востребованными; Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) обеспечивать эффективное решение системных проблем в области государственного, экономического, экологического, социального и культурного развития Российской Федерации, входящих в сферу компетенции Заказчика, а также инновационное развитие экономики. При наличии сомнений в наличии соответствия этим положениям допустимо запрашивать у департаментов-заказчиков основания для внесения предложений по проекту – поручения Президента Российской Федерации и Правительства Российской Федерации, в том числе на предмет соответствия исполнителей – органов государственной власти и источников финансирования. Характеризует наличие прототипов, в том 0..3 числе зарубежных и российских, степень развития и уточнения ранее полученных результатов. Низкая оценка может быть присвоена проекту в следующих случаях. 1. Дублирование работ по проекту и их результатов в действующих или Значимость «вес» критерия 0,08 44 № Критерии оценки п/п проектов ФЦПРО Шкала оценки 2 – проект направлен на апробацию и внедрение результатов, созданных ранее; 1 – проект направлен на модернизацию и доработку результатов, созданных ранее; 0 – проект не обладает новизной Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия завершенных контрактах, ранее одобренных НКС проектах, государственных заданиях федеральных государственных учреждений высшего образования или иных общесистемных мероприятий (с указанием наименований видов работ рассматриваемого проекта и/или их результатов, и наименований дублирующих видов работ и/или их результатов с указанием реквизитов контрактов, проектов, государственных заданий, актов (документов), регламентирующих порядок и источники финансирования иных общесистемных мероприятий). Например, разработка … электронных образовательных ресурсов … была предусмотрена в рамках проекта «Развитие электронных образовательных интернетресурсов нового поколения, включая культурно-познавательные сервисы, систем дистанционного общего и профессионального обучения (e-learning), в том числе для использования людьми с ограниченными возможностями» (распоряжение Правительства Российской 45 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Федерации от 11 января 2011 г. № 13-р). Более высокий балл может быть присвоен проекту, в которым исключены вопросы по дублированию при доработке проекта, касающейся следующих положений: кратко представлены в обосновании актуальности выполнения проекта сведения о результатах выполнения аналогичных проектов в рамках реализации мероприятий ФЦПРО или иных мероприятий; представлено современное состояние дел в сфере образования по тематике проекта; указаны возможные варианты решения проблемных ситуаций по тематике проекта, и какие из них будут реализованы в рамках проекта. Следует отметить, что одна и та же работа может быть направлена на достижение нескольких целей и решение нескольких задач. Дублирование одних и тех же работ по одной и той же тематике по разным проектам приводит к двойному их финансированию и, соответственно, к неэффективному расходованию бюджетных средств, что является нарушением бюджетного законодательства (статья 34 46 № Критерии оценки п/п проектов ФЦПРО 5. степень влияния на цели задачи и необходимые результаты ФЦПРО (соответствие тематики проекта целям, задачам и ожидаемым результатам мероприятий ФЦПРО) Шкала оценки Шкала 0..4, где 4 – проект оказывает прямое влияние на цели и задачи Программы, ожидаемые конечные результаты реализации Программы и показатели ее социальноэкономической эффективности; 3 - проект оказывает прямое влияние на Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) Бюджетного кодекса Российской Федерации). 2. Дублирование работ по проекту и их результатов, ввиду имеющихся результатов предлагаемых работ или проекта в целом на основании принятых нормативных актов, проектов нормативных актов и/или документов, размещенных на сайтах в сети Интернет, в том числе на официальном сайте Минобрнауки России. Отсутствие работ по проекту и/или их 0..4 результатов, направленных на реализацию задачи, мероприятия, подмероприятия Программы, для выполнения которых предлагается проект, на достижение ожидаемых результатов мероприятия и подмероприятия Программы согласно приложению 3 к Программе. При этом необходимо указывать наименования задачи, мероприятия, подмероприятия Программы с перечислением их ожидаемых результатов и несоответствующие им наименования целей, задач, видов работ, ожидаемых результатов проекта. Значимость «вес» критерия 0,07 47 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия ожидаемые При этом, несмотря на то, что Федеральная результаты целевая программа развития образования на реализации 2011-2015 годы включена в состав отдельного государственной программы Российской мероприятия Федерации «Развитие образования на 2013(подмероприятия) 2020 годы», недопустима реализация Программы; проекта, направленного на реализацию 2 - проект оказывает основных мероприятий государственной косвенное влияние на программы и иных положений, цели и задачи предусмотренных государственной Программы, программой (абзац пятый пункта 1 Порядка ожидаемые конечные разработки и реализации федеральных результаты целевых программ и межгосударственных реализации целевых программ, в осуществлении Программы и которых участвует Российская Федерация, показатели ее утвержденного постановлением социальноПравительства Российской Федерации от 26 экономической июня 1995 г. № 594 «О реализации эффективности; Федерального закона «О поставках 1 - проект оказывает продукции для федеральных косвенное влияние на государственных нужд»: подпрограммы и ожидаемые (или) мероприятия целевых программ не результаты могут дублировать подпрограммы и реализации основные мероприятия, реализуемые в отдельного рамках государственных программ 48 № Критерии оценки п/п проектов ФЦПРО 6. степень проработанности предложения Шкала оценки мероприятия (подмероприятия) Программы; 0 - нет влияния. Шкала 1..10 1 – низкая, 10 – высокая Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Российской Федерации). По данному критерию осуществляется 1..10 оценка формулировок всех элементов аннотации и обосновании стоимости по проекту, которые должны быть понятными, лаконичными, непротиворечивыми, типовыми / унифицированными, соответствовать сложившейся практике и обычаям делового оборота, не должны противоречить законодательству Российской Федерации. Описание потребностей заказчика, которое отражается в обосновании актуальности выполнения проекта, цели, задачах, области практического применения результатов проекта должно носить объективный характер. С учетом специфики проектов в области развития образования низкая оценка может быть присвоена проекту в следующих случаях. Несоответствие вида работ и/или его 0,06 49 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия результата конкретным положениям (с изложением нормы права и указанием статей и пунктов) законодательных и иных нормативных правовых актов Российской Федерации, например: - несоответствие разграничению полномочий федеральных органов исполнительной власти, органов государственной власти субъектов Российской Федерации и органов местного самоуправления, установленных Бюджетным кодексом Российской Федерации, Федеральным законом «Об образовании в Российской Федерации», Федеральным законом «Об опеке и попечительстве» и другим законодательным актам. Так, в соответствии с пунктом 11 части 1 статьи 8 Федерального закона «Об образовании в Российской Федерации», в связи отнесением полномочий по обеспечению осуществления мониторинга в системе образования на уровень субъектов Российской Федерации к полномочиям органов государственной власти субъектов 50 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Российской Федерации, работы по проведению мониторинга в системе образования на уровне субъектов Российской Федерации не могут быть предметом заказываемых работ за счет средств федерального бюджета в рамках проекта; - полномочиям федеральных органов исполнительной власти, установленным положениями об этих органов, утвержденных постановлением Правительства Российской Федерации, в частности Минобрнауки России и Рособрнадзора. Пример 1: в соответствии с пунктом 5.4 Положения о Министерстве образования и науки Российской Федерации, утвержденного постановлением Правительства Российской Федерации от 15.05.2010 № 337, в связи с отнесением полномочий по обобщению практики применения законодательства Российской Федерации, анализу реализации государственной политики и подготовки предложений по совершенствованию 51 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия законодательства Российской Федерации в установленной сфере деятельности, к непосредственным функциям Минобрнауки России, работы по проведению анализа законодательной и нормативной базы, анализа реализации государственной политики и подготовке предложений по совершенствованию законодательства Российской Федерации в установленной сфере деятельности Минобрнауки России не могут быть предметом заказываемых работ за счет средств федерального бюджета в рамках проекта. Пример 2: функции по контролю за деятельностью органов опеки и попечительства в отношении несовершеннолетних граждан, которые подменяются в проекте мониторингом деятельности органов опеки и попечительства в отношении несовершеннолетних граждан, в соответствии с пунктом 5.3.8 Положения о Федеральной службе по надзору в сфере образования и науки, утвержденного постановлением Правительства Российской 52 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Федерации от 17 июня 2004 г. № 300, возложены на Рособрнадзор и не могут быть осуществлены сторонними организациями. Действия по сбору запрашиваемых материалов, составлению актов, заключений предусмотрены Административным регламентом исполнения Федеральной службой по надзору в сфере образования и науки государственной функции по осуществлению контроля за деятельностью органов опеки и попечительства в отношении несовершеннолетних граждан, утвержденным приказом Минобрнауки России от 24 сентября 2010 г. № 957; - отсутствие положительного заключения Минкомсвязи России по проектам, предусматривающим работы по созданию, модернизации, развитию, эксплуатации информационных систем и информационно-телекоммуникационной инфраструктуры в соответствии с пунктом 8 Положения о координации мероприятий по использованию информационнокоммуникационных технологий в 53 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия деятельности государственных органов, утвержденного постановлением Правительства Российской Федерации от 24 мая 2010 г. № 365. Согласно указанному пункту 8 Положения документы, предусматривающие мероприятия по информатизации, относящиеся к установленной сфере ведения государственных органов, с приложением финансово-экономического и (или) технико-экономического обоснования этих мероприятий направляются в Минкомсвязь России для оценки. В соответствии с пунктом 3 указанного Положения, данный порядок относится ко всем создаваемым, развиваемым, модернизируемым, эксплуатируемым государственными органами информационных систем и информационно-телекоммуникационной инфраструктуры на всех этапах жизненного цикла информационных систем и компонентов информационнотелекоммуникационной инфраструктуры, в том числе с целью обеспечение учета планируемых и фактически расходуемых на 54 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия эти цели средств бюджетов. При этом в соответствии с пунктом 26.10 Методических рекомендаций по подготовке планов информатизации государственных органов, включая форму плана информатизации государственного органа, утвержденных приказом Минкомсвязи России от 1 апреля 2013 г. № 71, мероприятие по информатизации, выполняемое на основании ранее утвержденной государственной программы Российской Федерации, федеральной целевой программы, ведомственной целевой программы, либо иного правового акта, включается в план информатизации федеральных органов исполнительной власти. В соответствии с пунктом 29 Положения подготовки планов информатизации государственных органов и отчетов об их выполнении, утвержденных указанным выше постановлением, финансированию за счет средств бюджетов подлежат только те мероприятия по информатизации, которые включены в утвержденный план информатизации; 55 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия - несоответствие терминологии, введенной Федеральным законом от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации». Пример 1: пунктом 4 части 5 статьи 10 Федерального закона вместо послевузовского образования с 1 сентября 2013 года установлен уровень высшего профессионального образования – подготовка кадров высшей квалификации. Пример 2: согласно пункту 29 статьи 2 Федерального закона введено понятие качества образования, сужающее сферу его свободного использования, неопределенности и злоупотребления. В частности, при включении в состав проекта, предлагаемого в рамках задачи по развитию системы оценки качества образования и востребованности образовательных услуг, вида работ по проведению мониторинга реализации мер по повышению качества и доступности образования. Понятие качества образования рассматривается как комплексная характеристика образовательной деятельности и подготовки 56 № Критерии оценки п/п проектов ФЦПРО 7. комплексность достаточность Шкала оценки и Шкала 1..10 1 – отсутствует, Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) обучающегося, выражающая степень их соответствия федеральным государственным образовательным стандартам, образовательным стандартам, федеральным государственным требованиям и (или) потребностям физического или юридического лица, в интересах которого осуществляется образовательная деятельность, в том числе степень достижения планируемых результатов образовательной программы; - несоответствие части 3 статьи 17 Федерального закона от 26.07.2006 № 135ФЗ «О защите конкуренции» при наличии в составе проекта работ (услуг), технологически и функционально не связанных с работами (услугами), выполнение (оказание) которых не является предметом торгов (например, работы по организации трансфера участников, решение визовых вопросов, питание и размещение участников, синхронный перевод и т.д.). Отсутствие преемственности и взаимосвязи 1..10 работ друг с другом в рамках проекта, с Значимость «вес» критерия 0,05 57 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) работ по проекту 10 – охватывает все указанием этих работ, а также на отсутствие (наполняемость этапы тех видов работ, которые приводили бы к составом работ) успешному завершению проекта, готовности его результатов к масштабному внедрению и тиражированию (в том числе с использованием этапов и типовых видов работ, предусмотренных таблицами 3.1, 3.2 и 4.1 Методики расчета стоимости проектов и начальной (максимальной) цены контрактов, предлагаемых для реализации в рамках Федеральной целевой программы развития образования на 2011-2015 годы). 8. степень Шкала 1..10 Отсутствие работ по мониторингу, анализу, 1..10 перспективности 1 – низкая, апробации или малое количество результатов проекта 10 – высокая участников апробации и мониторинга с точки зрения (человек, образовательных организаций, обозначенного в субъектов Российской Федерации) Программе приводит к субъективности результатов количественного проекта, достигнутых лишь на основе целевого результата мнения исполнителя проекта, (по охвату целевых невостребованности результатов, групп, необходимости доработки результатов распространенности проекта после завершения проекта инноваций в (приемки заказчиком работ), оттягивает регионах, сроки внедрения результатов. Значимость «вес» критерия 0,06 58 № Критерии оценки п/п проектов ФЦПРО различных типах ОУ и т.д.) 9. оценка возможностей сопряжения результатов проекта с существующими либо планируемыми к внедрению инновациями (особенно в случае с содержанием образования – соответствие другим образовательным ступеням и модулям в рамках концепций непрерывного и вариативного образования) 10. оценка социокультурных Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Шкала 1..10 1 – низкая, 10 – высокая Оценивается возможность адаптации 1..10 результатов проектов с существующими либо планируемыми к внедрению инновациями, соблюдения преемственности уровней образования. Например, не допустима разработка программ, требований и условий инклюзивного дошкольного образования до утверждения в установленном порядке федерального государственного образовательного стандарта начального общего образования для обучающихся с ограниченными возможностями здоровья и механизмов его внедрения. 0,04 Шкала 1..10 1 – низкая, Отсутствие в предложениях по проекту 1..10 составляющей, приводящей в результате 0,08 59 № Критерии оценки п/п проектов ФЦПРО Шкала оценки аспектов внедрения 10 – высокая результатов проекта и их возможных эффектов в будущем 11. оценка социальнопсихологических аспектов внедрения результатов проекта (возможности адаптации с точки зрения целевых групп) 12. оценка последствий Шкала 1..10 1 – низкая, 10 – высокая Шкала 1..10 Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) внедрения результатов проекта, к формированию у целевых групп, на которые ориентированы результаты проекта, культурных ценностей (нравственных и эстетических идеалов, норм и образцов поведения, национальных традиций и обычаев, исторических топонимов, фольклора, произведений культуры и искусства, и т.д., например, формирование у одной категории населения гражданской идентичности, толерантного поведения к историко-культурным, религиозным условиям, ограниченным возможностям здоровья другой категории населения, формирование у обучающихся культуры энергосберегающего поведения) Отсутствие в предложениях по проекту 1..10 составляющей по разработке моделей, подходов, их апробации и развития без участия представителей целевых групп (их мнения), на которые ориентированы результаты проекта Значимость «вес» критерия Отсутствие в предложениях по проекту 1..10 0,05 0,04 60 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) внедрения 1 – низкая, составляющей, адаптируемой для всех инновационной 10 – высокая категорий граждан независимо от разработки для местожительства, социального и людей с имущественного статуса и состояния ограниченными здоровья (граждан из социально уязвимых возможностями, а групп населения, населения с низкими также социально доходами, детей-сирот и детей, оставшихся незащищенных без попечения родителей, детей с слоев населения ограниченными возможностями здоровья и детей-инвалидов и др.) 13. степень апробации Шкала 1..10 Отсутствие в составе работ по апробации 1..10 и общественного 1 – низкая, разработанных ранее подходов, инноваций, признания 10 – всесторонняя также работ по общественному их результатов, апробация и обсуждению с участием широкого круга полученных при общественное общественности (не только представителей выполнении признание Заказчика и органов управления проекта результатов проекта образованием), с указанием их недостатков в замечаниях и предложениях, в том числе с указанием замечания по отсутствию соответствующих количественных характеристик этих работ. 14. оценка Шкала 1..10 Отсутствие возможности применения 1..10 практической 1– отсутствует результатов проекта после завершения значимости практическая проекта (принятие Заказчиком результатов результатов проекта значимость; работ государственного контракта) при Значимость «вес» критерия 0,08 0,07 61 № Критерии оценки п/п проектов ФЦПРО Шкала оценки 2 – результаты проекта могут быть использованы для отдельного учреждения системы образования; 5 – проект ориентирован на широкое использование внутри одной отрасли; 10 - межотраслевое применение и/или особо важное (стратегическое) значение для отрасли, обладает высокой социальной значимостью. Проект ориентирован на широкомасштабное использование (внедрение). Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия необходимости не предусмотренного в рамках установленных функций и полномочий Заказчика и потребителей результатов проекта (органов управления образованием, образовательных организаций) дополнительного финансирования последующих работ в условиях бюджетного ограничения бюджетов бюджетной системы Российской Федерации, финансового обеспечения образовательных организаций. При этом немало важным является оценка необходимых характеристик, касающихся возможности функционирования предлагаемых к разработке информационных систем после завершения проекта по созданию, апробации и развитию этих систем: численности и квалификации персонала Заказчика, требуемого для развертывания и эксплуатации системы, надежности, конфиденциальности и защиты от несанкционированного доступа системы. На вопросы определения стоимости последующей эксплуатации продукции, 62 № Критерии оценки п/п проектов ФЦПРО Шкала оценки 15. степень влияния Шкала 0..4, где результатов проекта 4 – проект оказывает Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) обладающей длительным жизненным циклом, обращено внимание в Программе по повышению эффективности бюджетных расходов на период до 2012 года, утвержденной распоряжением Правительства Российской Федерации от 30 июня 2010 г. № 1101-р (раздел X). Недопустимы создание или модернизация информационных систем, функциональные возможности которых заключаются в большом объеме ручного пользовательского режима (ввода и обработки информации). Более высокая оценка возможна при доработке проекта департаментомзаказчиком путем указания соответствующей области практического использования и применения конкретных результатов выполнения проекта в системе образования, с указанием конкретных категорий специалистов, конкретных уровней и ступеней образования, пользователей результатов проекта. Указание на отмеченные департаментом- 0..4 заказчиком в аннотации по проекту Значимость «вес» критерия 0,08 63 № Критерии оценки п/п проектов ФЦПРО на индикаторы и показатели Программы Шкала оценки Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия прямое влияние более индикаторы и показатели Программы, чем на один достижению значений которых не индикатор или способствует реализация проекта. показатель хода При необходимости экспертом может быть реализации рекомендован для включения в аннотацию Программы; показатель Программы, на который 3 - проект оказывает оказывает влияние реализация проекта. прямое влияние на один индикатор или показатель хода реализации Программы; 2 - проект оказывает косвенное влияние более чем на один индикатор или показатель хода реализации Программы; 1 - проект оказывает косвенное влияние на один индикатор или показатель хода реализации Программы; 64 № Критерии оценки п/п проектов ФЦПРО 16. степень преемственности проекта в соответствии с II этапом ФЦПРО Шкала оценки 0 - нет влияния. Шкала 1..3 1 – проект направлен на решение новых задач, связанных с разработкой и апробации моделей и подходов, которые должны были быть получены на I этапе Программы 2 – проект предусматривает доработку и апробацию доработанных моделей и подходов, которые получены на I этапе Программы 3– проект направлен на масштабное внедрение результатов проектов, полученных на I этапе Программы Обоснование выбора низких балльных Диапазон Значимость значений (примеры) измерения «вес» (баллы) критерия Отсутствие предложений по проекту с 0..3 установленными сроками реализации 20142015 годы, соответствующих задаче II этапа Программы (2014 - 2015 годы), заключающейся в отсутствии в проекте масштабных работ по апробации и внедрению разработанных технологий и подходов, и иных работ, обеспечивающих их массовое внедрение в систему образования. Следует отметить, что в рамках второго этапа Программы предстоит завершить начатые на I этапе стратегические проекты, обеспечив последовательные изменения в образовании на всей территории Российской Федерации, сформировать новые модели управления образованием в условиях широкомасштабного использования информационно-телекоммуникационных технологий. 0,07 65 № Критерии оценки п/п проектов ФЦПРО Шкала оценки Обоснование выбора низких балльных Диапазон значений (примеры) измерения (баллы) 17. степень Шкала 0..2, где Не соответствие стоимости видов работ, 0..2 соответствия 2 – стоимость расчет которой произведен на основании стоимости предлагаемых работ в использования Методики расчета стоимости предлагаемых работ рамках проекта проектов и начальной (максимальной) цены в рамках проекта соответствует контрактов, предлагаемых для реализации в рыночной рыночной стоимости рамках Федеральной целевой программы стоимости (отличие не более развития образования на 2011-2015 годы, с 10%); указанием завышенной стоимости по 1 - стоимость каждому такому виду работ и базовой предлагаемых работ в (рыночной) стоимости, установленной в рамках проекта Методике (по типовому виду работ в превышает рыночную таблицах 3.1 или 3.2 или нормативам в стоимость (не более таблицах 4.1-4.7), а также процента (доли) 30%); завышения стоимости проекта в целом. 0 - стоимость предлагаемых работ в рамках проекта не соответствует рыночной стоимости (превышение более 30%). Значимость «вес» критерия 0,10 66 Поскольку социально-экономический эффект от реализации проектов и программных мероприятий в рамках Программы оценивается множеством характеристик, отражающих их влияние на важные аспекты общественной деятельности. Отдельные стороны социально-экономического эффекта характеризуются совокупностью характеристик, имеющих количественную оценку. В методическом плане их расчет проводится путем вычисления среднеарифметического значения. Ряд аспектов социально-экономического характера может быть оценен только качественно, выражение их в количественной форме проблематично. Несмотря на это, их учет обязателен, поскольку только в этом случае может быть установлена объективная оценка эффектов от реализации проекта, тем более что при их оценке показатели, как правило, имеют качественный характер. Поэтому в основу разработанного методического подхода по оценке социально-экономического эффекта от реализации проекта, а следовательно, и выдаче рекомендаций о реализации того или иного предложения по проекту, были заложены методы многокритериального экспертного анализа, в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса экспертов с использованием "вербально-числовых шкал", процедуры парных сравнений рассматриваемых аспектов с последующей обработкой результатов для получения шкальных оценок их важности. Применение таких методов позволяет рассчитать обобщенную интегральную оценку значимости от реализации конкретного проекта и абстрагироваться от сложных и труднопрогнозируемых вопросов прямого моделирования движения денежных потоков, учета неопределенностей и рисков, сопровождающих процессы реформирования системы образования. 67 4. ПОРЯДОК ПРОВЕДЕНИЯ ФОРМИРОВАНИЮ ЭКСПЕРТИЗЫ ТЕМАТИКИ ФЕДЕРАЛЬНОЙ ПРЕДЛОЖЕНИЙ ПРОЕКТОВ ЦЕЛЕВОЙ В ПРОГРАММЫ ПО РАМКАХ РАЗВИТИЯ ОБРАЗОВАНИЯ НА 2011-2015 ГОДЫ 4.1. Организационная схема проведения экспертизы предложений по формированию тематики проектов в рамках ФЦПРО Порядок организации и проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011-2015 годы предусматривает следующие этапы: 1. Формирование рабочей группы по выполнению экспертного опроса: 1.1. разработка критериев отбора экспертов (п.2 Методики); 1.2. формирование реестра экспертов по уровням и направлениям модернизации в сфере образования; 1.3. разработка анкет для экспертов (приложение №1 к Методике); 1.4. проведение экспертного опроса, анализ результатов, расчет коэффициентов относительной важности разработанных критериев отбора экспертов; 1.5. ранжирование экспертов из реестра в соответствии с разработанными критериями; 1.6. проведение отбора не менее 10 человек по каждому направлению. 2. Разработка инструментария для проведения оценки предложений по формированию тематики проектов в рамках мероприятий Программы: 2.1. разработка критериев оценки предложений по формированию тематики проектов в рамках мероприятий Программы (п.3 Методики); 2.2. разработка анкет для экспертов (приложение №2 к Методике); 68 2.3. проведение экспертного опроса, анализ результатов, расчет коэффициентов относительной важности разработанных критериев для отбора предложений по проектам для реализации в рамках ФЦПРО; 2.4. разработка форм предоставления результатов экспертизы (приложение №3 к Методике). 3. Проведение экспертизы предложений по формированию тематики проектов в рамках ФЦПРО: 3.1. проведение экспертного опроса по каждому предложению по проекту, поступившему от Департамента-заказчика для реализации в рамках ФЦПРО; 3.2. обработка результатов экспертного опроса; 3.3. расчет количественных критериев; 3.4. измерение качественных характеристик (придание качественным характеристикам количественных значений) на основе использования «вербально-числовых шкал»; 3.5. получение итоговой оценки (рейтинга) проекта; 3.6. анализ полученных результатов. Подготовка рекомендаций заказчику по реализации (или отклонению) предложения по проекту. 4.2. Алгоритмы расчета критериев оценки Следует отметить, что в рамках настоящей Методики алгоритмы расчета коэффициентов относительной важности разработанных критериев отбора экспертов и оценки предложений по формированию тематики проектов в рамках мероприятий Программы построены одинаково. Под обоснованием коэффициентов относительной важности критериев экспертными методами обычно понимают процесс, состоящий из двух взаимосвязанных этапов: 1. этапа измерения или получения данных от экспертов; 69 2. этапа обработки данных формальными математическими методами. Для обоснования коэффициентов относительной важности критериев предлагается использовать один из наиболее распространенных методов решения данной задачи - метод собственных значений Т.Саати. При использовании этого метода на первом этапе экспертами осуществляются парные сравнения оцениваемых критериев. Такое сравнение, как известно, наиболее простая, сводящая к минимуму затруднения экспертов форма отражения своих предпочтений. При этом избыточная информация, содержащаяся в матрице парных сравнений критериев (оценки результатов непосредственного сравнения критериев экспертами и оценки, полученные опосредствованно через сравнения критериев с другими, промежуточными критериями) позволяет в процессе последующей обработки (на этапе обработки данных) существенно уменьшить влияние ошибок, допущенных экспертами при осуществлении элементарных операций попарного сопоставления критериев. Для опроса экспертов в рамках Методики были разработаны анкеты (первая – для расчета коэффициентов относительной важности разработанных критериев отбора экспертов, вторая - для оценки предложений по формированию тематики проектов в рамках мероприятий Программы) экспертного опроса, где количественные оценки значимости при проведении парных сравнений критериев будут устанавливаться в соответствии с «вербально-числовой шкалой». Применение «вербально-числовой шкалы» повышает объективность оценок, облегчает задачу привлекаемых к экспертизе специалистов, обеспечивает сопоставимость оценок экспертов. По результатам опроса экспертов будут определены коэффициенты относительной важности критериев для расчета коэффициентов относительной важности разработанных критериев отбора экспертов и оценки предложений по формированию тематики проектов в рамках мероприятий Программы с учетом компетентности экспертов по тематике исследований, что, как отмечалось ранее, существенно повышает достоверность полученных оценок. 70 При обосновании коэффициентов относительной важности характеристик экспертными методами каждой i-ой характеристике ставится в соответствие неотрицательное число Vi , i 1, m , отражающее относительную важность характеристики. Коэффициенты относительной важности характеристик ( Vi ) удовлетворяют следующим условиям: m V 0 Vi 1 , i i 1 1, где m - количество оцениваемых характеристик. Числовые оценки такого типа называют оценками в шкале отношений, а саму задачу присваивания объектам нечисловой (качественной) природы числовых значений, обладающих указанным условиям, называют задачей шкалирования в шкале распространенным отношений. Как методом решения отмечалось ранее, данной задачи наиболее является метод собственных значений Саати. Эксперт, пользуясь специальной вербально-числовой шкалой, заполняет матрицу парных сравнений l z 11l z12 ... z1lm Z l z 21l z 22 ... z 2l m . . . , l 1, N , l z m1l z ml 2 ... z mm где z ljk - результат сравнения j-го критерия с k-ым, полученный l-ым экспертом. Оценки назначаются в соответствии с вербально-числовой шкалой значений следующим образом: 71 z jk 1, если 3, если 5, если 7, если 9, если j ый и k ый критерии имеют одинаковую важность; j ый критерий немног оважнее k г окритерия; j ый критерий существенн о важнее k г окритерия; j ый критерий значительно важнее k г окритерия; j ый критерий абсолютно важнее k г окритерия. Эксперт может руководствоваться и более детальной классификацией результатов качественного сравнения критериев и назначать промежуточные значения , т.е. 2,4,6,8. При заполнении матрицы накладывается и учитывается требование взаимного дополнения оценок: . Подробное описание вербально-числовой шкалы и правил ее использования приводится в работах Саати. Применение оценок, облегчает вербально-числовой задачу шкалы привлекаемых к повышает объективность экспертизе специалистов, обеспечивает сопоставимость оценок экспертов. Элементы матриц парных сравнений z jk рассматриваются в качестве оценок отношений действительных искомых коэффициентов относительной важности характеристик, т.е.: z jk Vj Vk . В идеальном случае при соблюдении логичности в назначении оценок парных сравнений критериев должно выполняться условие: zik zij z jk , i, j, k . Матрица Z, в которой это условие выполняется, называется сверхтранзитивной. В том случае, при последовательности в рассуждениях экспертов, соблюдается равенство: , где 72 V - вектор действительных искомых коэффициентов относительной важности критериев. Оценка коэффициентов относительной важности критериев по сверхтранзитивной матрице не представляет особого труда и сводится к расчету по формуле: Vi 1 , z ki i 1, m – (k номер любой произвольной строки), с последующей нормировкой полученных данных. Если последовательность в назначении оценок экспертом не соблюдается то, как известно, справедливо равенство: Z V max V , где - максимальное собственное значение матрицы Z. В этом случае задача оценки коэффициентов относительной важности характеристик сводиться к определению максимального собственного значения матрицы Z и соответствующего ему собственного вектора V. Решение такой задачи может быть осуществлено на основе так называемого степенного алгоритма. В дальнейшем необходимо объединить оценки группы экспертов с учетом их компетентности. В результате обработки каждой из m матриц парных сравнений (где n – количество экспертов), составленных экспертами, с помощью указанного степенного алгоритма рассчитываются вектора коэффициентов относительной важности: , , и соответствующие им максимальные собственные значения При этом, в общем случае, вектора , коэффициентов . важности характеристик, полученные от разных экспертов, будут отличаться. Поэтому 73 необходимо отыскать некоторую компромиссную, наиболее согласованную шкалу оценок. Для определения такой шкалы оценок можно использовать средние геометрические соответствующих элементов матрицы каждого эксперта. В результате будет получена итоговая матрица, по которой определяется результирующий вектор весовых коэффициентов критериев – вектор V. Такой метод усреднения легко реализуем, однако он не дает возможности при определении результирующей шкалы учитывать различия в компетентности экспертов. Более объективные оценки коэффициентов важности характеристик могут быть получены, если при определении результирующего вектора учитывать различия в компетентности экспертов. Очевидно, чем более непоследователен эксперт в своих оценках, тем сильнее отличается максимальное собственное значение матрицы Z от величины m – собственного значения сверхтранзитивной матрицы. Таким образом, величина собственного значения матрицы, отражает характеристику несогласованности ответов эксперта, его компетентность. Для оценки компетентности экспертов и их учета при определении результирующей матрицы, на основе которой рассчитывается вектор важности характеристик, используются следующие известные в литературе зависимости: n Kl j 1 j max lmax , , ; ; , где 74 - оценка и нормированная оценка компетентности l-го эксперта , соответственно. Коэффициенты характеризуют только одну сторону компетентности эксперта - это способность давать согласованные (непротиворечивые) ответы при заполнении матрицы парных сравнений. В Приложении №1 и №2 представлены анкеты (опросные листы) для экспертов по расчету коэффициентов относительной важности разработанных критериев отбора экспертов и оценки предложений по формированию тематики проектов в рамках мероприятий Программы. 4.3 Алгоритм оценки предложений по формированию тематики проектов в рамках мероприятий Программы Ранжирование проектов Оценка предложений по формированию тематики проектов в рамках мероприятий Программы (обоснование предпочтительности или ранжирование) проектов представляет собой процедуру многокритериального упорядочения проектов в направлении снижения их значимости (привлекательности). Аналогичная процедура производится и при отборе экспертов для проведения анализа предложений по проектам. Комплексная оценка проектов проводится на основе простого аддитивного взвешивания. Упорядочение проектов по их предпочтительности осуществляется по принципу: ui u k , если , если m m j i j 1 m m j i j 1 V j zij* V j z kj* ; V j zij* V j z kj* , (4.1) где - порядковые номера соответственно i-го и k-го проектов в их упорядоченном множестве; 75 - коэффициент важности j-го критерия ( ); - нормированные оценки соответственно i-го и k-го проектов по jму критерию. Нормировка оценок проводиться по следующей формуле: (4.2) где , , , , - количественная оценка i-го проекта с точки зрения j-го критерия. Нормировка представляет собой преобразование матрицы критериальных оценок, имеющих различную размерность, безразмерными величинами из диапазона 0…1. Исходными данными для обоснования предпочтительности (значимости) проектов служат: коэффициенты относительной важности критериев; итоговая матрица критериальных оценок предложений по проектам (n m); диапазон изменения количественной характеристики (числовой шкалы) проектов. Для обоснования предпочтительности проектов проводиться нормировка итоговых критериальных оценок проектов по зависимости (4.2). Для каждого проекта рассчитывается целевая функция (дается комплексная оценка проекта) по зависимости: , , (4.3) где 76 - коэффициент важности j-го критерия ( ); - коэффициент значимости (приоритетности) проекта; n – суммарное количество проектов; m – количество критериев для оценки степени значимости проектов. Формируется упорядоченный ряд проектов по принципу (4.1). Чем меньше порядковый номер проекта, тем выше его значимость (приоритетность). Полученные значения значимости предложений по проектам сравниваются с допустимыми диапазонами значений: 1,0…0,8 – очень высокий уровень значимости проекта (очень высокий социально-экономический эффект от реализации проекта), целесообразно обеспечить его реализацию в рамках ФЦПРО (первоочередной); 0,6…0,8 – высокий уровень значимости проекта (высокий социальноэкономический эффект от реализации проекта), целесообразно обеспечить его реализацию в рамках ФЦПРО (основной); 0,3…0,6 – средний уровень значимости проекта (средний социальноэкономический эффект от реализации проекта), возможно обеспечить его реализацию в рамках ФЦПРО при наличии экономии средств федерального бюджета (при наличии экономии); 0,2…0,3 – низкий уровень значимости проекта (низкий социальноэкономический эффект от реализации проекта, отсутствие актуальности и новизны, дублирование работ), целесообразно отклонить данный проект. Анализ ожидаемой эффективности расходования средств федерального бюджета при реализации проекта Понятие «эффективность» в общем случае рассматривается как относительный показатель, соизмеряющий полученный эффект с затратами или ресурсами, использованными для достижения этого эффекта. В соответствии с этим, эффективность расходования бюджетных средств на выполнение проектов Программы может быть определена также как относительный 77 показатель, соизмеряющий полученный эффект с расходованием средств бюджета на их реализацию. Поэтому для определения эффективности расходования бюджетных средств на реализацию отдельного проекта необходимо проанализировать соотношение величины его финансирования и полученный эффект. В соответствии с поставленными целями и задачами Программы эффективность программных мероприятий по реформированию в системе образования должна оцениваться на основе системы социально-экономических показателей. В условиях ограниченного финансирования программных мероприятий необходимо так расходовать выделяемые бюджетные средства, чтобы изменения в системе образования привели к максимальному социальноэкономическому росту. Для оценки предлагается эффективности составной критерий, расходования бюджетных представляющий собой средств отношение показателя, характеризующего экономическую (стоимостную) сторону проекта к показателю, отражающего его социально-экономическую эффективность (значимость проекта). Это позволит оценить условную стоимость проекта на единицу его эффективности (значимости). В соответствии с предложенным определением, условная стоимость проекта ( ) может быть определена по следующей зависимости: С усл i Ci , Fi (4.4) где - фактическая стоимость проекта, предлагаемая контент-заказчиком в рамках формирования предложения по проектам на текущий год. - коэффициент значимости (приоритетности) проекта. Логично предположить, что эффективность расходования средств на реализацию i-го проекта может быть рассчитана по формуле: 78 , (4.5) где множитель 1,15 представляет собой нормирующий коэффициент, выбираемый из условия обеспечения единичной эффективности расходования финансовых средств максимально возможного по величине социально- экономического эффекта (значимости) проекта Программы. В соответствии с полученной зависимостью (4.4), эффективность расходования средств (Э) на реализацию программных мероприятий на всех высших уровнях иерархической структуры Программы (уровень мероприятий, уровень направлений и, наконец, уровень Программы) может быть определена как: , , (4.6) где n – суммарное количество проектов в составе рассматриваемого уровня Программы; – условная стоимость j-го проекта в составе рассматриваемого уровня Программы. Полученные значения эффективности расходования средств, затраченных на реализацию программных мероприятий, сравниваются с допустимыми диапазонами значений: 1,0…0,8 – очень высокий уровень эффективности расходования средств; 0,6…0,8 – высокий уровень эффективности расходования средств; 0,3…0,6 – средний уровень эффективности расходования средств; 0,2…0,3 – низкий уровень эффективности расходования средств. Таким образом, чем выше значимость проекта, тем выше ожидаемая эффективность расходования средств федерального бюджета при реализации 79 проекта. Выбор наиболее значимых проектов автоматически обеспечит высокую эффективность расходования средств федерального бюджета. 4.4 Порядок отбора экспертов для проведения анализа предложений по проектам в рамках мероприятий Программы В целях формирования федерального реестра экспертов по уровням и направлениям модернизации в сфере образования целесообразно осуществить сбор сведений из органов управления образованием субъектов Российской Федерации, научно-исследовательских институтов, вузов и общественных организаций о специалистах, обладающих необходимым опытом и квалификацией для привлечения их в качестве экспертов. Ранжирование экспертов из реестра должно проводиться на основе представленных данных и в соответствии с разработанными критериями, коэффициенты относительной важности которых должны быть определены заранее при привлечении экспертов федерального уровня (в соответствии с листами опроса, представленными в Приложении №1). Рассмотрим пример ранжирования экспертов. Имеются данные по двум специалистам одного направления, условно обозначим их эксперт №1 и эксперт №2. Сведения об экспертах систематизированные по критериям, вводятся в столбец 3 таблиц 4.1 и 4.2. В соответствии с алгоритмами обработки сведений об экспертах (таблица 2.1) проставляются оценки по критериям (столбец 4 таблиц 4.1 и 4.2). Нормирование указанных критериев проводится по формулам (4.2), значения нормированных критериев проставляются в столбце 6 таблиц 4.1 и 4.2. Расчет итогового рейтинга эксперта осуществляется по формуле (4.3). По результатам расчета рейтинг экспертов составил: эксперт №1 - 0,2145, эксперт №2 - 0,3235. 80 Поэтому для проведения экспертизы по выбранному направлению целесообразно привлечь эксперта №2. В данном случае рассмотрен механизм проведения отбора экспертов одним специалистом. Для повышения точности и достоверности процедуры отбора возможно использовать мнение нескольких специалистов с учетом их компетенций. В соответствии с этим расчетная формула для определения рейтинга эксперта будет определяться по следующей зависимости: Ri 1 n Rij K j , j 1, n , n j 1 (4.4) где Rij - рейтинг i-го эксперта, рассчитанный j-м специалистом ( ); K j - уровень компетенции j-го специалиста; Ri - итоговый рейтинг i-го эксперта; n – количество специалистов, осуществляющих отбор экспертов. Полученное значение итогового рейтинга эксперта является более достоверным, нежели рассчитанное по мнению одного специалиста. Из опыта проведения аналогичных работ достаточно проведение опроса не более 8 специалистов по каждому кандидату. 81 Таблица 4.1 – Пример расчета рейтинга эксперта №1 № п/п Критерии экспертов 1 2 Соответствие профильного образования эксперта тематике проводимых исследований Ученая степень Ученое звание Должность Стаж работы Количество публикаций по данному направлению за последние три года Цитируемость эксперта Компетентностный уровень экспертной оценки Количество сформированных экспертных заключений 1. 2. 3. 4. 5. 6. 7. 8. 9. отбора Данные по эксперту Нормированное значение критерия 5 1,000 Значимость «вес» критерия 6 0,04 Оценка критерию 3 Соответствует (ВПО) Значение критерия (балл) 4 2 нет нет начальник отдела ОУО 10 лет 3 статьи 0 0 3 2 1 0,000 0,000 0,500 0,250 0,200 0,06 0,06 0,10 0,09 0,13 0,000 0,000 0,050 0,023 0,026 0 0 0 0 0,000 0,000 0,15 0,15 0,000 0,000 8 заключений 2 0,400 0,09 0,036 по 7 0,040 82 № п/п 1 Критерии экспертов отбора Данные по эксперту Значение критерия (балл) 4 0 2 3 10. Квалификация эксперта отсутствуют международные, др. сертификаты в области экспертной деятельности 11. Признанность эксперта 0,5 0,5 Нормированное значение критерия 5 0,000 Значимость «вес» критерия 6 0,05 Оценка критерию 0,500 0,08 0,040 по 7 0,000 Итого рейтинг эксперта – 0,2145. 83 Таблица 4.2 – Пример расчета рейтинга эксперта №2 № п/п Критерии экспертов 1 2 Соответствие профильного образования эксперта тематике проводимых исследований Ученая степень Ученое звание Должность Стаж работы Количество публикаций по данному направлению за последние три года Цитируемость эксперта Компетентностный уровень экспертной оценки Количество сформированных экспертных заключений 1. 2. 3. 4. 5. 6. 7. 8. 9. отбора Данные по эксперту Нормированное значение критерия 5 1,000 Значимость «вес» критерия 6 0,04 Оценка критерию 3 Соответствует (ВПО) Значение критерия (балл) 4 2 Кандидат наук доцент ведущий специалист 10 лет 7 статей 1 1 4 2 2 0,500 0,000 0,750 0,250 0,400 0,06 0,06 0,10 0,09 0,13 0,030 0,000 0,075 0,023 0,052 8 ссылок Не оценивалась 1 0 0,200 0,000 0,15 0,15 0,030 0,000 3 заключения 1 0,200 0,09 0,018 по 7 0,040 84 № п/п 1 Критерии экспертов отбора Данные по эксперту Значение критерия (балл) 4 0 2 3 10. Квалификация эксперта отсутствуют международные, др. сертификаты в области экспертной деятельности 11. Признанность эксперта 0,7 0,7 Нормированное значение критерия 5 0,000 Значимость «вес» критерия 6 0,05 Оценка критерию 0,700 0,08 0,056 по 7 0,000 Итого рейтинг эксперта №2 – 0,3235. 85 4.5 Порядок оценки предложений по формированию тематики проектов в рамках мероприятий Программы Как отмечалось ранее, оценка предложений по формированию тематики проектов в рамках мероприятий Программы (обоснование предпочтительности или ранжирование) проектов представляет собой процедуру многокритериального упорядочения проектов в направлении снижения их значимости (привлекательности). Процедура, по сути, полностью аналогична порядку отбора экспертов для проведения анализа предложений по проектам (п.4.4). Ранжирование проектов должно проводиться на основе представленных данных и в соответствии с разработанными критериями, коэффициенты относительной важности которых должны быть определены заранее при привлечении экспертов федерального уровня (в соответствии с листами опроса, представленными в Приложении №2). Рассмотрим пример ранжирования (отбора) проектов. Имеются данные (аннотация и обоснование стоимости) по двум проектам, условно обозначим их проект №1 и проект №2. Сведения о проектах, систематизированные по критериям, вводятся в столбец 3 таблиц 4.3 и 4.4. В соответствии с алгоритмами обработки данных о проектах (таблица 3.1) экспертами проставляются оценки по критериям (столбец 4 таблиц 4.3 и 4.4). Нормирование указанных критериев проводится по формулам (4.2), значения нормированных критериев проставляются в столбце 6 таблиц 4.3 и 4.4. Расчет итогового рейтинга проекта осуществляется по формуле (4.3). По результатам расчета рейтинг проектов составил: проект №1 - 0,820, эксперт №2 - 0,603. 86 Поэтому при условии одинаковой направленности проектов для реализации в рамках ФЦПРО по выбранному направлению целесообразно выбрать проект №1. Для повышения достоверности отбора предложений по проектам в соответствии с представленными критериями целесообразно привлекать к оценке не менее 8 специалистов по каждому проекту. 87 Таблица 4.3 – Пример расчета рейтинга проекта №1 № Критерии отбора проектов Данные по проекту п/п 1 2 1. степень соответствия проекта стратегическим направлениям модернизации в сфере образования, тактическим установкам, общественному заказу и потребностям государства, экономики и общества 2. степень соответствия тактическим целевым установкам Программы 3. степень актуальности проекта Нормированное значение критерия 5 0,667 Значимость «вес» критерия 6 0,06 Оценка по критерию 3 высокая Значение критерия (балл) 4 7 высокая 3 1,000 0,06 0,020 проект направлен на выполнение Распоряжений и Поручений федеральных органов исполнительной власти РФ 5 1,000 0,08 0,080 7 0,020 88 № Критерии отбора проектов Данные по проекту п/п 1 2 4. степень новизны 5. степень влияния на цели задачи и необходимые результаты ФЦПРО (соответствие тематики проекта целям, задачам и ожидаемым результатам мероприятий ФЦПРО) 6. степень проработанности предложения 7. комплексность подхода и достаточность работ по проекту (наполняемость составом работ) Значение критерия (балл) 4 3 3 результаты, которые будут созданы в рамках проекта, являются новыми и практически востребованными проект оказывает 3 прямое влияние на ожидаемые результаты реализации отдельного мероприятия (подмероприятия) Программы Нормированное значение критерия 5 1,000 Значимость «вес» критерия 6 0,08 Оценка по критерию 0,750 0,07 0,053 7 0,080 средняя 6 0,556 0,06 0,033 все стадии реализации проекта 9 0,889 0,05 0,044 89 № Критерии отбора проектов Данные по проекту п/п 1 2 3 8. степень перспективности высокая результатов проекта с точки зрения обозначенного в Программе количественного целевого результата (по охвату целевых групп, распространенности инноваций в регионах, различных типах ОУ и т.д.) Значение критерия (балл) 4 8 Нормированное значение критерия 5 0,778 Значимость «вес» критерия 6 0,06 Оценка по критерию 7 0,047 90 № Критерии отбора проектов Данные по проекту п/п 1 2 9. оценка возможностей сопряжения результатов проекта с существующими либо планируемыми к внедрению инновациями (особенно в случае с содержанием образования – соответствие другим образовательным ступеням и модулям в рамках концепций непрерывного и вариативного образования) 10. оценка социокультурных аспектов внедрения результатов проекта и их возможных эффектов в будущем Нормированное значение критерия 5 0,667 Значимость «вес» критерия 6 0,04 Оценка по критерию 3 средняя Значение критерия (балл) 4 7 высокая 8 0,778 0,08 0,062 7 0,011 91 № Критерии отбора проектов Данные по проекту п/п 1 11. 12. 13. 14. 2 оценка социальнопсихологических аспектов внедрения результатов проекта (возможности адаптации с точки зрения целевых групп) оценка последствий внедрения инновационной разработки для людей с ограниченными возможностями, а также социально незащищенных слоев населения степень апробации и общественного признания результатов, полученных при выполнении проекта оценка практической значимости результатов выполненного проекта Нормированное значение критерия 5 0,556 Значимость «вес» критерия 6 0,04 Оценка по критерию 3 средняя Значение критерия (балл) 4 6 низкая 3 0,222 0,05 0,011 высокая 9 0,889 0,08 0,071 высокая 10 1,000 0,07 0,070 7 0,022 92 № Критерии отбора проектов Данные по проекту п/п 1 2 15. степень влияния результатов проекта на индикаторы и показатели Программы 16. степень преемственности проекта в соответствии с II этапом ФЦПРО 17. степень соответствия стоимости предлагаемых работ в рамках проекта рыночной стоимости Значение критерия (балл) 4 4 3 проект оказывает прямое влияние более чем на один индикатор или показатель хода реализации Программы проект направлен на 3 масштабное внедрение результатов проектов, полученных на I этапе Программы стоимость 2 предлагаемых работ в рамках проекта соответствует рыночной стоимости Нормированное значение критерия 5 1,000 Значимость «вес» критерия 6 0,08 Оценка по критерию 1,000 0,07 0,021 1,000 0,1 0,100 7 0,080 Итого рейтинг проекта №1 – 0,820. 93 Таблица 4.3 – Пример расчета рейтинга проекта №1 № Критерии отбора проектов Данные по проекту п/п 1 2 3 1. степень соответствия средняя проекта стратегическим направлениям модернизации в сфере образования, тактическим установкам, общественному заказу и потребностям государства, экономики и общества 2. степень соответствия высокая тактическим целевым установкам Программы Значение критерия (балл) 4 6 Нормированное значение критерия 5 0,556 Значимость «вес» критерия 6 0,06 Оценка по критерию 3 1,000 0,06 0,020 7 0,033 94 № Критерии отбора проектов Данные по проекту п/п 1 2 3. степень актуальности проекта 4. степень новизны 5. степень влияния на цели задачи и необходимые результаты ФЦПРО (соответствие тематики проекта целям, задачам и ожидаемым результатам мероприятий ФЦПРО) Значение критерия (балл) 4 4 3 результаты проекта оказывают сильное влияние на ход реализации ФЦПРО на 2011-2015 годы; все уровни образования; высокий социальноэкономический эффект от его реализации результаты, которые 3 будут созданы в рамках проекта, являются новыми и практически востребованными проект оказывает 3 прямое влияние на ожидаемые результаты реализации отдельного мероприятия (подмероприятия) Программы Нормированное значение критерия 5 0,800 Значимость «вес» критерия 6 0,08 Оценка по критерию 1,000 0,08 0,080 0,750 0,07 0,053 7 0,064 95 № Критерии отбора проектов Данные по проекту п/п 1 2 6. степень проработанности предложения 7. комплексность подхода и достаточность работ по проекту (наполняемость составом работ) 8. степень перспективности результатов проекта с точки зрения обозначенного в Программе количественного целевого результата (по охвату целевых групп, распространенности инноваций в регионах, различных типах ОУ и т.д.) Нормированное значение критерия 5 0,889 Значимость «вес» критерия 6 0,06 Оценка по критерию 3 высокая Значение критерия (балл) 4 9 средняя 5 0,444 0,05 0,022 средняя 6 0,556 0,06 0,033 7 0,053 96 № Критерии отбора проектов Данные по проекту п/п 1 2 9. оценка возможностей сопряжения результатов проекта с существующими либо планируемыми к внедрению инновациями (особенно в случае с содержанием образования – соответствие другим образовательным ступеням и модулям в рамках концепций непрерывного и вариативного образования) 10. оценка социокультурных аспектов внедрения результатов проекта и их возможных эффектов в будущем Нормированное значение критерия 5 0,222 Значимость «вес» критерия 6 0,04 Оценка по критерию 3 низкая Значение критерия (балл) 4 3 высокие 8 0,778 0,08 0,062 7 0,009 97 № Критерии отбора проектов Данные по проекту п/п 1 11. 12. 13. 14. 2 оценка социальнопсихологических аспектов внедрения результатов проекта (возможности адаптации с точки зрения целевых групп) оценка последствий внедрения инновационной разработки для людей с ограниченными возможностями, а также социально незащищенных слоев населения степень апробации и общественного признания результатов, полученных при выполнении проекта оценка практической значимости результатов выполненного проекта Нормированное значение критерия 5 0,222 Значимость «вес» критерия 6 0,04 Оценка по критерию 3 низкие Значение критерия (балл) 4 3 средняя 6 0,556 0,05 0,028 средняя 5 0,444 0,08 0,036 средняя 5 0,444 0,07 0,031 7 0,009 98 № Критерии отбора проектов Данные по проекту п/п 1 2 15. степень влияния результатов проекта на индикаторы и показатели Программы 16. степень преемственности проекта в соответствии с II этапом ФЦПРО 17. степень соответствия стоимости предлагаемых работ в рамках проекта рыночной стоимости Значение критерия (балл) 4 2 3 проект оказывает косвенное влияние более чем на один индикатор или показатель хода реализации Программы проект направлен на 3 масштабное внедрение результатов проектов, полученных на I этапе Программы стоимость 1 предлагаемых работ в рамках проекта превышает рыночную стоимость Нормированное значение критерия 5 0,500 Значимость «вес» критерия 6 0,08 Оценка по критерию 1,000 0,07 0,021 0,500 0,1 0,050 7 0,040 Итого рейтинг проекта №2 – 0,603. 99 ЗАКЛЮЧЕНИЕ В основу разработанной «Методики проведения экспертизы предложений по формированию тематики проектов в рамках Федеральной целевой программы развития образования на 2011-2015 годы с целью оценки соответствия целям и задачам Программы, возможности и эффективности достижения целевых индикаторов и показателей» положены методы многокритериального экспертного анализа, в которых для получения экспертных оценок применяются наиболее совершенные процедуры опроса экспертов с использованием "вербально-числовых шкал", процедуры парных сравнений рассматриваемых аспектов с последующей обработкой результатов для получения шкальных оценок их важности. Применение таких методов позволяет рассчитать обобщенную интегральную оценку предполагаемого социально-экономического эффекта от реализации предлагаемого проекта, и по результатам сравнения сформировать рекомендации по целесообразности реализации (или отклонения) данного проекта в рамках ФЦПРО. В рамках методики был сформирован комплекс критериев для отбора экспертов и оценки предложений по формированию тематики проектов в рамках мероприятий Программы. Подготовлен инструментарий для проведения экспертизы поступающих предложений по проектам. В основу предложенного методического подхода по экспертизе предложений по проектам были положены следующие принципы: - «прозрачности» расчета; - универсальности применения; - комплексности подхода; - доступности, простоты применения; - открытости, адаптируемости к меняющимся экономическим условиям и нормативно-правовой базе; 100 - обоснованности, подтвержденной использованием расчетных показателей из официальных источников информации. Благодаря универсальности подхода, настоящая Методика может использоваться не только для экспертизы предложений по тематике проектов Федеральной целевой программы развития образования на 2011-2015 годы, но и других программ и проектов, заказчиком которых является Министерство образования и науки Российской Федерации. 101 СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 1. Федеральный закон от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации». 2. Федеральный закон от 5 апреля 2013 г. № 44-ФЗ «О контрактной системе в сфере закупок товаров, работ, услуг для обеспечения государственных и муниципальных нужд». 3. Стратегия государственной национальной политики Российской Федерации на период до 2025 года (утверждена Указом Президента Российской Федерации от 19 декабря 2012 г. № 1666). 4. Указ Президента Российской Федерации от 1 июня 2012 г. № 761 «О национальной стратегии действий в интересах детей на 2012 - 2017 годы». 5. Указ Президента Российской Федерации от 7 мая 2012 г. № 602 «Об обеспечении межнационального согласия». 6. Указ Президента Российской Федерации от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки». 7. Указ Президента Российской Федерации от 7 мая 2012 г. № 597 «О мероприятиях по реализации государственной социальной политики». 8. Стратегия национальной безопасности Российской Федерации до 2020 года (утверждена Указом Президента Российской Федерации от 12 мая 2009 г. № 537). 9. Федеральная целевая программа развития образования на 2011 - 2015 годы (утверждена постановлением Правительства Российской Федерации от 7 февраля 2011 г. № 61). 10. План мероприятий («дорожная карта») «Изменения в отраслях социальной сферы, направленные на повышение эффективности образования и науки» (утвержден распоряжением Правительства Российской Федерации от 30 декабря 2012 г. № 2620-р). 102 11. Стратегия инновационного развития Российской Федерации на период до 2020 года (утверждена распоряжением Правительства Российской Федерации от 8 декабря 2011 г. № 2227-р). 12. Приоритетные направления модернизации и технологического развития экономики России, инженерных кадров и кадров для организаций обороннопромышленного комплекса (утверждены распоряжением Правительства Российской Федерации от 3 ноября 2011 г. № 1944-р). 13. План действий по модернизации общего образования на 2011 - 2015 годы (утвержден распоряжением Правительства Российской Федерации от 7 сентября 2010 г. № 1507-р «О реализации национальной образовательной инициативы «Наша новая школа»). 14. Стратегия развития физической культуры и спорта в Российской Федерации на период до 2020 года (утверждена распоряжением Правительства Российской Федерации от 7 августа 2009 г. № 1101-р). 15. Основные Федерации на направления период деятельности до 2012 года Правительства (утверждены Российской распоряжением Правительства Российской Федерации от 17 ноября 2008 г. № 1663-р). 16. Концепция долгосрочного социально-экономического развития Российской Федерации на период до 2020 года (утверждена распоряжением Правительства Российской Федерации от 17 ноября 2008 г. № 1662-р). 17. Стратегия Федерации на государственной период до молодежной 2016 года политики (утверждена в Российской распоряжением Правительства Российской Федерации от 18 декабря 2006 г. № 1760-р). 18. Стратегия развития информационного общества в Российской Федерации (утверждена Президентом Российской Федерации от 7 февраля 2008 г. № Пр212). 19. Основные направления деятельности Правительства Российской Федерации на период до 2018 года (утверждены Правительством Российской Федерации 31 января 2012 года). 103 20. Комплекс мер по реализации Концепции общенациональной системы выявления и развития молодых талантов (утвержден заместителем Председателя Правительства Российской Федерации О.Ю. Голодец 26 мая 2012 г. № 2405п-П8); 21. Здравомыслов А. Г. Методология и процедуры социологических исследований. - М., 1969. 22. Лапыгин Ю.Н. Управление проектами: от планирование до оценки эффективности. – М.: Омега-Л, 2008. – С.252. 23. Мацковский М. С., Ермакова О. В. Методические вопросы переработки социологической информации // Проблемы обработки и автоматизированного поиска социологической информации. - М., 1977. - С. 54-83. 24. Паниотто В. И., Максименко В. С. Количественные методы в социологических исследованиях. - Киев, 1982., Рабочая книга социолога. М., 1983. 25. Ядов В. А. Социологическое исследование. Методология, программа, методы. - М., 1972. 26. Методические рекомендации по оценке эффективности инвестиционных проектов. Под редакцией В.В. Коссова, В.Н. Лившица, А.Г. Шахназарова. – М.: Экономика, 2000. – 421с.. 27. Саати Т. Принятие решений. Метод анализа иерархий. - М.: Мир, 1993.316 с.. 28. Перегудов Ф.И., Тарасенко Ф.П. Основы системного анализа: Учеб. 2-е изд., доп. – Томск: Изд-во НТЛ, 1997. – 396 с. 29. Червоный А.А., Лукьященко В.И., Котин Л.В. Надежность сложных систем. 2-е издание, переработанное и дополненное. -М.: Машиностроение, 1976. -287с. 30. Официальный сайт Федеральной целевой программы развития образования на 2011-2015 годы www.fcpro.ru. 104 31. Официальный сайт Российской Федерации в сети Интернет для размещения информации о размещении заказов на поставки товаров, выполнение работ, оказание услуг www.zakupki.gov.ru. 32. Портал государственных программ Российской Федерации www.gosprogrammy.gov.ru, http://programs.gov.ru. 33. Интернет-проект «Федеральные целевые программы России» http://fcp.economy.gov.ru. 105 Приложение №1 ЛИСТ ОПРОСА ЭКСПЕРТОВ для определения интегральной рейтинговой оценки эксперта Оцените влияние приведенных в таблице критериев отбора экспертов на достоверность оценок при экспертизе предложений по проектам для реализации в рамках ФЦПРО: Таблица 1 № Критерии отбора п/п экспертов 1. Соответствие профильного образования эксперта тематике проводимых исследований 2. Ученая степень 3. Ученое звание 4. Должность 5. Стаж работы Шкала оценки несоответствие профессионального образования тематике проводимых исследований – 0 баллов, соответствие профильного образования тематике проводимых исследований – 1 балл, соответствие профильного образования тематике проводимых исследований +прохождение повышения квалификации или стажировок по данной тематике за последние 5 лет – 2 балла отсутствие ученой степени – 0 баллов, наличие кандидатской степени - 1 балл, наличие докторской степени– 2 балла отсутствие ученого звания – 0 баллов; Званиям доцент, профессор, членкорреспондент, академик, почетный академик присваивается соответственно 1, 2, 3, 4, 5 баллов. специалист – 1 балл, старший специалист – 2 балла, начальник отдела – 3 балла, ведущий специалист – 4 балла, начальник Департамента/Управления, Министр ОУО – 5 баллов от 0 до 5 лет – 1 балл, от 5 до 10 лет – 2 балла, 106 № Критерии п/п экспертов отбора Шкала оценки 6. Количество публикаций по данному направлению за последние три года 7. Цитируемость эксперта от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 лет –5 баллов отсутствие публикаций - 0 баллов, количество публикаций от 1 до 5 – 1 балл, от 5 до 10 - 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 – 5 баллов отсутствие цитируемости – 0 баллов, от 1 до 5 - 1 балл, от 5 до 10 – 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 – 5 баллов интегральная бальная оценка. Определяется по результатам проведенных экспертиз 8. Компетентностный уровень экспертной оценки 9. Количество отсутствие сформированных экспертных сформированных заключений – 0 баллов, экспертных заключений от 1 до 5 – 1 балл, от 5 до 10 – 2 балла, от 10 до 15 – 3 балла, от 15 до 20 – 4 балла, более 20 – 5 баллов 10. Квалификация эксперта оценивается по наличию международных, др. сертификатов в области экспертной деятельности: отсутствие сертификатов – 0 баллов, наличие 1 сертификата – 1 балл, наличие более одного сертификата – 2 балла 11. Признанность эксперта интегральная бальная оценка. Определяется по результатам групповой оценки. 107 Запишите в таблицу 2 результат их сравнения, выраженный числом, следующим образом: 1 – если рассматриваемые факторы имеют одинаковую важность с точки зрения их влияния на эффективность оценки; 3 – если фактор, приведённый в строке, с точки зрения его влияния на эффективность оценки немного важнее фактора, указанного в столбце; 5 – если фактор, приведённый в строке, существенно сильнее влияет на эффективность оценки по сравнению с фактором, указанным в столбце; 7 – если фактор, приведённый в строке, значительно сильнее влияет на эффективность оценки по сравнению с фактором, указанным в столбце; 9 – если фактор, приведённый в строке, абсолютно сильнее влияет на эффективность оценки по сравнению с фактором, указанным в столбце. В случае, когда фактор, указанный в столбике важнее фактора, приведённого в строчке – указывается обратная величина, т.е. 1/3 (1/5, 1/7, 1/9, соответственно). Эксперт может руководствоваться и более детальной классификацией результатов качественного сравнения критериев и назначать промежуточные значения, т.е. 2,4,6,8. При расчете коэффициентов важности факторов накладывается и учитывается требование взаимного дополнения оценок, поэтому экспертом заполняется только верхняя правая от диагонали часть матрицы. 108 Таблица 2 – Результирующая таблица опроса экспертов для определения коэффициентов важности предложенных критериев 1 1 2 3 4 5 6 7 8 9 10 11 1 2 1 3 1 4 1 5 1 6 1 7 1 8 1 9 1 10 1 11 1 Пример заполнения матрицы парных сравнений факторов В качестве примера рассмотрим следующие критерии: а) стаж работы; б) количество публикаций по данному направлению; в) цитируемость эксперта. Эксперту необходимо провести качественный сравнительный анализ степени влияния перечисленных критериев на эффективность оценки по отбору предложений по проектам для их реализации в рамках ФЦПРО и поставить соответствующие количественные значения в матрице парных сравнений. Эксперт считает, что критерий а) с точки зрения влияния на результат оценки менее важен, чем критерий б). В соответствии с рекомендациями по 109 приведению качественных оценок к количественным оценкам необходимо на пересечении строки критерия а) со столбцом критерия б) поставить оценку 1/3. Эксперт считает, что критерий в) сильнее влияет на результаты оценки по сравнению с критерием а). В соответствии с рекомендациями по приведению качественных оценок к количественным оценкам на пересечении строки критерия а) со столбцом критерия в) эксперт ставит 1/5. Эксперт считает, что критерий б) менее влияет на эффективность оценки по сравнению с критерием в), но не сильно, поэтому на пересечении соответствующей строки и столбца он ставит оценку 1/3. Окончательный вид матрицы представлен в таблице 3. Таблица 3 Критерий а б в а 1 1/3 1/5 б 3 1 1/3 в 5 3 1 110 Приложение №2 ЛИСТ ОПРОСА ЭКСПЕРТОВ для определения значимости критериев для экспертизы проектов Оцените влияние (значимость) приведенных в таблице критериев на достоверность оценок при экспертизе предложений по проектам для реализации в рамках ФЦПРО: Таблица 1 № Критерии оценки п/п проектов ФЦПРО 1. степень соответствия проекта стратегическим направлениям модернизации в сфере образования, тактическим установкам, общественному заказу и потребностям государства, экономики и общества 2. степень соответствия тактическим целевым установкам Программы Шкала оценки Шкала 1..10 1 – низкая, 10 – высокая Шкала 1..3 1 – низкая 2 – средняя 3– высокая 3. степень актуальности проекта Шкала 0..5, где 5 – проект направлен на выполнение решений Президента Российской Федерации, Правительства Российской Федерации, федеральных органов исполнительной власти (необходимо указать реквизиты актов); 4 – результаты проекта оказывают сильное влияние на ход реализации ФЦПРО на 2011-2015 годы; все уровни образования; высокий социальноэкономический эффект от его реализации; 3 – проект актуален для отдельного 111 4. степень новизны 5. степень влияния на цели задачи и необходимые результаты ФЦПРО (соответствие тематики проекта целям, задачам и ожидаемым результатам мероприятий ФЦПРО) уровня образования; высокий социально-экономический эффект от его реализации; 2 – проект актуален для учреждений образования отдельного субъекта РФ (федерального округа); 1 – проект не обладает общностью, актуален для отдельного учреждения образования; 0 – проект не актуален Шкала 0..3, где 3 – результаты, которые будут созданы в рамках проекта, являются новыми и практически востребованными; 2 – проект направлен на апробацию и внедрение результатов, созданных ранее; 1 – проект направлен на модернизацию и доработку результатов, созданных ранее; 0 – проект не обладает новизной Шкала 0..4, где 4 – проект оказывает прямое влияние на цели и задачи Программы, ожидаемые конечные результаты реализации Программы и показатели ее социальноэкономической эффективности; 3 - проект оказывает прямое влияние на ожидаемые результаты реализации отдельного мероприятия (подмероприятия) Программы; 2 - проект оказывает косвенное влияние на цели и задачи Программы, ожидаемые конечные результаты реализации Программы и показатели ее социально-экономической эффективности; 112 6. 7. 8. 9. 10. 1 - проект оказывает косвенное влияние на ожидаемые результаты реализации отдельного мероприятия (подмероприятия) Программы; 0 - нет влияния. степень проработанности Шкала 1..10 предложения 1 – низкая, 10 – высокая комплексность подхода и Шкала 1..10 достаточность работ по 1 – отсутствует, проекту (наполняемость 10 – охватывает все этапы составом работ) степень перспективности Шкала 1..10 результатов проекта с точки 1 – низкая, зрения обозначенного в 10 – высокая Программе количественного целевого результата (по охвату целевых групп, распространенности инноваций в регионах, различных типах ОУ и т.д.) оценка возможностей Шкала 1..10 сопряжения результатов 1 – низкая, проекта с существующими 10 – высокая либо планируемыми к внедрению инновациями (особенно в случае с содержанием образования – соответствие другим образовательным ступеням и модулям в рамках концепций непрерывного и вариативного образования) оценка социокультурных Шкала 1..10 аспектов внедрения 1 – низкая, результатов проекта и их 10 – высокая возможных эффектов в 113 будущем 11. оценка социальнопсихологических аспектов внедрения результатов проекта (возможности адаптации с точки зрения целевых групп) 12. оценка последствий внедрения инновационной разработки для людей с ограниченными возможностями, а также социально незащищенных слоев населения 13. степень апробации и общественного признания результатов, полученных при выполнении проекта 14. оценка практической значимости результатов выполненного проекта 15. степень влияния результатов проекта на индикаторы и показатели Программы Шкала 1..10 1 – низкая, 10 – высокая Шкала 1..10 1 – низкая, 10 – высокая Шкала 1..10 1 – низкая, 10 – всесторонняя апробация и общественное признание результатов проекта Шкала 1..10 1 – результаты проекта могут быть использованы для отдельного учреждения системы образования; 10 - межотраслевое применение и/или особо важное (стратегическое) значение для отрасли, обладает высокой социальной значимостью. Проект ориентирован на широкомасштабное использование (внедрение) Шкала 0..4, где 4 – проект оказывает прямое влияние более чем на один индикатор или показатель хода реализации Программы; 3 - проект оказывает прямое влияние на один индикатор или показатель хода реализации Программы; 2 - проект оказывает косвенное влияние 114 16. степень преемственности проекта в соответствии с II этапом ФЦПРО 17. степень соответствия стоимости предлагаемых работ в рамках проекта рыночной стоимости более чем на один индикатор или показатель хода реализации Программы; 1 - проект оказывает косвенное влияние на один индикатор или показатель хода реализации Программы; 0 - нет влияния. Шкала 1..3 1 – проект направлен на решение новых задач, связанных с разработкой и апробации моделей и подходов, которые должны были быть получены на I этапе Программы 2 – проект предусматривает доработку и апробацию доработанных моделей и подходов, которые получены на I этапе Программы 3 – проект направлен на масштабное внедрение результатов проектов, полученных на I этапе Программы Шкала 0..2, где 2 – стоимость предлагаемых работ в рамках проекта соответствует рыночной стоимости (отличие не более 10%); 1 - стоимость предлагаемых работ в рамках проекта превышает рыночную стоимость (не более 30%); 0 - стоимость предлагаемых работ в рамках проекта не соответствует рыночной стоимости (превышение более 30%). Запишите в таблицу 2 результат их сравнения, выраженный числом, следующим образом: 1 – если рассматриваемые факторы имеют одинаковую важность с точки зрения их влияния на эффективность оценки; 115 3 – если фактор, приведённый в строке, с точки зрения его влияния на эффективность оценки немного важнее фактора, указанного в столбце; 5 – если фактор, приведённый в строке, существенно сильнее влияет на эффективность оценки по сравнению с фактором, указанным в столбце; 7 – если фактор, приведённый в строке, значительно сильнее влияет на эффективность оценки по сравнению с фактором, указанным в столбце; 9 – если фактор, приведённый в строке, абсолютно сильнее влияет на эффективность оценки по сравнению с фактором, указанным в столбце. В случае, когда фактор, указанный в столбике важнее фактора, приведённого в строчке – указывается обратная величина, т.е. 1/3 (1/5, 1/7, 1/9, соответственно). Эксперт может руководствоваться и более детальной классификацией результатов качественного сравнения критериев и назначать промежуточные значения, т.е. 2,4,6,8. При расчете коэффициентов важности факторов накладывается и учитывается требование взаимного дополнения оценок, поэтому экспертом заполняется только верхняя правая от диагонали часть матрицы. Таблица 2 – Результирующая таблица опроса экспертов для определения коэффициентов важности предложенных критериев 1 1 2 3 4 5 6 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 1 1 1 1 1 1 116 7 1 8 1 9 1 10 1 11 1 12 1 13 1 14 1 15 1 16 1 17 1 Пример заполнения матрицы парных сравнений факторов В качестве примера рассмотрим следующие критерии: а) степень проработанности предложения; б) комплексность подхода; в) степень влияния на цели задачи и необходимые результаты ФЦПРО. Эксперту необходимо провести качественный сравнительный анализ степени влияния перечисленных критериев на оценку предложений по проектам для их реализации в рамках ФЦПРО и поставить соответствующие количественные значения в матрице парных сравнений. Эксперт считает, что критерий а) с точки зрения влияния на результат оценки менее важнее критерия б). В соответствии с рекомендациями по приведению качественных оценок к количественным оценкам необходимо на пересечении строки критерия а) со столбцом критерия б) поставить оценку 1/3. 117 Эксперт считает, что критерий в) сильнее влияет на процессы совершенствования системы образования по сравнению с критерием а). В соответствии с рекомендациями по приведению качественных оценок к количественным оценкам на пересечении строки критерия а) со столбцом критерия в) эксперт ставит 1/5. Эксперт считает, что критерий б) менее влияет на эффективность оценки по сравнению с критерием в), но не сильно, поэтому на пересечении соответствующей строки и столбца он ставит оценку 1/3. Окончательный вид матрицы представлен в таблице 3. Таблица 3 Критерий а б в а 1 1/3 1/5 б 3 1 1/3 в 5 3 1 118 Приложение №3 ЭКСПЕРТНОЕ ЗАКЛЮЧЕНИЕ о соответствии предложений по проекту целям и задачам ФЦПРО на 2011-2015 годы А) Общие сведения наименование проекта: задача ФЦПРО: мероприятие ФЦПРО: подмероприятие: уровень образования: направление модернизации: цель(и) проекта: указывается название проекта в соответствии с представленной аннотацией указывается наименование задачи в соответствии с ФЦПРО на 2011-2015 годы указывается наименование мероприятия в соответствии с ФЦПРО на 2011-2015 годы указывается наименование подмероприятия в соответствии с ФЦПРО на 2011-2015 годы указываются уровни образования (дошкольное образование; начальное общее образование; основное общее образование; среднее общее образование среднее профессиональное образование; высшее образование - бакалавриат; высшее образование - специалитет, магистратура; высшее образование подготовка кадров высшей квалификации; дополнительное образование детей; дополнительное образование взрослых; дополнительное профессиональное образование), на которые проект оказывает влияние указываются направления модернизации в сфере образования (контент, информационные технологии в образовании, управление, кадры, инфраструктура, экономика в образовании и др.), на которые проект оказывает влияние указываются цель(и) проекта в 119 задача(и) проекта ожидаемые результаты: индикаторы и показатели ФЦПРО, на которые оказывает влияние проект соответствии с представленной аннотацией указываются задача(и) проекта в соответствии с представленной аннотацией в соответствии с представленной аннотацией кратко указываются основные ожидаемые результаты выполнения проекта в соответствии с представленной аннотацией указываются индикаторы и показатели ФЦПРО, на которые оказывает влияние проект Б) Экспертная оценка предложения указывается экспертная оценка соответствие проекта актуальности проекта: стратегическим 1 – низкая, направлениям 10 – высокая модернизации в сфере образования, тактическим установкам, общественному заказу и потребностям государства, экономики и общества указывается экспертная оценка соответствие актуальности проекта: тактическим целевым 1 – низкая установкам Программы 2 – средняя 3– высокая указывается экспертная оценка актуальность актуальности проекта: 5 – проект направлен на выполнение решений Президента Российской Федерации, Правительства Российской Федерации, федеральных органов исполнительной власти (необходимо указать реквизиты актов); 4 – результаты проекта оказывают сильное влияние на ход реализации ФЦПРО на 2011-2015 годы; все уровни образования; высокий социальноэкономический эффект от его реализации; 120 новизна влияние на цели задач и необходимые результаты ФЦПРО проработанность предложения комплексность и достаточность работ по 3 – проект актуален для отдельного уровня образования; высокий социальноэкономический эффект от его реализации; 2 – проект актуален для учреждений образования отдельного субъекта РФ (федерального округа); 1 – проект не обладает общностью, актуален для отдельного учреждения образования; 0 – проект не актуален (указать мотивированное пояснение данной оценки, например, работы, предусмотренные в рамках предложения по проекту, уже выполняются в рамках контракта «название»). указывается экспертная оценка новизны ожидаемых результатов проекта: 3 – результаты (перечислить), которые будут созданы в рамках проекта, являются новыми и практически востребованными; 2 – проект направлен на апробацию и внедрение результатов (перечислить), созданных ранее; 1 – проект направлен на модернизацию и доработку результатов (перечислить), созданных ранее; 0 – проект не обладает новизной (указать мотивированное пояснение данной оценки, например, результаты, предусмотренные в рамках предложения по проекту, уже созданы в рамках контракта «название»). выбрать из вариантов: - прямое влияние на следующие цели (перечислить), - косвенное влияние на следующие цели (перечислить), - нет влияния. выбрать из вариантов: 1 – низкая, 10 – высокая выбрать из вариантов: 1 – отсутствует, 121 проекту перспективность результатов проекта с точки зрения обозначенного в Программе количественного целевого результата возможность сопряжения результатов проекта с существующими либо планируемыми к внедрению инновациями наличие социокультурных аспектов внедрения результатов проекта и их возможных эффектов в будущем оценка последствий внедрения инновационной разработки для людей с ограниченными возможностями, а также социально незащищенных слоев населения степень апробации и общественного признания результатов, полученных при выполнении проекта практическая значимость результатов проекта 10 – охватывает все этапы выбрать из вариантов: 1 – низкая, 10 – высокая выбрать из вариантов: 1 – низкая, 10 – высокая выбрать из вариантов: 1 – низкая, 10 – высокая выбрать из вариантов: 1 – низкая, 10 – высокая выбрать из вариантов: 1 – низкая, 10 – всесторонняя апробация и общественное признание результатов проекта выбрать из вариантов: 0 – отсутствует практическая значимость; 1 – результаты проекта могут быть использованы для отдельного учреждения системы образования; 2 – проект ориентирован на широкое использование внутри одной отрасли; 3 - межотраслевое применение и/или особо важное (стратегическое) значение для отрасли, обладает высокой социальной значимостью. Проект 122 влияние результатов проекта на индикаторы и показатели Программы преемственность проекта в соответствии с II этапом ФЦПРО соответствие стоимости предлагаемых работ в рамках проекта рыночной стоимости ориентирован на широкомасштабное использование (внедрение) выбрать из вариантов: 4 – проект оказывает прямое влияние более чем на один индикатор или показатель хода реализации Программы; 3 - проект оказывает прямое влияние на один индикатор или показатель хода реализации Программы; 2 - проект оказывает косвенное влияние более чем на один индикатор или показатель хода реализации Программы; 1 - проект оказывает косвенное влияние на один индикатор или показатель хода реализации Программы; 0 - нет влияния. выбрать из вариантов: 1 – проект направлен на решение новых задач, связанных с разработкой и апробации моделей и подходов, которые должны были быть получены на I этапе Программы 2 – проект предусматривает доработку и апробацию доработанных моделей и подходов, которые получены на I этапе Программы 3 – проект направлен на масштабное внедрение результатов проектов, полученных на I этапе Программы выбрать из вариантов: 2 – стоимость предлагаемых работ в рамках проекта соответствует рыночной стоимости (отличие не более 10%); 1 - стоимость предлагаемых работ в рамках проекта превышает рыночную стоимость (не более 30%); 0 - стоимость предлагаемых работ в рамках проекта не соответствует рыночной стоимости (превышение более 30%). В) Вывод 123 Проект соответствует (не соответствует) целям и задачам ФЦПРО, тематическим целевым установкам и специфике мероприятий ФЦПРО, актуальным потребностям модернизации системы образования; обладает (не обладает) актуальностью и новизной. Целесообразно обеспечить его реализацию (отклонить возможность его реализации) в рамках Федеральной целевой программы развития образования на 2011-2015 годы в 2014 году. Руководитель Экспертной организации _______________ (ФИО). «____» _______________ 201__ г. 124
