(экспертизы), составу и организации работы - soko

Инструктивно-методические рекомендации по проведению апробации
(экспертизы), составу и организации работы экспертных групп
В ХХI веке все более очевидными становятся тенденции смены ценностных
приоритетов,
обеспечивающих
общественное
развитие.
Образовательные
ориентиры стали иными, чем в традиционной системе. Взято направление на
развитие
инновационной
образовательного
политики
пространства,
в
социальное
образовании:
партнерство,
информатизация
компетентностный
подход, гуманистический, личностно-ориентированные подходы, развивающее
обучение, создание среды для развития индивидуальности каждого ребенка,
государственно-общественный подход к управлению образованием и т.п.
Сегодня оценка эффективности системы образования является одной из
ключевых проблем в практике управления, в формировании и реализации
образовательной политики; необходимость в качественных экспертных процедурах
возрастает с развитием инноваций в сфере образования.
Экспертиза сложных социальных систем, к которым относится образование,
требует анализа разнообразных теоретических и практических подходов к ее
содержанию,
типологии,
процедуре
и
организации
с
целью
определения
необходимой совокупности элементов, позволяющих с различных позиций
рассмотреть эти системы для получения объективной оценки.
Оценочный вид экспертизы выступает как одно из важнейших направлений
развития экспертного метода исследования. Методы экспертной оценки находят
широкое применение при решении различных проблем. Они позволяют более четко
представить основные цели, задачи и последствия их решения при оптимизации
использования ресурсов и минимизации отрицательного воздействия на окружение.
Типы оценок и их нормативная база широко изменяются в зависимости от объектов
оценки и знаний, лежащих в основе оценки.
Своеобразный характер имеют диагностические экспертизы. Элементы
диагностических экспертиз (собственно диагноз определяющих условий) имеет
место во всех видах экспертной деятельности. Как особый вид они распространены
в педагогике.
Выбирая тип экспертизы, мы конкретизируем ее целевыми установками,
которые требуется достичь в ходе экспертизы. Учитывая, что экспертиза
осуществляется в социальной сфере, следующим необходимым шагом является
очерчивание «рамок» или «границ» в которых будет реализовываться модель
экспертизы.
По составу экспертов экспертиза может быть:
групповой (группа экспертов) выработка сложных решений в ситуации
неопределенности требует участия группы специалистов;
компетентных во многих областях. Групповая экспертная оценка;
более надежна, так как она позволяет обеспечить максимальную;
достоверность при грамотном подборе специалистов;
коллективной,
которая
предполагает
коллективную
оценку
группой
профессионалов представленных инновационных продуктов, когда требуется
совместное обсуждение и оценка новых, спорных или вызывающих сомнение
составляющих экспертируемого объекта, такая экспертиза может обеспечить
многомерность мышления, согласованное восприятие нескольких направлений в
рамках более обширного единства. Коллективная экспертиза может вскрыть
некоторые латентные процессы в силу того, что те или иные явления предстают
вписанными в более широкую систему координат, в силу того, что явления
анализируются с новой, необычной точки зрения;
индивидуальной (один эксперт), индивидуальная экспертиза проводиться
отдельным
специалистом
профессионалом
по
конкретному
предметному
направлению содержания в соответствии с уже существующими нормативами или
специально разработанными критериями;
рефлексивной (самоэкспертиза).
Таблица 4 – Типология экспертиз
Продолжение таблицы 4
№
Классификационные
направления
Основание классификации
Примеры классификационных категорий
1. Социальное
Целевая направленность в
рамках инновационной
деятельности в
образовании
Квалифицирующие
Нормоконтролирующие
Дегустационные
Понимающие
2. Функциональное
Основная задача,
монофункциональные:
выполняемая экспертными контрольные (констатирующие)
Продолжение таблицы 4
№
Классификационные
направления
Основание классификации
Примеры классификационных категорий
исследованиями
оценочные
диагностические
прогнозные
конфликтные
формирующие
полифункциональные:
прогнозно-диагностические
контрольно-оценочные
оценочно-прогнозно-диагностические и др.
3. Мировоззренческие
уровни рефлексии
Форма отражения
Гуманистическая
ноологические
гуманитарные:
философские
философско-антропологические
социетальные:
политические
социологические
экономические
юридические
социально-медицинские
естественно-научные
предметные (отраслевые)
4. Организационное
Уровень отражения
Сингулярные (монодисциплинарные),
Полисистемные (междисциплинарные)
Уровень проработки
первичные
вторичные
Форма организации
Коллективная
Групповая
Индивидуальная
Рефлексивная (самоэкспертиза)
Форма деятельности
Аудит
ОДИ
Идентификация
Конкурс
Форма контакта
Очная
Заочная
Форма представления
материала
Устная
Письменная
Способ получения
информации
Прямая
Косвенная
5. Деятельное
Деятельность по
отношению к объекту
Открытая
Закрытая
Полуоткрытая
6. Объектное
Реальные объекты,
социальные системы
социальные
информационные
природные
Материалы,
Вещества
физические
химические
Продолжение таблицы 4
№
Классификационные
направления
7. Субъектное
Основание классификации
Примеры классификационных категорий
и др.
бактериологические
Проекты
Программы
Документы
виды природных и социальных систем,
документация, технологии и др.
По отношению к субъекту
Внутренняя
Внешняя
Экспертные оценки в образовании как результат научно-педагогической
экспертизы.
Введение государственных образовательных стандартов, а также процедуры
аттестации педагогических кадров в образовательных учреждений отражают
тенденции к совершенствованию оценки качества образования и требуют от
специалистов в сфере образования знания методологии экспертных оценок с
учетом периодически изменяющихся федеральных и региональных требований,
специфики состояния образования.
Экспертная
прогнозирования
оценка
служит
исходным
основанием
путей
развития
системы
образования,
для
научного
принятия
как
государственных, региональных программ, так и программ развития конкретных
образовательных учреждений.
Значимость экспертных оценок в образовании, необходимость научнопедагогической экспертизы существенно возросли в последние годы. Это связано с
теми изменениями, которые произошли в системе образования. Разрушение ее
единообразия,
появление
разноуровневого
образования,
вариативных
образовательных программ и технологий, стандартов образования.
Диагностическая оценка фактических результатов позволяет регулировать и
корректировать педагогический процесс, поведение и деятельность всех его
участников.
Экспертиза в образовании – особая деятельность со своими ценностями,
целями, задачами, функциями, отличными от оценивания и контроля. Особое
внимание уделяется позиции эксперта, средствам и методам, необходимым для
реализации экспертной деятельности. Фактически ни одна образовательная
инновация не минует экспертного оценивания на тех или иных этапах своего
внедрения и осуществления.
В последние годы в России можно говорить о целом спектре подходов
применительно к экспертизе образования. При всем многообразии трактовок
экспертизы, никто не отказывает ей в статусе метода научного познания. Экспертиза
часто применяется в сочетании с другими способами познания, но имеет ряд
отличий от них. От собственно научных исследований экспертиза кроме уже
названных особенностей отличается еще и своими задачами: если научные
исследования ориентированы прежде всего на получение нового знания, то главный
смысл экспертизы состоит в прояснении данной реальности как таковой. По
сравнению с мониторингом экспертиза менее технологична, менее ориентирована
на нормы и стандарты, а более – на ценности и смыслы. Не сводится экспертиза и к
проверке и оценке, хотя оценочная функция экспертизы очень важна.
Экспертная
группа
создается
по
каждой
из
областей
знаний
для
осуществления экспертизы. В состав Экспертной группы входят руководитель
Экспертной группы и члены группы.
Цели, содержание экспертной деятельности и действия каждого участника
конкретизируются и согласуются на всех этапах экспертизы, обеспечивающей
подготовку и принятие решения.
Цель и задачи экспертизы:
комплекс научно-исследовательских процедур, направленный на получение от
экспертов информации, ее анализ и обобщение с целью принятия компетентных
решений в области управления образованием;
оценка качества образовательных услуг на национальном, региональном и
местном
уровнях
в
целях
развития
системы
образования,
своевременного
предотвращения неблагоприятных или критических, недопустимых ситуаций в данной
сфере разработка концептуальных основ системной экспертизы и организационного
консультирования образовательных учреждений;
создание оптимального (достаточного, но не избыточного) методического
пакета, обеспечивающего системную экспертизу образовательных учреждений,
эффективное проектирование их организационно-образовательных и социальных
подсистем, а также практическую организацию их инновационного развития;
подготовка команды экспертов-консультантов, способных организовать и
провести экспертизу организационно-образовательных и социальных подсистем,
разрабатывать системные инновационные проекты в области образования, а также
консультировать администрацию и педагогический коллектив по проблемам
реализации таких проектов.
Для решения поставленных задач использовался комплекс теоретических и
эмпирических методов.
Теоретические методы:
системный
анализ
философской,
методологической,
психолого-
педагогической литературы и периодических изданий по теме исследования;
анализ эмпирического материала, обобщение и систематизация полученных
результатов.
Эмпирические методы:
диагностический опрос;
наблюдение;
сравнительный анализ экспериментальных даннях;
эксперименты констатирующий и формирующий.
Данная деятельность связана с решением ряда приоритетных проблем
качества образования:
развитие общественной функции образования (создание новых способов
оценки образовательных результатов, новых способов целеполагания, другого типа
контакта
педагога
и
ребенка,
установление
новых
соотношений
между
обязательным и свободным средовым образованием и т.д.);
развитие
профессиональной
структуры
образования
(взаимодействие
педагогов-экспериментаторов и ученых-проектировщиков, перепроектирование
деятельности образовательного учреждения и реализация новой программы его
развития);
реализация проектно-разработческой парадигмы образовательной науки
(реализация новых профессиональных функций педагогов, школьных психологов и
методистов, интеграция аналитико-исследовательской и проектно-разработческой
деятельности и т.д.);
усиление гуманитарного измерения практики образования (определение и
организация оптимальных условий развития ребенка, создание возможностей для
развития детей с особыми нуждами и т.п.).
Обобщая сказанное, можно выделить три основных значения, раскрывающих
сущность понятия научно-педагогическая экспертиза:
рассмотрение, исследование педагогических явлений, процессов, проблем,
результатов педагогической деятельности, а также прогнозирование развития системы
образования, экспертная оценка альтернативных решений и определение наиболее
предпочтительных вариантов организации образовательного процесса в целях
улучшения качества и обновления содержания образования, оказания консультативной помощи авторам и коллективам образовательных учреждений;
комплекс научно-исследовательских процедур, направленный на получение от
экспертов информации, ее анализ и обобщение с целью принятия компетентных
решений в области управления образованием;
показатель профессиональной компетенции, как одной из профессиональных
обязанностей менеджера образования.
Экспертная
оценка
—
результат
научно-педагогической
экспертизы,
мотивированное мнение, суждение специалиста о качестве того, что было
предметом экспертизы.
Экспертиза как метод исследования ориентирована, прежде всего, на
компетентность и опыт специалистов-экспертов (от лат. expertus — опытный),
которые выступают в качестве важнейших "инструментов" этого исследования.
Вместе с тем, в процессе экспертизы используется также ряд диагностических
методик,
с
помощью
которых
может
быть
получена
структурированная
количественная информация, необходимая для системного анализа (сравнения,
ранжирования, выявления динамики тех или иных процессов и т.п.).
Вся совокупность разнообразных сведений, полученных из самых разных
источников в процессе проведения экспертизы, обобщается и осмысляется
экспертной группой, даются характеристики и строятся модели различных
компонентов
образовательной
проведенного
анализа
и
организационной
вырабатываются
подсистем.
соответствующие
На
основе
рекомендации
по
совершенствованию и развитию образовательно-организационной системы школы.
Важнейшим условием экспертной деятельности в школе выступает готовность
администрации, педагогов, а также школьников и родителей к конструктивному
сотрудничеству со специалистами экспертной группы. С одной стороны, это
готовность всесторонне содействовать сбору необходимой информации и самим
выступать в роли источников такой информации (заинтересованность и искренность
ответов на вопросы экспертов). С другой стороны, это готовность с вниманием и
доверием отнестись к выводам и рекомендациям экспертной группы.
Серьезная проблема работы экспертов в школе часто возникает из-за
непонимания
принципиального
различия
между
экспертизой
и
проверкой
(инспекцией) школы.
Экспертный метод как механизм научно-педагогической экспертизы
Механизмом, позволяющим проводить научно-педагогическую экспертизу,
является экспертный метод, или метод экспертных оценок.
Экспертный метод — это комплекс логических и математических процедур,
направленных на получение информации, ее анализ и обобщение с целью подготовки и
принятия компетентного управленческого решения.
Суть метода состоит в проведении экспертами анализа проблемы с
качественной и количественной оценкой суждений и формальной обработкой
результатов индивидуальных экспертных оценок.
Данный метод обеспечивает оценку альтернативных решений и выбор
предпочтительных вариантов решения.
Метод экспертных оценок имеет логически взаимосвязанные этапы, которые
являются основными этапами педагогической экспертизы.
Начальный этап (организация экспертизы) включает:
определение цели и задач экспертизы, постановку проблемы;
определение меры ответственности, прав и полномочий рабочей группы
экспертов;
установление сроков проведения экспертизы;
подбор экспертов, формирование экспертных групп (при необходимости
определение их компетентности).
Основной этап экспертизы связан:
со сбором данных;
проведением исследовательской работы и экспертной оценкой;
анализом имеющегося материала.
Технология экспертизы, использование совокупности методов и критериев
оценки зависят от характера экспертизы, области ее применения.
Для педагогической экспертизы чаще всего требуется:
разработка анкет;
опросников;
тестов;
контрольно-диагностических заданий.
Экспертная оценка является результатом аналитической деятельности,
основана на умении видеть и разрешать противоречия, прогнозировать, предвидеть
и находить нестандартные способы решения.
Завершающий этап экспертизы:
опрос экспертов (индивидуальный или групповой; личный, очный или
заочный; устный или письменный);
оформление документа (отчет, справка, рецензия и пр.);
принятие
экспертного
заключения
—
основы
для
компетентного
управленческого решения, которое принимает менеджер.
«Экспертное заключение» и «экспертная оценка» — понятия близкие, но не
тождественные.
Экспертное заключение — это документ, оформленный в соответствии с
установленными требованиями и содержащий мотивированную экспертную оценку,
т.е. мнение, суждение эксперта о предмете экспертизы.
В зависимости от области применения экспертных методов в педагогике
возможны индивидуальные, групповые и коллективные экспертные оценки. Для
принятия важных экспертных заключений о перспективах и концепциях развития
системы
образования,
государственных
стандартах
образования,
новых
образовательных программах используется метод коллективных экспертных оценок.
Четко регламентирован количественный состав членов экспертной группы при
проведении аттестации образовательных учреждений.
Методы коллективной работы экспертов — совещания, дискуссии, «мозговая
атака», а также деловые игры.
Смысл коллективных методов работы экспертов состоит в активизации
коллективного поиска решения проблемы путем сбора идей и предложений,
возникающих в процессе дискуссии.
Так, метод «мозговой атаки» может быть рекомендован для нахождения
нетрадиционного, оригинального решения в предельно сжатые сроки. Возможны
разные способы организации «мозговой атаки». Например, после определения
проблемы и задач для поиска решения, знакомства с правилами «мозговой атаки»,
формирования рабочих групп (3 — 5 человек) дают сигнал к «мозговому штурму», и
начинается генерирование идей, которые фиксируются без обсуждения и
критических
замечаний
(возможны
только
уточняющие
вопросы).
После
завершения «мозгового штурма» все высказанные идеи анализируют на основе ранее
определенных критериев и подвергают экспертной оценке.
Для получения обобщенного суждения экспертов относительно прост и
удобен метод ранговых оценок. Он заключается в том, что любую изучаемую
информацию располагают в порядке возрастания или убывания величины
признака. Каждому признаку приписывают число, обозначающее его ранг.
Полученные результаты легко поддаются математической обработке.
Индивидуальные экспертные оценки могут быть получены путем:
анкетирования;
интервью;
свободной беседы.
Для проведения педагогической экспертизы целесообразно ипользовать уже
разработанные, апробированные, доказавшие свою валидность и объективность
методики: они, как правило, являются результатом психолого-педагогических
исследований. Если же таких методик нет, их приходится разрабатывать самим
экспертам.
Требует разработки и определение критериев экспертной оценки.
Алгоритм разработки:
определяется
номенклатура
уровней
(высокий,
средний,низкий
или
оптимальный, допустимый, недопустимый и т.д.);
отрабатывается набор показателей, которые в совокупности характеризуют
уровень развития оцениваемого качества, параметра, результата.
Достоверность экспертной оценки зависит от компетенции эксперта.
Независимо от уровня экспертизы ее должны давать наиболее квалифицированные
специалисты.
Адекватная
оценка
качества
образовательных
услуг
(контрольно-
диагностическая функция), основанная на всестороннем анализе информации о
фактическом состоянии дел во всех структурных подразделениях учреждения.
Содержание педагогической экспертизы целесообразно разбить на блоки:
анализ организации деятельности, руководства и управления учреждением;
анализ содержания образовательной деятельности;
анализ ее результатов;
анализ ее условий.
При этом особое внимание эксперты уделяют использованию современных
форм организации образовательного процесса.
Порядок формирования Экспертной группы.
Отбор экспертов, формирование экспертных групп — достаточно сложная
задача, результат которой в наибольшей степени определяет эффективность метода
и правильность полученных решений.
Подбор специалистов для участия в экспертном опросе, начинается с
определения научных, технических и административных проблем, непосредственно
связанных в решением поставленной задачи.
Составляется список компетентных в необходимых областях лиц, который
служит основой для выбора экспертов.
Оценив число возможных кандидатов в эксперты, решается вопрос о
численности экспертной группы.
Оптимальное количество вряд ли возможно определить точно, но очевидно,
что в малой группе экспертов на итоговую оценку оказывает излишнее влияние
оценка каждого из экспертов. Слишком большое число экспертов затрудняет
формирование согласованного мнения. Кроме того, при увеличении числа
участников уменьшается роль нестандартных мнений, отличающихся от мнения
большинства, но не всегда оказывающихся неправильными.
Принципиальное значение имеет возможность обеспечения «равноправия»
учёных-специалистов различных направлений, различного уровня компетентности с
учётом специфики исследуемой проблемы.
Тем
не
менее,
можно
установить
некоторые
общие
требования,
подразумевающие выяснение следующих параметров:
компетентность потенциального эксперта в исследуемой области;
эрудированность в смежных областях;
учёная степень;
звание;
стаж научной или практической работы в определённой сфере;
должностное положение;
принципиальность;
объективность;
способность творчески мыслить;
интуиция.
Реестр качеств, которыми должен обладать «идеальный» эксперт, с которым
предпочтительно работать:
креативность, то есть способность творчески решать задачи, метод решения
которых полностью или частично не известен;
эвристичность, то есть способность видеть или создавать неочевидные
проблемы;
интуиция — способность делать заключения об исследуемом объекте без
осознания пути движения мысли к этому заключению;
предикаторность, то есть способность предсказывать, предчувствовать
будущее состояние исследуемого объекта;
независимость, то есть способность противопоставлять предубеждениям и
массовому мнению свою точку зрения;
всесторонность, то есть способность видеть проблему с различных точек
зрения.
При формировании группы экспертов важно учитывать индивидуальные
особенности специалистов:
практичность ума – хозяйственная сметка, способность применять знания на
практике, умение обобщать и использовать прошлый опыт в конкретной ситуации;
глубина ума – способность доходить до сущности явлений, событий,
процессов, раскрывать их причины и следствия, определять главное;
общительность – открытость для других, готовность общаться, потребность
иметь контакты с людьми;
активность – умение действовать энергично, напористо при решении
практических задач;
инициативность – особое творческое проявление активности, выдвижение
идей, предложений, энергичность, предприимчивость;
настойчивость – проявление силы воли, упорства, умение доводить дело до
конца;
самообладание – способность контролировать свои чувства, поведение в
сложных ситуациях;
работоспособность – выносливость, способность выдерживать напряженный
темп работы длительное время;
наблюдательность – умение видеть главное, сохранить в памяти важнейшие
моменты из происходящего;
организованность – сила воли подчинить себя необходимому режиму,
постоянно
планировать
свою
деятельность,
проявлять
последовательность,
собранность;
самостоятельность – независимость в решениях, умение самому находить
пути достижения поставленных целей, брать на себя ответственность при
выполнении ключевых задач.
К компетенции Экспертной группы относится:
разработка предложений по оптимизации процедуры экспертизы;
организация экспертизы заявок и отчетов, выработка рекомендаций;
рассмотрение спорных ситуаций, возникших в процессе экспертизы.
К компетенции руководителя Экспертной группы относятся:
организация распределения проектов по экспертам, если не принят иной
механизм распределения;
подготовка предложений о составе Экспертных групп;
организация работы, проведение заседаний Экспертной группы;
ведение протокола заседаний Экспертной группы;
решения Экспертной группы принимаются большинством (не менее 50%)
присутствующих
на
заседании.
Решение
Экспертной
группы
оформляется
протоколом, содержащим рекомендации.
Экспертное заключение.
На основании проведенных исследований и с учетом их результатов эксперт
от своего имени или комиссия экспертов дает заключение (экспертное заключение)
в письменной форме и подписывает его.
В заключении эксперта или комиссии экспертов должны быть отражены:
время и место проведения экспертизы;
основания для проведения экспертизы;
сведения о об эксперте (фамилия, имя, отчество, образование, специальность,
стаж работы, ученая степень и ученое звание, занимаемая должность);
вопросы, поставленные перед экспертом или комиссией экспертов;
содержание и результаты исследований с указанием примененных методов;
оценка результатов исследований, выводы по поставленным вопросам и их
обоснование;
иные сведения.
Материалы и документы, заключение эксперта или комиссии экспертов,
прилагаются к заключению и служат его составной частью.
Для общих выводов, несомненно, является важным признание того, что выбор
типа экспертизы оказывает непосредственное влияние на содержание и методы,
процедуры, организацию экспертного исследования и оценивания, что показывает
комплексность и целостность подходов к рассмотрению образования и его систем,
компоненты которых тесно взаимосвязаны.