Рейтинги как один из способов
advertisement
Семинар Российского тренингового центра ИнОбра НИУ ВШЭ «Интерпретация и представление результатов оценки образовательных достижений для различных групп пользователей» 30-31 октября 2014 года, г. Москва «Рейтинги как один из способов представления результатов сравнительной оценки качества образования» Татьяна Анатольевна Мерцалова Ведущий научный сотрудник Института образования НИУ ВШЭ Что такое «рейтинг» Выстраивание от лучших к худшим – «ранжирование» Набор данных (профиль) для пользовательского конструирования (навигации) – «ренкинг» Распределение по группам – «таблицы лиг» Выделение только группы лучших – «топ» Почему именно рейтинг НАГЛЯДНОСТЬ и ДОСТУПНОСТЬ Рейтинги бывают разные… Общественные Ведомственные Добровольные Обязательные Обобщенные По направлениям Универсальные Пользовательские Линейные Кластерные Тотальные Выборочные Фиксированные Динамичные Субъекты, объекты и потребители рейтингов Ведомства Заказчик Институты общественности Оператор Общественные организации Эксперт Иные организации Физические лица Образовательные организации и системы Потребители услуг Органы управления Образовательные оргии Иные заинтересованные лица Общественность, как заказчик ЗАКАЗЧИК ОПРЕДЕЛЯЕТ: Для кого и для чего будет проводиться оценка? Каковы её цель и задачи? Кто и для чего сможет воспользоваться её результатами? Кого будем оценивать? Кто станет объектом оценки, какие организации или системы? По каким критериям будет осуществляться оценивание? Какие характеристики ОО или ее деятельности будут подвергнуты оценке? Как в будут выглядеть результаты оценки (итоговый формат)? Будут ли публиковаться результаты оценки? Где, когда и в каком виде? Кто будет проводить оценку? Как, по каким критериям будет выбран технический исполнитель, организация-оператор? В какие сроки нужно будет провести оценку? Участники рейтинга Функции рейтингов Безопасность 86.3 Здоровьесбережение 83.2 Платные услуги Отбор (выбор): • Потребители услуг – выбор учебного заведения • Управленцы – конкурсный отбор • Заказчик – отбор исполнителей •… 67.9 Материально-техническое обеспечение Образовательные программы 51.7 Финансирование 49.5 Результаты ЕГЭ, ГИА, мониторингов 48.9 66.7 Кадровое обеспечение 46 Слияние ОО в комплексы 40.9 Рейтинги ОО 37.6 Опрос родителей г. Москвы, ИО НИУ ВШЭ, 2013 г. Функции рейтингов Продвижение приоритетов Мотивация к развитию Формирование репутации Провели обсуждение результатов с педагогической общественностью Провели обсуждение результатов с администрацией 36.3 По результатам рейтинга был проведен анализ причин успехов и/или неудач 35.0 Провели обсуждение результатов с родительской общественностью Никак не использовали 0.0 55.6 74.1 33.1 3.7 30.6 По результатам рейтинга были приняты решения по улучшению ситуации 66.7 29.9 Разместили на сайте информацию о занятом месте Разместили на сайте подробную информацию о рейтинге с разъяснениями 81.5 52.2 18.5 7.0 Используем результаты рейтинга как рекламу, чтобы привлечь внимание 0.0 5.1 В рейтингах не участвовали 3.7 4.5 37.0 51.9 Сотрудники МОУО Руководители ОО Опрос работников системы образования одного из регионов ЦФО, ИО НИУ ВШЭ, 2014 г. Персональная значимость рейтингов для педагогов и родителей, % (Опрос в одном из регионов ЦФО, ИО НИУ ВШЭ, 2014 г.) Да, мне интересно, как выглядит школа/сад, в которой я работаю по сравнению с другими… 59.6 Нет, всю необходимую информацию о школах/садах я знаю и без рейтингов 14.5 Нет, рейтинги не показывают достоверную реальную картинку того, что представляет из себя… 11.1 Да, мне интересно, как выглядит школа/сад, которую посещает мой ребенок по сравнению с другими… Нет, всю необходимую информацию о школах/садах я знаю и без рейтингов 6.5 Нет, это не информативно, рейтинги ничего не дают Да, зная место школы/сада в рейтинге, можно понять, чего не хватает в нашей школе/саду и… 5.9 Да, я хотел бы дать своим детям лучшее образование. По результатам рейтинга я смогу… 2.5 23.4 Да, я использую рейтинги для выбора школы/сада для своих детей Нет, это не информативно, рейтинги ничего не дают Да, я хотела бы работать в лучшей образовательной организации. По результатам рейтинга я смогу… 35.9 Да, зная место школы/сада в рейтинге, можно понять, чего не хватает в нашей школе/саду и… 20.1 8.1 6.7 4.3 Ценность рейтингов для субъектов образовательных отношений для потребителей образовательных услуг • основание для выбора места обучения своих детей для партнеров школы (особенно, потенциальных) • основание для выбора организации, с которой будет заключен договор о совместной деятельности для самой образовательной организации • обратная связь, позволяющая понять, насколько всё то, что делается в ОО, соответствует требованиям руководства, запросу и ожиданиям семей и/или партнерских организаций для управляющих и контролирующих органов • дополнительная база данных для принятия решений (например, при проведении конкурсного отбора лучших ОО, при распределении грантов, кадровых перестановках, разработке программы по развитию системы образования и др.) для органов коллегиального управления • способ привлечения внимания общественности к проблемам ОО • механизм вовлечения родителей и представителей местного сообщества в реализацию задач развития ОО и т.д. Множественность рейтингов актуализирует вопрос об их качестве Идеология Принципы Сертификация ПРИНЦИПЫ РЕЙТИНГОВАНИЯ В ОБРАЗОВАНИИ В РФ (для образовательных систем и организаций дошкольного, общего и дополнительного образования детей) Проект разработан группой независимых экспертов в 2013 г. Прошел обсуждение в ОП РФ. Получил общественную поддержку. Технология Методика Экспертиза «Принципы…» регулируют А) Место рейтингов в системе оценки деятельности образовательных организаций и систем B) Цели и задачи рейтингования С) Разработку индикаторов и их весов D) Сбор и обработку данных E) Презентацию результатов рейтингования F) Использование результатов рейтингования Критерии качественного рейтинга Качественный рейтинг: • ориентирован на конкретные интересы определенной целевой аудитории (общественности) • адекватно (правильно, достоверно) отражает существующую в ОО ситуацию • построена на основе надежного инструментария, подробно проработанной методики • обеспечивает обоснованную информацию для развития оцениваемой системы • оказывает минимальное негативное воздействие на оцениваемые объекты (на ОО) Качество рейтинга обеспечивается за счет: • Качества методики оценивания • Культуры проведения оценки • Культуры представления результатов • Открытости процедур и полученных результатов (культуры публикации) • Эффективности использования результатов Критерии качественной методики Максимальный учет потребительского запроса • • • • • Точное определение целевой аудитории Исследование (анализ) интересов и потребностей целевой аудитории, в т.ч. их неоднородности Определение приоритетов целевых групп Подбор критериев, показателей и индикаторов рейтинга, релевантных интересам целевой аудитории Участие представителей целевой аудитории в разработке методики и/или в оценке (экспертизе) ее качества Качество методики рейтингования • • • • Внутренняя согласованность (логика) всех элементов методики Надежность методики оценивания Валидность методики оценивания – соответствие методики оцениваемому объекту Обоснованность расчетов и интерпретаций Достоверность и проверяемость данных Контекстуализация Схема построения методики рейтингования Интересы и возможности целевой аудитории Особенности рейтингуемых объектов (ОУ) Эксперты Источники данных ЦЕЛЬ Задачи Стратегия и тактика рейтингования Формат итогового рейтинга Направления (параметры) рейтингования Критерии Показатели и индикаторы Формулы расчета Качество независимой оценки является базовым условием её эффективности Механизмы снижения риска некачественных рейтингов: ЭКСПЕРТИЗА Профессионалы: Совместить экспертизу профессиональную и общественную • Методика • Инструментарий • Расчеты Общественность: • Соответствие заказу • Соответствие интересам и потребностям общественности • Добросовестность проведения расчетов • Достоверность полученных результатов • Надежность и проверяемость использованных данных • Учет специфических особенностей ОО • Обоснованность интерпретаций • Открытость процедур и результатов • Контроль публикуемых материалов • Отслеживание обратной связи • Практика использования результатов Механизмы снижения риска некачественных рейтингов: ОТКРЫТОСТЬ Концепция рейтинга Методика, в том числе: критерии, по которым оцениваются ОО формулы расчета итоговых индексов инструменты оценивания Состав экспертов Результаты оценки (рейтинг, ренкинг, топ и т.д.) Аналитические материалы с обобщенными стат. результатами Рекомендации по результатам Обсуждения • • • • • • • • Официальные сайты РОУО / МОУО Официальные сайты регионального Правительства / муниципальной Администрации Пользовательские сайты по образовательной тематике Официальные сайты образовательных организаций Специализированный сайт рейтинга Сайт организации-оператора Сайты организаций, подведомственных ОУО СМИ • • • • Любой желающий в открытом доступе Любой – по запросу Только специалисты, имеющие право доступа Никто, кроме тех, кто этот рейтинг сделал Каналы публикации результатов сопоставительной оценки ОО На официальных сайтах школ/детских садов, которые… 46.3 Озвучиваются на общешкольном 41.1 (общесадовском) родительском… На официальных сайтах муниципальных органов… 35.2 29.2 На официальном сайте Министерства образования… 21.9 23.0 На сайтах Администраций муниципальных районов 13.0 16.3 9.9 10.5 В печатных СМИ (газеты, журналы) На самых разных сайтах, посвященных образовательной… В социальных сетях, в группах посвященных теме образования Данные опроса в одном из регионов ЦФО, ИО НИУ ВШЭ, 2014 г. 7.1 9.1 На сайте Правительства Московской области 3.1 2.9 Издаваться отдельным буклетом 2.2 2.4 Озвучиваются и обсуждаются на заседании управляющего совета Озвучиваются на классных родительских собраниях Публикуются в специальном разделе нашего сайта Публикуются на сайте, в новостной ленте Размещаются на информационном стенде школы Публикуются в местных СМИ Издается специальный информационный листок,… 4.3 5.3 Педагоги Родители 66.9 59.2 37.6 28.7 19.7 11.5 1.9 1.3 Другое 0.6 Публикуются в школьной газете 0.6 Рассылаются всем родителям по электронной почте 0.6 Сайт ОО используют для информирования о результатах НОК всего около 35% руководителей ОО Форматы публикации результатов сопоставительной оценки ОО Инфографика Навигаторы Интерактивные карты Топ лучших Видео инфографика Кластеры Форматы публикации результатов сопоставительной оценки ОО Инфографика Навигаторы Интерактивные карты Топ лучших Видео инфографика Кластеры Форматы публикации результатов сопоставительной оценки ОО Инфографика Навигаторы Интерактивные карты Топ лучших Видео инфографика Кластеры Форматы публикации результатов сопоставительной оценки ОО Инфографика Навигаторы Интерактивные карты Топ лучших Видео инфографика Кластеры Форматы публикации результатов сопоставительной оценки ОО Инфографика Навигаторы Интерактивные карты Топ лучших Видео инфографика Кластеры Форматы публикации результатов сопоставительной оценки ОО Инфографика Навигаторы Интерактивные карты Топ лучших Видео инфографика Кластеры Предпочитаемые форматы представления результатов сопоставительной оценки, % Все оценки всех школ/детских садов по всем оцениваемым параметрам, без их выстраивания по порядку, чтобы можно было самому построить свой рейтинг 26.5 20.6 24.4 Перечни всех школ/детских садов, сгруппированные по муниципалитетам 20.1 32.7 Перечень только группы лучших школ/детских садов (например, 100 или 300 лучших) 20.6 26.2 Перечень всех школ/детских садов: от «лучших» к «худшим» Педагоги 32.1 Родители Данные опроса в одном из регионов ЦФО, ИО НИУ ВШЭ, 2014 г. Продвижение рейтинга: ИНФОРМИРОВАНИЕ и РАЗЪЯСНЕНИЕ Востребованность результатов оценки складывается из: нужности и полезности результатов для целевой группы знания потенциальными пользователями о проведенной оценке Продвижение рейтинга предполагает: распространение информации о проведении оценки, её разъяснение этой информации различным представителям общественности так, чтобы любой задачах и методике проведения, о полученных результатах, перспективах (планах) их использования и результативности мер, приятых в целях улучшения качества образования; заинтересованный человек максимально точного понимал смысл проведенной оценки, особенности данного рейтинга и специфических нюансов, которые могут возникнуть при интерпретации результатов и реализации мер по развитию образования. Интерактивные коммуникативные площадки: ОБСУЖДЕНИЕ ПРОЦЕССА и РЕЗУЛЬТАТОВ ОЦЕНКИ Обсуждение критериев качества работы ОО (мнения профессиональных экспертов, потребителей образовательных услуг, иных заинтересованных лиц); Сбор общественного мнения по различным вопросам деятельности ОО и её общественная оценка Обсуждение проблем ОО и путей их решения (в т.ч., с использованием технологии краудсорсинга) Консультирование ОО и возможность внесения изменений в оценки (при условии обоснования этих изменений, например, ошибка в данных) И др. Риски неадекватного использования результатов рейтингов Руководители – линейное решение: «поощрение / наказание» Участники рейтингов (ОО) – эмоциональное отношение «Лидеры» «Конструктивные» «Середняки» «Эмоциональные» «Аутсайдеры» «Равнодушные» Учет особенностей условий функционирования образовательных организаций Неадекватность сопоставления – причина неадекватных решений Повышение объективности оценивания • Кластеризация учреждений по контекстным параметрам (территория, вид, статус учреждения, социальноэкономический статус контингента) • Введение индивидуальных индексов образовательных организаций • Сравнение со средними значениями в группе Учет региональных различий • Модульная модель общественного рейтингования (инвариант и вариативные модули) Наградить непричастных Наказать невиновных Механизмы снижения риска некачественных рейтингов: ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ Анализ и интерпретация полученных результатов оценки Разработка предложений и рекомендаций об улучшении качества работы ОО Доведение результатов до сведения: руководства ОО, органов управления образованием, представителей органов ГОУ в сфере образования Минимизация риска негативного влияния результатов оценки на ОО Контроль за выполнением проектов и реализацией мер по совершенствованию системы образования, сформированных на основе предложенных рекомендаций Внесение предложений по корректировке данных мер и проектов «Чужие» оценки на пользу школе Как относится к «чужому» рейтингу • Изучить методику рейтинга; • Оценить ее качество (возможно, для этого придется привлечь профессиональных экспертов, например, используя краудсорсинг); • Соотнести методику с реальностью своей школы: можно ли, корректно ли оценивать данную конкретную школу по этой методике; • Проанализировать результаты оценки и рейтингования; • Оценить их качество и достоверность; • Определить, что дают эти результаты для анализа ситуации в школе. • Разработать и реализовать меры по использованию результатов • Разработать и провести разъяснительную работу для работников ОО и потребителей Важно: • Выявление конструктивные возможности любых оценок • Отслеживание и пресечение негативного влияния оценок • Отслеживание и экспертиза принятых мер «Чужие» оценки на пользу школе Условие: ЗАДАЧА: Как использовать для школы ТОП-500? • Школа вошла в ТОП-25 • Школа вошла в ТОП-500 • Школа не вошла в ТОП500, но рассчитывала • Школа не вошла в ТОП500, и не рассчитывала Снижение рисков негативного влияния рейтингов • • • • • • • Обеспечение качества рейтингов Контекстуализация Использование формата ренкингов Добровольность участия Интерактивность рейтингов Коммуникативные площадки Обучение субъектов, участноков и потребителей Новые функции управленцев, требующие соответствующих компетенций Открытость • Открытие информации • Создание и сопровождение работы информационных ресурсов • Оперативная коммуникация в разных форматах • Организация обратной связи • Конструктивное использование получаемой обратной связи • Активность в коммуникации и информировании • Постоянное освоение и использование новых ИКТ технологий Рейтингование • Формирование и формулирование заказа на НОК и рейтинги (ТЗ, ГК) • Привлечение и вовлечение общественности в НОК • Принятие и согласование заказа общественности на НОК и рейтинги • Оценка компетентностей организаций-операторов (сертификация) • Экспертиза качества методик оценки, мониторингов и рейтингования • Экспертиза качества внешних рейтингов и мониторингов • Аналитическая работа с материалами рейтингов (статистика, анализ, обобщение и т.д.) • Проектирование работы на основе полученных результатов НОК и рейтингов • Продвижение результатов рейтингов и НОК (PR) СПАСИБО ЗА ВНИМАНИЕ! rtc.imerae@gmail.com WWW.RTC-EDU.RU
