Использование результатов оценочных процедур
advertisement
Использование результатов оценочных процедур Заместитель начальника Управления надзора и контроля за деятельностью органов исполнительной власти субъектов Российской Федерации Лях Юлия Анатольевна Мониторинг качества образования Приказ Минобрнауки России о проведении мониторинга качества образования от 26.11.2015 № 1381 Национальное исследование качества образования (НИКО) Национальные исследования качества образования (НИКО) Цели Принципы • Развитие единого образовательного пространства в Российской Федерации, совершенствование общероссийской системы оценки качества образования • Соответствие ФГОС, традициям российского образования, решениям Президента и Правительства РФ • Выборка репрезентативна по РФ и по группам субъектов РФ (с учетом ВРП и результатов ЕГЭ) • Публичное обсуждение результатов • Анализ состояния системы образования, формирование программ развития •Не предусмотрена оценка деятельности ОО, ОИВ и т.п. МОДЕЛИ ИСПОЛЬЗОВАНИЯ РЕЗУЛЬТАТОВ ПРОЕКТА В РАМКАХ ПРОГРАММЫ НИКО На федеральном уровне • для разработки конкретных мер по реализации сформированных направлений На региональном и муниципальном уровне • для совершенствованию преподавания учебных предметов, программ повышения квалификации учителей Образовательными организациями • для совершенствования преподавания учебных предметов Родителями и детьми • для повышения информированности, развития моделей родительского оценивания, принятия обоснованных решений о выборе образовательной траектории ребенка Не допускается использование результатов НИКО для оценки деятельности образовательных организаций, учителей, муниципальных и региональных органов исполнительной власти, осуществляющих государственное управление в сфере образования НИКО математика 5-7 классы Проблемы уже запрограммированы на уровне 5-7 классов Рост оценок «3» с 20-25% в 5 классе до 40-50% в 7 классе o o Существенные пробелы в подготовке значительной части выпускников, высокие риски неуспешности на экзамене Неэффективность уроков в 10-11 классах для почти половины выпускников • • o Отметка не инструмент решения проблем, а ярлык «неспособного» Необходимо своевременно решать проблемы подготовки Неготовность к освоению программы влечет неэффективность o o ЕГЭ 2014 сделал явным, видимым Использования времени ребенка Использования государственных средств Не только по математике Существенный фактор – несформированность общеучебных умений • • • • Неумение понять условие задачи, ответить на вопрос Неумение анализировать информацию Неумение сопоставить результат с условием Неумение провести прикидку, оценку, да и просто применить здравый смысл НИКО 2015. Математика - примеры 4 класс. Выполнение – 43% 7 класс. Выполнение – 26% НИКО 2015. Математика Решить арифметический пример на порядок действий Вся выборка Решить текстовую задачу на определение времени Сравнить по рисунку размеры предметов или объемы жидкости Решить задачу на логику Определить по рисунку какой из автомобилей дальше от пешехода или ближе к нему Обучающиеся в классах, в которых для более половины класса русский язык не является родным Определить по рисунку, автомобиль слева или справа от пешехода Описать характер изменения процесса по столбчатой диаграмме Решить текстовую задачу на покупки 0 20 40 60 80 100 Наиболее проблемные зоны: арифметические действия, умение внимательно прочесть условие и выполнить задание в точном соответствии с ним, умение рассуждать логически, способность проверить решение и ответ и исправить допущенные ошибки. НИКО 2015. Русский язык Назвать предмет по фотографии Задать вопрос к ситуации на фотографии Обучающиеся в классах, в которых для более половины класса русский язык не является родным Сформулировать просьбу Не более 1 орфографической ошибки Не более 1 пунктуационной ошибки Поставить ударение в слове Вся выборка Написать короткое сочинение, раскрыв тему Понять основную мысль текста Ответить на вопрос по содержанию текста 0 10 20 30 40 50 60 70 80 90 100 Наиболее проблемные зоны: уровень практической грамотности, понимание текста. НИКО 2015. Окружающий мир Назвать профессию по фотографии Описать характер работы по профессии Вся выборка Описать качества, важные для профессии Определить по таблице погоды с условными значками характеристики погоды в конкретные дни Определить цель эксперимента по его описанию Обучающиеся в классах, в которых для более половины класса русский язык не является родным По описаниям двух растений найти сходство между ними По описаниям двух растений найти различия между ними Описать правило, установленное условным знаком 0 20 40 60 80 100 Наиболее проблемные зоны: работа с графической и визуальной информацией (таблицы прогноза погоды, карты, изображения животных, схематическое изображение человека), развитие логического мышления и коммуникативных умений (в частности, умения объяснять свой выбор, свое мнение). Предпочтения школьников Мне нравится узнавать на уроках что-нибудь… узнавать на уроках что-нибудь новое общаться с одноклассниками общаться с одноклассниками играть в спортивные игры играть в спортивные игры ездить или ходить на экскурсии ездить или ходить на экскурсии читать книги решать задачи по математике решать задачи по математике читать книги ухаживать за растениями,… Город ухаживать за растениями, животными изучать природу изучать природу проводить опыты проводить опыты 0% Село 10% 20% 30% 40% 50% 60% 70% Больше всего школьники любят узнавать что-нибудь новое и общаться с одноклассниками. Занятия в системе дополнительного образования Помимо уроков в школе я занимаюсь в спортивной секции занимаюсь иностранным языком занимаюсь в других кружках или… занимаюсь танцами Село нигде не занимаюсь Город занимаюсь в музыкальной школе… занимаюсь в художественной школе… посещаю группу продлённого дня занимаюсь в математическом кружке 0% 10% 20% 30% 40% Самое распространенное занятие помимо школы – спортивная секция. Использование результатов НИКО Корректировка примерных программ Повышение общественного внимания к проблемам образования Совершенствование методологической базы в системе оценки качества образования Совершенствование организационнотехнологических решений в системе оценки качества образования Выявление и устранение системных проблем в образовании, в том числе с учетом региональной специфики Повышения квалификации учителей: содержательные и психологопедагогические аспекты Использование материалов для проведения регионального мониторинга, адресная работа со школами Стандартизация оценочных процедур, подготовка экспертов Краткие выводы Выпускники начальной школы успешно справляются с программой начального общего образования. Данный вывод согласуется и с результатами сравнительных международных исследований, проводимых в России. Проблемы, выявленные Национальным исследованием, не являются критичными, но служат сигналом для учителей основной школы: важно ставить реалистичные и понятные школьнику и его родителям цели обучения, способствовать выстраиванию индивидуальных образовательных траекторий. Результаты Национального исследования показывают наличие высокого интереса к учебе со стороны детей и их семей. Необходимо способствовать поддержанию этого интереса и в основной школе. Можно констатировать наличие существенной разницы в подготовке учителей начальной школы в разных группах субъектов РФ. Необходимо совершенствовать систему переподготовки и аттестации учителей. Национальные исследования качества образования (НИКО) Октябрь 2014 НИКО по математике 5-7 классы Апрель 2015 НИКО по русскому языку, математике и окружающему миру в 4 классе Октябрь 2015 НИКО по информатике и ИКТ 8-9 классы Результаты проведенных исследований доступны на www.eduniko.ru Апрель 2016 НИКО по истории, обществознанию 6, 8 классы Ноябрь 2016 НИКО по иностранным языкам 5, 8 классы http://www.eduniko.ru/ Всероссийские проверочные работы (ВПР) Совершенствование механизмов развития общероссийской системы оценки качества образования путём построения системы взаимосвязанных исследовательских и диагностических процедур на разных уровнях системы образования НЕ ЕГЭ! Вместо КИМ – варианты проверочной работы Вместо демоверсии – образец проверочной работы Нет заданий с выбором ответа Русский язык 4 класс – на основе диктанта Оценка предметных результатов в соответствии с ФГОС, оценка УУД Предоставление школам единых вариантов и критериев оценивания Доступность для всех школ Возможность провести на уровне региона. Возможность получить сводные результаты на федеральном уровне ВПР Использование банков заданий, построенных с учетом опыта российских и международных оценочных процедур Оценивание работ на основе стандартизированных критериев, интеграция проекта с системой повышения квалификации в вопросах оценивания Использование результатов ВПР На федеральном уровне: -мониторинг результатов введения ФГОС; -формирование базы результатов обучающихся, в перспективе – обеспечение возможности учета результатов в качестве портфолио На региональном уровне: -своевременная корректировка отдельных аспектов в системе общего образования; -основание для планирования контрольно-надзорной деятельности На уровне образовательной организации: -корректировка образовательного процесса; -учет результатов ВПР при выставлении годовых отметок по предмету. Организация проведения ВПР Разработка ВПР Проведение ВПР • Рособрнадзор • Образовательная организация Внутренняя (внутришкольная) оценка качества обучения Виды оценки Текущая оценка в процессе обучения Промежуточная аттестация Итоговая аттестация Цели оценивания Оценка в процессе обучения: выстраивание и корректировка индивидуальной траектории обучения детей и профессионального развития учителя Проведение оценочных мероприятий в целях контроля результатов освоения образовательной программы Применяемые оценочные средства Диагностические средства, разработанные в рамках УМК Диагностические средства, разработанные в рамках УМК, региональный банк заданий, федеральный банк заданий Институциализация использования результатов ВПР Разработка инструктивно-методических материалов по использованию результатов ВПР в текущей деятельности ОО 1. Разработка проектов новых и актуализация действующих НПА, регламентирующих порядок организации и проведения оценки образовательной программы 2. Разработка инструктивно-методических материалов по использованию результатов ВПР для корретировки образовательных программ ОБЕСПЕЧЕНИЕ ДОСТУПА ОО К РЕЗУЛЬТАТАМ ОЦЕНОЧНЫХ ПРОЦЕДУР Модель 1. Проведение ВПР в образовательной организации ОИВ ОО Координация и мониторинг 1. Дата, количество, предмет Облачный сервис 2. КИМ, электронный бланк 3. Проведение ВПР в ОО Личный кабинет ОО 4. Проверка части С 5. Заполнение электронного бланка (оценки за задания, выставленные по стандартизированным критериям) 6. Заполненный электронный бланк 7. Результаты, статистика Модель 2. Проведение ВПР в регионе ОИВ + ЦОКО (РЦОИ) Координация и мониторинг 3. Тиражирование 8. Сканирование бланков Личный кабинет ОИВ ОО ОО ОО 7. Бланки ответов 4. Тираж ИК 9. Распознавание и верификация 5. Проведение ВПР в ОО 6. Передача бланков ответов в ЦОКО 12. Результаты, статистика Личный кабинет ОО Облачный сервис Личные кабинеты школ на портале сопровождения ВПР • Единая учетная запись на все мероприятия • Пошаговые инструкции • Индивидуальная выдача материалов по заданным правилам и часовым поясам • Автоматическая проверка сдаваемых отчетов на соответствие параметрам Личные кабинеты региональных координаторов • Возможность отслеживать ход процесса по своему региону • Возможность видеть детализацию по каждой подотчетной ОО • Возможность увидеть сданные ОО отчеты Личные кабинеты федеральных координаторов • Возможность отслеживать ход процесса по всем регионам • Возможность видеть детализацию по каждой ОО Проверка развернутых ответов экспертами • Проверка в режиме Online • Горизонтальное деление по заданиям • Автоматический выход на третью проверку • Проверка по любым стандартизированным критериям • Расстановка меток ошибок с автоматическим подсчетом • Проверка любых типов заданий Система дистанционной работы экспертов ВПР математика Рассмотри рисунок и ответь на вопрос. Сколько рублей надо заплатить за покупку, состоящую из четырёх плиток шоколада и пяти бубликов? Выполнение – 82,93% Запиши решение и ответ. ВПР математика Коля написал на футболке своё имя (рис. 1). Затем он подошёл к зеркалу. Нарисуй, как будет выглядеть отражение его имени в зеркале (рис. 2). Один из рисунков используй как черновик. Выполнение – 59,08% Черновик Ответ Проблемная ситуация: Образовательные организации не видят в ВПР действенного инструмента для определения реального уровня образования обучающегося. В большей степени они определяют ВПР как инструмент административного контроля со стороны региона и, в первую очередь, Российской Федерации Проблемы: Необъективное оценивание учителями ученических работ. Неправильное информирование родителей (ЕГЭ в начальной школе). Отсутствие навыков (нежелание) использования результатов ВПР для корректировки образовательного процесса.. Субъекты РФ с количеством образовательных организаций, в которых 100% обучающихся выполнили ВПР по русскому языку на «5» 37 24 Кол-во школ где 100% "5" 22 18 15 14 14 14 10 8 8 8 В 51 субъекте Российской Федерации присутствуют 359 ОО со 100% количеством «отличников Субъекты РФ с количеством образовательных организаций, в которых 100% обучающих выполнили ВПР по русскому языку на «2» и «3» 42 количество ОО где 100% 2 и 3 31 24 22 19 18 18 18 14 13 13 В 41 субъекте Российской Федерации присутствуют 355 ОО со 100% количеством обучающихся сдавших на «2» и «3» балла Субъекты РФ с количеством образовательных организаций, в которых 100% обучающихся выполнили ВПР по математике на «5» количество школ где 100% "5" 22 15 15 14 13 10 Алтайский край Саратовская обл. Брянская обл. Смоленская обл. 10 9 8 Белгородская Рязанская обл. Кемеровская Волгоградская Хабаровский обл. обл. обл. край В 46 субъектах Российской Федерации присутствуют 268 ОО со 100% количеством «отличников» Субъекты РФ с количеством образовательных организаций, в которых 100% обучающихся выполнили ВПР по математике на «2» и «3» 50 46 Кол-во школ где 100% 3 и 2 29 27 24 18 18 17 13 12 12 В 41 субъекте Российской Федерации присутствуют 387 ОО со 100% количеством обучающихся сдавших на «2» и «3» балла Распределение образовательных организаций по типу населенного пункта; по видам Распределение школ по типу населённого пункта Распределение по видам образовательных организаций 3.8% 1.1% 3.8% Общеобразовательные школы Лицеи 44.0% 56.0% Гимназии 91.3% Город Сельская местность Школы с углубленным изучением английского языка График введения ВПР 2015/2016 гг. Апробация ВПР в начальной школе (декабрь 2015май 2016) 2016/2017 гг. 2017/2018 гг. 2018/2019 гг. 2019/2020 гг. Введение ВПР в начальной школе Проведение ВПР в начальной школе Проведение ВПР в начальной школе Проведение ВПР в начальной школе Проведение ВПР в 5 классах Проведение ВПР в 5 классах Введение ВПР в 6-8 классах Проведение ВПР в 8 классах Апробация ВПР в 10 классах Введение ВПР в 10 классах Введение ВПР в 5 классах Апробация ВПР в 5 классах Апробация ВПР в 6-8 классах Единые требования к регламентированным моделям ВПР Тиражирование, доставка, хранение Соблюдение мер информационной безопасности Проведение Обеспечение порядка в аудитории, исключение конфликта интересов Сбор и обработка результатов Обеспечение сохранности данных, исключение конфликта интересов Проверка работ Обеспечение качества проверки, исключение конфликта интересов Регламентированные модели проведения ВПР Другие модели Школьная модель На уровне региона Региональная модель На уровне ОО На уровне региона Организация всех этапов проведения (регламент) Мониторинг хода процессов Обеспечение соблюдения единых требований Решение вопроса об участии обучающихся с ОВЗ Решение вопроса о выставлении отметок Анализ и использование результатов Исследования компетенций учителей Исследование компетенций учителей в соответствии с положением профессионального стандарта педагога Апрель-май 2015 года Октябрь-ноябрь 2015 года Исследование портрета учителя истории Апробация исследования учителей русского языка и математики 80 субъектов РФ 6000 учителей 27 субъектов РФ 2000 учителей Заседание Президиума Совета Российского исторического общества Провести исследование компетенций учителей истории Проработать вопрос введения обязательного ЕГЭ по истории на базовом уровне 12 сентября 2014 г. «Портрет учителя истории» Выводы: Определение целей преподавания истории % доля респонден тов - В целом профессиональное сообщество учителей истории удовлетворено современным научно-методическим уровнем учебников по истории (более 80%), но не удовлетворено качеством дополнительной учебной литературы. Интересы обучающихся Интересы общества 44% 44,9% - Результаты обучающихся на Едином государственном экзамене по истории зависят от уровня профессиональных компетенций учителей истории. - Существующая система повышения квалификации учителей истории и обществознания является Подготовка к сдаче ОГЭ и ЕГЭ 2,5 % неэффективной и требует модернизации для соответствия современным научным представлениям. Ближайшие цели Принятие окончательного решения по проведению обязательного ЕГЭ по истории на базовом уровне; Осуществление анализа и экспертизы учебной литературы по истории; Повышение квалификации учителей истории; Разработка учебной литературы по региональной истории; Проведение национального исследования качества исторического образования в 6 и 8 классах – 14 апреля 2016 года. Основные результаты ЕГЭ по истории 2013 2014 2015 2016 (план) Доля участников, % 19,0 19,1 19,6 22 Средний тестовый балл 54,8 45,3 46,7 Не преодолели минимальную границу, % 11,0 21,3 17,4 Набрали 100 баллов, % 0,3 0,07 0,07 10,47 4,0 4,0 Наименование Набрали 81-100 баллов, % Основные результаты ЕГЭ по истории в 2015 г. Относительно уверенное знание истории России VIII– XVII вв. и XVIII – сер. XIX в.; Улучшился уровень знаний истории Великой Отечественной войны по сравнению с 2014 годом; Продемонстрировано умение анализировать различные исторические источники. Проблемные темы: Знания истории отечественной культуры; Знание взаимосвязи событий процессов отечественной и всемирной истории; Аргументация определенных позиций, исторических оценок. Соответствие контрольных измерительных материалов ЕГЭ Историко-культурному стандарту 2014-2015 гг. Введены задания на работу с исторической картой; - Усилен блок заданий по истории культуры, введены задания на анализ визуальной информации; - Усилен блок заданий по истории Великой Отечественной войны, а также блок аналитических заданий. 2016 год Отказ от заданий с выбором одного ответа; Введение исторического сочинения; Формирование блоков заданий, каждый из которых нацелен на проверку определенного элемента ИКС. Социальный и профессиональный портрет учителя истории современной России Большинство учителей довольны своей трудовой биографией и рассматривают возможность работать в школе как почетную Выявлено стремление повышать квалификацию на более высоком уровне Выявлена необходимость совершенствования учебно-методической литературы Подавляющее большинство учителей поддерживает ЕГЭ как форму проверки знаний и обращает внимание на необходимость его совершенствования Ознакомленность с Историко-культурным стандартом 17% полностью, 56% в основном, частично ознакомлены - 23%, практически не ознакомлены менее 4% Национальная система учительского роста Оценка ключевых компетенций Механизмы профессиональной помощи и поддержки Повышение квалификации Механизмы стимулирования Развитие среды профессионального общения Поручение Президента РФ по итогам заседания Госсовета от 23 декабря 2015 г., пункт 1 «г» Национальные исследования качества образования Совместно с Ассоциацией учителей истории и обществознания 12 апреля История, обществознание, 6 классы, 500 школ, 2016 года 25 тыс. учеников (в соответствии с новым Историко-культурным стандартом) 14 апреля История, обществознание, 8 классы, 500 школ, 2016 года 25 тыс. учеников (в соответствии с новым Историко-культурным стандартом) Результаты проведенных исследований www.eduniko.ru Всероссийские проверочные работы Не ЕГЭ! 2017-2018 гг. Апробация проведения ВПР по истории, 5 классы 2018-2019 гг. Введение в штатный режим проведения ВПР по истории самодиагностика школы объективное информирование родителей об уровне знаний ребенка совершенствование качества преподавания Предварительные выводы по исследованию компетенций учителей русского языка и математики Положенные в основу исследования в 2015 году принципы разработки инструментария для исследования профессиональных компетенций учителей одобряются профессиональным сообществом, что подтверждается результатами общественно-профессионального обсуждения Полученные предварительные результаты показывают наличие прямой связи между результатами выполнения заданий конкретным учителем и уровнем результатов его выпускников на ЕГЭ по соответствующему предмету Можно сделать вывод о валидности предлагаемого инструментария при использовании его для оценки компетенций учителей Контроль качества образования Цель системы объективной оценки качества знаний Получение объективных данных о качестве образования и результатах обучения Принятие государственно-общественных управленческих решений по совершенствованию образовательных процессов и системы образования в целом К слову об «объективности» проведения оценочных процедур Комплексный анализ процента (%) выполнения заданий по результатам ЕГЭ, ОГЭ, ВПР • Анализ процента (%) выполнения заданий ВПР и ГИА показывает взаимосвязь между этими процедурами Открытые вопросы для принятия управленческих решений по результатам ВПР и НИКО на региональном уровне Что сделано на региональном уровне? Что сделано на муниципальном уровне? Что сделано ИРО ПК и ПРО? Новые направления контрольнонадзорной деятельности 1 2 3 Переход к новой модели контрольно-надзорной деятельности на федеральном и региональном уровнях, включая контроль качества образования Поэтапный перевод процедур лицензирования и государственной аккредитации в электронный вид • Дистанционная работа экспертов по аккредитации Начало формирования экспертного сообщества на федеральном и региональном уровнях по вопросам оценки качества образования • Кадровый резерв РОН • Необходимость создания кадрового резерва на региональном уровне! Использование оценочных процедур в контрольнонадзорной деятельности ОЦЕНКА педагогические работники обучающиеся • ГИА ВПР НИКО • Исследование компетенций учителей русского языка, математики, истории и обществознания; Аттестация педагогических работников руководители • • Исследование компетенций директоров школ Исследование компетенций работников контрольнонадзорных органов образовательные организации ВПР НИКО лицензирование аккредитация разработка методических рекомендаций КОНТРОЛЬНО-НАДЗОРНАЯ ДЕЯТЕЛЬНОСТЬ Выпускники педагогических ВУЗ-ов Исследование компетенций выпускников педагогических ВУЗ-ов Новая модель регламентации образовательной деятельности Принципы • Лицензирование образовательной деятельности по видам (подвидам) и уровням образования • Постоянный мониторинг и комплексная оценка образовательной деятельности организации • Аккредитация «аккредитаторов образовательной деятельности» • Оценивание организации и образовательной деятельности в целях развития, а не наказания – формирующее оценивание От рискоориентированной модели к совершенствованию регламентации образовательной деятельности Новые подходы к контрольно-надзорной деятельности Проведение оценочных процедур Новые показатели оценки эффективности деятельности субъектов РФ Регламентация образовательной деятельности Проверка Мониторинг Наказание Рекомендации по развитию Аккредитация - ? Лицензирование - ? Комплексные проверки - ! Преимущества новой модели • Исчерпывающий перечень прозрачных и понятых лицензионных требований и условий • Получение контрольно-надзорными органами сведений об образовательной деятельности из данных мониторинга системы образования • Использование гибких показателей образовательной деятельности, меняющихся относительно среднего уровня схожих образовательных организаций • Проведение комплексных оценок образовательной деятельности в случае не достижения показателей образовательной деятельности по результатам мониторинга системы образования. Основные задачи для перехода на новую модель • Сформировать: • прозрачные и понятые лицензионные требования и условия • данные мониторинга системы образования • Определить критерии и показатели для аккредитации «аккредитаторов образовательной деятельности» • Пересмотреть «переданные полномочия» с учетом новой модели государственной регламентации образовательной деятельности График проведения оценочных процедур на май и апрель 2016 года Название процедуры НИКО Дата проведения Предмет/ компетенции Категория обучающихся 12 апреля История и обществознание 6 класс 14 апреля История и обществознание 8 класс 11 мая ВПР Исследование компетенций учителей 13 мая Русский язык 17 мая Математика 19 мая Окружающий мир апрель Русский язык и математика 4 класс БЛАГОДАРИМ ЗА ВНИМАНИЕ!
