Возможно ли оценить эффективность образования в стране с помощью сравнительных международных мониторингов?
advertisement
Международная конференция «Российское образование в зеркале международных сравнительных исследований» Возможно ли оценить эффективность образования в стране с помощью сравнительных международных мониторингов? (на примере международного исследования PISA) Кузьмина Ю.В. Ларина Г.С. Международная лаборатория анализа образовательной политики НИУ ВШЭ Москва, 2013 Что такое PISA? • PISA – Programme for International Student Assessment • Цель – оценить, обладают ли учащиеся, получившие общее обязательное образование, теми знаниями и умениями, которые необходимы для полноценного функционирования в обществе. • Участники – 15-летние подростки • Измерение достижений по трем основным направлениям: o Чтение (2000 и 2009) o Математика (2003 и 2012) o Естественнонаучные дисциплины (2006) Состав российской выборки Вся выборка 9 10 9-классники Общеобр. Проф. 10-классники Общеобр. Проф. 2003 5974 1657 28% 4101 69% 100% 76% 24% 2006 5799 1577 27% 3780 65% 100% 75% 26% 2009 5308 3065 57% 1621 31% 100% 82% 18% Могут ли результаты PISA быть использованы для измерения эффективности образования? Варианты интерпретации результатов PISA для оценки динамики эффективности образовательной системы (в порядке углубления анализа): 1) Динамика результатов (средних, по уровням, процентилям и т.п.) 2) Динамика эффекта индивидуальных и школьных факторов на результаты (изменялось ли влияние этих факторов, увеличился или уменьшился разрыв между детьми с высоким СЭС и низким СЭС, между мальчиками и девочками, между школьниками из школ из разных населенных пунктов и т.п.) 3) Динамика эффекта одного года обучения (грейдэффекта) 4) Факторы, которые могут изменить эффективность одного года обучения Динамика средних баллов PISA в России Естественные науки Математика 500 500 480 480 Вся выборка 460 9-классники 460 440 10-классники 440 420 420 400 400 2003 2006 2009 Чтение 2003 500 480 460 440 420 400 2003 2006 2009 2006 2009 Динамика эффекта СЭС на достижения Эффект социально-экономического статуса на результаты 40 35 30 25 2003 20 2006 15 2009 10 5 0 Математика Чтение Естественные науки Динамика различий в результатах между мальчиками и девочками Эффект пола на результаты 50 40 30 20 2003 10 2006 0 2009 -10 -20 -30 Математика Чтение Естественные науки Эффект одного года обучения • Эффект одного года – это разница в результатах между учащимися двух «соседних» классов (например, 8-ым и 9-ым, 9-ым и 10-ым) • Но прямое сравнение невозможно по следующим причинам: o Эффект взросления o Разное время старта школьного обучения o Общее и профессиональное образование Метод исследования • Метод: Propensity Score Matching (PSM), метод «ближайшего соседства». Использование данного метода позволяет оценить эффект одного года обучения за счет рассмотрения нескольких ковариат. • Ковариаты: возраст, СЭС, индекс образовательных ресурсов, профессиональный статус и образование родителей, индекс культурных ресурсов семьи. • Эффект дополнительного года обучения считался для всей выборки и для исключительно общеобразовательной выборки отдельно Распределение школьников относительно «пороговой точки» Процент школьников, поступивших в школу с нарушением «порогового правила» Вся выборка 9-классники 10-классники 2003 19% 42% 9% 2006 23% 54% 10% 2009 52% 74% 11% Грейд-эффект для всей выборки Динамика результатов PISA Грейд-эффект 30 500 25 480 479 489 478 20 15 10 Математика 460 Чтение 440 Естественные науки 5 459 442 440 420 400 0 2003 2006 2003 2009 Математика 10th vs. 9th grade Чтение 2006 2009 Естественные науки 2003 2006 2009 2003 2006 2009 2003 2006 2009 22.5* 27.5* 17.6* 23.3* 25.5 * 15* 19.6 * 4.9 (5.8) (5.6) (5.4) (6.2) (5.6) (5.8) (6.1) 19.4 * (5.5) (5.7) Отбор для оценки грейд-эффекта для общеобразовательных школ • Чтобы оценить эффект дополнительного года обучения исключительно в школьном образовании, RD анализ был проведен на ограниченной выборке: 9-классники с высокой вероятностью остаться в школе 10-классники в школе • Исходя из фактической траектории 10-классников были рассчитаны вероятности ребенка продолжить обучение в общеобразовательной школе • 9-классники с высокой вероятностью (больше среднего) продолжить обучение в школе, отбирались в эту выборку • Независимые переменные – СЭС и пол Грейд-эффект для общеобразовательных школ Вся выборка Общеобразовательная траектория 45 45 40 40 35 35 Математика 30 30 25 25 Чтение 20 20 15 10 Естественные науки 5 15 10 5 0 2003 2006 0 2009 2003 Математика 10th vs. 9th grade Чтение 2006 2009 Естественные науки 2003 2006 2009 2003 2006 2009 2003 2006 2009 38.1* 39.4* 34.3* 17.4 * 21.2 * 13.5* 24.8* 23.5* 19.4* (7.4) (7.2) (5.6) (6.5) (6.4) (5.9) (7.3) (7.3) (6.1) Основные выводы • Вклад школы в развитие функциональной грамотности (эффект одного года обучения) уменьшился по результатам 2009 года. • В 2009 году увеличился разрыв в результатах между школьникам с низким и высоким СЭС, что может свидетельствовать о снижении эффективности школьной системы для обеспечения образовательного равенства. В области читательской грамотности увеличился так же разрыв между мальчиками и девочками. Основные выводы • В области математики обнаружен самый большой эффект одного года обучения, по сравнению с другими сферами. Возможно, что российская школьная система в большей степени ориентирована на формирование функциональной грамотности в области математики, чем чтения и естественных наук. • Наибольший разрыв между эффектом одного года для всей выборки и общеобразовательных школ зафиксирован в области математики, что говорит о том, что в профессиональных школах в области математики происходит снижение навыков, приобретенных в средней школе.
