презентацию - Ульяновский государственный университет

Р. Гурина
ПРИМЕНЕНИЕ РАНГОВОГО АНАЛИЗА ДЛЯ
ОЦЕНКИ ВАЛИДНОСТИ ТЕСТОВЫХ ЗАДАНИЙ
Ульяновский государственный университет
Доклад
МПГУ, 2006
необходимого
• Закон
)
разнообразия
(Эшби)
Закон рангового
распределения
)
Рейтинг в баллах участников олимпиады
W
25
20
15
Закон минимального
(оптимального)
действия
10
5
0
0
5
10
15
20
25
r
Рис.1. Графики рейтингового распределения учащихся 11 «В» ФМК
отражающие результаты тестирования по невалидным тестам:
1 – классный тест по математике слишком сложный – никто не справился (20 апреля 2005г.);
2 – тест по физике (контрольная работа) слишком лёгкий (28 апреля 2005 г).
r– номер учащегося по списку учителя. Валидность тестов=0
5,0
Физика
Математика
4,5
4,0
3,5
3,0
2,5
2,0
1,5
1,0
0,5
0,0
.
.
r
Рис.2 а) График рангового распределения 100 лучших средних общеобразовательных
учреждений России (школы, лицеи, гимназии) в 2000 г. с аппроксимацией;
Воробьева И., Трушин А. Удар в sсhool. //Карьера, №4.- 2001 г. - с.72-84.
A
W 
r
б) Спрямленная зависимость рейтинга 100 лучших школ России
в логарифмическом масштабе
где А - максимальное значение рейтинга в баллах особи с рангом 1, т.е. в первой точке;
- ранговый коэффициент, характеризующий степень крутизны кривой распределения
А = 816;  = 0,25.
Рис.3 График рангового распределения рейтинга в баллах ЦКТ по биологии 27
марта 2003 г (не аппроксимирован).
W – рейтинг в баллах, r- ранговый номер абитуриента.
Валидность удовлетворительная.
r
W 90
80
70
60
50
40
30
0
20
40
60
80
r
Рис.4 График рангового распределения рейтинга в баллах ЦКТ по математике 3 июня 2003 г
(не аппроксимирован).
W – рейтинг в баллах, r- ранговый номер абитуриента.
Валидность удовлетворительная.
Графики рангового распределения рейтинга в баллах ЦКТ 2003 г.
Рис.5. Биология
Рис.6. Английский язык
Валидность удовлетворительная.
Графики рангового распределения рейтинга в баллах олимпиад для абитуриентов
УлГУ 2003 г.г.
Рис. 7. Математика
Рис.8 Физика
Графики рангового распределения рейтинга участников Всероссийского
тестирования апрель 2005 г.
с типичным «хвостом». Валидность тестов хорошая
Рис.9. История: С=42, А=90,5; =0,3
Рис. 10. Обществознание
W С 
W
A
r
120
100
100
80
80
60
60
40
40
20
20
0
0
0
0
100
200
30
0
400
500
600
r
50
100
150
200
250
Рис.11. Русский язык
Рис. 12. Английский язык
120
90
100
80
70
80
60
60
50
40
40
30
20
20
10
0
0
0
0
50
100
150
Ряд1
200
250
300
350
20
40
60
80
100
120
140
Кривые рангового распределения участников тестирования 2006 год
Рис. 13. История С=30, А=95, =0,7 (rmax =802)
Рис. 14. Математика С=35 , А=100, =0,4 (rmax =612)
Рис. 15. Биологии С=37, А=98, =0,6(rmax =216)
Рис. 16. Русский язык С=45 , А=83, =0,5 (rmax =765)
Валидность относительно хорошая
• Академик РАО А.М. Новиков делит существующие научные
теории на два класса – математизированные научные теории,
использующие математические модели и доказательства –
сильная версия науки. Второй тип – описательные теории,
носящие качественный характер, в которых не формулируются
явным образом логические правила и не приводятся строгие
доказательства ввиду невозможности количественного описания
явления (процесса), что определяет их ограниченность и
называет их слабой версией науки. К таким теориям А.М.
Новиков относит педагогические теории.
(А.М. Новиков. Методология учебной деятельности. М.: Эгвес, 2005. –
176 с.)
• Таким образом, содержание и технология рангового анализа
представляют собой новое фундаментальное направление,
сулящее большие практические результаты в педагогике.
Применение математического аппарата РА в методологии
педагогических исследований приблизит педагогику к сильной
версии науки.