Уровень - Томский политехнический университет

advertisement
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
Государственное образовательное учреждение высшего профессионального образования
"ТОМСКИЙ ПОЛИТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ"
___________________________________________________________________________________________
Н.С. Михайлова, М.Г. Минин, Е.А. Муратова, Б.В. Илюхин
РАЗРАБОТКА ТЕСТОВЫХ
МАТЕРИАЛОВ
Учебно-методический комплекс
Издательство
Томского политехнического университета
2008
ББК Ч 481.28 Я73
УДК 378.263(07)
М 69
Михайлова Н.С.
М69
Разработка тестовых материалов. Учебно-методический
комплекс / Н.С. Михайлова, М.Г. Минин, Е.А. Муратова,
Б.В. Илюхин. – Томск: Изд-во Томского политехнического
университета, 2008. – 282 с.
Учебно-методический
комплекс
содержит
программно-методические
материалы, конспект теоретического раздела, рабочую тетрадь для выполнения
практических заданий. Современные требования к разработке тестовых материалов
рассматриваются с методологических позиций классической теории педагогических
измерений. Описываются математико-статистические методы, используемые в
определении качества тестовых заданий и теста.
Предназначено для слушателей курсов повышения квалификации,
магистрантов, аспирантов; а также для преподавателей, занимающихся как
разработкой, так и использованием современных измерителей уровня
подготовленности студентов.
ББК Ч 481.28 Я73
УДК 378.263(07)
Рекомендовано к печати Редакционно-издательским советом
Томского политехнического университета
Рецензенты:
Доктор педагогических наук, профессор ТПУ
В.А. Стародубцев
Доктор технических наук, профессор СГТА
А.С. Буйновский
© Томский политехнический университет, 2008
© Михайлова Н.С., 2008
© Минин М.Г., 2008
© Муратова Е.А., 2008
© Илюхин Б.В., 2008
© Офомление. Изд-во Томского политехнического ун-та, 2008
2
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ .................................................................................................................................. 5
РЕКОМЕНДАЦИИ ПО РАБОТЕ С МАТЕРИАЛОМ УМК .................................................................... 7
ИНФОРМАЦИЯ О КУРСЕ.............................................................................................................. 9
ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ ..................................................................................................... 16
РАЗДЕЛ «МЕТОДОЛОГИЯ ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ» ..................................................... 30
Содержание теоретического курса раздела ....................................................... 32
Лекция 1. «Переменные педагогических измерений. Классическая и
современные теории педагогических измерений»................. 32
Лекция 2. «Роль и место педагогических измерений в образовании» ..... 42
Лекция 3. «Классификация тестов» .......................................................... 50
Содержание практического курса раздела ......................................................... 56
Практическая работа 1.«Операционализация и конкретизация целей
обучения» ........................................................... 56
Практическая работа 2.«Разработка кодификатора учебного модуля» 61
РАЗДЕЛ «КОНСТРУИРОВАНИЕ ТЕСТОВЫХ МАТЕРИАЛОВ» ....................................................... 66
Содержание теоретического курса раздела .......................................................... 69
Лекция 1. «Конструирование заданий с выбором одного
правильного ответа» ............................................................... 69
Лекция 2. «Задания с кратким ответом, установления правильной
последовательности и установления соответствия» ........ 79
Лекция 3. «Основные показатели качества тестового задания» .......... 85
Лекция 4. «Тест как инструмент измерения» .......................................... 97
Лекция 5. «Критерии качества теста» .................................................. 107
Содержание практического курса раздела ....................................................... 122
Практическая работа 1.«Разработка заданий с выбором одного,
нескольких правильных ответов» ............... 122
Практическая работа 2.«Разработка заданий на установление
соответствия и правильной последовательности»........... 125
Практическая работа 3.«Разработка заданий открытой формы» ... 129
Практическая работа 4.«Системы заданий в тестовой форме » ...... 136
Практическая работа 5.«Тестологическая экспертиза ЗТФ» ............. 144
Практическая работа 6.«Интерпретация и анализ данных
математико-статистической обработки
результатов тестирования» ...................... 150
Практическая работа 7.«Спецификация аттестационного теста» . 154
Практическая работа 8.«Расчет коэффициента надежности
результатов тестирования» ...................... 164
РАЗДЕЛ «ПРИМЕНЕНИЕ МАТЕМАТИКО-СТАТИСТИЧЕСКИХ МЕТОДОВ ПРИ РАЗРАБОТКЕ
ТЕСТОВЫХ МАТЕРИАЛОВ» ..................................................................................... 169
Содержание теоретического курса раздела ..................................................... 175
Лекция 1. «Вычисление основных статистических характеристик
тестовых заданий и распределения результатов
тестирования ......................................................................... 175
Лекция 2. «Логистические модели оценивания параметров трудности
заданий и уровня подготовленности обучающихся» .......... 187
3
Лекция 3. «Основные этапы математико-статистического анализа
при конструировании теста. Шкалирование результатов
тестирования» ....................................................................... 200
Содержание практического курса раздела ....................................................... 217
Практическое занятие 1. «Вычисление основных статистических
характеристик тестовых заданий» ........ 218
Практическое занятие 2. «Вычисление основных статистических
характеристик распределения результатов
тестирования» ................................................ 222
Практическое занятие 3. «Вычисление параметров трудности заданий
и подготовленности тестируемых» .......... 225
Практическое занятие 4. «Изучение двухпараметрической и
трехпараметрической модели» ................ 229
Практическое занятие 5. «Шкалирование результатов тестирования» 232
Р А З Д Е Л «СРЕДСТВА АВТОМАТИЗАЦИИ РАЗРАБОТКИ ...................................................... 234
ТЕСТОВЫХ МАТЕРИАЛОВ» ...................................................................................................... 234
Содержание теоретического курса раздела ..................................................... 237
Лекция 1. «Компьютерные технологии в педагогических измерениях» 237
Лекция 2. «Использование компьютерных технологий .......................... 241
при разработке ТМ» .................................................................................. 241
Содержание практического курса раздела ....................................................... 248
Практическая работа 1-3.«Программные продукты для
автоматизации разработки ТМ»............. 248
Практическая работа 4.«Программные продукты для обработки и
анализа результатов ТМ» ........................... 268
ПРИЛОЖЕНИЕ 1 ТАКСОНОМИЯ Б. БЛУМА ............................................................................. 277
ПРИЛОЖЕНИЕ 2. ПРИМЕРЫ КОДИФИКАТОРОВ ...................................................................... 280
4
ВВЕДЕНИЕ
Существенные изменения отечественной системы образования,
связанные с усилением требований к качеству результатов обучения,
вызвали смену приоритетов в оценке учебных достижений.
Необходимость объективного оценивания результатов учебного труда
для
эффективного
управления
привела
к
формированию
общенациональной системы оценки качества образования. Но
недостаток качественного инструментария, предназначенного для
педагогических измерений, сдерживает развитие служб независимой
оценки качества обучения, системную диагностическую деятельность
преподавателей. Кроме того, высшие учебные заведения России,
модернизируясь, перестраиваясь в условиях Болонского соглашения,
используют кредитно-модульные, рейтинговые, адаптивные системы
обучения,
дистанционное
образование,
мониторинг
учебных
достижений студентов. Все современные технологии обучения не
обходятся без средств педагогических измерений.
Изменения, происходящие в современном обществе, ориентируют
преподавателя вуза на постоянное совершенствование своей
профессионально-педагогической
подготовки.
Важнейшим
компонентом этой подготовки является контрольно-оценочная
деятельность, современными требованиями к которой являются
объективность,
точность,
диагностичность.
Тестирование
рассматривается как одна из наиболее технологичных форм проведения
контроля с управляемыми параметрами качества. Важной особенностью
тестирования является возможность организации массовых процедур
оценивания результатов обучения, что становится актуальным в
условиях
дифференциации
и
диверсификации
образования.
Преимущества теста исходят не из используемых форм заданий,
бездумного следования кратким правилам создания отдельного задания,
а из научно обоснованных методов разработки. В настоящее время
конструирование
и
использование
тестов
в отечественной
педагогической практике напоминают детские игры «в школу».
Разработчики большинства авторских тестов слепо копируют внешне
наблюдаемые признаки - формы задания, инструкции выполнения, не
проводя работы по доведению теста до надлежащего уровня качества.
При этом решения, выносимые по результатам, полученным при
использовании такого инструмента, часто имеют судьбоносное решение
для обучающихся: поступление в вуз, получение стипендии, рейтинг и
т.д.
5
Вместе с тем нельзя не отметить, что в последнее время в России
прилагаются значительные усилия по изменению ситуации в сфере
педагогических измерений. В Томском политехническом университете
с 2002 года на базе кафедры педагогических измерений организовано
обучение по дополнительной образовательной программе «Тестолог –
специалист в области педагогических измерений», проводятся курсы
повышения квалификации преподавателей (в том числе и по очнозаочной форме) на основе Временных государственных требований1.
Современный преподаватель вуза как никогда ранее нуждается в
профессиональном
сопровождении.
Инновационная
программа
модернизации российского образования, ориентированная на
компетентностное образование, изменение его содержание, активное
встраивание в образовательное пространство новых технологий никогда
не выйдет на этап практической реализации вне педагога, его
понимания сущности проводимых реформ и принятия идей
современного образования. Самому преподавателю трудно обеспечить
собственную динамику обучения и развития. Требуется методическая
помощь, задача которой состоит из организации условий для
формирования,
становления,
развития,
совершенствования
профессиональной компетентности педагога.
Н. Мандела справедливо указывал: «Видение без действия – лишь
мечта. Действие без видения – пустая трата времени. Видение,
подкрепленное действием, меняет мир». Руководствуясь слепо
рекомендациями и правилами кратких методических указаний,
невозможно создать качественного инструмента педагогических
измерений. Таковым является результат и в случае овладения
методологическими основами тестологии без должной практикоориентированной базы. Преподаватели курсов считают, что за короткий
период обучения (72 час.) нельзя получить полноценные знания и
умения по разработке тестовых материалов. Но слушателей с высоким
уровнем мотивации, можно успешно научить ориентироваться в
информационном пространстве, заложить у них методические основы
конструирования теста, направить их критическое мышление на оценку
собственного опыта в данной области.
Временные государственные требования к минимуму содержания профессиональной
образовательной программы и уровню подготовки лиц при получении дополнительной
квалификации "Тестолог (специалист в области педагогических измерений)", 2000.
1
6
РЕКОМЕНДАЦИИ ПО РАБОТЕ С МАТЕРИАЛОМ УЧЕБНОМЕТОДИЧЕСКОГО КОМПЛЕКСА
Учебно-методический
комплекс
«Разработка
тестовых
материалов» представлен в пособии программно-методическими
материалами, конспектами лекций, методическими указаниями по
выполнению практических работ и выпускной аттестационной работы.
Каждый раздел курса выделен в отдельную главу, содержащую
методическую, теоретическую части и рабочую тетрадь по практике.
Для успешного достижения намеченных целей программы повышения
квалификации авторы пособия советуют выстраивать свою работу с
пособием по следующим правилам:
 Перед занятием прочитайте теоретический материал пособия,
желательно работа с дополнительной литературой, рекомендованной в
соответствующей главе для предварительного ознакомления.
 Во время лекции в блоке «Конспект содержания», где в
конспектном варианте предложен материал, необходимый для
усвоения, отмечайте кратко новую информацию, подчеркивайте то, что
требует обсуждения или дополнительного пояснения.
 Правильность
усвоения
материала
Вы
можете
проконтролировать, отвечая на вопросы в соответствующем блоке
информации. Если возникают затруднения и сомнения при ответе,
обратитесь к преподавателю.
 Обязательно записывайте вопросы, возникающие у Вас при
работе с теоретической информацией.
 После лекции просмотрите весь материал еще раз, составьте свои
выводы, самостоятельно дайте определение основным терминам и
понятиям темы.
 Практические работы предназначены не только для аудиторной
работы, так как требуют значительных затрат времени, частично
выполняются самостоятельно. Поэтому на занятиях внимательно
проанализируйте предлагаемый Вам алгоритм действий в рабочей
тетради. Выделите самые трудные и малопонятные места. Обратитесь
за помощью к преподавателю.
 Выполнение практических работ возможно при наличии
государственных образовательных стандартов, образовательных
программ, рабочих программ учебных дисциплин, учебных и
календарных планов, графиков учебного процесса.
7
 При выполнении практических работ ориентируйтесь на
реальный учебный процесс и реальный уровень подготовки студентов
по специальности. Большинство работ требует согласования с
коллегами, преподающими тот же учебный курс или смежные
дисциплины.
 Для
помощи
при
выполнении
работ
пользуйтесь
соответствующими
приложениями,
содержащими
не
только
справочный материал, но и примеры разрабатываемых тестовых
материалов.
 Завершенную и оформленную работу представьте для проверки
преподавателю. Каждая практическая работа является частью
выпускной аттестационной работы слушателя курсов повышения
квалификации.
8
ИНФОРМАЦИЯ О КУРСЕ
Цель курса. Иметь представление о методологии педагогических
измерений (ПИ), на основе этих сведений уметь разрабатывать задания
в тестовой форме и моделировать тест из тестовых заданий.
Категория слушателей.
Преподаватели
вузов,
средних
профессиональных учебных заведений, использующие в контрольнооценочной деятельности задания в тестовой форме.
Входные требования. Высшее образование, опыт педагогической
работы, опыт разработки рабочих программ дисциплин, навыки работы
со стандартным набором программ Microsoft Office. Для успешного
обучения на курсах потребуется наличие государственных
образовательных стандартов (ГОС ВПО или ФГОС), рабочих программ,
учебных пособий по выбранной дисциплине. Желательно иметь
контролирующие материалы в любой форме, лучше тесты, задания в
тестовой форме, а также результаты апробации.
Сроки обучения: 72 часа, 2 недели.
Особенности курса. Курс предусматривает разработку тестовых
заданий и оснащения теста, калибровку апробированных заданий,
проектирование теста как измерительной системы. За короткий
промежуток времени невозможно провести апробацию и экспертизы
разработанных заданий. Возможна оценка ранее полученных
результатов. В качестве исходного материала предлагаются
использованные ранее задания, спецификации, инструкции.
Принципы построения курса. Обучение рассчитано на 72 часа
аудиторных занятий, которые организованы по принципам
контекстного обучения, направлены на решение личностно значимых
реальных профессиональных задач. Несмотря на доминирование
практических
работ,
связанное
с
усилением
практической
направленности содержания курсов, обучение основано на
предварительном методологическом обосновании всех этапов
разработки тестовых материалов.
Для развития самостоятельности в конце каждого теоретического
занятия предлагается блок заданий для самоконтроля. Задания
ориентированы не только на репродуктивный уровень усвоения, но и
требуют критичности мышления, саморефлексии, ориентируют на
дальнейшее самообразование.
Принцип информатизации учитывается при организации как
практических, так и теоретических занятий, проходящих с
использованием презентаций на интерактивных досках, специального
программного обеспечения при разработке тестовых материалов.
9
Учебно-тематический план
Объем работы, час.
Наименование разделов и тем
теоретич.
обучение
практич.
обучение
1. Методология педагогического
контроля
1.1. Переменные педагогических
измерений
1.2. Измерения в образовании
1.3. Классификация тестов
1.4. Целеполагание как условие
эффективного контроля
6
4
Разработка
кодификатора
10
16
Разработка
спецификации,
ЗТФ,
экспертиза
качества ТЗ
12
Расчет
статистических
показателей
тестовых
заданий,
обработка
результатов
тестирования
3. Применение математикостатистических методов при
разработке ТМ
3.1.
Статистический
анализ
результатов тестирования
3.2.
Шкалирование
результатов
тестирования
3.3. Анализ данных с использованием
электронных таблиц
контроля
Опрос
2. Конструирование тестовых
материалов (ТМ)
2.1. Задания в тестовой форме (ЗТФ)
2.2. Тестовые задания (ТЗ)
2.3. Проектирование теста
Формы
6
Представление
4. Средства автоматизации
разработки ТМ
результатов
4.1. Компьютерные технологии в
педагогических измерениях
4.2. Программные продукты для
автоматизации разработки тестовых
материалов
4.3. Программные продукты для
обработки и анализа результатов
педагогических измерений
тестирования,
4
8
занесение
заданий в
программную
оболочку
«AST»
Выпускная
5. Разработка ТМ для
аттестационного контроля по
учебному модулю
6
аттестационная
работа
10
Основные цели курсов направлены на:
 представление теоретико-методологических основ разработки
тестовых материалов, ориентированных на развитие специальных
компетенций и обеспечивающих качество высшего образования;
 ознакомление с требованиями, предъявляемыми к качеству
тестовых материалов и процедурам создания теста, обработки его
результатов.
После обучения на курсах повышения квалификации по данному
направлению слушатели будут иметь представление:
 о возможностях современных теорий конструирования тестов;
 методологических основах процессов конструирования;
 методах статистического анализа;
 подходах к созданию автоматизированных систем тестового
контроля учебных достижений;
 методах адаптивного тестирования;
 методах и способах организации баз данных заданий и тестов;
знать:
 дидактические
принципы
тестового
контроля
учебных
достижений;
 понятийный аппарат теории педагогических измерений;
 классификацию тестов по разным основаниям;
 ограничения при использовании тестов;
 виды распределения данных педагогических измерений;
 методы и способы вычисления статистических характеристик
распределения данных педагогических измерений;
 существенные различия подходов к созданию тестов;
 критерии качества и методы оценки качества тестов;
 принципы структурирования содержания контролируемой
области;
 основные формы тестовых заданий и требования к ним;
 характеристики тестовых заданий;
 состав и структуру тестовых материалов;
 этапы процесса конструирования теста;
 статистические методы оценки характеристик заданий и тестов в
рамках классической теории;
 методы интерпретации результатов математико-статистической
обработки данных апробаций теста;
 основные методы шкалирования результатов, наиболее
распространенные шкалы;
11
 средства анализа данных с помощью электронных таблиц;
 виды программного обеспечения, используемого для разработки
тестовых материалов;
 способы применения универсальных текстовых и графических
редакторов, особенности их использования;
 основные подходы к организации баз данных по заданиям, тестам;
уметь:
 обосновывать целесообразность выбора вида теста и подхода к
его разработке;
 правильно определять роль и место тестирования в учебном
процессе;
 анализировать содержание предмета с целью его отображения в
содержании теста на основе деятельностного подхода;
 проектировать тест, соответствующий выделенным целям;
 разрабатывать задания в тестовой форме;
 использовать современные инструментальные средства для ввода
и хранения тестовых заданий;
 рассчитывать основные характеристики тестовых заданий в
рамках классической теории тестов;
 интерпретировать
результаты
обработки
данных
при
проектировании теста;
 строить характеристические кривые заданий и индивидуальные
кривые подготовленности испытуемых;
 разрабатывать методическое оснащение теста;
 делать осознанный выбор на рынке тестов.
Деятельность слушателя курсов повышения квалификации,
обучающегося по направлению «Разработка тестовых материалов»
структурирована таким образом:
1. Проведение рефлексии собственных знаний и умений в
области педагогического тестирования.
2. Ознакомление с современным состоянием проблем
тестирования, целеполагания, правилами разработки заданий в тестовой
форме, статистическими методами обработки результатов апробаций,
информационными технологиями, использующимися при разработке
тестовых материалов.
3. Изучение требований ГОС ВПО и рабочих программ по
преподаваемой дисциплине.
12
4. Формирование результатов обучения, подлежащих тестовому
контролю, согласно выбранным целям диагностики. Разработка
кодификатора.
5. Изучение принципов конструирования теста и методического
оснащения. Обоснование целесообразности использования теста для
аттестационного контроля.
6. Разработка спецификации теста, включающей в обязательном
порядке содержательно-деятельностную матрицу, описание форм и
типов заданий, описание заданий по контролируемым уровням
подготовленности студентов.
7. Анализ и редактирование традиционных контролирующих
материалов, разработанных разными авторами.
8. Разработка заданий в тестовой форме.
9. Проектирование дальнейших этапов конструирования теста.
10. Анализ с помощью математико-статистических методов
результатов тестирования. Интерпретация полученных данных с точки
зрения повышения качества отдельных заданий и теста.
11. Проектирование методов расчета надежности и валидности
создаваемого теста для выбранных целей диагностики.
12. Осуществление самооценки (наличие и характер) изменений,
произошедших в структуре педагогической деятельности к концу
обучения и тех изменений, которые нужно внести в содержание своей
работы.
13. Оформление выпускной аттестационной работы, содержащей
отчеты и отражающей результаты каждого из этапов своей
деятельности на курсах.
14. Подготовка
выступления
и
защита
выпускной
аттестационной работы.
Задачи курса реализуются через систему лекционно-семинарских
и лабораторно-практических занятий. В ходе теоретического обучения
используются методы обучения: решение типовых профессиональных
ситуаций, обсуждение, иллюстративное, диалогическое и проблемное
изложение. В учебно-методическом пособии теоретический раздел
представлен конспективно в виде слайдов презентаций лекций. Работая
на лекции с учебно-методическим пособием, слушатели осуществляют
дополнительные записи, пояснения в пособии, отвечают на вопросы,
сопровождающие слайды, выполняют задания для самоконтроля.
Особое внимание предполагается уделять критериям качества тестовых
материалов при конструировании на каждом этапе, а также изучению и
анализу контрольных материалов массовых процедур тестирования.
13
Практические занятия направлены на углубление и уточнение
теоретических знаний. Значительное внимание уделяется взаимосвязи с
индивидуальным педагогическим опытом. При обсуждении результатов
выполнения самостоятельной индивидуальной работы используются
тренинги, круглые столы, групповые формы работы по анализу
производственных ситуаций. Каждая практическая работа содержит
конкретизированную цель в деятельностной форме, подробные
методические указания по выполнению заданий. Форму отчета
слушатели выбирают исходя из уровня владения программным
обеспечением компьютера. В пособии раздел практических работ
представлен в виде рабочей тетради. Выпускная аттестационная работа
состоит из комплекта отчетов по практическим занятиям. Требования к
структуре и содержанию итогового контроля представлены в
заключительной части пособия.
В помощь слушателям даны терминологический словарь,
составленный на основе последнего варианта стандарта терминов
педагогических измерений, примерные темы индивидуальных
самостоятельных заданий.
Контроль качества процесса обучения осуществляется
посредством
выполнения
каждым
слушателем
обязательных
(преимущественно индивидуальных) заданий, совокупность которых
формирует выпускную аттестационную работу под общим названием
«Тестовые материалы для аттестационного контроля по дисциплине
_______________________».
Учебно-методическое обеспечение курса
1.
1)
2)
3)
4)
Перечень используемых информационных продуктов
Internet-адресов:
www.testolog.narod.ru
www.fepo.ru
www.rustest.ru
www.fipi.ru
Перечень рекомендуемой литературы
Основная:
1)
Аванесов В.С. Композиция тестовых заданий. – М: Центр
тестирования, 2002. – 240 с.
2)
Аванесов В.С. Математические модели педагогического
измерения. – М.: Исследовательский центр проблем качества
подготовки специалистов, 1994. – 26 с.
2.
14
3)
Анастази А., Урбина С. Психологическое тестирование. – 7-е изд.
– СПб.: Питер, 2005. – 668 с.
4)
Гласс Дж., Стенли. Дж. Статистические методы в педагогике и
психологии. – М.: Прогресс, 1976. – 495 с.
5)
Майоров А.Н. Теория и практика создания тестов для системы
образования. –М., 2001. – 296 с.
6)
Михайлова Н.С. Методика создания учебных заданий для
тестового контроля. – Томск: Изд-во Томского политехнического ун-та,
2007. – 227 с.
7)
Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования
и параметризации педагогических тестов. – М., 2000. – 168 с.
8)
Челышкова М.Б. Теория и практика конструирования
педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.
Дополнительная:
1)
Большев Л.Н., Смирнов Н.В. Таблицы математической
статистики. – М.: Наука, 1983. – 416 с.
2)
Гронлунд Норманн. Тесты достижений в конструировании. –
Лондон: Прентис-Холл, 1982.
3)
Звонников В.И. Измерения и шкалирование в образовании. – М.:
Логос, 2006. – 136 с.
4)
Майоров А.Н. Мониторинг в образовании: Изд. 3-е. – М.:
Интеллект-Центр, 2005 – 424 с.
5)
Михайлова Н.С., Минин М.Г., Муратова Е.А. Разработка фонда
оценочных средств в проектировании образовательных программ.
Учебное пособие. – Томск: Томский политехнический университет,
2007. – 213 с.
6)
Михайлычев Е.А. Терминология педагогической диагностики. –
Ростов н/Д.: ИПКиПРО, 1997.
7)
Савельев Б.А., Масленников А.С. Оценка уровня обученности
студентов в целях аттестации образовательных учреждений
профессионального образования. – Йошкар-Ола, 2004. – 84 с.
8)
Севастьянов Б.А. Курс теории вероятностей и математической
статистики. – М.: Наука, 1982. – 256 с.
9)
Справочник по прикладной статистике: В 2 т. / Под ред. Э. Лойда,
У. Ледермана, Ю.Н. Тюрина. – М.: Финансы и статистика, 1989. – 510 с.
10) Тюрин Ю.Н., Макаров А.А. Анализ данных на компьютере / Под
ред. В.Э. Фигурнова. – М.: ИНФРА-М, Финансы и статистика, 1995. –
384 с.
11) О реализации положений Болонской декларации в системе
высшего профессионального образования Российской Федерации/
Официальные документы Министерства образования и науки
Российской Федерации. – М.: Исследовательский центр проблем
качества подготовки специалистов, 2005. – 34 с.
15
ТЕРМИНЫ И ОПРЕДЕЛЕНИЯ2
Общие понятия
1
Педагогический тест – система специально подобранных
проверочных заданий, составленных по тестовой форме, позволяющая
количественно оценить учебные достижения человека в одной или
нескольких областях знаний.
2
Педагогическое тестирование – совокупность организационных
и методических мероприятий, объединенных общей целью с
педагогическим тестом и предназначенных для подготовки и
проведения формализованных процедур предъявления теста, обработки
и представления результатов его выполнения.
3
Тестовая форма проверочного задания – форма проверочного
задания, содержащая: инструкцию к заданию, содержание задания в
виде текста и (или) невербальных материалов и систему оценки
выполнения задания.
Примечания:
1. Текст задания в тестовой форме должен соответствовать набору особых
специфических требований, выполнение которых обеспечивает однозначное понимание
вопроса (задачи) и исключает возможность появления ошибочных ответов по
формальным признакам.
2. Система оценки должна обеспечивать однозначную оценку выполнения задания.
4
Тестовое задание – минимальная, содержательно законченная
составляющая единица педагогического теста в виде проверочного
задания в тестовой форме.
Примечание: Инструкция по выполнению задания и система оценки могут быть
составлены как для одного конкретного задания, так и для группы заданий теста.
5
Банк
тестовых
материалов
–
совокупность
систематизированных тестовых зданий и педагогических тестов,
прошедших апробацию и имеющих известные характеристики.
Примечание: К характеристикам относятся как качественные характеристики,
отражающие содержание тестового задания или теста в целом (учебный предмет, раздел,
тема, контролируемые умения и т.д.), так и количественные (трудность тестовых
заданий, надежность теста и др.).
6
Тестируемый (Ндп. испытуемый)
проходящее педагогическое тестирование.
–
физическое
лицо,
По материалам В. Хлебников. Проект стандарта на педагогические измерения. Термины и понятия /
Вопросы тестирования в образовании. – № 9. – 2004. – С. 10-30.
2
16
7
Тестирующий – физическое лицо, непосредственно проводящее
педагогическое тестирование в соответствии с утвержденной
инструкцией о его проведении и обеспечивающее самостоятельную
работу тестируемых.
8
Пользователь (педагогического) теста – юридическое или
физическое лицо, использующее педагогический тест и/или результаты
педагогического тестирования в необходимых ему целях.
9
Генеральная совокупность тестовых заданий – гипотетическое
множество тестовых заданий, связанных общей целью и теоретически
полностью отражающих определенную область знаний.
10
Ключ тестового задания – правильный ответ на тестовое
задание.
11
Дистрактор (Ндп. Отвлекающий ответ) – вариант ответа на
тестовое задание закрытой формы, похожий на правильный, но не
являющийся таковым.
12
Инструкция к тестовому заданию – свод правил тестируемому,
устанавливающий способы регистрации выполнения тестового задания.
Примечания:
1. В инструкции к тестовому заданию в частности указывается: способ записи
правильного ответа, что, каким образом и где надо отметить, вписать, указание
записи или оформления решения математической задачи и т.д.
2. Инструкция может быть единой для нескольких тестовых заданий, если эти задания
однотипны по действиям.
13
Ассоциации в тестовом задании – подсказка в содержании
тестового задания, позволяющая тестируемому угадать правильный
ответ.
Примечание: Ассоциации в тестовом задании являются свидетельством некорректности
этого задания.
14
План (педагогического) теста – документ, в котором каждое
тестовое задание соотносится с определенным элементом содержания
учебной дисциплины и конкретным видом знаний или умений,
подлежащих контролю с помощью этого задания.
15
Структура (педагогического) теста – совокупность сведений о
числе и форме тестовых заданий по каждому виду знаний или умений,
позволяющих объективно судить об уровне подготовленности
тестируемого.
Примечание: Для теста, в состав которого включаются тестовые задания, взятые из
банка тестовых заданий, в структуре педагогического теста указывается также уровень
трудности каждого из этих заданий и их дифференцирующая сила.
17
16
Cпецификация педагогического теста – документ, в котором
содержится информация о целях, задачах, плане и структуре
педагогического теста, а также основные требования к правилам
проведения педагогического тестирования, обработке результатов и их
интерпретации.
17
Инструкция о проведении (педагогического) тестирования –
свод правил, устанавливающий порядок и способ проведения
педагогического тестирования.
Примечание: Инструкция разрабатывается с учетом цели педагогического теста, условий
тестирования, применяемых при тестировании технических средств и выбранных способов
обработки результатов.
18
Условия (педагогического) тестирования – окружающая
обстановка, которая может оказывать влияние на процесс и результат
педагогического тестирования.
Примечание: К условиям педагогического тестирования могут быть отнесены, например,
готовность помещения, состояние рабочих мест, состав и поведение тестирующих,
используемые технические средства и другие факторы.
19
Время (педагогического) тестирования – интервал времени,
отводимый на выполнение теста.
20
Ситуативные переменные (педагогического) тестирования –
совокупность случайных факторов, влияющих на результаты
педагогического тестирования.
Примечание: Ситуативными переменными являются, например, место и время проведения
тестирования, особенности поведения тестирующего, волнение тестируемых и т.д.
21
Бланк ответов – стандартный бланк для записи ответов на
тестовые задания.
Примечание: В определенных позициях бланка ответов тестируемый записывает номера
выбранных ответов, сами ответы или то, что требует инструкция по проведению
педагогического тестирования.
22
Матрица ответов (тестируемых) – массив данных, содержащий
в том или ином виде информацию об ответах на каждое задание теста
каждого тестируемого.
Примечание: Номер строки такой матрицы соответствует коду тестируемого, а номер
столбца – номеру задания. В ячейках такой матрицы содержится в том или ином виде
информация о выполнении задания.
23
Протокол результатов (педагогического) тестирования –
официальный документ о результатах педагогического тестирования с
указанием тестового балла каждого тестируемого.
24
Уровень подготовленности тестируемого – количественная
характеристика учебных достижений тестируемого в определенной
области знаний.
18
Тестовые задания. Виды тестовых заданий
25
Тестовое задание закрытой формы – тестовое задание с двумя
или более пронумерованными вариантами ответа, из которых нужно
выбрать один или несколько номеров, соответствующих правильному
ответу.
26
Тестовое задание альтернативных ответов – тестовое задание
закрытой формы, в котором требуется выявить истинность или
ложность некоторого утверждения.
Примечание: В тестовых заданиях альтернативных ответов дается только два варианта
ответа: «да-нет» или «верно-неверно».
27
Тестовое задание множественного выбора – тестовое задание
закрытой формы с двумя и более вариантами ответа.
28
Тестовое задание открытой формы – тестовое задание без
указания возможных вариантов ответа.
Примечание: Тестируемый самостоятельно формулирует правильный ответ.
29
Тестовое задание с кратким ответом – тестовое задание
открытой формы, в котором тестируемый должен самостоятельно
сформулировать и записать правильный ответ в виде одного-двух слов,
символов или чисел.
30
Тестовое задание свободного изложения – тестовое задание
открытой формы, в котором тестируемый свободно конструирует ответ
на тестовое задание.
Примечание: Задание сопровождается подробной инструкцией по оценке ответов с
указанием количества первичных баллов, выставляемых за правильный ответ и за частично
правильный ответ.
31
Тестовое задание дополнения – тестовое задание, в котором
требуется, вставить пропущенное слово или символ, закончить
утверждение, дописать предложение и т.д.
Примечание: Тестовое задание дополнения может быть как открытой, так и закрытой
формы.
32
Тестовое задание
на установление соответствия (Ндп.
Тecmoвое задание перекрестного выбора) – тестовое задание, при
выполнении которого необходимо установить соответствие между
элементами двух и более множеств.
33
Тестовое
задание
на
установление
правильной
последовательности – тестовое задание, выполнение которого состоит
в установлении правильно последовательности операций, действий,
событий.
19
34
Тестовое задание на установление точки зрения – тестовое
задание с несколькими ответами качественного характера, среди
которых тестируемый выбирает ответ, основываясь на своих
склонностях, представлениях и убеждениях.
Примечание: Предполагаемые ответы могут иметь следующий вид: «полностью согласен»,
«частично согласен», «безразличен», «не согласен», «категорически не согласен».
35
Узловые тестовые задания – тестовые задания, общие для всех
или нескольких вариантов одного и того же педагогического теста.
Примечание: Узловые тестовые задания используются для выравнивания результатов
тестирования, проведенного с применением различных вариантов педагогических тестов.
36
Параллельные тестовые задания – тестовые задания
одинаковой трудности, относящиеся к одному разделу предмета.
37
Фасетные тестовые задания – тестовые задания, которые могут
быть получены друг из друга путем замены одного (нескольких) слова
(слов, символов, чисел), что превращает их в другие задания,
аналогичные по содержанию и трудности.
Примечание - Фасетные тестовые задания используются при разработке параллельных
вариантов тестов.
38
Дихотомическое тестовое задание – тестовое
выполнение которого оценивается только альтернативно.
задание,
Примечание - Оценка «выполнено верно» обычно символизируется единицей, оценка
«выполнено неверно» - нулем.
39
Политомическое тестовое задание – тестовое задание,
выполнение которого допускает несколько категорий вариантов ответа,
каждая из которых оценивается по-разному
Примечания:
1. Одна из категорий ответа может, например, объединять ответы неполные
(частично верные) или результаты одного или нескольких этапов решения задачи.
2. Дихотомическое задание может рассматриваться как политомическое задание с
двумя категориями ответов – ноль и единица.
Характеристики тестовых заданий
40
Трудность тестового задания – основная количественная
характеристика тестового задания, отражающая статистический уровень
его правильного выполнения.
41
Уровень трудности тестового задания – численное значение
трудности тестового задания.
Примечания:
1. В классической модели тестирования уровень трудности тестового задания равен
проценту тестируемых в данной выборке, верно выполнивших это задание.
2. В логистических моделях тестирования уровень трудности тестового задания
определяется с помощью вероятности его ошибочного выполнения и соответствует
конкретной точке на шкале трудности тестового задания в логитах.
20
42
Дифференцирующая
сила
тестового
задания
(Ндп.
дискриминация, коэффициент дискриминации) – количественное
значение
способности
тестового
задания
дифференцировать
тестируемых по уровню их подготовленности.
Педагогические тесты
Виды педагогических тестов
43
Предтест (Ндп. пилотный тест, пробный тест) –
педагогический тест, соответствующий спецификации теста, но не
прошедший апробацию и необходимую корректировку по ее
результатам.
44
Субтест – часть педагогического теста, состоящая из
определенного подмножества тестовых заданий, допускающая
независимую обработку результатов тестирования с целью решения
специфических частных задач.
Примечания:
1. Педагогический тест может содержать несколько субтестов.
2. Подмножество тестовых заданий одного субтеста может
подмножество тестовых заданий другого субтеста.
перекрывать
45
Тестовая батарея – совокупность субтестов, объединенных
единой методикой использования и направленных на оценивание
различных сторон учебных достижений тестируемых.
46
Стандартизированный тест – педагогический тест, имеющий
спецификацию и тестовые характеристики, соответствующие цели
тестирования,
стабильно
подтвержденные
на
нескольких
представительных выборках тестируемых.
Примечание: Стандартизированный тест предназначен для многократного использования.
47
Гомогенный тест – педагогический тест, позволяющий оценить
уровень подготовленности тестируемого по одной конкретной учебной
дисциплине.
48
Гетерогенный тест – педагогический тест, позволяющий оценить
уровень подготовленности тестируемого по нескольким смежным
учебным дисциплинам.
49
Критериально-ориентированный тест – педагогический тест,
предназначенный для оценки уровня подготовленности каждого
тестируемого относительно требований учебной программы или ее
части.
Примечание: Критический уровень объема знаний, умений и навыков -критерий, с которым
сравнивается результат каждого тестируемого, устанавливается до начала
тестирования.
21
50
Нормативно-ориентированный тест – педагогический тест,
предназначенный для определения уровня подготовленности
тестируемых путем сравнения их результатов друг с другом и/или с
тестовой нормой.
Примечание: Тестовая норма определяется предварительно по результатам апробации
теста на представительной выборке или после проведения самого тестирования, если
представительную выборку установить невозможно.
51
Мономорфный тест –
тестовые задания одной формы.
педагогический
тест,
содержащий
52
Полиморфный тест – педагогический тест, содержащий тестовые
задания разных форм и видов.
Примечание: Например, педагогический тест, состоящий из тестовых заданий закрытой и
открытой формы.
53
Тест мощности (Ндп. тест сложности, тест возможностей) –
педагогический тест, состоящий из тестовых заданий возрастающей
трудности.
Примечания:
1. Время выполнения каждого тестового задания и теста в целом не имеет строгого
ограничения.
2. Результат педагогического тестирования оценивается в зависимости от уровня
трудности верно выполненных тестовых заданий.
54
Тест скорости – педагогический тест, содержащий задания
одинаковой трудности, результат выполнения которого определяется
числом правильно выполненных заданий в определенное время.
55
Смешанный тест – педагогический тест, содержащий элементы
различных видов тестов.
56
Обучающий тест – педагогический тест, включающий
актуальный учебный материал, предназначенный для формирования у
тестируемого определенного уровня подготовленности и позволяющий
осуществлять самоконтроль усвоения материала.
57
Репетиционный тест – педагогический тест, позволяющий
проверить степень готовности к педагогическому тестированию и
знакомящий с порядком работы, объемом и сложностью тестовых
заданий.
58
Тест достижений – педагогический тест, предназначенный для
определения степени усвоения определенной области знаний или
умений.
59
Аппаратурный тест
используются технические
восприятия, памяти.
– педагогический тест, в котором
устройства для изучения внимания,
22
60
Варианты (педагогического) теста – набор близких по
содержанию тестов, созданных по единой спецификации и имеющих
одинаковую структуру.
Примечание: Статистические характеристики педагогических тестов, входящих в набор
вариантов, могут отличаться.
61
Параллельные варианты (педагогического) теста – варианты
педагогического теста, имеющие одинаковые статистические
характеристики.
Характеристики педагогического теста
62
Длина теста – число тестовых заданий, включенных в
педагогический тест.
63
Разрешающая способность теста (РСТ) – длина промежутка на
шкале уровня подготовленности тестируемых, соответствующая
изменению первичного балла тестируемого на единицу.
64
Надежность теста – характеристика, отражающая точность
оценки уровня подготовленности с помощью данного педагогического
теста, степень постоянства результатов тестирования, а также
устойчивость к действию посторонних случайных факторов.
65
Коэффициент надежности теста – количественное значение
надежности педагогического теста, изменяющееся от нуля до единицы.
Примечание - Для определения коэффициента надежности теста проводится, как правило,
специальная апробация теста.
66
Валидность теста – комплексная характеристика педагогического
теста, отражающая способность теста служить той цели, для которой он
создавался.
67
Критериальная
валидность
теста
–
характеристика
педагогического теста, отражающая его возможность несмещенно
сопоставлять
результаты
педагогического
тестирования
с
установленным
внешним критерием, характеризующим объект
измерения.
68
Сопоставительная валидность теста (Ндп. валидность
соответствия, текущая валидность) – критериальная валидность,
отражающая соответствие результатов тестирования с помощью
данного теста результатам измерения того же объекта другим или
другими методами.
23
69
Прогностическая валидность теста – критериальная валидность
теста, отражающая эффективность прогноза по результатам
тестирования о возможностях тестируемых в будущем.
70
Содержательная
валидность
теста
–
характеристика
педагогического теста, выражающая полноту охвата тестовыми
заданиями той области знания, в которой этот тест оценивает учебные
достижения.
71
Факторная валидность теста – характеристика педагогического
теста, выражающая корреляцию между данным тестом и каждым из
выбранных факторов учебных достижений.
72
Валидизация теста – процедура повышения валидности теста.
73
Тестовая норма – численное значение тестового балла, принятое
для данного теста после окончания тестирования или после проведения
тестирования на представительной выборке за норму, с которой
сравниваются тестовые баллы каждого конкретного тестируемого.
Педагогическое тестирование
Виды педагогического тестирования
74
Абсолютное тестирование – педагогическое тестирование,
предназначенное для оценивания уровня учебных достижений каждого
тестируемого персонально в четко определенной области знаний.
Примечание:
Для
абсолютного
ориентированные тесты.
тестирования
используются
критериально-
75
Относительное тестирование – педагогическое тестирование,
предназначенное для оценки уровня подготовленности тестируемых в
определенной области знаний путем сравнения друг с другом или с
тестовой; нормой.
Примечание:
Для
относительного
ориентированные тесты.
тестирования
используются
нормативно-
76
Тематическое тестирование – педагогическое тестирование,
проводимое с целью оценивания уровня учебных достижений
тестируемых в определенной области знаний, соответствующей
законченному разделу или теме учебной дисциплины.
77
Абитуриентское тестирование – педагогическое тестирование,
проводимое с целью оценивания уровня учебных достижений
абитуриентов высших и средних специальных учебных заведений.
24
78
Аттестационное тестирование – педагогическое тестирование,
проводимое после завершения установленного уровня образования с
целью определения соответствия учебных достижений тестируемого
образовательным стандартам этого уровня.
79
Централизованное
тестирование
–
педагогическое
тестирование, проводимое в разных регионах России по педагогическим
тестам и инструкциям по проведению тестирования, исходящим из
единого центра, с последующей обработкой результатов тестирования и
их шкалированием в том же центре.
80
Тестирование на бланках (педагогическое тестирование) –
педагогическое тестирование, при котором носителем содержания
педагогического теста служит бланк определенного образца,
дополненный соответствующим бланком ответов.
81
Компьютерное
(педагогическое)
тестирование
–
педагогическое тестирование с помощью компьютера, проводимое по
специальной программе, обеспечивающей заданный порядок
представления тестовых заданий и обработки результатов тестирования.
82
Адаптивное
тестирование
(Ндп.
последовательное
тестирование) – педагогическое тестирование, при котором трудность
и количество предъявляемых тестируемому заданий регулируется в
зависимости от его ответа на предыдущее задание или на несколько
предыдущих заданий.
Примечания:
1
Очередное тестовое задание подбирается так, чтобы его уровень трудности позволял
наилучшим образом оценить уровень подготовленности тестируемого.
2
Количество тестовых заданий заранее не фиксируется, а процесс тестирования
заканчивается по достижении заданной точности оценки уровня подготовленности
тестируемого.
3
Наиболее распространенная разновидность адаптивного тестирования – это
компьютерное адаптивное тестирование.
83
Апробация
теста
–
предварительное
педагогическое
тестирование на представительной выборке учащихся для определения
соответствия педагогического теста его целям и заданным
характеристикам.
Шкалирование результатов тестирования
84
Балл (результата педагогического тестирования) – условная
единица, используемая для оценки результатов выполнения
педагогического теста или его тестового задания.
25
85
Первичный балл тестируемого (Ндп. сырой балл) – сумма
баллов, набранная тестируемым за ответы на задания теста
Примечание: Первичный балл определяется на основании системы оценок, установленной
для заданий данного теста. Например, при абсолютном тестировании, проводимом с
помощью гомогенного критериально-ориентированного теста, оценка правильного ответа
на задание, как правило, один балл, неправильного - ноль баллов, а первичный балл
тестируемого составляет сумму правильных ответов.
86
Истинный балл – гипотетический балл на определенной для
данного педагогического теста шкале, соответствующий истинному
уровню подготовленности конкретного тестируемого в момент
измерения.
Примечание - При определении истинного балла тестируемого ошибки педагогического
измерения условно предполагаются равными нулю.
87
Тестовый балл – окончательное численное выражение на
определенной шкале индивидуальной оценки уровня подготовленности
тестируемого, полученное на основании стандартизованной обработки
результатов выполнения теста.
88
Критериальный балл – граничное значение тестового балла, с
помощью которого заданная выборка тестируемых разделяется на
выполнивших данный педагогический тест удовлетворительно и
неудовлетворительно.
89
Категория ответов – совокупность вариантов ответов на тестовое
задание, которым приписывается один и тот же балл.
90
Балл категории ответа (на тестовое задание) – балл,
соответствующий определенной категории ответа на политомическое
задание, в зависимости от качества этого ответа.
Примечание: Например, категории неполных или частично верных ответов может
приписываться ноль баллов или один балл, а категории наиболее полного ответа или
соответствующего правильному решению всех этапов решения задачи – два балла.
91
Шкалирование результатов (педагогического тестирования) –
определенный метод решения комплекса вопросов, связанных с
выставлением каждому тестируемому тестового балла на единой шкале
вне зависимости от того, в какой группе и над каким вариантом
педагогического теста он работал.
92
Шкала трудности тестового задания – шкала, на которой
трудность тестового задания определена относительно трудности
одного из тестовых заданий этого же педагогического теста, принятой
за единицу.
26
93
Выравнивание вариантов (педагогического) теста – метод
решения комплекса вопросов, связанных с отображением на одной
шкале определенных характеристик всех тестовых заданий, входящих
во все варианты педагогического теста.
Модели тестирования
94
Модель педагогического тестирования – одна или несколько
функциональных
зависимостей,
гипотетически
связывающих
характеристики тестовых заданий и уровень подготовленности
тестируемых с величинами, которые реально проявляются в результате
выполнения соответствующего теста.
95
Классическая модель тестирования – модель тестирования, в
рамках которой за выполнение каждого из тестовых заданий
начисляются по принятой системе оценок определенные баллы, а
уровень подготовленности тестируемого определяется суммой этих
баллов.
96
Логистические модели тестирования – модели тестирования, в
которых зависимость вероятности выбора правильного ответа или
категории ответа задания(для политомических заданий) представлены
как логарифмические функции параметров этого задания и уровня
подготовленности тестируемого, выраженные в логитах.
97
Функция успеха выполнения тестового задания – зависимость
вероятности правильного выполнения тестового задания от
характеристик этого задания и уровня подготовленности тестируемого.
98
Функция успеха для категории ответа (на тестовое задание) –
зависимость вероятности выбора данной категории ответа от величины
балла категории ответа и уровня подготовленности тестируемого.
99
Функция заданного уровня подготовленности тестируемых –
зависимость характеристик тестовых заданий педагогического теста,
полученная как функция успеха для тестового задания при
фиксированном значении заданного уровня подготовленности
тестируемых.
100 Функция заданных параметров тестовых заданий –
зависимость переменного уровня подготовленности тестируемых,
полученная как функция успеха выполнения тестового задания при
фиксированных значениях характеристик тестовых заданий.
27
101 Однопараметрическая
модель
(педагогического)
тестирования – логистическая модель, в которой функция успеха
зависит только от разности между уровнем подготовленности
тестируемого и уровнем трудности тестового задания.
102 Двухпараметрическая модель (педагогического) тестирования
– логистическая модель, в которой функция успеха зависит от разности
между уровнем подготовленности тестируемого и уровнем трудности
тестового задания и от дифференцирующей силы тестового задания.
103 Модель
педагогического
тестирования
частичного
оценивания – обобщенная логистическая модель для политомических
тестовых заданий, позволяющая дополнить альтернативную оценку
выполнения тестового задания оценкой «частично правильный ответ».
Примечание: Модель частичного оценивания характеризуется числом категорий ответа,
системой их оценки и видом функций успеха.
П Р И Л О Ж Е Н И Е
справочное
Термины и определения, необходимые для понимания текста
стандарта
А1.
А2.
A3.
А4.
А5.
А6.
А7.
А8.
А9.
Балл – оценка, отметка успехов и поведения учащихся.
Критерий – отличительный признак, мерило.
Категория – разряд, группа предметов, явлений, характеристик и т.п.,
объединенных общностью каких-либо признаков.
Логит – интервал на логарифмической шкале, принятый за единицу.
Образовательный
стандарт
–
утвержденные
государством
(государственным органом) обязательные требования к установленному
уровню (ступени) образования.
Уровень образования – установленное Законом «Об образовании» учебное
достижение человека (образовательный ценз), зафиксированное в документе
государственного образца.
Параметр – постоянная величина, сохраняющая свое значение лишь в
условиях данной задачи.
Педагогическое измерение – способ упорядочения информации об учебных
достижениях, при котором система чисел и отношений между ними ставятся
в соответствие ряду измеряемых факторов.
Представительная выборка – выборка из генеральной совокупности,
содержащая представителей всех наиболее значимых групп измеряемого
объекта в той же, как и в генеральной совокупности, пропорции.
Примечание: Группы, включенные в представительную выборку, отбираются по заранее
установленным количественным и (или) качественным параметрам, оказывающим влияние
на результат статистических исследований.
А10. Система оценок – установленная совокупность принципов и правил
оценивания чего-либо.
28
A11. Учебные достижения – результат обучения: знания, умения и навыки,
полученные учащимися в процессе систематического обучения по
утвержденной программе
Примечание: В широком смысле – уровень развития учащихся, достигнутый в результате
обучения в одном из образовательных учреждений или самостоятельно.
А12. Шкала – упорядоченное множество действительных чисел (индексов),
соответствующих ряду возможных значений измеряемой величины.
29
РАЗДЕЛ «МЕТОДОЛОГИЯ
ПЕДАГОГИЧЕСКОГО КОНТРОЛЯ»
Примерный тематический план
Основные понятия,
Темы занятий
рассматриваемые на
занятии
1. Переменные педагоЦели
образования,
гических измерений. КласЛекция
латентные качества,
сическая и современные
(диалогическое
знания, умения, навытеории педагогических
изложение)
ки, компетентности,
измерений
измерение
2. Измерения в образовании
Мониторинг,
Виды контроля.
качество образования,
Лекция
рейтинг,
входной,
(круглый стол)
текущий,
итоговый
контроль
3. Классификация тестов
Абсолютное,
относительное
Лекция
тестирование,
(проблемное
критерий,
норма,
изложение)
адаптивное
тестирование
4. Операционализация и
Образовательные
конкретизация целей обутаксономии,
Практическая
чения
таксономия Б. Блума
работа
5. Разработка кодификатора
Форма
заданий,
(производственное
учебного модуля
трудность,
уровень
задание)
усвоения,
уровень
значимости
Формы занятий
(методы)
Итоговый контроль по разделу «Методология педагогических
измерений» осуществляется посредством оценивания кодификатора
учебного модуля, который каждый слушатель разрабатывает в ходе
выполнения практических работ. Кодификатор, совмещенный с
комплектом заданий в тестовой форме, в дальнейшем составит часть
выпускной аттестационной работы. Знания, полученные в ходе
обучения по данному разделу, являются базовыми для других тем курса.
30
Информация о преподавателе
Минин Михаил Григорьевич, доктор педагогических наук,
профессор, директор Института инженерной педагогики ТПУ, зав.
кафедрой педагогики профессионального образования Томского
политехнического университета.
Консультации: пятница с 16-00 до 18-00, аудитория 301а 8-го
учебного корпуса ТПУ (ул. Усова, 7). Если по какой-либо причине эти
часы для Вас неудобны, Вы можете предварительно договориться о
другом времени.
E-mail: [email protected]
Телефон: (8-3822) 56-33-02
Материалы, требуемые при изучении раздела
При выполнении основного задания – разработке совмещенного
кодификатора учебного модуля необходимы: Государственный
образовательный
стандарт,
рабочая
программа
дисциплины,
контролирующие материалы.
Основными источниками теоретико-методологических знаний по
педагогическим измерениям могут стать работы В.С. Аванесова
(большинство
научно-методических
материалов
на
сайте
testolog.narod.ru), А.Н. Майорова, Е.А. Михайлычева, М.Б. Челышковой,
Н.Ф. Ефремовой.
Полезными будут материалы журналов «Педагогические
измерения», «Педагогическая диагностика», «Вопросы тестирования в
образовании».
31
Содержание теоретического курса раздела
«Методология педагогического контроля»
Лекция 1. «Переменные педагогических измерений. Классическая и
современные теории педагогических измерений»
Планируемые результаты обучения:
 называть цели образования, подлежащие дидактическому
контролю;
 перечислять составные части учебных достижений студентов;
 классифицировать знания, умения;
 определять место тестирования в учебном процессе вуза;
 характеризовать понятие латентные качества для педагогических
измерений;
 указывать особенности измерений в образовании;
 использовать личностно-деятельностный подход в целеполагании;
 называть основные теории тестирования, их отличия,
особенности.
План
1. Цели контроля и цели образования как исходный пункт
измерений
2. Учебные достижения
3. Личностно-деятельностный подход в оценивании учебных
достижений
4. Введение в проблему педагогических измерений
5. Классическая теория тестирования
6. Современные теории тестирования
Конспект содержания
1. Цели контроля и цели образования как исходный пункт
измерений
Слайд
Комментарии
Методологию педагогических измере- Что изучает раздел методологии
ний можно определить как учение об любой науки?
основных положениях, формах, методах, принципах научного исследования и организации эффективной
практики в разработке показателей
качества подготовленности учащихся
и показателей педагогической деятельности
32
Слайд
Методика педагогического контроля
в условиях, когда не описаны ни
предмет, ни методы, ни правила
процесса
и
интерпретации
результатов, должна начинаться с
концептуализации
определяемого
признака,
выдвижения
предположений
относительно
предмета контроля.
Показатель – интерпретированные
данные, установлена их связь с
другими
данными
прямо
или
опосредованно через концептуальную
схему (модель, теорию и т.п.).
Индикатор эмпирически устанавливает
и
отражает
реально
существующее явление, наблюдаемое
и измеряемое. Индекс – это искусственно
созданный
инструмент,
операциональное средство определения
понятий,
позволяющее
«схватить» явление или процесс через
его индикаторы.
Критерий – ведущий показатель,
признак, по которому можно определить истинность или ложность
суждения
Цель – это представление о
результатах деятельности. В общем
виде цель образования заключается в
передаче
культуры
в
виде
социального опыта людей от одного
поколения к другому.
 знания;
 опыт
известных
способов
деятельности;
 опыт
творческой,
поисковой
деятельности;
 опыт эмоционально-ценностного
отношения.
33
Комментарии
Для
чего
организуется
образовательный контроль?
Что
является
объектом
контроля?
Что Вы рассматриваете в
качестве показателя качества
обучения?
Что
является
индикатором
знаний по преподаваемой Вами
дисциплине?
Назовите
эффективности
преподавателя вуза
критерии
работы
Что передается от поколения к
поколению в виде социального
опыта?
С помощью каких методов
контролируются разные виды
результатов образования?
Слайд
Психологическое,
профориентационное тестирование
Комментарии
Чем
объясняется
широкое
распространение тестирования в
качестве метода измерений?
Компетентность (Дж. Равен) –
Отказ
от
традиционных
специфическая
способность, процедур тестирования
необходимая
для
эффективного
выполнения конкретного действия в
конкретной предметной области и
включающая
узкоспециальные
знания, особого рода предметные
навыки, способы мышления, а также
понимание ответственности за свои
действия.
Проявляется
в
органическом единстве с ценностями
человека.
Сферы педагогических измерений:
Для какой сферы образования
дидактические
 Воспитание - состав и структура используются
жизненных установок личности, мера тесты?
овладения личностью культурным
потенциалом человечества.
 Образование - мера развития
личности и овладения системой
обобщенных знаний о себе, о мире и
о способах деятельности.
 Обучение
овладение
конкретными знаниями, умениями,
навыками.
При оценке качества образования в
центр внимания ставятся данные
подготовленности обучающихся как
результата осуществленного учебного
процесса. Остальная информация о
размерах вложений в образование,
кадровом обеспечении, методических
системах
обучения,
социальноэкономическом статусе и многое
другое является только условиями,
влияющими на результаты обучения
и степень усвоения знаний и
позволяющими
оценивать
комплексно качество образования
34
2. Учебные достижения
Слайд
 комплекс знаний, умений и
навыков (ЗУН);
 мыслительные
логические
операции, называемые способами
умственных действий (СУД);
 практический
опыт
личности,
(СДП
–
сфера
действеннопрактическая).
Тесты учебных достижений (США,
Англия)
Анастази, Урбина – основы знаний,
грамотность
Знание:
 проверенный
практикой
и
удостоверенный логикой результат
познания
действительности,
отраженный в сознании человека в
виде
представлений,
понятий,
суждений, теорий;
 проверенный практикой результат
познания действительности, верное ее
отражение в сознании человека;
 результат познания, совокупность
сведений из какой-либо области.
Знать – иметь сведения о чем-либо.
Умение
–
это
действие
в
специфической ситуации, овладение
способами применения усвоенных
знаний на практике. Это проявление
компетенции или способности, более
общей подготовленности к действию
или
возможность
совершать
действие в специфической ситуации.
 типовые умения;
 логические умения;
 творческие умения;
 общеучебные умения.
35
Комментарии
В
чем
отличие
нашего
понимания от зарубежного?
Назовите конкретные умения
(типовые,
логические,
общеучебные),
проявление
которых
необходимо
контролировать
по
преподаваемой
Вами
дисциплине?
Слайд
Комментарии
Навыки
—
это
способность Приведите примеры навыков,
выполнять
какие-либо
действия формируемых
Вами
у
автоматически, без поэлементного студентов.
контроля.
Индикаторы достижения результатов
обучения.
При
сопоставлении
запланированных
целей
с
достигнутыми результатами можно
делать
качественные
и
количественные
выводы
об
изменениях уровня знаний.
3. Личностно-деятельностный подход в оценивании учебных
достижений
Слайд
В личностно-деятельностной теории
обучения знания выступают как
элементы тех или иных действий,
реализующих определенную сущность.
Деятельностный
подход
позволяет
подойти
к
целям
образования, в том числе и к
профессиональной подготовке со
стороны реальных жизненных задач,
ради которых проводится подготовка
специалиста.
Этапы:
1. Перевод требований к уровню
подготовки
в
диагностируемую
форму.
2. Структурирование предметной
области.
3. Конкретизация и детализация
заданных целей.
Перед каждым учебным элементом
ставится
одна
или
несколько
определенных
деятельностных
целей, а объем информации должен
обеспечивать их достижение.
36
Комментарии
Слайд
4.
Для
каждой
выделенной
деятельностной
цели
следует
сформулировать
контрольные
учебные задания, по результатам
выполнения которых можно судить о
степени
освоения
студентом
учебного материала дидактической
единицы
и,
следовательно,
о
соответствии тому или иному
предъявляемому требованию.
Bloom, Krathwohl, Harrow, разделили
цели обучения на три больших класса
 когнитивные,
 эмоциональные и
 психомоторные.
Комментарии
4. Введение в проблему педагогических измерений
Слайд
Комментарии
Измерение – процедура приписывания
Есть ли отличия понятий
чисел некоторым характеристикам
контроль, диагностика от
объектов в соответствии с
понятия измерения?
определенными правилами (С.
Стивенсон, 1946). Эмпирические
измерения.
Назовите примеры латентных
качеств, измеряемых в
Латентные качества через
эмпирические референты (интуитивно). образовании.
Конструирование числовой функции,
осуществляющей изоморфное (взаимно
однозначное) отображение некоторой
эмпирической структуры в числовую
структуру соответствующим образом.
F.M.Lord и M.Novick определяют
измерение как такое присвоение чисел,
которое верно отражает расположение
испытуемых на числовой шкале в
зависимости от выраженности
измеряемого качества.
37
Слайд
Комментарии
Теория измерения – это научная форма
организации знаний о свойствах
объектов, о правилах и методах
отображения этих свойств в числовую
систему с отношениями.
Два вида переменных величин:
Ваши примеры величин
 наблюдаемые и непосредственно
измеряемые;
 наблюдаемые, но непосредственно не
измеряемые. Такие проявления
называются эмпирическими
индикаторами
Измерение латентных качеств:
 определение ведущего понятия;
 проверка логической правильности
имени измеряемого качества;
 определение предмета измерения,
системы индикаторов, понятийных и
эмпирических;
 аксиоматика и математические
формализмы, выбор подходящей
модели и стандартизация условий
измерения;
 аргументированная интерпретация
результатов.
Компоненты пед. измерений:
 выбор предмета измерения и их
чисел;
 выбор эмпирических референтов
(наблюдаемых признаков);
 выбор измерительных процедур;
 конструирование и использование
измерительных инструментов;
 выбор шкалы;
 построение отображения результатов
измерения на шкалу по определенным
правилам;
 обработка, анализ и интерпретация
результатов измерения.
38
Слайд
Измерительный инструмент
 Измеряющее устройство.
 Тест – совокупность контрольных
заданий в стандартизированной форме,
обладающих необходимыми
системообразующими статистическими
характеристиками и обеспечивающих
обоснованные оценки концептуально
выделенной переменной измерения с
высокой объективностью (В.И.
Звонников, 2007).
 Заранее подготовленная шкала для
фиксации результатов. Шкала с
отложенными оценками переменной –
цель измерения.
Комментарии
Почему только в ходе
тестирования
можно
получить
оценки,
приближенные
к
объективным значениям?
СТРУКТУРА ПЕДАГОГИЧЕСКИХ
ИЗМЕРЕНИЙ
• ТЕСТИРОВАНИЕ
• ШКАЛИРОВАНИЕ
• РЕЙТИНГ
Показатели
• МОНИТОРИНГ
Задания в
тестовой
форме
Тестовые
задания
Тесты
Индексы
5. Классическая теория тестирования
Слайд
Главная
цель
применения
традиционных тестов – установить
отношения
порядка
между
испытуемыми по уровню проявляемых
при тестировании качеств.
Минимально достаточное количество
заданий.
Концепция латентной, непосредственно
не наблюдаемой переменной величины.
39
Комментарии
Слайд
Комментарии
Х=Т+Е
 Ошибка измерения Е имеет два
истолкования
–
физическое
и
статистическое.
 Параллельные формы теста.
 Два сравнительно новых варианта
классической теории измерения –
Strong True Score Theory и Random
Sampling Theory, а также Theory of
Generalizability.
6. Современные теории тестирования
Слайд
Latent Trait Theory
 Если задание j давать хорошо
подготовленной группе, то доля
правильных ответов в ней будет
заметно выше, чем в слабо
подготовленной группе.
 Инвариантность
относительно
уровня подготовленности группы
испытуемых. Характеристические
кривые тестовых заданий и теста в
целом.
 Каждому заданию теста в LTT
удалось поставить в соответствие
два параметра – трудности и
крутизны геометрического образа
каждого задания.
Item Response Theory
 Математическая теория оценки
качества тестовых заданий.
 Логистическая
функция
зависимости трудности задания от
подготовленности испытуемых.
 Сравнение на одной шкале
уровня знаний студента с уровнем
трудности задания.
40
Комментарии
Слайд
Общая теория ПИ:
 разработка и применение ЗТФ,
ТЗ и тестов для активизации
учебного
процесса,
научной
организации самоконтроля;
 разработка
целей
и
задач
педагогических
измерений;
создание
программ
массового
тестирования;
 анализ понятий, положенных в
основу измерений; содержание
заданий и теста в целом; разработка
педагогических
критериев
эффективности
и
качества
проводимых измерений.
Частные теории ПИ:
 теория композиции заданий в
тестовой форме;
 общие математические теории
педагогического
измерения
(Random Sampling Theory, Theory of
Generalizability);
 специальные
математические
теории педагогического измерения;
Комментарии
САМОКОНТРОЛЬ
1. Что является объектом измерений в образовании?
2. Какие особенности имеют измеряемые в образовании параметры?
3. Каким требованиям должна отвечать образовательная цель, чтобы
ее можно было однозначно диагностировать? Как этого можно достичь?
4. Приведите примеры латентных качеств, измеряемых как результат
обучения.
5. Какие цели образования невозможно измерить в ходе
тестирования?
6. Что вы понимаете под компетентностью? С помощью каких
методов контролируется степень развития компетентности?
7. Что понимается под учебными достижениями студентов? Что
измеряют тестами учебных достижений на Западе?
41
8. Назовите виды умений, развиваемых в ходе обучения.
9. Что образует структуру педагогических измерений? Назовите
основные этапы.
10.Перечислите основные теории педагогических измерений, их
отличительные особенности.
Лекция 2. «Роль и место педагогических измерений в образовании»
Планируемые результаты обучения:
 обосновывать функции тестирования в образовательном процессе
вуза;
 объяснять преимущества тестирования перед другими методами
контроля;
 оценивать возможности тестов в мониторинге, диагностике,
рейтинговой системе оценивания;
 определять место тестирования в образовании на основе
преимуществ и недостатков;
 называть особенности тестов для различных видов контроля;
 обосновывать требования к проведению тестирования;
 определять особенности разработки тестовых материалов в
зависимости от предполагаемых условий использования.
План
1. Значение образовательных тестов.
2. Роль и место педагогических измерений в образовании.
3. Виды контроля.
4. Принципы тестирования.
5. Рейтинговая система контроля.
6. Педагогическая диагностика.
7. Аспекты условий использования образовательных тестов.
Конспект содержания
1. Значение образовательных тестов
Слайд
Комментарии
Проанализируйте информацию,
 Развитие систем контроля,
представленную в таблице 1, о
усиление роли педагогических
недостатках и преимуществах
технологий (личностнотестовой формы контроля.
ориентированное обучение,
Сделайте выводы о
вариативные программы – единство
возможности использования
образовательного пространства).
для разных видов и целей
 Тесты позволяют получить
контроля.
объективные результаты, выявить
42
Слайд
пробелы в знаниях.
 Помогают перейти к созданию
современных систем адаптивного
обучения и адаптивного контроля.
 Итоговый рейтинг студентов,
менеджмент.
 Функция педагога.
Организационно-методический
центр, стандартизация, унификация,
специалисты, кодекс тестолога.
Комментарии
Таблица 1
Достоинства и недостатки тестовой формы контроля знаний
Достоинства
Недостатки
 Высокая объективность процесса
измерений и интерпретации результатов.
 Возможность обеспечения
стандартизации условий измерения.
 Приемлемый уровень надежности.
 Возможность обеспечения валидности
измерения, валидности содержания.
 Незначительные затраты времени на
измерения в больших группах.
 Незначительный уровень влияния
субъективных факторов во время
измерений.
 Легкость обеспечения
продолжительного сохранения
результатов и автоматизация их
обработки.
 Облегчение интеграции системы
образования страны в европейскую,
благоприятствование мобильности
студентов.
 Создание возможности оптимального
управления познавательной
деятельностью обучающихся.
 Необходимость обоснованного
измерения психологии воспитания и
обучения, связанного с переходом к
высшему уровню состязательности и
индивидуализма.
 Разработка методических и учебных
материалов, ориентированных только на
тестовую технологию контроля знаний.
 Значительные затраты времени на
первичную подготовку тестовых
материалов.
 Необходимость преодоления сопротивления и комплекса
предубеждений приверженцев старых
методов педагогических измерений.
 Малое количество специалистов по
тестированию в системе образования,
что замедляет процесс перехода на
современное тестирование.
43
2. Роль и место педагогических измерений в образовании
Тесты достижений
Составные части учебных
достижений студентов
Какая разновидность тестов
 тесты достижений по учебным
контролирует
общеучебные
курсам;
умения, способы умственной
 широкоориентированные тесты
деятельности?
достижений;
 тесты основных когнитивных
навыков – способность понимать
прочитанное, делать логические
выводы;
 вербальные когнитивные батареи
(тесты интеллекта);
 неязыковые тесты и тесты действий;
 кросс-культурные тесты.
Особенности тестов способностей
 отражают совокупное влияние
разнообразия повседневной жизни;
 измеряют результаты научения в
относительно не контролируемых и
неизвестных условиях;
 служат для предсказания уровня
последующего выполнения
определенной функции или
деятельности;
 используют для оценки степени
целесообразности прохождения
конкретным человеком того или иного
курса обучения, либо для
предсказания уровня его достижений в
новой ситуации.
Цель тестового контроля:
 измерить учебные достижения,
 изучить динамику развития
личности,
 корректировать процесс обучения.
44
3. Виды контроля
Слайд
Обоснование требований к
разработке тестовых материалов
основывается на особенностях
использования.
Контроль – совокупность действий,
позволяющих выявить качественноколичественные характеристики
результатов обучения, оценить, как
усвоен студентами материал учебной
программы.
Предварительный контроль является
необходимой предпосылкой для
успешного планирования и
руководства учебным процессом.
Установление исходного уровня и
результатов предшествующего
обучения. Выявление пробелов и
причин пробелов.
Текущий контроль – оперативное и
систематическое управление учебной
деятельностью. Прогностическая и
диагностическая функция.
Пооперационный контроль.
Итоговый контроль – объективное
выявление результатов обучения.
Обобщение и систематизация знаний.
Соотнесенность содержания с целями
обучения. Интегрирующий контроль.
Аттестационный контроль.
Отсроченный контроль.
45
Комментарии
Функции дидактического
контроля.
Что такое обратная связь в
обучении?
Для чего нужна более
объективная, надежная,
достоверная оценка?
В педагогике сотрудничества
основная функция контроля.
Требования к организации
входного контроля.
Какие требования
предъявляются к тестам
входного контроля,
направленным на достижение
представленных здесь целей?
Как проводится текущий
контроль в вузе? Традиционные
формы проведения текущего
контроля.
Чем отличается итоговый
контроль по дисциплине и по
специальности?
Какие формы аттестации
предусмотрены
образовательными стандартами?
Можно ли в ходе аттестации
проверить минимум содержания
образования?
4. Принципы тестирования
Принципы тестирования
 справедливости;
 гласности;
 научности;
 связи тестирования с учебным
процессом;
 систематичности;
 всесторонности;
 добровольности.
Комментарии
Что понимается под принципом
в педагогике?
Как согласуется последний
принцип с практикой массового
тестирования?
5. Рейтинговая система контроля
Рейтинговая система контроля
Комментарии
Цель: активизация учебно-познавательной деятельности, усиление
мотивации к учебе и самостоятельной
работе и повышение объективности
оценивания
Условия: модульная организация
учебного процесса, постоянное
отслеживание уровня знаний и
многобалльное оценивание.
Рейтинг учащегося – это индивидуальный числовой показатель интегральной оценки достижений в учебе,
образуемый путем сложения рейтинговых баллов, полученных в результате оценки отдельных учебных действий, по возможности с учетом коэффициента значимости («весового»
коэффициента) этих действий в
достижении образовательных целей.
Принципы:
Применение кредитнорейтинговой системы в
 ориентационный;
образовательной практике ТПУ
 комплексного подхода;
 мотивации – ориентирует деятельность педагога на формирование потребностей в познании, в достижении
цели, в познавательном общении;
 объективности.
46
6. Педагогическая диагностика
Слайд
Если педагогика хочет воспитать
человека во всех отношениях, то она
должна прежде узнать его тоже во
всех отношениях.
К.Д. Ушинский
Диагностика – общий способ
получения опережающей информации
об изучаемом объекте или процессе.
Диагностика – прояснение всех
обстоятельств протекания дидактического процесса, точное определение
его результатов.
Диагностика:
 физического развития;
 духовного;
 социального;
 умственного
(обученность
и
обучаемость).
Л.С. Выготский, три уровня
диагностики:
 симптоматический диагноз;
 этиологический диагноз;
 типологический диагноз.
Цель: Выявить результаты в связи с
путями, способами их достижения,
тенденции, динамику формирования
продуктов обучения.
Диагностическая деятельность
тестолога включает в себя:
 определение объектов, целей и
задач тестирования;
 определение критериев,
показателей и индикаторов
тестирования;
 подбор (разработка и адаптация)
методик для решения задач
тестирования;
47
Комментарий
В чем заключаются отличия
процедур
контроля
и
диагностики в образовании?
Какое понятие шире: контроль
или диагностика?
Слайд
 сбор информации с помощью
методик тестирования;
 количественная и качественная
обработка полученных результатов;
 выработка
и
формулировка
выводов как заключения о состоянии
объекта (явления) тестирования и
причинах,
вызывающих
данное
состояние;
 выработка
и
формулировка
педагогического прогноза развития
объекта (явления);
 разработка коррекционных мер в
форме
определённого
плана
педагогических,
а
также
психологических,
социальных
воздействий на объект (явление) для
приведения его в желательное
состояние, с точки зрения целей и
задач педагогического процесса.
Комментарий
7. Аспекты условий использования образовательных тестов
Слайд
Комментарий
Любой научный метод или точный Какие недостатки массовых
инструмент (дидактические тесты) тестирований в России Вы
эффективны только при правильном и могли бы отметить?
умелом применении
 гарантирование того, что тесты
будут проводить только
квалифицированные специалисты, а
получаемые результаты будут
правильно использованы.
 предотвращение
ознакомления
обширной аудитории с содержанием
тестов, которое может существенно
снизить их валидность.
Тестолог осуществляет выбор теста, На основе каких критериев Вы
определяет условия его применения, отбираете тест для своих
анализирует результаты.
студентов?
48
Слайд
Комментарий
При разработке теста исключают
различие мотиваций, восприятий
(учитываются пол, национальность,
культура)
Пользователи изменяют условия:
Какой принцип тестирования
индивидуальное тестирование
нарушается при этом?
проводят как групповое, сокращают
тест.
Открытая и закрытая информация о
тесте.
Формы подготовки к тестированию.
Графическая
зависимость
результатов тестирования от
мотивированности
испытуемых. Объяснить.
САМОКОНТРОЛЬ
1. Как объяснить причины взрывного характера распространения
тестов в России?
2. Для каких целей и видов контроля тестирование является
наиболее эффективным методом?
3. В каких случаях следует отказаться от тестирования?
4. Как используются результаты тестирования в Ваших вузах?
5. Чем
отличается
тест
вступительных
испытаний
от
аттестационного теста?
6. Возможно ли совмещение разных целей в одном тесте? Докажите
свою точку зрения.
7. Какие особенности должно иметь тестирование, организующееся
при аттестации вуза? При самообследовании? При аттестации?
8. Возможно ли открытие баз тестовых заданий?
9. Приведите примеры использования одного теста в разных
условиях. Как Вы оцениваете такие случаи?
10.Оцените задание с точки зрения соблюдения прав учащихся
разных регионов:
ЛЕЩИНА 1) кустарник 2) дерево 3) многолетняя трава.
11. Почему в условиях кредитно-рейтинговой системы обучения в
качестве основного метода контроля используется тестирование?
12. Назовите отличия дидактической диагностики от традиционного
контроля учебных достижений.
49
Лекция 3. «Классификация тестов»
Планируемые результаты обучения:
 перечислять основания для классификации тестов;
 называть особенности конструирования тестов разного вида;
 сравнивать подходы к интерпретации результатов тестирования;
 оценивать возможности использования разных подходов в
тестировании на разных этапах учебного процесса;
 иллюстрировать преимущества и недостатки разных способов
предъявления теста;
 приводить примеры тестов для разных переменных в образовании.
План
1. Стандартизированные тесты.
2. Способы предъявления тестовых заданий.
3. Область объектов измерения.
4. Цели контроля, проводимого путем тестирования.
5. Подходы к интерпретации результатов.
Конспект содержания
1. Стандартизированные тесты
Слайд
Стандартизация (ПИ) – унификация
и приведение к единым нормам
характеристик тестов, процедуры
тестирования и оценивания.
Формы стандартизации:
 форм тестовых заданий, комплектование в параллельные тесты;
 способов оценки качества ТМ;
 способов обработки результатов;
 условий проведения тестирования.
Технология тестирования:
 организация контроля (место,
техника, приборы, программнометодические материалы);
 предварительная подготовка
испытуемых к тестированию;
 создание благоприятных
психологических условий;
50
Комментарии
Можно
ли
использовать
нестандартизированные тесты?
В
каких
случаях
можно
использовать ненормированные
тесты? Или тесты не имеющие
методического оснащения?
Чем отличаются технологии от
методик?
Могут ли быть технологии
тестирования разнообразными?
Слайд
 представление теста в
эффективной форме;
 оптимизация системы подсчета
баллов, методов их представления и
интерпретации результатов.
Комментарии
2. Способы предъявления тестовых заданий
Слайд
Комментарии
Бланковые:
Назовите
преимущества
и
недостатки
каждого
из
 тестовые тетради,
способов.
 бланки ответов.
Практические - трудности организа- Естественные и технические
ции и проведения
науки.
Аппаратурные
–
секундомер, Возможности использования в
полиграф
образовании.
Предметные - кубики Косса.
Отличия от практических.
Компьютерные – преимущества для
пользователя (перманентное
тестирование, Internet, быстрота
обратной связи).
Преимущества для разработчика –
невербальная поддержка, аудио- и
видеофрагменты, виртуальность,
экономия затрат, простота обработки,
сбор дополнительной информации,
сопоставление данных.
Проблемы – технологические модели,
эмоциональные реакции испытуемых.
Адаптивное компьютерное
Назовите основное условие для
тестирование позволяет регулировать проведения адаптивного
трудность и число предъявляемых
компьютерного тестирования.
заданий каждому студенту в
зависимости от его ответа на текущее
задание. Эффективность.
Механизмы:
 пирамидальное тестирование;
 начало с любого уровня трудности;
 банк заданий разбит на три уровня.
51





3. Область объектов измерения
Слайд
общедиагностические;
профессиональной пригодности;
специальные;
личностные тесты;
педагогически или дидактические.
Комментарии
Приведите примеры тестов,
назовите переменные измерения
для каждого случая.
4. Цели контроля, проводимого путем тестирования
Слайд
Комментарии
Предварительный определяющий – Основное
требование
к
контроль минимума базовых знаний, определяющему тесту? Как
необходимых в дальнейшем обучении можно
достичь
этого
требования?
Формирующий
–
контроль
за Значение
результатов
прогрессом обучения, ограниченный формирующего теста. Как они
сегмент обучения. Акцент делается учитываются в рейтинговой
на
оценке
степени
владения системе оценивания?
материалом изучаемых задач и
обеспечения обратной связи со
студентом
по
корректировке
отдельных ошибок в тех предметных
областях, в которых они не достигли
успехов.
Диагностирующий – определение Гетерогенный или гомогенный
трудностей обучения, фокусируется данный
тест
по
своему
на распространенных ошибках.
содержанию? Докажите.
Какова в целом трудность и
сложность теста?
Суммирующий – оценка широкого Как отбирается материал для
диапазона результатов обучения, контроля? Чем отличаются
ожидаемых
в
конце
учебного задания
от
формирующего
процесса.
теста?
5. Подходы к интерпретации результатов
Слайд
Комментарии
Первый студент выполнил 30 заданий Как рассчитываются результаты
теста, второй – 30%.
выполнения теста?
Что Вы можете сказать об их уровне Как используются в учебном
подготовки?
процессе
полученные
52
Слайд
О знании контролируемой
предметной области?
Возможно ли, что они равны по
результатам тестирования?
Относительное тестирование.
Относительно нормы. КТО ЗНАЕТ
БОЛЬШЕ? Точность измерения. Цель
– с помощью минимума заданий
получить максимальную дисперсию
надежных баллов.
Относительное тестирование
Относительно индивидуума
МАССА МОЛЕКУЛЫ ВЕЩЕСТВА
а
может быть измерена на
чувствительных весах
а
б
может быть получена в
результате эксперимента
б
в
может быть рассчитана по
формуле
в
г
не может быть определена
г
Цель – темп и объем усвоения по
сравнению со стартовым уровнем.
Возможность
оценить
способы
учебной
деятельности,
знания,
полученные на бытовом уровне,
особенности восприятия.
Абсолютное тестирование.
Предметное
(содержательное).
КТО ЧТО ЗНАЕТ?
Бесконечно большое число заданий.
Абсолютное тестирование.
Критерий - указано пороговое
значение показателя.
53
Комментарии
результаты?
Почему многие преподаватели
отрицательно
относятся
к
тестированию?
Что называется нормой. Как
определяется норма. Может ли
норма меняться с течением
времени? В разных регионах
быть разной? Для разных
студентов?
Какую оценку называют
объективной?
Какую оценку называет
объективной учащийся?
Какими приемами пользуются
педагоги, чтобы выставленная
отметка воспринималась как
объективная?
Для каких видов контроля
используются индивидуальноориентированные тесты?
Какова цель данного
тестирования?
Приведите примеры контроля,
когда оценивание основано на
соответствии какому-либо
требованию?
В теории педагогических измерений наиболее разработаны
нормативно- и критериально-ориентированные подходы к тестированию,
описание которых дано практически в каждом учебном, методическом
пособии по конструированию тестов.
Суммарное сравнение данных подходов к тестированию
отображено в таблице 2.
Таблица 2
Сравнение основных подходов к тестированию по достигнутым
результатам
НормативноКритериальноОсобенориентированное
ориентированное
ности
тестирование
тестирование
Пример
использования
Вступительные испытания, Итоговая аттестация, темадифференциация учащихся тический контроль, уровень
при профильном обучении профессиональной
подготовки.
Распределение
индивидуальных баллов
Цель
Оценить индивидуальные
различия, сравнить уровни Описать задачи, которые
студент может выполнить.
подготовки
Диапазон
охвата
Тестовый
план
Произвольное,
Распределение, близкое к большинстве
асимметричное.
нормальному, имеет вид
в
случаев
Обычно охватывает
широкую область
достижений.
Фокусируется на
ограниченном наборе
учебных задач.
Обычно используется
таблица спецификаций.
Детальная область специификации.
54
Продолжение таблицы 2
Статистический характер и подбор
тестовых заданий
НормативноОсобенности
ориентированное
тестирование
Отбираются вопросы,
обеспечивающие максимальное разнообразие в
индивидуальных оценках
(для достижения более
высокого разнообразия в
оценках). Средний
уровень трудности (от 0,3
до 0,7).
Высокая
дифференцирующая
способность, а также ряд
важных статистических
показателей.
Надежность
результатов
Валидность
Критериальноориентированное
тестирование
Включаются все вопросы,
необходимые для
адекватной оценки. Не
делаются попытки
изменить сложность
вопроса или исключить
легкие вопросы в целях
достижения большего
разнообразия в оценках.
Статистические
характеристики важны для
составления параллельных
вариантов и выбора
оптимального
критериального балла.
Важна точность.
Важна
Оценивается ретестовым
помехоустойчивость.
методом, либо
Оценивается степенью
расщеплением теста
постоянства принятия
пополам при однократном решения при двукратном
тестировании.
тестировании.
На первый план может
В зависимости от цели
выходить
наиболее важной может
прогностическая, важна
быть концептуальная,
содержательная.
критериальная,
конструктная,
содержательная.
САМОКОНТРОЛЬ
1. Для чего необходимо уметь классифицировать тест?
2. Проклассифицируйте тестовые материалы ФЭПО, ЕГЭ, используя
разные основания.
3. Какие аспекты стандартизации тестов учитываются в Вашем вузе?
4. Какой смысл Вы вкладываете в понятие диагностический тест?
55
5. Можно ли сравнивать результаты выполнения одного теста,
предъявленного разными способами? Докажите свою точку зрения.
6. Почему некоторые тестологи критериально-ориентированные
тесты не относят к классическим тестам?
7. Почему по результатам нормативно-ориентированного теста
нельзя судить об успешности овладения знаниями в предметной
области?
8. Для каких целей при входном контроле разрабатываются тесты с
нормативно-,
индивидуально-,
критериально-,
предметноориентированными подходами?
9. Назовите преимущества адаптивного тестирования.
10. Назовите тесты, используемые в образовании, предназначенные
для измерения различных переменных.
Содержание практического курса раздела
«Методология педагогического контроля»
Практическая работа 1.
«Операционализация и конкретизация целей обучения»
Цель занятия
Система диагностируемых в ходе аттестации результатов
обучения по учебному модулю в деятельностной форме.
Последовательность работы
1. Теоретическое обоснование. Изучите методику формирования
системы планируемых результатов обучения по учебному модулю.
Конспект содержания
Конспект содержания
Комментарии
Первооснова в разработке тестовых Отличия
от
компетентматериалов – содержательное струк- ностного подхода.
турирование учебной дисциплины,
выражающееся
в
создании
кодификатора. Единицы учебного
содержания, подлежащие усвоению
студентами, следует увязать с
составом
разрабатываемых
контрольных заданий и их основными
показателями – назначением, конструктивными формами, уровнем
трудности и др.
56
Конспект содержания
Учебный элемент рассматривается
как содержательная единица
предметного изучения, логически не
зависимая часть содержания. Перед
каждым учебным элементом ставится
одна или несколько определенных
деятельностных целей, а объем
информации должен обеспечивать ее
достижение.
Точность определения целей
необходима для разработки
содержания, методов, средств и форм
обучения, а также для контроля
результатов, которые должны
удовлетворять требованиям жизни.
Проверяемость – отсутствие
расплывчатых формулировок целей:
 применять знания учебной
дисциплины для решения
разнообразных задач;
 иметь общее представление о...;
 развивать творческие способности
студентов;
 воспитывать высокие моральные
качества;
 формировать
профессиональное
мастерство;
 глубоко знать... и т.п.
Деятельностный (компетентностный)
подход определяет цели обучения
только через умения (практические и
исследовательские).
Комментарии
Дидактическая
единица,
информационно-смысловая
единица.
Нужно указывать конкретно,
что знать, насколько глубоко,
какие задачи решать и т.п.
Знания служат умениям (как
средства служат целям) и
являются основой умений. В
процессе
обучения
сначала
даются знания, а затем на их
основе формируются умения.
Умения включают в себя знания плюс Только знания не определяют
определенную
степень готовности человека к решению
тренированности в оперировании жизненных
задач.
Знания
знаниями.
необходимы, но недостаточны.
57
Конспект содержания
Комментарии
Один из способов конкретизации Использование таксономии
целей обучения – планирование Блума
результатов обучения в виде систем
конкретных умений, выраженных
через задачи.
Б.
2. Проанализируйте алгоритм действий
Конспект содержания
Комментарии
1 шаг – анализ нормативных
Какие нормативные документы
документов для определения состава определяют уровень
знаний, умений и навыков, которыми подготовленности студентов
должен владеть студент,
по дисциплине?
завершивший изучение учебной
дисциплины.
2 шаг – структурирование
Итогом проведенной работы
содержания учебной дисциплины (в
является вербальное
логике и порядке изучения предмета) определение планируемого
на учебные и (или) информационно- результата обучения в
смысловые элементы.
обобщенных формулировках.
3 шаг – процесс операционализации – Итог – перечень требований к
строится на описании учебных целей учебным достижениям
в виде результатов определенной
испытуемых: результатам
учебной деятельности. Один и тот же учебной деятельности.
учебный элемент может
Используйте таксономию Б.
соответствовать различным видам
Блума (приложение 1, таблица
действий испытуемых, т.е. одной
33)
дидактической единице
соответствует несколько
деятельностных целей (различные
уровни усвоения, этапы
мыслительной деятельности).
Задача на этом этапе конкретизировать и детализировать
цели обучения, отражающие целевые
установки изучения дисциплины в
целом, и локальные цели,
относящиеся к отдельным
фрагментам учебного модуля.
58
3. Познакомьтесь с примером
результатов обучения (таблица 3).
конкретизации
планируемых
Таблица 3
Планируемые результаты обучения для учебного элемента «Изотоп»
Уровень
усвоения
Конкретизированная цель
 уметь давать определение терминам и понятиям
«изотоп» и «нуклид»;
 называть причины существования изотопов;
 называть вред, причиняемый радиоактивными
изотопами живым организмам;
Воспроизведение
 перечислять особенности изотопов некоторых
знаний
элементов;
 выбирать по массовым числам формулы изотопов;
 описывать по уравнениям процесс радиоактивного
распада и ядерных реакций;
 перечислять способы применения изотопов в
промышленности.
 разъяснять отличия изотопов одного элемента;
 объяснять устойчивость изотопов;
Понимание и
 характеризовать распространение изотопов разных
элементов в природе;
применение
 устанавливать различие между изотопами и
знаний в
изобарами;
 рассчитывать процентное содержание изотопов
знакомой
элемента по атомной массе и наоборот;
ситуации
 составлять уравнения реакций ядерного распада;
 определять
пропущенные
обозначения
в
уравнениях ядерных реакций.
 предсказывать последствия ядерной реакции при
Применение
облучении определенным видом излучения, при этом
обосновывать свою точку зрения;
знаний в
 высказывать свое суждение о роли реакций
незнакомой
ядерного распада, роли знаний об изотопах;
ситуации
 составлять план эксперимента по получению
заданного элемента из другого.
59
4. Разработать для учебного модуля систему конкретизированных
целей. По результатам работы заполнить таблицу 4.
Таблица 4
Планируемые результаты обучения по учебному модулю
Тема
Учебный
Уровень
Конкретизированная цель
(модуль)
элемент
усвоения
(планируемый результат)
Источник информации:
Лекция 1, приложения 1,
кодификаторов в таблицах 34 и 35).
2
(примеры
разработанных
Требования по оформлению отчета:
1. В таблице должно быть представлено не менее двух
дидактических единиц, не менее 20 конкретизированных целей
обучения.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Кодификатор Пр №1_(Фамилия).
60
Проверка и зачет выполнения практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 2.
«Разработка кодификатора учебного модуля»
Цель занятия
Совмещенный с базой заданий кодификатор учебного модуля
аттестационного контроля
Последовательность работы
1. Вам необходимо продумать цель и содержание аттестационного
контроля по выбранному учебному модулю.
2. На основании целей аттестации и содержания контроля Вам
предстоит создать структуру базы заданий в тестовой форме, которая
обеспечит валидность работы. Для этого следует разработать
совмещенный кодификатор, основу которого Вы сделали в ходе первой
практической работы. Заполняя таблицу 5, обращайтесь к пояснениям:
1.
Учебный элемент рассматривается как содержательная единица
предметного изучения, и следовательно, как единица понимания и
усвоения элементных составляющих обучения, логически не зависимая
часть содержания, по объему и логике соответствующая такому
достаточно крупному компоненту содержания как: понятия, теория,
закон, закономерность, явление, факт, объект, метод и т.д. Учебные
элементы и составляющие их смысловые единицы используют в
модульном обучении как дидактические единицы, которые
рассматриваются как доза информации, непосредственно формирующая
в ходе подготовки студентов их способность (готовность) отвечать тем
или иным требованиям, предъявляемым к ним из массива,
составленного на предварительном этапе.
2.
Уровень усвоения определяется посредством таксономии Б. Блума
(приложение 1) и соответствующим ключом, представленным на
рисунке 1.
61
Можно ли отделить содержание
задания от ее модели
Нет
ЗНАНИЕ
Да
Представлена ли вся информация,
необходимая для выполнения
задания?
Да
ПОНИМАНИЕ
Нет
Должен ли студент привнести для
выполнения задания (проблемы)
дополнительную информацию?
Да
ПРИМЕНЕНИЕ
Нет
Должен ли студент изучить
(рассмотреть, проанализировать)
данные в соответствие с критериями?
Да
АНАЛИЗ
Нет
Имеет ли задание (проблема)
более одного решения?
Да
СИНТЕЗ
Рис.1. Алгоритм определения уровня учебной цели
Примечание:
Можно воспользоваться классификацией уровней (глубина) усвоения
используемой в отечественной педагогике:
1.
Уровень восприятия, осмысливания и запоминания (идентификации) –
характеризуется деятельностью по узнаванию с подсказками в виде эталонов готовых
ответов; сюда же относится знание классификационных признаков, свойств и
способность осуществлять на основе этой информации различать объекты изучения.
2.
Репродуктивный уровень – характеризует виды деятельности без опоры на
помощь или подсказку, воссоздание, воспроизведение находящихся в памяти образов.
Это может быть воспроизведение по памяти учебного материала, решение типовых
задач, выполнение алгоритмических действий по решению типовых задач.
3.
Продуктивный уровень – способность решать типовые задачи на применение
знаний в условиях, близких к реальной практической деятельности. Знания
трансформируются в знания-умения. Сюда входит применение приемов, методов,
понятий, законов, принципов, теорий.
4.
Творческий (эвристический) уровень – умение ориентироваться, принимать
решения в новых, проблемных ситуациях, когда задана цель каких-либо действий, но
отсутствует готовый алгоритм.
62
3.
Конкретизированная цель (планируемый результат) обучения для
однозначного диагностирования выражается в деятельностной форме,
см. предыдущую практическую работу № 1, по результатам которой
разработаны конкретизированные результаты учебного модуля.
4.
Форма задания – соответствует названиям ЗТФ (возможно
включение заданий со свободноконструируемыми ответами, если форма
стандартизирована). На выбор определенной формы существенно
влияет характер требований к уровню подготовки студента, вид знания,
вид контроля. Возможно, что одну цель будут контролировать
несколько заданий: в одной форме либо в разных, относящихся к
одному виду контроля или нескольким.
5.
Определение значимости компонента знаний осуществляется
путем оценивания степени его необходимости (важности):
 для изучения и усвоения данной дисциплины;
 для изучения и усвоения последующих дисциплин;
 для формирования личностных (например, профессионально
необходимых) качеств обучающегося.
Ориентировочная классификация по уровням значимости:
 первый уровень – компоненты, составляющие минимальный
уровень – базис данной учебной дисциплины (эти компоненты
именуются как базовый уровень);
 второй уровень – компоненты, развивающие и дополняющие
базис учебной дисциплины (именуются как средний уровень);
 третий уровень – компоненты повышенного – системного уровня
(обозначены как системный уровень).
6.
Указание проектируемого уровня коэффициента трудности
задания, который выражается вероятной долей правильных
ответов (р):
 КТ.1 – первый уровень трудности (задания легкие, р < 0,3);
 КТ.2 – средний уровень трудности (0,3 < р < 0,8);
 КТ.3 – третий уровень трудности (задания трудные, р > 0,8).
63
Таблица 5
Структура совмещенного кодификатора
Учебный
элемент
Уровень
усвоения
Конкретизированная
цель
Форма
задания
Уровень
значимости
содержания
Трудность
задания
1
2
3
4
5
6
64
Источник информации:
Лекции 1, 2, практическая работа 1, приложения 1, 2.
Требования по оформлению отчета:
1. В кодификаторе аттестационного контроля должно быть
представлено описание не менее 30 заданий в тестовой форме.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Кодификатор Пр №2_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
65
З а д а н и я
в
т е с т о в о й
ф о р м е
Тема
РАЗДЕЛ «КОНСТРУИРОВАНИЕ ТЕСТОВЫХ МАТЕРИАЛОВ»
Примерный тематический план
Формы
Основные понятия,
Темы занятий
занятий
рассматриваемые
(методы)
на занятии
Учебное
задание,
1.
Конструирование
Лекция
композиция,
заданий
с
выбором (эвристическая форма,
задание
в
тестовой
правильного ответа
беседа,
иллюстративное
изложение)
2. Разработка заданий с
выбором
одного,
нескольких правильных
ответов
3. Задания с кратким
ответом,
установления
правильной
последовательности
и
установления
соответствия
4. Разработка заданий на
установление правильной
последовательности
и
установления
соответствия
Практическая
работа №1
(упражнение)
Лекция
(дискуссия,
Практическая
работа №2
в
задания)
работа №3
открытой формы
(творческие
задания)
Практическая
работа №4
(тренинг)
пертиза ЗТФ
Элементы заданий
тестовой форме
(творческие
5. Разработка заданий
7. Тестологическая экс-
Виды учебных знаний,
принципы и правила
конструирования ЗТФ
инструктаж)
Практическая
6. Системы заданий в
тестовой форме
форме, принципы и
правила
конструирования ЗТФ
Элементы заданий в
тестовой
форме,
принципы и правила
конструирования ЗТФ
Принципы конструирования ЗТФ, композиция,
стандартизация формы,
технологичность, задания со свободноформулируемыми ответами
Система,
цепные,
тематические,
текстовые,
ситуационные
задания
Практическая
Экспертиза, принципы и
работа №5
правила
конструиро(производственное вания ЗТФ
задание)
66
Тема
Тестовые
задания
т е с т а
М о д е л и р о в а н и е
Темы занятий
Продолжение тематического плана
Формы
Основные понятия,
занятий
рассматриваемые
(методы)
на занятии
Корреляционный анализ,
1. Основные показатели
Лекция (рассказ, меры
центральной
качества тестового задатенденции,
трудность
и
репродуктивный
ния
диалог)
2.
Интерпретация
и
анализ
данных
математикостатистической обработки
результатов тестирования
1. Тест как инструмент
измерения.
Тест
как
измерительная система
Практическая
работа №6
(практикум)
Лекция
(проблемное
изложение)
2. Спецификация аттестационного теста
Практическое
занятие №7
(практикум)
сложность
задания,
дифференцирующая
сила, гомогенный тест.
Меры
центральной
тенденции, нормальное
распределение, корреляция, дифференцирующая
сила заданий, трудность
заданий.
Содержательная,
формальная система, системообразующие факторы, тестовые материалы,
методическое оснащение
теста, сценарий тестирования
Спецификация, содержательно-деятельностная матрица, план теста
Надежность, точность,
доверительный
интервал,
помехоустойчивость, парадокс Наннели,
содержательная, критеЛекция
риальная
валидность,
(иллюстративное методы
определения
надежности и валидизложение)
ности результатов тестирования, стандартизация
условий и результатов
тестирования, нормирование.
4. Расчет коэффициента Практическая Ретестовая надежность,
надежность результатов,
надежности результатов
работа № 8
точность, доверительный
тестирования
(практикум)
интервал
3. Критерии качества
теста.
Стандартизация
педагогических
измерений
67
Итоговый контроль по разделу «Конструирование тестовых
материалов» осуществляется в форме зачета, который проводится по
результатам выполнения (отчетам) практических работ и активного
участия в беседах, опросах по материалу раздела.
Информация о преподавателе
Наталья Степановна Михайлова, кандидат педагогических наук,
доцент, зав. кафедрой педагогических измерений Томского
политехнического университета.
Консультации: вторник с 16-00 до 18-00, аудитория 300 8-го
учебного корпуса ТПУ (ул. Усова, 7). Если по какой-либо причине эти
часы для Вас неудобны, Вы можете предварительно договориться о
другом времени.
E-mail: [email protected]
Телефон: (8-3822) 56-46-70
Материалы, требуемые при изучении раздела
При выполнении основного задания – разработке тестовых
материалов аттестационного контроля по выбранной Вами дисциплине
необходимы:
 государственный образовательный стандарт,
 рабочая программа дисциплины,
 контролирующие материалы в любой (предпочтительно в
тестовой) форме,
 результаты апробаций контролирующих материалов,
 возможно замена материалами ЕГЭ, ФЭПО
www.ege.edu.ru,
www.fipi.ru,
www.fepo.ru,
www.obrnadzor.ru.
Основными
источниками
теоретических
знаний
по
конструированию тестовых материалов могут стать работы В.С.
Аванесова (большинство научно-методических материалов на сайте
testolog.narod.ru), А.Н. Майорова, Е.А. Михайлычева, М.Б. Челышковой,
Н.Ф. Ефремовой.
Полезными будут материалы журналов «Педагогические
измерения», «Педагогическая диагностика», «Вопросы тестирования в
образовании».
68
Содержание теоретического курса раздела
«Конструирование тестовых материалов»
Лекция 1. «Конструирование заданий с выбором одного правильного
ответа»
Планируемые результаты обучения:
 оценить знания, необходимые при разработке тестовых
материалов, выявить противоречия и проблемы в имеющихся знаниях,
запланировать организацию учебной деятельности на последующих
занятиях;
 описывать признаки и структуру ЗТФ;
 перечислять основные формы тестовых заданий, различать ЗТФ
от других видов учебных заданий;
 обосновывать требования к конструкции ЗТФ, требования к
подбору дистракторов;
 иллюстрировать требования к ЗТФ конкретными примерами
(подтверждать);
 противостоять критике применения данной формы.
План
1. Рефлексия знаний по конструированию тестов (входной
контроль).
2. Понятие «учебное задание».
3. Форма, композиция учебных заданий.
4. Особенности заданий в тестовой форме (ЗТФ).
5. Преимущества и недостатки заданий с выбором одного
правильного ответа.
6. Элементы заданий с выбором одного правильного ответа.
7. Принципы подбора дистракторов.
8. Принципы формулировки содержания заданий.
9. Коррекция баллов на угадывание.
10.Ошибки в конструировании заданий с выбором одного
правильного ответа.
Конспект содержания
1. Рефлексия знаний по конструированию тестов. Заполните в
таблице 6 графу «Знаю», в процессе обучения заполняйте графу –
«Узнал», по окончании курсов - «Хочу знать».
69
Таблица 6
Рефлексия знаний по курсу «Конструирование тестовых материалов»
Вопросы
Знаю
Узнал
Хочу
знать
1. Как объяснить
взрывной характер
распространения
тестирования в России?
2. Что такое тест?
(определяющие
понятия)
3. Чем тестовое задание
отличается от других
видов учебных заданий?
4. Чем обеспечивается
высокая точность
тестового измерения?
5. Какие недостатки
характерны для
тестирования?
6. Назовите показатели
качества теста.
70
Вопросы
Знаю
7. Источники
информации о
требованиях к тесту.
8. Ваши действия в
начале разработки
теста.
9. Основные этапы
разработки теста.
10. В каких случаях
использование теста в
вузе более
целесообразно, чем
другие формы
контроля?
Вопросы, на которые я
хотел бы найти ответ
при обучении по
данному разделу.
71
Окончание таблицы 6
Узнал
Хочу
знать
2. Понятие «учебное задание»
Слайд
Основные
понятия:
задания
в
тестовой форме, тестовое задание,
тест.
Учебное
задание
–
средство
интеллектуального
развития,
образования
и
обучения,
способствующее активизации учения,
повышению
подготовленности
учащихся, а также повышению
эффективности
педагогического
труда (обучающая и контролирующая
функции).
Комментарии
Приведите
примеры
обучающих,
контрольнообучающих учебных заданий.
Назовите известные Вам формы
учебных заданий.
3. Форма, композиция учебных заданий
Слайд
Комментарии
Содержание
(цель
и
условия Содержание
не
бывает
тестирования)
отображает
виды бесформенным.
знаний.
Композиция – соединение формы и Что
можно
назвать
содержания (целостность). Главный композицией?
предмет
разработки
теста. На каком основании проведена
Организующая функция формы.
классификация? (рис. 2)
З А Д А Н И Я
открытые
на установление
соответствия
на установление
правильной
последовательности
нескольких
одного наиболее
правильного
одного
с выбором
правильного ответа
Рис.2. Классификация заданий в тестовой форме (по Аванесову В.С.)
72
4. Особенности заданий в тестовой форме (ЗТФ)
Слайд
Комментарии
ЗТФ
–
единица
контрольного Как
достигается
краткость
материала,
сформулированная
в задания?
утвердительной форме предложения с Для чего необходимо кратко
неизвестным.
формулировать задание?
 Истинное и ложное высказывание. Как понимается требование
ЗТФ
Закон
исключения
третьего технологичности
студентом, преподавателем?
Аристотеля.
формулировку
 Корректность содержания (общее) Запишите
+ технологичность, приобретаемая инструкции для выполнения
задания с выбором одного
за счет тестовой формы.
 Наличие
одного
правильного правильного ответа в случае
тетрадного тестирования:
ответа.
 Сформулированная цель.
 Краткость.
 Правильное использование формы.
 Логическая форма высказывания.
 Одинаковость правил оценивания.
 Правильное
расположение
элементов заданий.
 Наличие определенного места для
ответа.
 Адекватность
инструкции
содержанию и форме.
5. Преимущества и недостатки
правильного ответа
Слайд
• Широко
распространены:
технологичны, понятны
• Отношение испытуемых
• Анализ, интуиция
• Критикуемость:
наводящие
вопросы,
запоминаемость
неправильных
ответов,
уровень
знаний
• Выбор неправильного ответа
Правильно подобранный дистрактор
выбирают незнающие
73
заданий с выбором одного
Комментарии
1. Оптимальное
число
дистракторов в задании.
2. Минимальное
число
дистракторов в задании.
3. Можно ли в одном тесте
конструировать
задания
с
разным
числом
вариантов
ответов?
4. Обозначение дистракторов:
буквы или цифры?
6. Элементы заданий с выбором одного правильного ответа
представлены на рисунке 3.
Обвести кружком номер правильного ответа:
1. ЯДРО АТОМА СОСТОИТ ИЗ
1) нейтронов и протонов
2) протонов и электронов
3) электронов и нейтронов
Порядковый номер в
тесте
Инструкция
Содержание
задания
Ответы к заданию
Рис.3. Элементы ЗТФ
Слайд
Правила разработки инструкции:
1. Будьте
кратки,
насколько
возможно.
2. Изъясняйтесь настолько просто,
насколько
можно,
употребляя
простые предложения.
3. Должны
быть
примеры
выполнения.
Правила оформления инструкций.
Номер задания
Текст задания
Варианты ответов
Место для ответа
Комментарии
Для каких видов тестирования
используются ниже приведенные
инструкции?
Ответ запишите в рамку, для
промежуточных
записей
используйте место слева от
вопроса
В бланке ответов №1 под номером
выполняемого задания поставьте
знак «х» в клеточку, номер которой
соответствует номеру выбранного
ответа
31. ТЕМПЕРАТУРА КИПЕНИЯ
ВОДЫ В ГЕРМЕТИЧЕСКИ
ЗАКРЫТОМ
1)выше
СОСУДЕ 2) равна
Правила оформления задания.
3)ниже
74
100 0С.
7. Принципы подбора дистракторов
Слайд
Комментарии
1. Противоречия. Логическая схема: Явные недостатки заданий с
А, не А.
выбором правильного ответа из
ОРГАНИЧЕСКОЕ СТЕКЛО – ЭТО 2-х вариантов.
ПЛАСТМАССА, СОСТОЯЩАЯ ИЗ Области
использования
ТЕРМОПЛАСТИЧНОЙ СМОЛЫ
подобных заданий.
1) с наполнителями
2) без наполнителей
2. Противоположности
ПОЛОЖИТЕЛЬНЫЕ
ЗНАЧЕНИЯ
ИЗГИБАЮЩЕГО МОМЕНТА НА
ЭПЮРЕ ОТКЛАДЫВАЮТСЯ
1) вверх
2) вниз
3. Однородности
Каждое задание проверяет
НАНОСЫ
НА
СКЛОНАХ, один учебный элемент
ВЫЗВАННЫЕ ДОЖДЕВЫМИ И
ТАЛЫМИ ВОДАМИ, НАЗЫВАЮТСЯ
1) деллювий
3) иллювий
2) аллювий
4) эллювий
4. Кумуляции
ПРИ ЙОДОМЕТРИИ ОПРЕДЕЛЯЮТ
СОДЕРЖАНИЕ
1) окислителей
2) окислителей, восстановителей
3)окислителей, восстановителей,
кислот
5. Сочетания
Почему нельзя сделать это
РУДНЫЕ
ТЕЛА
МЕДНО- задание с 4 вариантами ответа?
МОЛИБДЕНОВЫХ МЕСТОРОЖДЕ- Почему данная форма лучше,
НИЙ ПРЕДСТАВЛЕНЫ
чем с выбором нескольких
1) штоками и линзами
правильных ответов?
2) штокверками и жилами
ЯДРО АТОМА СОСТОИТ:
1) протонов и электронов
2) электронов и нейтронов
3) нейтронов и протонов
75
Слайд
6. Градуированности
ГАЗОУСТОЙЧИВОСТЬ {сосны, ели,
березы..}
1) очень высокая 3) средняя
2) высокая
4) низкая
5) очень низкая
7. Удвоенного противопоставления
У МАТРИЧНОГО ПРИНТЕРА, ПО
СРАВНЕНИЮ СО СТРУЙНЫМ
Комментарии
Какие
основания
для
определенного порядка могут
лежать в основе расположения
вариантов ответа?
В
чем
использования
принципа?
преимущества
данного
1) выше быстродействие и выше качество печати
2) выше быстродействие, но ниже качество печати
3) ниже быстродействие, но выше качество печати
4) ниже быстродействие и ниже качество печати
8. Принципы формулировки содержания заданий
Слайд
Комментарии
Фасетности
Для чего используется данный
МЕТОДОМ {ГАУССА} СИСТЕМА принцип в конструировании
{ЛИНЕЙНЫХ} УРАВНЕНИЙ
заданий?
1) решается
2) не решается
Импликации
ПОВЫШЕННЫЕ
ДОЗЫ
ФОСФОРНЫХ
УДОБРЕНИЙ
ЛОГИКА ИЗЛОЖЕНИЯ
СНИЖАЮТ ДОСТУПНОСТЬ (в смысле
«если применить повышенные дозы фосфорных
удобрений, то снизится доступность»)
1) бора
2) меди
3) цинка
4) молибдена
9. Коррекция баллов на угадывание
Слайд
Комментарии
Скорректируйте балл для учеников,
выполняющих тест из 30 заданий,
каждое из которых имеет по 3
дистрактора.
Первый
ученик
W
X ci  X i 
правильно выполнил 9 заданий,
k 1
второй – 21. Сделайте вывод
______________________
____________________________
76
Слайд
X ci  X i 
W
k 1
Комментарии
Скорректируйте балл по двум
тестам, из 30 заданий, если по
результатам
обоих
правильно
выполнено 20 заданий, но в первом
задания имели по 2 дистрактора, а во
втором – по 4. Сделайте вывод
________________________________
________________________________
10.Ошибки в конструировании заданий с выбором одного
правильного ответа
Слайд
Комментарии
Качество композиции
Назовите критерии ЗТФ
69. ШЕРСТЬ
1) гидрофобна
2) гидрофильна
70. СИЛА - ЭТО
1) вектор
2) скаляр
71.
КОЭФФИЦИЕНТ
ТРЕНИЯ
КАЧЕНИЯ ИМЕЕТ РАЗМЕРНОСТЬ
1) н
3) нсм
2) нm
4) см
5) н/см
Качество дистракторов
72. АБСОЛЮТНУЮ ВЛАЖНОСТЬ
ОПРЕДЕЛЯЮТ
1) гигрометром
2) психрометром
73. ПРИ ЭКЗЕМЕ МАЗИ С
АНТИБИОТИКАМИ
1) эффективны
2) не эффективны
3) противопоказаны
77
Правило ладони
Основное правило
дистракторов.
подбора
Почему в данном
третий
вариант
выбирается редко?
задании
ответа
Слайд
Комментарии
74. ЛИЦО, ЧИСЛО, ВРЕМЯ И ВИД Определите
ошибки
СКАЗУЕМОГО
ОПРЕДЕЛЯЕТСЯ конструировании заданий
ПО
1) смысловому глаголу
2) вспомогательному глаголу
в
75. В РАЗБАВЛЕННОЙ H2SO4 НЕ
РАСТВОРЯЕТСЯ
1) Ag
3) Fe
2) Cr
4) Cr и Fe
САМОКОНТРОЛЬ
1. Назовите формы заданий, использующихся в тестировании.
2. Какой принцип положен в основу данной классификации?
3. Обоснуйте три главных требования к заданиям в тестовой форме.
4. Объясните назначение каждого элемента ЗТФ.
5. Обязательные требования к форме заданий с выбором
правильного ответа.
6. Перечислите принципы подбора дистракторов.
7. Область использования заданий с выбором правильного ответа из
двух.
8. Оптимальное
число
дистракторов
в
задании
определяется_________________.
9. Как подобрать эффективные дистракторы?
10.
Почему и на основании чего удаляют неработающие
дистракторы?
11. Придумайте третий вариант ответа в задании:
ИКОНЫ В КИЕВСКОЙ РУСИ ПИСАЛИ НА
1) тонковыделанной коже
2) деревянных досках
3) ???
12.Какое требование нарушено при конструировании следующих
заданий?
НАПИШИТЕ НАЗВАНИЕ УГЛЕВОДОРОДА, С КОТОРЫМ
БРОМОВОДОРОД ПРИ ПРОПУСКАНИИ ЧЕРЕЗ ЭТЕН, ПРОПЕН,
БУТЕН-2 ВЗАИМОДЕЙСТВУЕТ ПО ПРАВИЛУ МАРКОВНИКОВА.
ПРАВИЛЬНАЯ ПОСЛЕДОВАТЕЛЬНОСТЬ АНТРОПОГЕНЕЗА:
1) австралопитек, дриопитек, неандерталец
2) кроманьонец, синантроп, неандерталец
3) человек умелый, человек прямоходящий, человек разумный
4) рамапитек, кроманьонец, питекантроп
78
Лекция 2. «Задания с кратким ответом, установления правильной
последовательности и установления соответствия»
Планируемые результаты обучения:
 выявлять признаки открытой формы заданий, называть отличия
заданий с кратким ответом от заданий с конструируемым ответом;
 формулировать требования композиции к заданиям с кратким
ответом, установления правильной последовательности, установления
соответствия;
 устанавливать критерии оценивания заданий изученных форм;
 называть трудности при использовании и конструировании форм;
 перечислять виды знаний, контролируемых с помощью заданий
изученных форм.
1.
2.
3.
4.
5.
6.
7.
8.
План
Преимущества и недостатки заданий с кратким ответом.
Принципы конструирования заданий с кратким ответом.
Основные ошибки, допускаемые при разработке заданий данной
формы.
Элементы заданий на установления соответствия.
Виды заданий на установление соответствия.
Трудности разработки заданий на установление соответствия.
Элементы
заданий
на
установление
правильной
последовательности.
Виды знаний, контролируемые с помощью заданий установления
правильной последовательности.
Конспект содержания
1. Преимущества и недостатки заданий с кратким ответом
Слайд лекции
Комментарии
Открытая форма заданий: с кратким Объясните
название
ответом, со свободноконструируемым «открытая» форма.
ответом
1. ПЕРВЫМ ГРЕЧЕСКИМ ФИЛОСОФОМ
Почему
преподаватели
СЧИТАЕТСЯ ______ .
предпочитают
использовать
при тестировании задания с
2. ОСНОВНЫМ ЭЛЕМЕНТОМ ВСЕГО
РЕАЛЬНОГО МИРА ПИФАГОРЕЙЦЫ кратким ответом?
ПРИЗНАВАЛИ ___________ .
Почему
даже
знающие
студенты выполняют задания с
кратким ответом хуже, дольше,
4. УРАВНЕНИЕ МАЙЕРА ДЛЯ ПРОСТОЙ
неохотно?
3. ЕДИНИЦА МОЩНОСТИ – __________.
79
Слайд лекции
Комментарии
СИСТЕМЫ ИМЕЕТ ВИД ___________.
Попробуйте ответить на
5. КАТАЛИЗАТОРОМ СВЯЗИ АКТИНА И
приведенные задания
МИОЗИНА ЯВЛЯЕТСЯ __________.
6. ПЕРЕМЕЩЕНИЕ ИЗ ОДНОГО ОКНА ПК
В
ДРУГОЕ
ПРОИЗВОДИТСЯ
С
ПОМОЩЬЮ КЛАВИШИ ___________.
Основные элементы заданий
кратким ответом
Инструкция:
с


Поставьте НЕ или НИ.
Поставьте глагол в соответствующем
времени.
 Ответом
является
слово
или
последовательность слов, которую надо
записать в бланк для ответов №1 справа
от номера задания, начиная с первой
клеточки. Каждая буква пишется в
отдельной клеточке без пробелов.
несколькими разными
ответами, которые по сути
правильны, например,
используя синонимы (разными
способами – словами, фразами,
обозначениями). Сделайте
вывод о трудности
конструирования формы.
Проанализируйте примеры
инструкций, дайте им оценку,
сделайте предположение о
видах тестирования, в которых
применяются данные
инструкции.
Содержательная основа задания
Знание названий, фактов, свойств,
признаков,
дат,
причинноследственных отношений
ПЕРВАЯ СОЦИАЛ-ДЕМОКРАТИЧЕСКАЯ
ПАРТИЯ БЫЛА СОЗДАНА В ____ ГОДУ
Место для ответа
Число проверяемых элементов.
Предложите варианты
оценивания приведенных слева
КАЖДАЯ ПЛАНЕТА ОБРАЩАЕТСЯ ПО заданий. Какие сомнения у Вас
_______ , В ОДНОМ ИЗ ФОКУСОВ возникают при разработке
КОТОРОГО НАХОДИТСЯ ________
критериев оценивания?
ТРАПЕЦИЕЙ НАЗЫВАЕТСЯ ___________ ,
У
КОТОРОГО
_______
СТОРОНЫ
__________ , А ДВЕ ДРУГИЕ __________ .
80
2. Принципы конструирования заданий с кратким ответом
Слайд
Комментарии
1. Фасетности
Что значит запись в виде
{ФУГА}
№
{1}
ОР.
{87} «символьного» фасета?
{ШОСТАКОВИЧА}
НАПИСАНА
В
На каких условиях можно
ТОНАЛЬНОСТИ ____________
использовать расчетные задачи
ТОК СИЛОЙ {I} , ПРОХОДЯ ПО в тесте?
ПРОВОДНИКУ {R} , ЗА ВРЕМЯ {t}
СЕКУНД ВЫДЕЛЯЕТ
___________
ДЖОУЛЕЙ ТЕПЛА.
3. Параллельности
3 + 4 =?
3+5=?
3+6=?
3. Обратимости:
6 + 3 = ____
6 + ___ = 9
___ + 3 = 9.
Для
чего
создаются
параллельные задания?
Перечислите известные Вам
критерии
параллельности
вариантов.
Можно ли считать задания
параллельными,
если
они
разработаны
по
принципу
обратимости?
4. Логической определенности
ПЕРВЫМ ПРЕЗИДЕНТОМ
_________.
США
БЫЛ
5. Краткости
ЕХАЛИ МЕДВЕДИ НА ВЕЛОСИПЕ ___ .
6. Отказа от отрицания
ТОЧКОЙ НАЗЫВАЕТСЯ ТО, ЧТО НЕ
ИМЕЕТ _______ .
4. Основные ошибки, допускаемые при разработке заданий
данной формы
Слайд
Комментарии
Дополните:
Проанализируйте
задания,
СУЛЬФИДЫ ЖЕЛТОГО ЦВЕТА
отметьте
недостатки
в
НАЗЫВАЮТСЯ ____________,
конструировании.
СЕРОГО _________, БЕЗ МЕТАЛЛИЧЕСКОГО БЛЕСКА __________
КАНТ УСМАТРИВАЛ ОСНОВНУЮ
ЗАДАЧУ ФИЛОСОФСКОГО
ПОЗНАНИЯ В ________ __________
ЧЕЛОВЕЧЕСКИХ ЗНАНИЙ.
81
5. Элементы заданий на установления соответствия
Слайд
Комментарии
1. Установите соответствие:
ОТРЫВКИ ИЗ СТИХОТВОРЕНИЙ
1)Томит меня немая тишина,
Томит гнезда родного запустение.
2) Полночною порою в болотной тиши
Чуть слышно, бесшумно шуршат камыши.
3) Ворон канул на сосну, тронул сонную струну.
АВТОРЫ
А) Блок
Б) Фет
В) Бальмонт
Г) Бунин
Д) Пастернак
Е) Белый
Ответы: 1____, 2____, 3_____
2. Установите соответствие:
СТЕБЛИ
А) Ползучий
Б) Прямостоящий
В) Полегающий
А
Б
КУЛЬТУРА
1) Кукуруза
2) Свекла
3) Арбуз
4) Лен кудряш
5) Горох
В
6. Виды заданий на установление соответствия
Слайд
3. Установите соответствие:
СИНДРОМ
СИМПТОМ
1. Мозжечковый А) Атаксия
2. Вестибулярный
Б) Головокружение
В) Дисметрия
Г) Адиадохокинез
Д) Нистагм
Е) Рвота
Ж) Интенция
3) Сканированная речь
И) Нарушения в калорической пробе
К) Гипотония
Ответы: 1 – А, Б, В, Г, Д, Ж, 3, К
2 – А, Б, Д, Е, И
4. ГОМОЛОГИЧЕСКИЙ
РЯД
Алканы
Алкены
Алкины
Арены
ФОРМУЛА НАЗВАНИЕ
СН3ОН
С2Н6
С6Н6
СЗН6
С2Н2
С3Н8
Этан
Пропан
Пропен
Этин
Бензол
Пропин
82
Приведена ли в
данной записи
инструкция?
Основное назначение инструкции.
Назовите
все
элементы задания,
приведенные
в
данной записи.
Разработайте инструкцию для заданий под номерами
1, 2, 3. Назовите
виды тестов, в которых применяются данные формы
записи заданий
Комментарии
В чем трудности
использования
данного задания
по сравнению с
заданиями № 1,
№4?
Для каких целей
контроля больше
всего подходит
применение
заданий на
установления
соответствия?
Данной
разновидности?
Предложите
варианты
использования
матричных
заданий.
7. Трудности разработки заданий на установление соответствия
Слайд
Комментарии
Трудности оценивания.
Предложите варианты заданий
Трудности сопряжения.
на установление соответствия,
Область использования – текущий и которые
целесообразно
тематический
контроль
знаний. использовать при аттестации.
Самоконтроль.
8. Элементы
заданий
на
установление
правильной
последовательности
Слайд
Комментарии
1. Установить правильную последовательность: Назовите
элементы
задания, приведенные в
СОБЫТИЯ ФЕВРАЛЯ-ОКТЯБРЯ 1917
данной записи.
г.
VI съезд РСДРП (б)
отречение царя Николая II
приезд Ленина
создание Петроградского совета
взятие Зимнего дворца
Корниловский мятеж
ликвидация двоевластия
II съезд Советов
3. Установить правильную последовательность: Разработайте инструкции
для
заданий
на
установление правильной
КОМПЛЕКТОВАНИЕ КОЛЕСНОпоследовательности №№
МОТОРНОГО БЛОКА
А – напрессовать малую шестерню на вал якоря 1, 3.
Б – смонтировать моторно-осевые подшипники
В – установить колесную пару в корпус
двигателя
Г – установить большую шестерню на вал якоря
Д – отрегулировать зубчатую передачу
Е – установить кожухи редуктора
А
Б
В
Г
Д
Е
83
9. Виды знаний, контролируемые с помощью заданий
установления правильной последовательности
Слайд
Комментарии
Знание
событий,
фактов. Какие знания Вы проверяли бы
Установление правильной последова- в ходе аттестации с помощью
тельности
различных
действий, заданий
на
установление
операций, расчетов, и формирование правильной
в учебном процессе. Формирование последовательности?
алгоритмов правильной и эффективной деятельности особенно необходимо на заключительной стадии
профессиональной подготовки.
Основные требования к алгоритму: Не
забудьте
указать
должен быть понятен и доступен, направление
порядка
корректен с точки зрения цели и последовательности
содержания, однозначен и результа-  ЧЕРЕДОВАНИЕ КУЛЬТУР
тивен в процессе осуществления  ЗАПОЛНЕНИЕ ОРБИТАЛЕЙ
заданного числа шагов
ЭЛЕКТРОНАМИ
ЗАКОН ВСЕМИРНОГО ТЯГОТЕНИЯ
Какое знание проверяет данное
– квадрат расстояния
задание?
– обратно пропорциональный
В чем преимущество данной
– прямо пропорциональный
формы перед ЗТФ с выбором
– тело
одного правильного ответа?
– масса
– сила
– между
САМОКОНТРОЛЬ
1. Чем обеспечивается технологичность ЗТФ с кратким ответом,
установления соответствия, последовательности?
2. Почему задания с кратким ответом по сравнению с заданиями со
свободноформулируемым ответом сложны для конструирования?
3. Почему задания со свободноформулируемым ответом нельзя
отнести к ЗТФ?
4. Какие виды знаний целесообразно проверять заданиями с кратким
ответом, установления соответствия, правильной последовательности?
5. Почему задания на установления соответствия не рекомендуют
использовать для итогового контроля?
6. Какие формы заданий можно назвать «зарытыми»?
7. В чем трудности оценивания выполнения изученных форм
заданий?
84
Лекция 3. «Основные показатели качества тестового задания»
Планируемые результаты обучения:
 называть значение статистических методов обработки результатов
тестирования;
 анализировать качество теста по матрице результатов, а также с
использованием значений мер центральной тенденции результатов;
 объяснять смысл корреляционного анализа и полученных
значений;
 называть
основные
характеристики
тестового
задания,
основанные на корреляциях;
 объяснять понятия «трудность задания», «дифференцирующая
сила», «гомогенность теста», «вариация тестового балла»;
 оценивать значения статистических показателей при разработке
тестов и интерпретации результатов;
 характеризовать значения статистических показателей для
качества тестовых заданий;
 называть способы определения дифференцирующей силы
заданий;
 описывать суть дистракторного анализа;
 характеризовать значения корреляции результатов выполнения
задания с заданием.
1.
2.
3.
4.
5.
6.
7.
План
Значение статистических характеристик тестовых свойств
заданий.
Матрица тестовых результатов.
Меры центральной тенденции в характеристике теста.
Понятие корреляционного анализа, его значение в определении
качества заданий.
Дифференцирующая сила заданий.
Дистракторный анализ.
Понятие «тестовое задание».
Конспект содержания
1. Значение статистических характеристик тестовых свойств
заданий
85
Слайд лекции
Качество, объективность основаны на
научно
обоснованных
методах
разработки.
ЗТФ  ТЗ
Обязательность апробации
(проверки) на репрезентативной
выборке
Комментарии
Технологичность
при
разработке ЗТФ достигается за
счет правильного использования
______________ и корректности
________________ контроля.
2. Матрица тестовых результатов
Слайд лекции
Компактная
форма
записи
множества
элементов, связанных некоторой общностью
содержания.
Дихотомическое
оценивание
выполнения
задания.
Номера заданий  Испытуемые.
Сумма баллов – сырой балл (характеристика
испытуемого).
Сумма правильных ответов на одно задание
(характеристика задания).
Два упорядочивания.
NN
4
9
1
10
6
7
5
11
2
12
Rj
qj
pj
1
1
1
1
1
1
1
1
1
1
0
10
0,9
0,91
2
1
1
1
1
1
1
0
1
1
0
9
0,18
0,82
3
0
1
1
1
1
1
1
1
0
0
8
0,27
0,73
Номер задания (j)
4
5
6
8
1
1
1
1
1
1
1
1
1
1
1
0
1
1
0
0
1
0
0
1
1
0
1
0
0
1
1
0
1
0
0
0
0
0
0
0
0
0
0
1
8
6
6
5
0,27 0,44 0,44 0,55
0,73 0,56 0,56 0,45
Xi
7
1
1
0
1
0
0
0
0
0
0
4
0,64
0,36
9
1
1
0
0
0
0
0
0
0
0
3
0,73
0,27
10
1
0
0
0
0
0
0
0
0
0
2
0.82
0,18
9
9
6
6
5
5
4
4
2
1
61
Комментарии
Что
характеризует
сырой
балл
испытуемого?
Что
характеризует
сумма
правильных
ответов
на
одно
задание? От каких
факторов зависит эта
величина?
Почему
в
списке
испытуемых
отсутствуют №№ 3, 8?
Какие
задания
называют неинформативными?
Почему неинформативные задания удаляют из матрицы?
3. Меры центральной тенденции в характеристике теста
Слайд лекции
Комментарии
Какие показатели относятся к
мерам центральной
10 11 13 15 16 19 21 22
Балл
тенденции?
3
5
4
2
5
2
2
Частота 2
86
Слайд лекции
Комментарии
Назовите способы
определения среднего
арифметического, моды,
медианы.
10 11 13 15 16 19 21 22
Балл
Рассчитайте значение
3
5
4
2
5
2
2
Частота 2
среднего арифметического,
медианы и моды по
результатам сгруппированных
балов (табл. слева).
Постройте гистограмму распределения сырого тестового
балла по представленным в
таблице результатам.
Анализ качества теста по мерам В каких случаях получается
центральной тенденции ведется с двух бимодальное распределение
позиций:
баллов?
1. Подготовленность и качество Объясните причины
выборки.
получаемого тримодального
2. Качество теста.
распределения баллов по
результатам ЕГЭ (независимо
от предмета, региона)?
Аттестационный тест
содержит 60 заданий, оценивающихся дихотомически.
Каким должно быть значение
среднего арифметического?
Интервал баллов
Частота
Назовите таблицу слева.
13-14
6
Постройте на ее основе
15-17
10
гистограмму.
18-20
23
Чем
отличается
данная
21-23
38
гистограмма от предыдущей?
24-26
47
Каким
должно
быть
27-29
59
максимальное число разрядов
30-32
64
при построении гистограмм
33-35
62
36-38
38
такого рода.
39-41
44
Что называют полигоном
42-44
27
частот?
45-47
13
В каких случаях строится
48-50
8
полигон частот?
87
Слайд лекции
N
S x2 
 (X
i 1
i
 X )2
N 1
 N

N  X i2    X i 
i 1
 i 1

S x2 
N ( N  1)
N
Комментарии
Название
показателей,
характеризующих
меру
разброса
результатов
измерения
в
выборке
относительно
среднего
показателя.
Роль величины вариации
баллов
в
определении
качества
теста?
Уровня
подготовленности
испытуемых?
В каких случаях дисперсию
обозначают ?
Как рассчитывается значение
стандартного отклонения?
2
Если
проверка
согласованности Эмпирическое правило для
эмпирического
распределения
с проверки
нормальности
нормальным
дает
положительные распределения.
результаты, а дисперсия растет, это
означает, что происходит повышение
дифференцирующей способности теста
и процесс улучшения теста.
Рис. 2. Нормальное распределение
88
Слайд лекции
В любом нормальном распределении
(рис. 2) приблизительно:
1) 68% площади под кривой лежит в
пределах X 1Sx;
2) 95% площади под кривой лежит в
пределах X 2Sx;
3) 99,7% площади под кривой лежит в
пределах X 3Sx;
В
профессионально разработанных
нормативно-ориентированных
тестах
типичным является результат, когда
приблизительно
70%
учеников
выполняют правильно от 30 до 70%
заданий теста, а наиболее часто
встречается результат 50%.
N
As 
(X
i 1
i
Комментарии
Почему
отбрасываются
результаты
3-5%
испытуемых,
имеющих
самые высокие и самые
низкие баллы?
Согласуется
ли
это
с
правилами
составления
матрицы?
На рисунке слева приведена
кривая
распределения
результатов
тестирования
(полигон частот).
Что вы можете сказать об
уровне
подготовленности
испытуемых
относительно
предъявленных требований?
Какой
трудности
преобладали задания?
В каких случаях полученное
распределение модно считать
показателем
соответствия
целям контроля?
В чем отличие результатов,
представленных на рисунках
слева?
Сравните и проанализируйте
представленные данные.
 X )3
S x3  N
N
(X
Ex=
89
i 1
i
 X )4
S x4  N
3
Слайд лекции
Комментарии
4. Понятие корреляционного
определении качества заданий
Слайд лекции
анализа,
его
значение
в
Комментарии
Дайте
название
графику,
представленному на рисунке.
Предположите, с какой целью
изучается
данная
зависимость?
Как бы Вы оценили прочность
и
характер
взаимосвязи
результатов тестирования по
математике и физике?
Нарисуйте графики высокой
корреляции в случае прямой
связи,
обратной
связи.
Представьте график в случае
отсутствия корреляции. Чему
будет
равно
значение
коэффициента корреляции?
Приведите примеры высокой,
низкой, обратной корреляции
в педагогических измерениях.
Коэффициент
корреляции
одного Какой
тест
называют
задания с другим
гомогенным?
Какое значение корреляции
p jl  p j  p l
 jl 
предпочтительно в данном
p j  q j  pl  ql
случае?
Таблица 7 составлена на основании Какие
задания
следует
значений интеркорреляций 10 заданий. удалить? Почему?
Сделайте предположения о
причинах
неудовлетворительных корреляций.
90
Таблица 7
Матрица коэффициентов корреляции заданий
№№
1
2
заданий
1,0000 0,6667
1
3
4
5
6
7
8
9
0,5092
0,4082
0,3333
0,3333
0,2182
–0,4082
0,1667
2
0,6667
1,0000
0,2182
0,6124
0,0000
0,0000
0,3273
–0,1021
0,2500
3
0,5092
0,2182
1,0000
0,3563
0,2182
0,2182
–0,0476
–0,3563
–0,2182
4
0,4082
0,6124
0,3563
1,0000
0,4082
0,4082
0,5345
–0,1667
0,4082
5
0,3333
0,0000
0,2182
0,4082
1,0000
0,6000
0,6547
0,0000
0,5000
6
0,3333
0,0000
0,2182
0,4082
0,6000
1,0000
0,2182
0,0000
0,5000
7
0,2182
0,3273
–0,0476
0,5345
0,6547
0,2182
1,0000
0,3563
0,7638
8
–0,4082
–0,1021
–0,3563
–0,1667
0,0000
0,0000
0,3563
1,0000
0,6124
9
0,1667
0,2500
–0,2182
0,4082
0,5000
0,5000
0,7638
0,6124
1,0000
5. Дифференцирующая сила заданий
Слайд лекции
Комментарии
В каких пределах может
изменяться точечно-бисери
X 1  j  X 0  j ( N 0 ) j  ( N 1 ) j
альный коэффициент?
rpbis  j 
Sx
N ( N  1)
Какие показатели наиболее
существенно
влияют
на
значение коэффициента?
В том случае, когда в разности В каких случаях правильно
доминирует вклад среднего значения отвечают менее подготовбаллов незнающих учеников, задание ленные испытуемые?
следует просто удалить из теста. В нем
побеждают слабые ученики, а сильные
выбирают неправильный ответ либо
пропускают задание при выполнении
теста. Таким образом, подлежат выбросу
все задания, у которых rpbis<0.
Коэффициент дискриминативности
ДСЗ = рл – рх
1/3 – 1/4 выборки сверху и снизу
упорядоченной матрицы результатов.
Непрофессиональный способ
91
Слайд лекции
Комментарии
ДСЗ (%)
41-100
Оценка
Отличное задание для оценки
различия
в
подготовке
тестируемых
31-40
Хорошее
задание
для
дальнейшего использования
21-30
Желательна
дальнейшая
доработка.
Если
трудность
задания выше 80%, то задание с
такой ДСЗ можно оставить без
доработки
11-20
Критическое значение
–100 ч–10 Задание нельзя использовать
Критерии оценки ДСЗ
Геометрические образы заданий –
графики зависимости долей правильных
ответов
на
задание
от
уровня
подготовленности испытуемых.
Более тысячи испытуемых.
Балльные группы, с достаточным
числом испытуемых в каждой из них.
Создаются отдельные группы тех, кто
имеет только один балл, два, три и т.д.
по результатам выполнения всего теста.
На оси абсцисс откладывается значение
балльной группы, на оси ординат –
трудность данного задания в группе.
Проанализируйте
геометрические образы 5 заданий,
сделайте вывод о качестве
заданий.
Как
выглядит
геометрический образ идеального
задания?
1,2
Доля правильных ответов
1
0,8
0,6
0,4
0,2
0
1
3
5
7
9
11
13
15
17
Тестовые баллы
92
Слайд лекции
1. Чем
правее
на
плоскости
располагается график задания, тем
оно труднее для испытуемых.
2. Чем выше точка пересечения с осью
ординат, тем выше уровень догадки.
3. Чем круче кривая, тем эффективнее
работает
задание
на
данном
интервале измерения.
Шкала Гутманна
В параметрических моделях Бирнбаума
ДСЗ определяется по углу наклона
параметрической кривой.
6. Дистракторный анализ
Слайд лекции
Анализ распределения выбора ответа
испытуемыми
на
задание
теста
позволяет оценить, как «работает»
каждый из предложенных вариантов
ответа.
Анализ
осуществляется
несколькими способами. Особенности
построения матрицы результатов.
Сравнение
процента
учащихся
выбравших каждый предложенный
вариант ответа.
Следует обратить внимание на процент
тестируемых, которые по каким-либо
причинам не выполнили задание:
пропустили его или не успели
выполнить (не знают правильный
ответ; трудоемкое задание, задание
расположено в конце теста) и принять
соответствующие
меры
для
исправления ситуации.
93
Комментарии
Какие преимущества у этого
способа определения ДСЗ по
сравнению
с
расчетом
коэффициентов
дискриминативности и точечно-бисериального?
Как
можно
представить
геометрические
образы
заданий идеального теста?
Комментарии
Для заданий какой формы
используется дистракторный
анализ?
Почему важно определить
«неработающий» дистрактор?
Какой процент выбора ответа
является, с вашей точки
зрения,
значимым
для
решения вопроса о его
«работоспособности»?
Слайд лекции
Если
ответы
тестируемых
распределены почти равномерно между
всеми
предложенными
ответами,
включая правильный, то возможно, что
тестируемые
отвечали
наугад.
Подобное
распределение
ответов
может говорить о следующем: задание
плохо сформулировано и тестируемые
не
понимают
вопроса;
задание
проверяет то, что не изучалось; задание
не содержит правильного ответа.
rpb 
Задание
1
2
3
4
5
X  (X 0 ) j
Sx

(N0 ) j  N
( N1 ) j  ( N  1)
1-й
2-й
3-й
ответ ответ ответ
–0,1
–0,2
–0,2
0
–0,3
Комментарии
Если
испытуемые
распределились в выборе
вариантов ответа по 25%,
говорит ли это всегда о
плохом качестве задания?
Как доказать в таком случае
правильность
конструкции
задания?
–0,2
0,3
0,2*
–0,1
0,2*
0,3*
0,1*
0,1
0,1*
0,0
4-й
ответ
–0,2
–0,2
–0,2
0
0,3
Проанализируйте результаты
значений
точечнобисериального коэффициента,
полученные для 5 заданий.
Сделайте выводы о качестве
подбора
дистракторов.
Внесите
предложения
по
улучшению качества заданий.
7. Понятие «тестовое задание»
Слайд лекции
Комментарии
Тестовое задание - это составная Для
чего
проводится
единица теста, отвечающая требованиям калибровка заданий?
технологичности, чистоты формы и
предметного содержания и, кроме того,
статистическим требованиям:
1) известной трудности;
2) дифференцирующей способности;
3) положительной корреляции баллов
задания с баллами по всему тесту;
4) кумулятивным эффектом.
Из перечисленных требований вытекает
обязательность эмпирической проверки
заданий на выборочной совокупности
испытуемых и применения статистических методов обработки данных.
94
Слайд лекции
Задание
А
В
С
1
2
3
4
*
35
15
20
10
11
9
20
11
13
7
16
16
11
Трудность ДСЗ
(А+В+С) (А-С)
31
8
56*
4
37
-6
35
0
Комментарии
Упрощенная
процедура
анализа качества тестовых
заданий
Авторские тесты
САМОКОНТРОЛЬ
1. Что характеризует величина ДСЗ?
2. Назовите 4 способа определения ДСЗ.
3. Почему
значение
точечно-бисериального
коэффициента
недостаточно для полной информации о ДСЗ задания?
4. Какие корреляции определяют с помощью коэффициента
Пирсона? Почему редко пользуются ковариацией?
5. Почему для дистракторного анализа недостаточно рассчитать %
выбравших тот или иной ответ?
6. Чему равны значения моды, медианы, эксцесса, ассиметрии,
стандартного отклонения при значении среднего арифметического
результатов тестирования – 30 баллов для нормального распределения?
7. На конкретном примере покажите, почему для характеристики
трудности заданий лучше пользоваться долей неправильных ответов.
8. Нарисуйте кривую нормального распределения. На этом же
рисунке – кривую с отрицательной ассиметрией и положительным
значением эксцесса (больше 0).
9. Какие статистические величины используют для характеристики
качества тестового задания? Для калибровки заданий?
10.Как
определяется
оптимальная
длина
нормативноориентированного и критериально-ориентированного теста?
11.Почему тест не должен содержать меньше 30–40 заданий?
12.Почему значение коэффициента корреляции выполнения одного
задания с суммарным баллом должно быть высоким положительным, а
коэффициента корреляции результатов выполнения одного задания с
другим - низким положительным? Какие корреляции должны иметь
характер обратной связи?
95
13.Почему в тесте должны преобладать задания средней трудности?
14.Приведите примеры двух пар заданий с высокой и низкой
корреляцией по результатам их выполнения?
15.Как отразится на качестве теста одинаковость пропорций между
заданиями разной трудности?
16.Какие статистические показатели свидетельствуют об отклонении
результатов тестирования от нормального распределения?
17.Для какого вида тестирования допустимы отклонения от
нормального распределения? Почему?
18.По результатам тестирования получилось низкое значение
дисперсии. Ваши рекомендации по повышению качества теста.
19.По результатам экспертизы тест получил отличные оценки. После
апробационного тестирования выяснилось, что статистические
показатели говорят о его низком качестве. Почему такое возможно, и
возможно ли?
20.О какой характеристике задания можно судить по значению
коэффициента корреляции выполнения задания с результатами
тестирования? Какие значения может принимать коэффициент
корреляции?
21.Назовите возможные причины редкого выбора одного из
дистракторов в качестве правильного ответа?
22.Почему корреляция выбора правильного ответа с результатами
тестирования должна быть высокой положительной, а неправильного –
отрицательной?
23.Значение коэффициента корреляции выбора правильного ответа с
суммарным баллом имеет отрицательное значение. Назовите
возможные причины подобной ситуации.
24.Какой статистический показатель качества тестового задания
говорит о том, что было нарушено следующее правило: «Задания
должны быть понятны даже самому слабому ученику. Знающие
ученики должны отвечать на задание правильно, а незнающие неправильно».
25.Задание имеет корреляцию с итоговым баллом равную 0,25. В
каких случаях это задание останется в составе теста?
96
Лекция 4. «Тест как инструмент измерения.
Тест как измерительная система»
Планируемые результаты обучения:
 называть наиболее существенные признаки теста;
 обосновывать критерии теста как измерительной системы;
 истолковывать понятие тест как шкалу, результат, метод;
 характеризовать тест как систему;
 перечислять компоненты тестовых материалов;
 называть особенности тестов учебных достижений;
 определять принципы отбора содержания теста;
 перечислять и обосновывать критерии отбора содержания теста;
 перечислять содержание методического оснащения теста;
 объяснять назначение методического оснащения;
 называть правила разработки методического оснащения;
 описывать организационные условия тестирования.
План
1. Понятия тест и тестовые материалы.
2. Содержание теста как системообразующий фактор.
3. Тест как формальная система.
4. Время тестирования.
5. Методическое оснащение.
Конспект содержания
1. Понятия тест и тестовые материалы
 Тест – стандартизированное, часто ограниченное во времени
испытание, предназначенное для установления количественных и
качественных индивидуально-психологических особенностей.
(П.Клайн, 1996)
 Педагогический тест – комплекс заданий, измеряющих уровень
учебных достижений, обученности, прогресс в учебной деятельности,
эффективность учебного процесса.
(Т.М. Балыхина, 2000)
 Тест – это измерительная процедура, включающая инструкцию и
набор заданий, прошедшая широкую апробацию и стандартизацию.
(Словарь ЕГЭ, 2001)
 КИМ – это комплект тестовых заданий разного типа (открытых и
закрытых), подготовленных для апробации.
(Словарь ЕГЭ, 2001)
 КИМы – стандартизованная экзаменационная работа, создаваемая
в соответствии с требованиями теории педагогических измерений,
97
позволяющая с достаточной объективностью и надежностью провести
независимую государственную аттестацию выпускников ОУ и отбор
абитуриентов в вуз.
(А.О. Татур. 2002)
 Тесты представляют собой совокупность заданий, которые
позволяют дать объективную, сопоставимую и даже количественную
оценку качества подготовки обучаемого в заданной образовательной
области.
(М.Б. Челышкова, 2002)
 Тест обученности – это совокупность заданий, сориентированных
на определение (измерение) уровня (степени) усвоения определенных
аспектов содержания обучения.
(П.И. Подласый, 2003)
 Педагогический тест – система специально подобранных
проверочных заданий, составленных по тестовой форме, позволяющая
количественно оценить учебные достижения человека в одной или
нескольких областях знаний.
(Проект отраслевого терминологического стандарта, 2004)
 Тест – это инструмент, состоящий из квалиметрически
выверенной системы тестовых заданий, стандартизированной
процедуры и заранее спроектированной технологии обработки и
анализа результатов, предназначенный для измерения качеств и свойств
личности, изменение которых возможно в процессе систематического
обучения.
(А.Н. Майоров, 2002)
Слайд лекции
Воспитание, педагогика,….. тест
В систему основных определений
включаются признаки, отличающие
тестирование от всего того, что
нередко выдается за него.
Неоднозначная трактовка.
Не выработаны устойчивые и
однозначные
определения
многочисленным
понятиям
и
технологическим операциям.
Выбор
рассматриваемых
определений отражает наиболее
существенные явления и процессы в
сфере современного тестирования.
98
Комментарии
Почему
важно
знать
определение термина тест?
Для чего уточняется понятием
педагогический?
Что измеряет дидактический
тест?
Цели и результаты образования?
Что понимают под учебными
достижениями?
Какие признаки отмечены в
большинстве определений?
Почему тест нельзя трактовать
как перевод слова испытание,
проба?
Слайд лекции
Тестирование – целенаправленное,
одинаковое для всех испытуемых
обследование, проводимое в строго
контролируемых условиях и
позволяющее объективно измерить
изучаемые характеристики
испытуемого и педагогического
процесса.
Стандартизация: условий,
результатов.
Спецификация
Методическое оснащение
Эффективный тест – это
стандартизированный измерительный
инструмент, тщательно научнометодически разработанный и
проверенный на репрезентативной
выборке, удовлетворяющий
требованиям:
 высокой степени надежности и
валидности,
 дискриминативности,
 наличия нормативных данных или
критериев,
 использования шкалы интервалов.
Помимо системы заданий, описание:
 назначения теста;
 структуры системы заданий;
 данных об особенностях и
репрезентативности выборки
контингента обследуемых, на
котором апробировался тест;
 основных нормативов,
критериальных оценок или
получаемых при апробации
результатов;
 сведений о надёжности
валидности результатов;
 методического оснащения.
99
Комментарии
Ключевое слово в данном
понятии,
что
отличает
тестирование от других форм
контроля,
_____________________.
Можно ли использовать одну
систему заданий на разных
выборках, в разное календарное
время, для разных целей?
Будут ли результаты
достоверны?
Слайд лекции
Комментарии
Дефиниция тест имеет два основных Разделите по этому признаку
подхода к определению: широкое – как предложенные
выше
метод контроля и более узкое – как определения теста на две части.
система заданий.
Тестовые материалы (КИМы, ПДТМы,
АПИМы).
2. Содержание теста как системообразующий фактор
Слайд лекции
Комментарии
По мнению Н.Ф. Талызиной, контроль Назовите подходы к отбору
учебных
достижений
учащихся содержания с точки зрения
«должен быть проведён по всем интерпретации
получаемых
характеристикам знаний и умений, результатов?
которые
предусмотрены
целью Можно ли проверять знания,
обучения как в отношении вида которые
испытуемыми
не
психической деятельности – уровня изучались? Не запланированы в
памяти, мышления и т.д., так и в программах,
планах,
отношении их качеств – обобщённость, стандартах?
сознательность и т.д.
Содержание высшего
Где и в какой форме отражено
профессионального образования –
содержание ВПО?
специально отобранная и признанная Как выбирается содержание
обществом (государством) система
контроля
в
ходе
элементов объективного опыта
государственной
аттестации
человечества, усвоение которой
студентов?
необходимо для успешной
профессиональной деятельности
индивида в избранной им сфере и в
общем процессе жизнедеятельности,
повышения качества жизни.
Минимально
достаточное
число
заданий
Оптимальное отображение содержания Что
значит
учебной дисциплины в системе отображение?
тестовых заданий.
100
оптимальное
Слайд лекции
Использование определенной методики
отбора, включающей вопросы
целеполагания, планирования и оценки
качества содержания теста.
Комментарии
Почему этап целеполагания
является исходным в
разработке теста?
Какие цели контроля чаще Вы
преследуете при тестировании?
В своей педагогической
практике?
Какие подходы целесообразно
использовать для
целеполагания?
Назначение, содержание,
структура кодификатора.
1. Значимость.
Структурные, Если ученик выполнил 90 %
ключевые.
заданий теста, правильно ли
2. Научная
достоверность. говорить, что он знает 90 % из
Объективно истинное знание.
содержания
данной
3. Соответствие содержания теста дисциплины?
уровню современного состояния
науки.
4. Репрезентативность.
5. Комплексность и
сбалансированность содержания
теста.
6. Взаимосвязь содержания и формы.
Доказательства, обширные
вычисления, многословные описания.
7. Трудность задания и теста.
8. Соответствие цели.
9. Логические
и
семантические
требования.
Нет
таких
тестов,
содержание
которых вбирало бы в себя все
содержание учебной дисциплины.
Не все отобранное содержание
трансформируется в тестовые
задания. Отсюда следует вывод о том,
что тест не может стать
универсальным средством измерения.
101
Слайд лекции
Задания, входящие в тест, объединяет
общая принадлежность к одной
учебной дисциплине.
Гомогенный педагогический тест.
Содержание теста проходит экспертизу
у опытных педагогов, которые
призваны дать ответ на главный вопрос,
можно ли с помощью предложенных
заданий корректно оценить
содержание, уровень и структуру
знаний у данного контингента
испытуемых?
3. Тест как формальная система
Слайд лекции
В.С. Аванесов рассматривает тест как
творческое соединение метода и
правильно интерпретированных
результатов его применения.
Система заданий возрастающей
трудности.
Статистические характеристики
заданий и испытуемых.
Качественный тест образует шкалу,
числовую систему (рис. 5).
При нарушении в системе – замене,
исключении, дополнении заданий,
она разрушается с потерей своих
качеств.
E
А
B
C
D
А
а
Рис. 5. Сопоставление
трудности
А
заданий и уровня подготовленности
испытуемых
102
Комментарии
На
основании
каких
показателей можно оценить
системность
заданий
гомогенного теста? (шкала
гетерогенного теста)
Комментарии
Чем отличается трудность от
сложности задания?
Приведите примеры легких, но
сложных заданий, трудных, но
простых.
Почему трудность заданий в
тесте должна быть разной?
Почему тест нельзя
формировать путем случайного
набора из банка заданий?
Калибровка заданий
Задания
какой
трудности
должны преобладать в тесте?
Каких испытуемых называют
«недомеренными»?
Что
необходимо
изменить,
чтобы
дифференцировать
подготовку испытуемых C и D?
Слайд лекции
Тест, как система, обладает составом,
целостностью и структурой.
Задания, правила их применения,
оценки за выполнение каждого задания
и рекомендации по интерпретации
тестовых результатов.
Целостность означает взаимосвязь
заданий. У каждого задания теста своя
роль.
Структуру теста образует способ связи
заданий между собой. Каждое задание
связано с другими через общее
содержание и общую часть вариации
тестовых результатов.
Факторный анализ.
4. Время тестирования
Слайд лекции
Рис. 6. Определение оптимального
времени тестирования
5. Методическое оснащение
Слайд лекции
Методическое оснащение – составная
часть тестовых материалов, которая
состоит из комплекта сведений,
инструкций и рекомендаций, которые
в комплексе обеспечивают всем
испытуемым равные условия на всех
этапах тестирования.
103
Комментарии
Комментарии
Как
первоначально
определяется примерное время
тестирования?
Почему при недостатке времени
и
избытке
дисперсия
результатов
имеет
низкое
значение (рис.6)?
Комментарии
От каких факторов зависит
подбор методического оснащения
для
разных
случаев
контроля?
Если один и тот же тест
предъявлялся разным выборкам
в разных условиях, можно ли
сопоставлять
полученные
результаты?
Индивидуальное и групповое
тестирование.
Слайд лекции
Формы
представления
заданий
и
занесения
испытуемыми.
Комментарии
учебных Преимущества и недостатки.
ответов В каком случае меньше
случайных ошибок?
Какой способ более точный и
объективный?
Правила разработки бланка ответов:
 простота формы ответа;
 технологичность занесения ответа;
 не перегружать знаками,
информацией;
 наличие инструкций;
 наличие места для регистрации
испытуемого;
 возможность исправления
неправильного ответа;
 примеры выполнения заданий;
 удобства в обработке информации.
Состав инструкции для ведущего:
 условия проведения контроля;
 материалы и приборы, требуемые
для проведения, порядок их
размещения и предъявления;
 временные ограничения;
 инструкция при выполнении
заданий различных форм;
 поведение во время процедур
контроля (что обязаны и могут
делать, что запрещается);
 описание ответов на возможные
типичные вопросы;
 необходимая квалификация для
лиц, проводящих процедуры
контроля (включая проверку, анализ);
 вопросы конфиденциальности и
доступа к информации.
104
Слайд лекции
Комментарии
Требования к личности ведущего:
 понимание цели контроля;
 компетентность в проведении
сеанса контроля;
 умение
контролировать
себя,
эмоциональная
уравновешенность,
общительность, тактичность.
Состав инструкции для испытуемого: Зачем в
инструкции
для
испытуемых
необходимо
 описание назначения контроля;
помещать предупреждения?
 правила заполнения бланков
(тетрадей, выполнения практических
заданий, занесения ответов в
программу компьютера);
 образцы решения заданий
различных форм;
 образцы исправления неверно
выполненных заданий;
 права студентов при выполнении
заданий;
 что запрещено делать, и какие
санкции последуют при нарушении
правил.
Разработка требований к условиям
проведения контроля:
 объем помещения;
 освещенность;
 вентилируемость;
 уровень
шума,
акустические
требования;
 обеспечение материалами и
инструментарием в необходимых
количествах (полуторократный
запас);
 обеспечение удобной мебелью;
 обеспечение свободного подхода
ведущего к каждому испытуемому;
 оборудование места ведущего с
максимальным обзором;
105
Слайд лекции
 благоприятное время суток для
проведения контроля;
 предварительная
проверка
готовности.
Комментарии
САМОКОНТРОЛЬ
1. Почему четкое определение понятия тест очень важно в теории
ПИ?
2. Чем объясняется существование большого числа определений
теста?
3. Какими критериями следует руководствоваться в практической
деятельности при анализе качества теста?
4. Признаки псевдотеста.
5. Что понимают под системой?
6. Какие признаки теста указывают на то, что это система?
7. Признаки дидактического теста. Существенные отличия от
понятия тест учебных достижений.
8. Для каких целей контроля Вы разрабатываете тесты? Какой смысл
Вы вкладываете в понятие диагностический тест?
9. В чем отличия понятий тест в широком и узком смысле?
10. Какие процедуры в разработке теста необходимо выполнить до
момента разработки заданий в тестовой форме?
11. Почему некоторые тестологи критериально-ориентированные
тесты не относят к классическим тестам? Назовите цель классических
тестов.
12. Почему по результатам нормативно-ориентированного теста
нельзя судить об успешности овладения знаниями в предметной
области?
13. Для каких целей при входном контроле разрабатываются тесты с
нормативно-, индивидуально-, предметно-, критериально-ориентированными подходами?
14. Выделите уровни диагностического тестирования. Как они
используются в Вашей педагогической практике?
106
Лекция 5. «Критерии качества теста.
Стандартизация педагогических измерений»
Планируемые результаты обучения:
 объяснять смысл понятия надежность, валидность результатов;
 называть отличия и указывать связь понятий валидности и
надежности;
 классифицировать и анализировать ошибки педагогических
измерений;
 называть
способы
повышения
надежности
результатов
тестирования;
 характеризовать методы определения качества тестовых
материалов;
 показывать на примерах разницу между критериальной и
содержательной валидностью;
 называть способы определения валидности педагогических
тестовых материалов;
 объяснять понятия стандартизация, норма;
 вычислять Z-оценку и переводить ее в оценки по другим шкалам;
 перечислять этапы конструирования теста;
 обосновывать порядок разработки теста;
 называть отличия процессов конструирования тестов разных
уровней использования.
План
1.
2.
3.
4.
Понятие надежности тестовых результатов.
Методы определения надежности.
Валидность тестовых результатов.
Виды валидности, устанавливаемые для педагогического
тестирования.
5. Стандартизация результатов тестирования.
6. Этапы разработки тестовых материалов.
7. Обсуждение итогов обучения по теоретическому курсу.
107
Конспект содержания
1. Понятие надежности тестовых результатов
Слайд лекции
Эффективным можно назвать тест,
если он лучше, чем другие тесты,
измеряет те свойства, для которых
предназначен, с меньшим числом
заданий, качественнее, технологичнее.
Показатели, свидетельствующие о
качестве теста.
Измерения
Смысл
русского
слова
«НАДЕЖНОСТЬ».
Английский
перевод
=
устойчивость
+
приемлемая точность + доверие.
Надежен, если он имеет высокую
ковариацию выполнения задания j c
истинным показателем.
Nunnally, (1978)
rjT  rji
Измерение латентных качеств
Аксиомы педагогических измерений:
1. О существовании интересующего
признака.
2.
Устойчивого
существования
интересующего
признака
и
возможности представления в виде
непрерывной, измеряемой величины.
3. О существовании истинного
значения интересующего признака
Xi = Ti + Ei
X TE
108
Комментарии
Назовите
признаки
эффективного педагогического
теста и его структурные
элементы.
Критерии
качества
измерительных инструментов.
Особенности
объектов
педагогического измерения.
Какую
оценку
называют
объективной?
От
чего
зависит
степень
объективности оценки?
Почему речь идет не просто о
надежности измерения, а о
надежности
результатов
измерения?
Приведите примеры ошибок
разного рода.
Какого
рода
ошибки
допускаются при использовании
качественного теста?
Как
можно
определить
величину ошибки измерения?
Использование формы заданий,
не
соответствующей
содержанию контролируемого
материала приводит:
1) к промаху
2) случайной ошибке
3) систематической ошибке
Слайд лекции
4. О случайном характере
погрешностей измерений.
Для
пояснения
этой
аксиомы
используйте модель нормального
распределения.
Комментарии
Зависит ли величина ошибки от
степени выражения измеряемого
признака
у
испытуемого?
Укажите примерное значение
коэффициента корреляции.
Как часто встречаются ошибки в
результатах измерения одним и
тем же инструментом
5. Аксиома независимости значений
истинных и ошибочных компонентов
измерений.
Формула Rulon
Математический
смысл
s
s
1
rxx
2
e
2

x
s
s
2
t
2
x
Можно ли
практике
надежности?
st2
 2
sx
Определение доверительного
интервала
S E  S X 1  rí
sE2
rí  1  2
sx
(Xi – 1,96·SE; Xi + 1,96·SE),
Для примера тестовых результатов
коэффициент надежности – 0,78 и
стандартное отклонение Sx=2,62, по
формуле получится
SE = 2,62  1–0,78 = 1,23
Тогда доверительный интервал для
истинного балла
ученика со
значением Хi=6 будет
(6–1,96·1,23; 6+1,96·1,23)
109
использовать на
для
расчета
Слайд лекции
Источники неудовлетворительной
надежности:
 профессионализм;
 качество инструментария;
 статистическая регрессия;
 изменение людей в процессе
измерения;
 отбор испытуемых;
 значимость индикатора и его
смещение;
 отбор испытуемых;
 различная мотивация участников;
 групповая фальсификация
результатов;
 изменение группы под влиянием
отношений окружающих, вызванных
экспериментальным воздействием;
 изменение группы в процессе
проведения эксперимента;
 социально-территориальные
особенности групп.
Надежность и длина теста
rí 
krí
rí 
1  (k  1)rí
2. Методы определения надежности
Слайд лекции
Число сеансов
тестирования
один
два
Необходимое число форм теста
одна
Комментарии
две
Метод расщеп- Метод
взаимоления на эк- заменяемых форм
вивалентные
непосредственный
половины
(табл.8)
Формулы KR
Метод
«тест- Метод
взаиморетест»
заменяемых форм
(отсроченный)
110
3  0, 7
 0,88
1  (3  1)  0, 7
Комментарии
Недостатки
ретестового
метода для педагогического
тестирования.
Промежуток
времени,
оптимальный для повторного тестирования.
Назовите методы измерения
надежности для аттестационного теста, вступительных испытаний, итогового
контроля?
Таблица 8
Расчет числа ошибок при сравнении половин теста
Сумма баллов в Сумма баллов в
№№
нечетных номерах четных номерах
е
испытуемых
заданий (Х)
заданий (Y)
5
4
1
1
4
4
0
2
4
3
1
3
2
4
-2
4
3
3
0
5
3
2
1
6
3
2
1
7
3
2
1
8
3
1
2
9
1
3
-2
10
2
1
1
11
1
1
0
12
1
0
1
13
35
38
5
:
Слайд лекции
Ошибки профилей испытуемых
r  1-
е2
1
0
1
4
0
1
1
1
4
4
1
0
1
19
Комментарии
Расчет
надежности
с
использованием
данных
таблицы 8.
e
Nk
N
rKR  20
k

(1 
k 1
p
j 1
j
S x2
qj
)
3. Валидность тестовых результатов.
Слайд лекции
Комментарии
Степени соответствия понятиям, Если
уменьшить
время
которые измерения должны отражать. тестирования, то как изменится
Интересоваться валидностью – то же объект измерения?
самое, что интересоваться,
действительно ли с помощью данного
измерения мы измеряем то, что
111
Слайд лекции
предполагали измерять.
Исчерпывающее и полное измерение.
Измерение
начинается
с
операционализации.
Валидность чего?
Валидность устанавливается
относительно характеристики,
признака, величины, принимаемой за
объективную.
Валидность результатов зависит не
только от содержания и формы теста,
но и от условий его применения.
Роль разработчиков, выборки
заданий, выборки испытуемых.
О критериях валидности. Главный
критерий – мера обоснованности
результатов тестирования.
На концептуальном уровне основной
критерий – мнение преподавателейпредметников, разработчиков заданий
в тестовой форме. В этом случае
валидность основана на субъективной
убежденности (вере) в адекватности
заданий для поставленной цели.
На экспертном уровне Этап эмпирической проверки
фактической адекватности тестовых
результатов поставленной цели.
Корреляционные исследования.
Другие критерии валидизации –
объективность измерения;
достоверность и полнота результатов;
справедливость (test fairness):
актуальность (своевременность); мера
полезности (или бесполезности)
результатов; новизна.
112
Комментарии
4. Виды валидности, устанавливаемые для педагогического
тестирования
Слайд лекции
Комментарии
Сущность каждого из видов
Валидность
валидности
(рис.
7)
для
педагогических измерений?
Критериальная
Конструктная
Содержательная
От каких факторов зависит
каждый вид валидности?
Текущая
Прогностическая
Рис. 7. Виды валидности
Методы
определения
валидности (по рис. 8)
Валидность
Не определяется
Определяется
качественно
Определяется
количественно
Рис. 8. Способы определения
валидности
 Диагностируемая валидность –
способность теста дифференцировать
испытуемых
по
изучаемому
признаку.
 Прогностическая валидность –
степень обоснованности и статистической надежности исследования
измеряемого качества в будущем.
 Содержательная
валидность
отображает комплекс сведений о
репрезентативности
тестовых
заданий измеряемым.
 Функциональная валидность –
соответствие
задания
уровню
усвоения контролируемых знаний.
 Критериальная валидность связана
с
направленностью
теста
на
измерение знаний по тем или иным,
заранее определенным критериям,
например, соответствие требованиям
стандарта.
113
Для какого вида контроля
наиболее
существенны
приведенные виды валидности?
Опишите способы определения
каждого из названных видов
валидности.
Слайд лекции
Количественное оценивание валидности
Рис. 9. Количественная валидность
Корреляционный
анализ
Консенсуссная
Конвергентная
Факторный
анализ
Эмпирическая
Комментарии
Приведите примеры тестов,
определение
валидности
которых
основано
на
корреляционном
анализе
(рис.9).
Факторная
Дискриминантная
Консенсусная валидность – данные
второго ряда получают от внешних
экспертов.
Эмпирическая валидность – данные
второго ряда получают по известной
методике. ШТУР по результатам
теста Амтхауера, оценкам.
Конвергентная
валидность
–
проверка прямой или обратной связи.
Дискриминантная валидность –
проверка отсутствия связи.
Для тестов учебных достижений
способы
определения
внешнего
критерия – методы коллективной
оценки, средневзвешенной оценки,
ранжирования и парного сравнения.
5. Стандартизация результатов тестирования
Слайд лекции
Комментарии
Получение нормы, шкалы оценки, Назовите аспекты стандартикоторая служит основанием для зации тестовых материалов.
определения
уровня
владения
темами, что выясняет данный тест.
114
Слайд лекции
Фамилия
Иванов А.
Петрова Б.
физика
35
50
Комментарии
Почему в качестве отметок не
используются сырые тестовые
баллы?
русский язык
35
23
Чем
отличаются
кривые
распределения результатов по
русскому языку и физике
(рис.10)?
Средний балл по физике – 42,
стандартное отклонение – 8.
По русскому соответственно –
26 и 5.
Рис. 10. Процедуры нормирования
Как рассчитывается стандартное
отклонение?
Фамилия физика вычисления Z-оценка
Иванов А.
35
(35–42)/8
–0,9
Петрова Б.
50
(50–42)/8
1
Фамилия
русский вычисления Z-оценка
Иванов А.
35
(35–26)/5
1,8
Петрова Б.
21
(23–26)/5
–0,6
Рис. 11. Представление
стандартизированных результатов
тестирования
115
Анализ стандартизированных
показателей
на
кривой
нормального
распределения
(рис. 11).
Сколько процентов испытуемых
имеют по физике баллы от 36 до
42? От 42 до 50?
Если Z-оценка – 3, каков
процентильный ранг
испытуемого?
Пределы значений Z-оценки.
Таблица 9
Результаты тестирований в стандартных шкалах
Фамилия
Иванов А.
Петрова Б.
Фамилия
Иванов А.
Петрова Б.
физика
Z-оценка
35
50
–0,9
1
русский
Z-оценка
35
23
1,8
–0,6
Слайд лекции
Перевод в другие стандартные шкалы
Оценка = А + В*Z
Т-оценка = 50 + 10*Z
Лучше
выполняют (%)
82
16
Лучше
выполняют (%)
5
77
Комментарии
Требования к выборке
при установлении норм?
6. Этапы разработки тестовых материалов
Слайд лекции
Комментарии
Опыт разработки за рубежом От каких факторов зависит
(центры, группы, 10-12 специаль- алгоритм разработки тестовых
ностей)
материалов?
Отличается ли содержание работ
при разработке тестов разных
подходов
по
интерпретации
результатов?
1. Определение цели тестирования, выбор программ обучения,
целевой группы, вида теста и подходов к его созданию. Исходя из
ресурсных возможностей, выбирается способ предъявления: тестовые
тетради, бланки, компьютерный, практический, аппаратный.
2. Анализ содержания учебной дисциплины, логическое
структурирование учебной информации, конкретизация учебных целей.
Задача: последовательное дробление содержания предмета на
конкретные учебные элементы, характеристика смысловой структуры
учебного элемента, раскрытие смысла его анализа, поиск смысловых
отношений между учебными элементами и способов применения
учебного элемента в различных ситуациях. Разработка кодификатора
контролируемой предметной области знаний. Выбор и утверждение
методик конструирования, проведения тестирования, технологий
116
интерпретации полученных результатов. Утверждение плана работы,
варианта определения норм. Назначение исполнителей.
3. Разработка спецификации теста. Определение структуры теста,
ориентационной меры трудности, длины теста. Отбор учебного
материала для теста – содержание контроля. Конструирование
технологической матрицы. Экспертное оценивание, соответствие
матрицы целям, генеральной выборке испытуемых, запланированной
длине. Оценка содержательной полноты плана.
4. Сбор идей, черновых материалов. Составление заданий по
модели теста, их должно быть в два-три раза больше запланированного
числа.
5. Апробация для проверки формулировок открытых вопросов на
выборке в 30-50 человек разного уровня подготовки. По ответам
необходимо определить конкретность вопросов, их понятность
испытуемым. Также необходимо провести апробацию для выявления
ошибок, опечаток в текстах всех заданий. Параллельно может идти
определение времени, необходимого для выполнения отдельных
заданий и теста целиком. Выборка может быть небольшой, включать
только лучших учащихся.
6. Внесение изменений в задания, выбраковка, конструирование
теста из числа оставшихся согласно структуре и стратегии
предъявления, отображенной в спецификации. Предлагается создавать
тесты с большим числом заданий, что отражено в спецификации, или
несколько вариантов одного.
7. Проведение экспертизы заданий в тестовой форме, исправление
ошибок, коррекция спецификации. Желательна повторная экспертиза.
8.
Разработка
методики
апробационного
тестирования:
построение выборки, разработка инструкций для проведения
тестирования.
9. Апробация, по результатам которой необходимо провести
математико-статистическую обработку данных: выявить меры
центральной тенденции, приближенность результатов к нормальному
распределению, что особенно важно при нормативно-ориентированном
тестировании. Из показателей, характеризующих качества заданий,
наиболее важно определение трудности, дифференцирующей силы
заданий. Проведение дистракторного, корреляционного и факторного
анализа.
10. Чистка теста: удаление неинформативных заданий: с низкой
дискриминативностью, заданий, с которыми все справились, либо никто
не выполнил. Корректировка заданий, теста, замена дистракторов.
Переработка плана, возможно, спецификации. Выбор оптимальной
117
длины и времени тестирования. Переработка инструкций и создание
методического оснащения теста.
11. Апробация исправленного варианта теста. Анализ и
интерпретация результатов с целью определения качественных
показателей
нового
варианта.
При
получении
достаточно
удовлетворительных оценок переходят к следующему этапу. В
противном случае придется повторить этапы, направленные на
улучшение системообразующих свойств теста.
12. Определение качественных показателей теста: надежности и
валидности. Для апробации важна репрезентативность выборки. Она
должна быть тщательно выверена и сбалансирована по всем возможным
стратам.
13. Стандартизация в аспекте получения норм или валидизации
критериального балла. Цель апробации предъявляет высокие
требования к выборке, должна максимально соответствовать по составу
генеральной совокупности обучающихся, т.е. репрезентативной. Объем
выборки определяется несколькими способами.
Перечисленные этапы составляют полный алгоритм разработки
стандартизированного теста, который при определенных условиях
можно редуцировать. Есть целый ряд задач, где возможно
использование так называемых авторских тестов: организация
самоконтроля, текущего контроля, проверка теоретических знаний в
ходе рубежного контроля в системе рейтинга, модульного обучения.
А.Н. Майоровым сделана попытка обосновать условия, которые
необходимо учитывать при конструировании тестов разного уровня
использования
в
образовании.
Им
выделены
особенности
конструирования тестов «по широте использования» и предложены
схемы этапов разработки (табл.10). Уровни использования:
1. Преподавателем для профессиональных нужд,
2. Для внутренних нужд образовательного учреждения,
3. Для
проведения
вступительных
испытаний
и
с
административными целями,
4. Для итоговой аттестации, самое широкое административное
использование.
Анализ предложенных уровней и сопоставление их с целями
дидактической диагностики позволили объединить два последних
уровня как не отличающихся принципиально по условиям организации,
процедурам и требованиям к конструированию теста.
На первом уровне основное назначение тестирования –
установление степени подготовленности обучающегося относительно
требований программ и определенных технологий обучения, т.е. на
118
первый план выходит критериальность. При этом тест может быть не
нормирован и даже не стандартизирован в аспекте отсутствия
методического оснащения. Проведение и анализ полученных
результатов обеспечиваются одним преподавателем с единых
внутренних позиций. Задачи таких измерений узкоспециальные.
На втором уровне количество пользователей и время
существования одного теста расширяются, появляется необходимость в
разработке инструкций, привлечении специально подготовленных
людей для проведения теста и интерпретации результатов. Возможно,
потребуется нормирование теста.
Таблица 10
Схема этапов составления тестов учебных достижений для тестов
разного уровня применения
Уровень
применения
1. Определение
целей
тестирования
2. Определение
ресурсных
возможностей
разработчиков
3. Отбор
содержания
учебного материала
4. Конструирование
технологической матрицы,
ее экспертиза
5. Составление
тестовых
заданий и их экспертиза
6. Построение выборки для
апробации
заданий
и
тестов
7. Компоновка заданий для
апробации
8. Апробация
тестовых
заданий
9. Определение и расчет
показателей
качества
тестовых заданий
10. Отбраковка заданий и
составление теста
Для
профессиональных нужд
Для
внутренних
нужд
Для итоговой
аттестации,
вступительных
экзаменов и
административ
ных целей
обязательно
обязательно
обязательно
нет
необходимости
желательно
обязательно
обязательно
обязательно
обязательно
желательно
обязательно
обязательно
обязательно
обязательно
обязательно
нет
необходимости
обязательно
обязательно
обязательно
обязательно
обязательно
обязательно
обязательно
обязательно
желательно
желательно
обязательно
обязательно
обязательно
обязательно
119
Продолжение таблицы 10
Уровень
применения
11. Апробация теста
12. Определение и расчет
показателей качества теста
13. Составление
окончательного варианта
теста
14. Стандартизация теста
15. Нормирование теста
16. Оснащение теста
Для итоговой
аттестации,
вступительных
экзаменов и
административ
ных целей
обязательно
Для
профессиональных нужд
Для
внутренних
нужд
желательно
нет
необходимости
желательно
нет
необходимости
обязательно
обязательно
обязательно
обязательно
обязательно
нет
необходимости
обязательно
желательно
обязательно
нет
необходимости
нет
необходимости
нет
необходимости
обязательно
7. Обсуждение итогов обучения по теоретическому курсу
Заполнение таблицы 6, работа на которой была начата на лекции
1. Рефлексия приобретенных знаний.
САМОКОНТРОЛЬ
1. Какие значения может принимать коэффициент надежности?
2. Если оценка полностью объективна, чему равна надежность
измерения?
3. Если при повторном тестировании параллельными вариантами
не изменились ранги испытуемых, можно ли считать надежность
измерения абсолютной?
4. Почему надежность не рассчитывают по классической формуле
Рюлона?
5. Почему для определения надежности одного теста используют
несколько методов?
6. Как можно рассчитать доверительный интервал измерения по
результатам тестирования?
7. Некоторые авторы считают, что для дидактического теста не
существует надежности, т.к. при повторном измерении в любом случае
результаты не повторятся в силу постоянных изменений. Почему Вы
(не) поддерживаете данную точку зрения?
120
8. Описать, проиллюстрировать взаимосвязь надежности и
валидности.
9. Показать на примерах разницу между критериальной и
содержательной валидностью.
10. Описать процедуры для оценки разных форм валидности и
указать на положительные и отрицательные стороны каждой из
процедур.
11. В каких случаях необходимо получение норм для теста?
12. Что означают понятия репрезентативность, рандомизация,
стратификация выборки, генеральная и выборочная совокупность?
13. Каким образом оценки по 100-балльной шкале переводят в
пятибалльную систему?
14. Если варианты КИМов ЕГЭ отличаются по суммарной
трудности заданий, каким образом шкалировать результаты и
сравнивать оценки, полученные по разным вариантам?
15. Кто
описал
процесс
создания
теста
формулой
«ЗТФ→ТЗ→тест»?
16. Чем отличается порядок разработки тестов с нормативноориентированным и критериально-ориентированными подходами?
121
Содержание практического курса раздела
«Конструирование тестовых материалов»
Практическая работа 1.
«Разработка заданий с выбором одного, нескольких правильных
ответов»
Цель занятия
Разработка заданий с использованием различных принципов
подбора дистракторов и формулировки содержания.
Последовательность работы
1. Повторить основные принципы создания заданий с выбором
одного и нескольких правильных ответов, критерии качества ЗТФ.
2. Разработать задания в соответствии с таблицей 11. Не
нарушайте правил оформления заданий и конструкцию заданий!
Таблица 11
Задания с выбором правильного ответа
Название принципа
Текст задания
Задания с выбором одного правильного ответа
Противоположности
Противоречивости
Однородности
Градуированности
Сочетания цепочкой
Сочетания с
добавлением
Сочетания разных
понятий
122
Продолжение табл.11
Кумуляции
Удвоенного
противопоставления
Фасетности
Импликации
Задания (два)с выбором нескольких правильных ответов
3. Ответить на вопросы:
Вопрос
1) Основные
правила
подбора дистракторов.
Ответ
2) Почему в практике
тестирования коррекция
баллов на угадывание не
проводится?
123
Вопрос
3) Преимущества
и
недостатки заданий с
выбором
одного
наиболее
правильного
ответа и заданий с
выбором
нескольких
правильных ответов.
4) Перечислите
элементы ЗТФ.
Ответ
5) Как Вы намерены
оценивать два последних
задания. Обоснуйте свое
предложение.
6) Примеры инструкций
для выполнения заданий
с
выбором
одного,
нескольких правильных
ответов для бланочного,
тетрадного
тестирования.
4. Оформление отчета по результатам работы (сравнительная
ценность ЗТФ с выбором, возможные области использования,
трудности, преимущества использования, конструирования)
Источник информации:
Лекция (1), В.С. Аванесов, М.Б. Челышкова, П. Клайн, Н.С.
Михайлова.
Требования по оформлению отчета:
1. Ответы на вопросы нужно давать в развернутом виде.
2. Выводы (в кратком виде) по выполнению работы оформляются
после ответов на вопросы.
124
3. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
4. Отчет оформляется
во время практического занятия с
использованием программы Word.
5. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №1_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 2.
«Разработка заданий на установление соответствия и правильной
последовательности»
Цель занятия
Разработка заданий на установление соответствия и установления
правильной последовательности, диагностирующих разные виды
знаний.
Последовательность работы
1. Повторить основные принципы создания и правила композиции
заданий
на
установление
соответствия
и
правильной
последовательности.
2. Разработать задания в соответствии с приведенными схемами и
пояснениями к ним. Не нарушайте правил оформления заданий и
конструкцию заданий!
А) Задание на установление соответствия (парное соответствие),
диагностирующее знание наименований, имен смысла названий,
выражений для бланочного тестирования.
125
Инструкция
Номер
задания
Установите соответствие
_________________
__________________
А)
Б)
В)
1)
2)
3)
4)
5)
название списка
А
Б
название списка
В
Критерии оценивания задания:
Б) Задание на установление соответствия (одному элементу
левого списка соответствует несколько элементов правого),
диагностирующее причинно-следственные или классификационные
знания, тетрадное тестирование.
Инструкция
Номер
задания
Установите соответствие
_________________
__________________
название списка
название списка
А)
Б)
В)
Г)
Д)
Е)
1)
2)
Ответы: 1) ___________ 2) ____________
Критерии оценивания задания:
126
В) Задание на установление соответствия матричного типа,
диагностирующее ассоциативные знания, компьютерное тестирование.
Инструкция
Номер
задания
Установите соответствие
________________
________________
название списка
название списка
_________________
название списка
Критерии оценивания задания:
Г) Задание на установление правильной последовательности,
диагностирующее фактуальные или сравнительные знания, бланочное
тестирование.
Инструкция
Номер
задания
Установите правильную последовательность
название списка ______________________________________
А)
Б)
В)
Г)
Д)
Е)
А
Б
В
Г
Д
Е
Критерии оценивания задания:
Д) Задание на установление правильной последовательности,
диагностирующее алгоритмические или процессуальные знания,
тетрадное тестирование
127
Инструкция
Номер
задания
Установите правильную последовательность
название списка ______________________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
Критерии оценивания задания:
Е) Задание на установление правильной последовательности,
проверяющее знание определений, компьютерное тестирование.
Инструкция
Номер
задания
Установите правильную последовательность слов
в определении
название списка ______________________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
 ___________________________
Критерии оценивания задания:
3. Оформление отчета по результатам работы (сравнительная
ценность
ЗТФ
на
установление
соответствия,
правильной
последовательности, возможные области использования, трудности и
преимущества использования, конструирования)
Источник информации:
Лекция 2, В.С. Аванесов, М.Б. Челышкова, П. Клайн, Н.С.
Михайлова.
Требования по оформлению отчета:
1. Выводы по выполнению работы оформляются в кратком виде.
128
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №2_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 3.
«Разработка заданий открытой формы»
Цель занятия
Разработка заданий с кратким и свободно формулируемым
ответами, проверяющих конкретизированную учебную цель.
Последовательность работы
1. Повторить основные принципы конструирования заданий с
кратким ответом.
2. Выбрать из разработанного Вами кодификатора учебного модуля
конкретизированные учебные цели, выраженные, желательно, в
деятельностной форме (на основе таксономии Б. Блума, таблица 33),
которые можно диагностировать с помощью заданий с кратким ответом.
3. Разработать пять заданий в соответствии с изученными
правилами. Одно задание должно содержать невербальную поддержку
(рисунок, чертеж, фотографию и т.д.). Не нарушайте правил
оформления и конструирования заданий!
129
Инструкция
общая (для 5 заданий)
Номер
задания
Номер
задания
Конкретизированная цель:_____________________________
Текст задания________________________________________
____________________________________________________
_____________.
Конкретизированная цель:_____________________________
Место для рисунка
Текст задания_________________________
____________________________________.
Номер
задания
Конкретизированная цель:_____________________________
Текст задания________________________________________
___________________________________________________.
Номер
задания
Конкретизированная цель:_____________________________
Текст задания________________________________________
___________________________________________________.
Номер
задания
Конкретизированная цель:_____________________________
Текст задания________________________________________
___________________________________________________.
4. Самостоятельно изучите материал3 по стандартизации
традиционных учебных заданий со свободно конструируемыми
ответами, возможности использования в тестировании данной формы.
Михайлова Н.С. Методика создания учебных заданий для тестового контроля. – Томск: Изд-во
Томского политехнического ун-та, 2007. – 227 с.
3
130
Конспект содержания:
Теоретический
материал
Конструирование
заданий
лучше
начинать с формализации ответа,
предусмотрев все возможные способы
достижения диагностируемых целей.
Необходимо
выделить
конкретизированные цели, достижение
которых
контролируется
данным
заданием. Проверка каждой цели будет
соответствовать
определенной
дидактической единице.
Формулировка
задания
должна
соответствовать критериям оценивания.
Испытуемый после прочтения задания
должен понять, какую задачу ему
предстоит выполнить, и с какой
полнотой он должен дать ответ для
получения максимального балла.
Системой оценивания:
 критерии оценивания,
 вариант
(варианты,
образцы)
правильных ответов (элементов ответа)
 по ряду учебных предметов, решения.
В
процессе
оценивания
ответа
учитывается достижение каждой из
выделенных конкретизированных целей
или
последовательность
шагов
выполнения задания, обоснованность
ключевых
моментов,
получение
правильного ответа.
131
Комментарии/
интерпретация
Иногда
при
выполнении
заданий
предлагается
оценивать общеучебные или
интеллектуальные умения.
Для
формулирования
конкретизированных целей
используйте
таксономию
Блума (приложение 1).
Например, сколько привести
аргументов, фактов или
примеров,
нужно
ли
привести
чертеж
или
диаграмму
или
нужно
привести полное решение с
пояснениями.
Какое количество экспертов
следует
привлекать
для
разработки
критериев
оценивания?
Теоретический
Комментарии/
материал
интерпретация
Ошибки, возникающие при выполнении
таких заданий, могут оцениваться путем
снижения баллов. Рекомендуется это
делать в случае грубых и существенных
ошибок.
Грамматические ошибки, ошибки в
арифметических расчетах в некоторых
случаях не носят принципиального
характера, поэтому не приводят к
вычету баллов.
Критериями качества разработанных
заданий со свободным ответом следует
назвать высокие нерасходящиеся оценки
экспертов, как тех, которые проводят
валидизацию заданий, так и тех, кто
оценивает
выполнение
заданий
испытуемыми.
Виды
заданий
со
свободно
конструируемым
ответом
и
предлагаемые к ним схемы оценивания
более подробно смотрите в учебном
пособии4.
Пример.
Приведем один из вариантов разработки критериев политомического
оценивания задания со свободноконструируемым ответом.
В вакууме находятся два покрытых кальцием электрода, к
которым подключен конденсатор емкостью С = 8000 пФ. При
длительном освещении катода светом c частотой  = 1015 Гц
фототок, возникший вначале, прекращается. Работа выхода
электронов из кальция А = 4,4210–19 Дж. Какой заряд q при этом
оказывается на обкладках конденсатора?
Н.С. Михайлова, М.Г. Минин, Е.А. Муратова. Разработка фонда оценочных средств в
проектировании образовательных программ – Томск: Томский гос. пед. ун-т, 2007. – 228 с.
или доп. www.ege.edu.ru (Положение о конкурсе КИМов)
4
132
Содержание верного решения задачи и указания к оцениванию
Элементы ответа:
(допускаются иные формулировки ответа, не искажающие его
смысла)
1) Записано уравнение Эйнштейна для фотоэффекта
mv2
.
hv  A 
2
2) Записано выражение для запирающего напряжения
mv2
.
eU 
2
3) Записано выражение, связывающее разность потенциалов на
обкладках конденсатора с электрическим зарядом на них
q
U .
C
4) Получено выражение для расчета заряда на обкладках
конденсатора
C
q  (hv  A)  ,
e
и числовой ответ
q  1,1108 ( Кл)  11(нКл) .
Указания к оцениванию:
Баллы

Решение правильное и полное, включающее все приведенные
выше элементы (рисунок не обязателен)
3

Решение включает 1-й, 2-й и 3-й из приведенных выше
элементов
2

Решение неполное, включает 1-й и 2-й или 1-й и 3-й из
приведенных выше элементов
1

Все элементы записаны неверно или записан правильно только
один элемент (1-й, 2-й или 3-й)
0
Максимальный балл:
3
5. Разработайте два задания со свободноконстуируемым ответом
с критериями оценивания в виде оценочных схем.
Задание № 1. Задание, требующее выполнения расчетов или
алгоритмических (возможно логических) действий
Инструкция для испытуемых_____________________________________
______________________________________________________________
133
______________________________________________________________
______________________________________________________________
Текст задания_________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Выделите элементы ответа:
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Сформулируйте правила оценивания:
Правила оценивания:
Баллы
Максимальный балл:
Задание № 2. Задание, требующее развернутого ответа
Инструкция для испытуемых_____________________________________
______________________________________________________________
______________________________________________________________
Текст задания_________________________________________________
______________________________________________________________
______________________________________________________________
134
Сформулируйте правила оценивания:
Баллы
Максимальный балл:
6. Оформление отчета по результатам работы (сравнительная
ценность ЗТФ с кратким и свободно конструируемым ответами,
возможные области использования, трудности и преимущества
использования, конструирования)
Источник информации:
Лекция 2, В.С. Аванесов, М.Б. Челышкова, П. Клайн, Н.С.
Михайлова
Требования по оформлению отчета:
1. Выводы по выполнению работы оформляются в кратком виде.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №3_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
135
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 4.
«Системы заданий в тестовой форме »
Цель занятия
Разработать системы заданий в тестовой форме, оценить
возможность использования в учебном процессе.
Последовательность работы
1. Изучая5 на конкретных примерах принципы конструирования
систем ЗТФ, разработать три системы, каждая из которых содержит
не менее 5 ЗТФ.
Цепные задания – это такая система заданий, в которых
правильный ответ на последующее задание зависит от ответа на
предыдущее. Основная причина возникновения такого свойства –
зависимость заданий по содержанию. Рассмотрим примеры6:
Художественное направление
1.
ХУДОЖЕСТВЕННОЕ
НАПРАВЛЕНИЕ
В
ИСКУССТВЕ,
1
ВОЗНИКШЕЕ КАК РЕАКЦИЯ НА ИТОГИ ФРАНЦУЗСКОЙ
РЕВОЛЮЦИИ 1789 г., НАЗЫВАЕТСЯ __________.
Испытуемый должен безошибочно назвать художественное
направление, потому что затем будет задание, которое зависит от ответа
на первое. Представим, что это романтизм.
2.2
ОДНИМ ИЗ АВТОРОВ ЭТОГО НАПРАВЛЕНИЯ
ЗАПАДНОЕВРОПЕЙСКОМ ИСКУССТВЕ ЯВЛЯЕТСЯ
1) Бах
3) Шарден
2) Скотт
4) Вольтер
В
Слово “этого” (надо назвать – какого?) во втором задании прямо
связано с выбираемым направлением.
Более подробно см. Михайлова Н.С. Методика создания учебных заданий для тестового контроля. –
Томск: Изд-во Томского политехнического ун-та, 2007. – 227 с.
6
Примеры заданий по кн.: Аванесов В.С. Форма тестовых заданий. М.: Центр тестирования, 2005. –
152 с.
5
136
3.3
ЭТОТ АВТОР РАБОТАЛ В ТАКИХ ЖАНРАХ, КАК
1) мессы и кантаты
2) повести и трагедии
3) натюрморты и бытовые полотна
4) баллады и исторические романы
4.4
ЕГО ЗНАМЕНИТЫМ ПРОИЗВЕДЕНИЕМ ЯВЛЯЕТСЯ
1) «Брут»
3) «Айвенго»
2) «Прачка»
4) «Кофейная кантата»
5.5
ЭТО ПРОИЗВЕДЕНИЕ ПО СВОЕМУ ХАРАКТЕРУ ЯВЛЯЕТСЯ
1) бытовым
3) драматическим
2) историческим 4) юмористическим
Ваш вариант системы цепных заданий:
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
Тематические задания – это совокупность заданий любой формы,
созданная для контроля знаний по одной изученной теме. Название
темы пишется в самом начале задания, перед инструкцией. Пример.
137
Величайший оратор древности
Дописать или, где надо, обвести кружком номер правильного ответа.
1.1
ВЕЛИЧАЙШИМ ОРАТОРОМ ДРЕВНЕГО РИМА БЫЛ
__________.
2.2
СВОИ ВЗГЛЯДЫ НА ИСКУССТВО КРАСНОРЕЧИЯ ОН
ИЗЛОЖИЛ В ТРАКТАТАХ
1) «Брут»
4) «Об ораторе»
2) «Оратор»
5) «Ораторское искусство»
3) «Риторика»
6) «Искусство красноречия»
3.3
ВЕРШИНОЙ ЕГО ОРАТОРСКОЙ И ПОЛИТИЧЕСКОЙ
ДЕЯТЕЛЬНОСТИ
СТАЛО
РАСКРЫТИЕ
ЗАГОВОРА
__________.
4.4
ЕГО НАИБОЛЕЕ ЗНАЧИТЕЛЬНЫЕ РЕЧИ, СОЗДАННЫЕ В
ПОСЛЕДНИЕ ГОДЫ ЖИЗНИ, БЫЛИ НАПРАВЛЕНЫ ПРОТИВ
1) Марка Аврелия
4) Октавиана Августа
2) Марка Антония
5) Александра Македонского
3) Филиппа I Македонского 6) Филиппа II Македонского
5.5
ЭТИ РЕЧИ ПОЛУЧИЛИ НАЗВАНИЕ ___________.
Ваш вариант системы тематических заданий:
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
138
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Текстовые задания представляют собой совокупность заданий,
созданных для контроля знаний конкретного учебного текста, обычно,
при изучении иностранных языков Пример.
ОЛИВЕР ХЕВИСАЙД7
Оливер Хевисайд был выдающимся ученым. Современниками он не
был признан. Его можно назвать создателем формулы, известной
сейчас как формула А. Эйнштейна. Операцию интегрирования О.
Хевисайд сделал сводимой к делению на комплексное число. Он
подсчитал меру излучения движущегося электрона, предсказал наличие
в верхних слоях атмосферы ионизированного слоя, отражающего
радиоволны.
Этот текстовый фрагмент представлен в заданиях в тестовой форме:
1.1
ОЛИВЕР ХЕВИСАЙД БЫЛ _____________ УЧЕНЫМ.
.2
СОВРЕМЕННИКАМИ ОН БЫЛ
1) признан
2) не признан
3.3
ЕГО
МОЖНО
НАЗВАТЬ
СОЗДАТЕЛЕМ
ФОРМУЛЫ,
ИЗВЕСТНОЙ СЕЙЧАС КАК ФОРМУЛА _________.
Источник: Грес П.В. Математика для гуманитариев. – М.: Логос, 2003. – 120 с.
Переработано В.С. Аванесовым
7
139
.
4
5.5
ОПЕРАЦИЮ ИНТЕГРИРОВАНИЯ О. ХЕВИСАЙД СДЕЛАЛ
СВОДИМОЙ К ДЕЛЕНИЮ НА _________ ЧИСЛО.
О.
ХЕВИСАЙД
ОПРЕДЕЛИЛ
ДВИЖУЩЕГОСЯ _________.
МЕРУ
ИЗЛУЧЕНИЯ
ОН ТАКЖЕ ПРЕДСКАЗАЛ НАЛИЧИЕ В ВЕРХНИХ СЛОЯХ
АТМОСФЕРЫ ИОНИЗИРОВАННОГО СЛОЯ, ОТРАЖАЮЩЕГО
___________.
Ваш вариант системы текстовых заданий:
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Ситуационные задания можно определить как педагогически
переработанный
фрагмент
профессиональной
деятельности
специалиста. Они разрабатываются для проверки знаний и умений
испытуемых действовать в практических, экстремальных и других
ситуациях, хорошо подходят для интегративного контроля
подготовленности. Рассмотрим собеседование на экзамене8 после
выполнения системы заданий, контролирующих действия врача в
лечебной ситуации. Предмет собеседования – возможные ошибки,
причины их возникновения, коррекция ошибок.
6.16
Примеры заданий по кн.: Аванесов В.С. Форма тестовых заданий. М.: Центр тестирования, 2005. –
152 с.
8
140
Вашему вниманию предлагаются задания для проверки
готовности к действиям в клинических условиях. Внимательно
ознакомьтесь с описанием ситуации. В большинстве заданий может
оказаться несколько правильных ответов. Не забудьте обвести
кружком номера всех правильных ответов. В остальных заданиях
дополняйте
пропущенное
слово
или
знак,
устанавливайте
соответствие и правильную последовательность. За каждое правильно
выполненное задание даётся по одному баллу.
При осмотре: слизистая половины твердого неба и десны,
соответственно 5, 4, 3, отечна, гиперемирована, слившиеся мелкие
эрозии круглые, с фестончатыми краями, болезненные при пальпации,
покрыты бело-желтым налетом. Локализация очагов поражения – десна,
твердое небо. Кариозные полости в 5, 6, неудовлетворительная гигиена
полости рта. Пальпируются увеличенные и болезненные регионарные
лимфатические узлы на стороне высыпаний. Общее заболевание:
хронический фарингит.
1
ВЫЯВЛЕННОЕ ЗАБОЛЕВАНИЕ ОТНОСИТСЯ К
1) вирусным
3) предраковым
2) грибковым
4) аллергическим
5) травматическим
2
ЭТО ЗАБОЛЕВАНИЕ
1) контагиозно
2) не контагиозно
3
ВОЗБУДИТЕЛЬ ДАННОГО ЗАБОЛЕВАНИЯ
1) вирус гриппа
4) фузосперахеты
2) стрептококки
5) вирус СПИДа
3) актиномицеты
6) вирус простого герпеса
7) вирус ветряной оспы
4
ПРОВОЦИРУЮЩИМИ ФАКТОРАМИ ЯВЛЯЮТСЯ
1) стресс
4) переохлаждение
2) инсоляция
5) гиповитаминоз С
3) прием лекарств
6) неудовлетворительная
гигиена полости рта
141
5
ДЛЯ ДИАГНОСТИКИ ИСПОЛЬЗУЮТСЯ МЕТОДЫ
1) цитологический
2) иммунологический
3) бактериоскопический
4) иммунофлюорисценции
Ваш вариант системы ситуационных заданий:
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
142
2. Ответить на вопросы:
Вопрос
1. Что
утверждает
аксиома
локальной
независимости ЗТФ?
Ответ
2. Почему системы ЗТФ
не могут войти в тест?
3. Объясните
смысл
синонимичных названий
систем
ЗТФ
–
нетестовые, псевдотестовые задания.
4. Предположите
области использования
данных систем в Вашей
педагогической
практике?
3. Оформление отчета по результатам работы
Источник информации: В.С. Аванесов, Н.С. Михайлова
Требования по оформлению отчета
1. Ответы на вопросы давать в развернутом виде.
2. Выводы (в кратком виде) по выполнению работы оформляются
после ответов на вопросы.
3. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
4. Отчет оформляется
во время практического занятия с
использованием программы Word.
5. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №4_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
143
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 5.
«Тестологическая экспертиза ЗТФ»
Цель занятия
Выявить типичные ошибки, возникающие при разработке ЗТФ и
причины их возникновения, внести предложения по исправлению
конструкции заданий.
Последовательность работы
1. Изучить правила разработки заданий в тестовой форме. На
литературных примерах разобрать типичные ошибки.
Задание 1: ВЫБЕРИТЕ правильный ответ.
Как известно, в 1703 году Петром I был заложен город СанктПетербург. Одобряли или не одобряли бояре, жившие в то время, это
событие: да – нет.
Замечания и варианты их исправления к заданию 1:
1) Инструкция к этому заданию не содержит указание, каким
образом необходимо выбирать ответ, какие конкретные действия
должен совершить испытуемый – дописать, отметить и т.п.
2) Формулировка вопроса содержит лишнюю деталь – слова «как
известно», без которых вполне можно обойтись.
3) Формулировка вопроса содержит неопределенность – не ясно
утверждение да или нет относить к словам «одобряли» или «не
одобряли». Лучше были бы варианты:
а) Бояре, жившие в то время, это событие – одобряли / не одобряли.
б) Одобряли бояре, жившие в то время, это событие – да / нет.
4) Сама форма задания представляется не совсем удачной, поскольку
важнее знать причины этого явления, интересы сторон и пр.
Задание 2: Обведите кружком тот вариант ответа да или нет,
который вы считаете правильным.
Имя числительное – самостоятельная часть речи, которая обозначает
1. число
да / нет
2. количество предметов
да / нет
3. порядок предметов при счете
да / нет
4. отвечает на вопросы сколько? который?
да / нет
Правильный ответ: да – да – да – да.
144
Замечания и варианты их исправления к заданию 2:
1) Варианты ответов на данное задание содержат только
утвердительные варианты ответа.
2) Четвертый вариант ответа не согласуется грамматически с
вопросом.
Задание 3: Как известно, сахар является одним их важнейших
продуктов питания. Какие из перечисленных стран являются самыми
крупными экспортерами сахара
А) США Б) Китай В) Бразилия Г) Куба
Эталон ответа: В) Бразилия Г) Куба
Замечания и варианты их исправления к заданию 3:
Недостатками этого задания являются:
1) Отсутствие инструкции.
2) Наличие лишних деталей – это первое предложение задания.
3) Неоднозначна формулировка вопроса – основной элемент
неоднозначности слова «самые крупные», сколько крупных надо
отметить?
Представляется
целесообразным
данный
вопрос
переформулировать: «Выберите из приведенного перечня стран два
наиболее крупных экспортера сахара», что представляется тоже не
очень удачным, лучше бы было перевести это задание в задание на
установление
правильной
последовательности,
предложить
ранжировать страны в зависимости от экспорта сахара, либо в задания
альтернативных ответов, где противопоставить экспортеров и
импортеров.
4) Задание множественного выбора не содержит один вариант
правильного ответа.
5) Названия стран не даны единообразно, придерживаться
необходимо либо аббревиатур, либо общеупотребительных названий.
Задание 4. Обведите кружком правильный вариант ответа.
В каком году основаны города Санкт-Петербург и Рязань
А) 1095 и 1703 Б) 1078 и 1713 В) 1705 и 1805 Г) 1090 и 1701
Эталон ответа: А.
Замечания и варианты их исправления к заданию 4:
1) Представляется крайне неудачным объединение двух вопросов в
один, что порождает путаницу.
2) Порядок дат вопроса и ответа не соответствует друг другу – в
вопросе Санкт-Петербург стоит первым, а в правильном ответе –
вторым.
145
3) Даты необходимо упорядочить хотя бы по одному из рядов –
первому или второму.
4) Из приведенных цифр недостоверным представляется вариант
ответа В, который существенно отличается от остальных – варианты
ответов должны быть более правдоподобными.
2. Выявить ошибки в заданиях, приведенных на стр. 143. Укажите
для каждого задания замечания, возможные варианты исправления. При
затруднениях, подумайте, что проверяет данное задание, как Вы
ответили бы на вопрос?
3. Приведите примеры заданий, разработанных Вами до обучения
на курсах повышения квалификации, и имеющих ошибки в
конструировании.
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________________________.
4. Оформление отчета по результатам работы.
Источник информации:
В.С. Аванесов, М.Б. Челышкова, А.Н. Майоров, Н.С. Михайлова
Требования по оформлению отчета:
1. Выводы по выполнению работы оформляются кратко.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №5_(Фамилия).
146
Задания для тестологической экспертизы
№
ЗТФ
1
Пораженцы – это
1)
люди, лишенные права голосовать на выборах в
Государственную думу
2)
русские войска, потерпевшие поражение на полях Первой
мировой войны
3)
меньшевики, потерпевшие поражение в голосовании по
вопросам Устава партии на III съезде РСДРП
4)
русские социал-демократы, поддерживающие лозунг
поражения своего правительства
Основная земледельческая зона нашей страны расположена
1) в зоне тайги
2) в лесостепной зоне
3) в зоне смешанных лесов в степной зоне
Какой из перечисленных
наборов сельскохозяйственных
культур можно выращивать в черноземной полосе России?
1) рожь – лен – овес – картофель
2) пшеница – сахарная свекла – подсолнечник
3) пшеница – кукуруза – рис – виноград
4) чай – бахчевые – цитрусовые
О разнообразии природных условий России свидетельствует
1) равнинный рельеф
2) различные формы рельефа
3) различные типы климата
4) многообразие ландшафтов
2
3
4
Замечания
147
Варианты исправления
№
ЗТФ
5
Согласны ли вы с утверждением «Научный продукт не имеет
потребительской стоимости»?
1) Нет, как всякий продукт целесообразной деятельности,
научный продукт имеет определенную потребительскую
стоимость
2) Да, потребительскую стоимость научный продукт
приобретает лишь после внедрения в промышленность
3) Да,
потребительскую
стоимость
имеет
лишь
конкурентоспособная технология
Выберите группу стран с формой правления «Конституционная
монархия»
1) Великобритания, Греция, Польша
2) Великобритания, Норвегия, Испания
3) Финляндия, Германия, Швеция
4) Франция, Италия, Испания
На космонавта, находящегося на спутнике, действует
1) сила притяжения к Земле
2) сила трения
3) сила реакции опоры
4) не действуют никакие силы
Империя – это
1) большое государство
2) государство, управляемое императором
3) государство, состоящее из метрополий и колоний
4) сильное государство
5) недемократическое государство
Укажите образования, которые могут быть отнесены к одной
системе органов
1) костные клетки, кости, скелет
2) легкие, сердце, диафрагма
3) ротовая полость, пищевод, желудок, кишечник, печень
4) кости и мышцы руки; нервы, обеспечивающие движение
6
7
8
9
Замечания
148
Варианты исправления
№
ЗТФ
Замечания
10 Какой электрод является катодом в элементе Даниеля-Якоби?
1) медь
2) цинк
3) водородный
4) железо
11 Cоставьте формулы солей:
фосфата, гидрофосфата, дигидрофосфата кальция.
Напишите формулу соли, молекула которой содержит
наименьшее число атомов фосфора. _____________________
12 Химический символ и формула водородного соединения
элемента, электронная формула которого 1s22s22p63s23p2,
соответственно
1) C и CH4
2) Si и SiH4
3) O и H2O
4) S и H2S
13 Элементы расположены в порядке усиления их металлических
свойств в ряду
1) Li, Na, K, Rb, Cs
2) K, Na, Be, B, C
3) Na, Mg, Al, Si, P
4) Ba, Sr, Ca, Mg, Al
14 Телейтоспоры возникают
1) из уредоспор
2) из эцидиоспор
3) поздней осенью образуются на том же мицелии, на
котором летом формировались уредоспоры
4) весной в результате слияния дикариона и
последующего мейоза
149
Варианты исправления
Проверка и зачет о выполнении практического занятия
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 6.
«Интерпретация и анализ данных математико-статистической
обработки результатов тестирования»
Цель занятия
Анализ графической и статистической информации, получаемой
по результатам тестирования, оценка качества теста и заданий,
рекомендации по улучшению теста.
Последовательность работы
1. Проанализировать результаты тестирования, представленные
ниже, и полученные при использовании нормативно-ориентированного
теста на 305 испытуемых. Вам представлены значения мер центральной
тенденции сырого балла (таблица 12), гистограммы распределения
сырого балла (рис. 12), показатели ДСЗ и трудности заданий (таблица
13, 14), гистограмма распределения заданий по трудности (рис. 13).
Таблица 12
Меры центральной тенденции
Сырой тестовый балл
мода
медиана
среднее
эксцесс
дисперсия
станд.отклон.
22
24
23,9541
0,427393
30,88604
5,55721
150
Гистограмма распределения тестового балла
30
25
частота
20
15
10
5
0
1
3
5
7
9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49
балл
Рис. 12. Гистограмма распределения сырого тестового балла
Таблица 13
Статистические характеристики заданий
№№
ДСЗ
r(pbis)
доля
прав.
ответов
№№
ДСЗ
r(pbis)
доля
прав.
ответов
№№
ДСЗ
r(pbis)
доля
прав.
ответов
№№
1
2
3
4
5
6
7
8
9
10
0,571 0,369 0,179 0,345 0,476 0,167 0,083 0,452 0,369 0,167
0,59 0,35 0,25 0,28 0,38 0,26
0,1 0,36 0,34 0,14
0,4
0,328 0,157 0,590 0,587 0,889 0,413 0,341 0,397 0,269
11
12
13
14
15
16
17
18
19
20
0,238 0,262 0,036 0,417 0,440 0,202 0,357 0,202 0,464 0,155
0,22 0,32 0,17 0,33 0,42 0,19 0,37 0,22 0,42 0,13
0,826 0,839 0,010 0,574 0,387 0,210 0,652 0,367 0,725 0,489
21
22
23
24
25
26
27
28
29
30
0,440 0,202 0,357 0,048 0,440 0,143 0,417 0,107 0,357 0,167
0,38 0,21 0,36 0,06 0,38 0,22 0,43 0,12 0,28
0,2
0,459 0,656 0,462 0,164 0,420 0,125 0,325 0,341 0,679 0,734
41
42
43
44
45
46
47
48
49
50
0,107 0,190 0,048 0,238 0,167 0,143 0,190 0,476 0,250 0,405
0,11 0,16 -0,02 0,23
0,3 0,19 0,31 0,37 0,24 0,36
ДСЗ
r(pbis)
доля
прав.
0,646 0,459 0,220 0,256 0,934 0,197 0,911 0,420 0,679 0,689
ответов
151
Таблица 14
Меры центральной тенденции
Трудность задания
мода
0,340984
медиана
0,455738
среднее
0,479082
эксцесс
–0,78599
дисперсия
0,059691
станд.отклон
0,244317
Гистограмма распределения заданий по доли правильных ответов
6
частота встречаемости
5
4
3
2
1
0
0-0,05 0,060,1
0,110,15
0,160,2
0,210,25
0,260,30
0,310,35
0,360,40
0,410,45
0,460,50
0,510,55
0,560,60
0,610,65
0,660,70
0,710,75
0,760,80
0,810,85
0,860,90
0,910,95
0,951,00
трудность
Рис. 13. Гистограмма распределения заданий по трудности
2. Вам необходимо оценить качество теста, обосновывая свое
решение по следующему плану:
1. Общая трудность теста
______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________
2. Приближенность результатов к нормальному распределению
______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________
3. Однородность подготовленности испытуемых
______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________
152
4. Качество отдельных заданий.
Задания,
имеющие
хорошие
статистические
тестовые
характеристики _______________________________________________
______________________________________________________________
Задания, имеющие удовлетворительные характеристики
______________________________________________________________
______________________________________________________________
Задания, нуждающиеся в дополнительной экспертизе на
содержание ___________________________________________________
______________________________________________________________
Задания, которые следует удалить из теста ____________________
___________________________________________________ и объяснить
почему________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
5. Соответствие трудности заданий подготовленности тестируемых
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
6. Вариация баллов
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
7. Пропорциональность заданий по трудности
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
8. Рекомендации по улучшению теста
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
153
Источник информации: М.Б. Челышкова, Глас Дж., Стэнли Дж.
Требования по оформлению отчета:
1. Выводы по выполнению работы оформляются кратко.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №6_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 7.
«Спецификация аттестационного теста»
Цель занятия
На основе кодификатора учебной дисциплины и базы учебных
заданий разработать спецификацию аттестационного теста.
Последовательность работы
1. Самостоятельно изучите теоретический материал по созданию
спецификации.
Конспект содержания
Теоретический
материал
Научное
обоснование
процесса
измерений включает:
 выбор
переменных
измерения
(объектов), их количества;
 выбор измерительных процедур;
 конструирование и использование
154
Комментарии /
интерпретация
Какой подход целесообразно
использовать
в
ходе
аттестационного контроля?
На основе каких критериев
будут
разрабатываться
требования к проверяемым
Теоретический
Комментарии /
материал
интерпретация
измерительных инструментов;
учебным достижениям в ходе
аттестации?
 выбор шкалы;
 построение отображения
результатов измерения на шкалу по
определенным правилам;
 обработку и интерпретацию
результатов.
Если признать характер
стандартизированности как
определяющее условие использования
тестов в итоговом контроле, то, помимо
заданий, они включают, в обязательном
порядке, описание:
 назначения теста;
 структуры системы заданий;
 данных
об
особенностях
и
репрезентативности
выборки
контингента обследуемых, на котором
апробировались КИМ;
 основных нормативов,
критериальных оценок или
получаемых при апробации
результатов (по разным выборкам,
если их было несколько);
 сведений о надёжности теста, о его
валидности;
 инструкций пользователю по
проведению процедуры тестирования,
обработке данных, анализу и
интерпретации.
Основное назначение спецификации –
предельно четко определить учебные
цели диагностики в виде конкретных
учебных
заданий.
Спецификация
должна подвергаться экспертизе, она
неотъемлемая часть в процедурах
определения валидности теста.
155
Теоретический
материал
«Сердцем» спецификации, моделью
теста
является
технологическая
тестовая
матрица
(синонимы:
тестовая решетка, содержательная
решетка,
организационнодеятельностная матрица), задающая
содержание проверяемых элементов
знаний, их уровень, важность и др. В
этой таблице сведено несколько
характеристик заданий, по которым
как пользователи, так и эксперты
определяют назначение и содержание
сконструированного теста.
Комментарии /
интерпретация
Она
должна
помочь
разработчику
избежать
несбалансированности
и
диспропорции
между
заданиями, контролирующими
разные
вопросы
одной
предметной
области,
выделить
задания,
контролирующие
более
эффективно
определенный
учебный элемент по своей
форме, уровню знаний, виду
деятельности.
2. Заполните предложенные разделы спецификации.
Спецификация аттестационного теста
1. Название учебного курса, по которому разрабатывается тест
(если междисциплинарный, то дать обоснование выбору)
________________________________________________________________________
________________________________________________________________________
2. Используемый подход для оценивания с обоснованием
________________________________________________________________________
________________________________________________________________________
Если целью контроля планируется установление соответствия
требованиям государственного образовательного стандарта, то укажите,
какой объем требований стандарта охватывают задания теста ________.
3. Как планируется использовать полученные результаты?
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
Календарное время использования ____________________________
Контингент испытуемых (курс, семестр, специальность, уровень подготовленности,
особенности выборки)
_______________________________________________________
________________________________________________________________________
____________________________________________________________________
______________________________________________________________
156
3.
Планирование
содержания
аттестационного
контроля
основывалось на нормативных документах (перечень стандартов, базисных
программ, требований к уровню подготовки и др.) ______________________________
______________________________________________________________
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
4. Учебники, учебные и методические пособия, по которым можно
подготовиться к выполнению заданий теста
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
5. Задания в работе предполагается расположить в зависимости от:
________________________________________________________________________
________________________________________________________________________
(формы заданий, логики изучения предмета, тематических разделов курса,
особенностей использования дидактических средств при выполнении и др.)
трудности,
6. Для выполнения заданий теста потребуется следующее
материально-техническое обеспечение, дополнительное оборудование,
материалы:
________________________________________________________________________
________________________________________________________________________
(справочники, таблицы, калькуляторы, чертежные принадлежности и др.):
7. Описание общей структуры теста
Части
Подходы к
Формы
Уровни Ориентировочное
теста
разработке
заданий,
усвоения,
время
(шкалы,
количество трудность
выполнения
субтесты)
заданий
8. В тесте будут использованы задания следующих форм:
________________________________________________________________________
________________________________________________________________________
________________________________________________________________________
157
Пример заданий определенной
формы
Инструкции
к выполнению
При использовании заданий в тестовой форме с выбором
нескольких правильных ответов, необходимо указать, сколько
правильных ответов в задании.
9. Планируется создать _______ (число) параллельных вариантов
теста. Параллельность обеспечивается тем, что (отметить нужное):
 задания, находящиеся в одинаковых местах работы, контролируют
идентичные учебные цели;
 для создания аналогичных заданий используются принципы фасетности,
обратимости;
 задания под одними номерами имеют одинаковую форму;
 аналогичные задания и целиком варианты теста одинаковы по трудности;
 параллельность по содержанию доказана путем экспертного оценивания;
 все варианты имеют одинаковые значения надежности и валидности;
 при апробации использованы кластерные задания (указать их количество),
для выравнивания вариантов использованы методы
__________________________________________________________________
__________________________________________________________________
___________________________.
10.Соотношение числа заданий по различным видам деятельности,
учебным разделам (темам). Заполните либо таблицу 15, либо таблицу
17.
158
Таблица 15
Разделы
учебного
курса
Структура теста по уровням усвоения
Уровни усвоения учебного материала
(виды деятельности)
Уровень
Репродуктивный Продуктивный Творческий
восприятия
уровень
уровень
уровень
(идентификации)
1.
2.
3.
4.
5.
Представление структуры теста возможно и другим образом,
примеры в таблице 16 и таблице 18.
Таблица 16
Гипотетическая тестовая матрица
Содержательные линии
(разделы) дисциплины
Планируемые к
№
п/п
проверке знания и
Суммарное
число по
каждому
умения
I (20%)
II (10%) III (30%) IV (40%)
пункту
А (10%)
1
1
2
2
6
В (20%)
2
1
4
5
12
С (30%)
4
2
5
7
18
D (30%)
4
2
5
7
18
Е(10%)
1
—
2
3
6
Итого
12
6
18
24
60
А — знание понятий, определений, терминов;
В — знание законов и формул;
С — умение применять законы и формулы для решения задач;
D — умение интерпретировать результаты на графиках и схемах;
Е — умение проводить оценочные суждения.
1
2
3
4
5
159
Если Вы не выбрали таблицу 15, заполните тестовую матрицу –
таблицу 17.
Таблица 17
Структура КИМов по разделам дисцилины
№
п/п
Суммарное
Содержательные линии
(разделы) дисциплины
Планируемые к
проверке знания и
число по
каждому
умения
I (20%)
II (10%) III (30%) IV (40%)
пункту
1
2
3
4
5
Итого
Таблица 18
Структура итогового теста по физике
Содержание предмета
Общеобразовательная
часть теста (40 заданий)
Из них:
Механика
(10 заданий, 25%)
Молекулярная физика и
термодинамика
(8 заданий, 20%)
Предполагаемая деятельность
тестируемого
Репродуктивный
Продуктивный
уровень
уровень
Применение
знаний
основных
Знание
законов в
Применение знаний
определений,
знакомой
в незнакомой
фактологического
ситуации по
ситуации
материала и т.п.
образцу, на
основе
алгоритма
8 заданий (20%)
24 задания
8 заданий (20%)
(60%)
2 задания
6 заданий
2 задания
1 задание
5 заданий
2 задания
160
Окончание табл. 18
Предполагаемая деятельность
тестируемого
Репродуктивный
Продуктивный
уровень
уровень
Применение
знаний
основных
Знание
законов в
Применение
определений,
знакомой
знаний в
фактологического ситуации по
незнакомой
материала и т.п.
образцу, на
ситуации
основе
обобщаемого
алгоритма
3 задания
10 заданий
3 задания
Содержание предмета
Электродинамика, СТО (16
заданий, 40%)
Геометрическая оптика
(2 задания, 5%)
Квантовая физика
(4 задания, 10%)
Углубленная часть теста (20
заданий)
1 задание
1 задание
—
1 задание
2 задания
1 задание
—
4 задания
(20%)
16 заданий
(80%)
11. Составьте план теста, заполнив таблицу 19.
Таблица 19
№ задания
Номер раздела по
кодификатору
Диагностируемая
цель (желательно
в деятельностной
форме)
Уровень
значимости
проверяемого
содержания
Форма задания
Балл за
выполнение
задания
Коэффициент
трудности задания
Содержательная матрица теста
1
2
3
4
5
6
7
161
Окончание табл.19
Пояснения к заполнению граф таблицы 19:
1. В первой графе записывается номер задания по порядку расположения в
КИМе. Порядок может задаваться в виде любой последовательности. Например,
обозначение «В3» в КИМах ЕГЭ означает, что данное задание располагается в части
«В» третьим.
2. Во вторую графу заносится код проверяемого данным заданием учебного
элемента из разработанного ранее кодификатора (см. тему «Разработка
совмещенного кодификатора с базой заданий фонда оценочных средств учебного
предмета»).
3. Так как один учебный элемент проверяется разными целями в
диагностируемой форме, в третьей графе записывается формулировка цели,
желательно в деятельностной форме. Например, «классифицировать химические
реакции по изменению теплового эффекта».
4. При решении вопроса о значимости того или иного компонента знаний
(четвертая графа) следует руководствоваться, в частности, степенью его
необходимости (важности) (см. тему «Разработка совмещенного кодификатора с
базой заданий фонда оценочных средств учебного предмета»).
5. В пятой графе для определения формы заданий предлагаем воспользоваться
классификацией, приведенной в главе 3 учебного пособия9.
6. В шестой графе указывается максимальное число баллов за правильно
выполненное задание. Это может быть весовой коэффициент, либо балл
назначенный путем экспертного оценивания. Критерии оценивания приводятся в
инструкциях для проверяющих.
Н.С. Михайлова, М.Г. Минин, Е.А. Муратова «Разработка фонда оценочных средств в
проектировании образовательных программ» – Томск: Томский гос. пед. ун-т, 2007. 228 с.
9
162
7. В седьмой графе следует указать проектируемый уровень коэффициента
трудности задания, который выражается вероятной долей правильных ответов (р)
(см. тему «Разработка совмещенного кодификатора с базой заданий фонда
оценочных средств учебного предмета»).
12. Оценивание результатов выполнения работы.
Проверку работы осуществляют (кто и каким образом?)_________
__________________________________________________________
Если разные части работ проверяются по-разному, отметить данную особенность.
Время, отводимое на проверку ______________________________.
Результаты сообщают испытуемым через ________ час.
Отметка выставляется в зависимости от количества набранных баллов с
использованием шкалы ____________________________________
Критериальный балл определялся в ходе апробации на выборке
(характеристика выборки) _____________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Метод определения критериального балла _________________________
______________________________________________________________
Нормативы или критериальные баллы для выставления отметок_______
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
13. Надежность и валидность.
Какими методами будут установлены надежность и валидность
работы? Какие виды валидности и как планируется обеспечить в
экзаменационной работе?
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
Источник информации:
М.Б. Челышкова, А.Н. Майоров
163
Требования по оформлению отчета:
1. Выводы по выполнению работы оформляются кратко.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Конструирование Пр №7_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическая работа 8.
«Расчет коэффициента надежности результатов тестирования»
Цель занятия
Определение коэффициента надежности тестовых результатов,
используя формулу KR-20 и методом деления теста пополам, расчет
погрешности измерения.
Последовательность работы
1. Изучите теоретический материал по методам определения
надежности результатов тестирования.
Определение по формулам Kuder—Richardson. Одна из них,
KR-20 , где буквы означают фамилии авторов, а цифра 20 – порядковый
номер самой распространенной в практике тестирования формулы.
где
 p jq j
к
2
r=
(1 –
),
к 1
sx
k – число заданий в тесте;
pjqj – сумма дисперсий всех заданий теста;
s
2
x
– дисперсия сырого тестового балла по выборке.
164
2. Познакомьтесь с использования формулы KR-20 для расчета
коэффициента надежности на примере матрицы результатов,
представленных в таблице 20.
Таблица 20
Таблица тестовых результатов (упорядоченная матрица)
№№ заданий
Испытуемые 1
2
3
4
5
6
7
8
9
10
1
1
1
0
1
1
1
1
1
1
Х1
1
1
0
1
1
1
1
1
1
0
Х2
1
1
1
1
0
1
1
0
1
0
Х3
1
1
1
1
0
1
0
1
0
0
Х4
1
1
1
1
1
1
0
0
0
0
Х5
1
1
1
1
0
0
1
0
0
0
Х6
1
1
0
1
1
0
1
0
0
0
Х7
1
1
1
1
1
0
0
0
0
0
Х8
1
0
1
0
1
1
0
0
0
0
Х9
0
1
1
0
0
0
0
1
0
1
Х10
1
1
1
0
0
0
0
0
0
0
Х11
1
1
0
0
0
0
0
0
0
0
Х12
1
0
0
0
0
0
0
0
0
0
Х13
Rj
12
11
9
7
6
6
5
4
3
2
pj
.923 .846 .692 .538 .462 .462 .385 .308 .231 .154
qj
.077 .154 .308 .462 .538 .538 .615 .692 .769 .846
pjqj
.071 .130 .213 .248 .248 .248 .236 .213 .178 .130
Xi
Σ
9
8
7
6
6
5
5
5
4
4
3
2
1
65
1, 915
Значение дисперсии тестовых баллов, рассчитанное с
использованием Microsoft Office Excel – 5,166, стандртное отклонение –
2, 273.
Сумма pjqj = 1, 915
Расчет по формуле КR 20
3. Определение
результатов
r
10
1,915
(1 
)
9
5,166 0, 698
доверительного
интервала
полученных
S E  S X 1  rн
где, rн – коэффициент надежности тестовых результатов;
Sx – стандартное отклонение индивидуальных баллов;
SE – стандартная ошибка измерения.
SE трактуется как стандартное отклонение результатов
испытуемого от его истинного балла, полученное при выполнении
им большого числа параллельных форм теста.
165
Для лучшего уяснения смысла показателя SE можно представить
гипотетическую ситуацию, когда i-й испытуемый выполнял много раз
один и тот же тест. Если предположить, что эффект запоминания
отсутствует, то результаты тестирования образуют нормальное
распределение вокруг истинного балла Тi со стандартным отклонением
SE.
На практике SE рассматривается как статистическая величина,
отражающая степень точности отдельных измерений, поэтому величину
SE используют для определения границ доверительного интервала,
внутри которого должен находиться истинный балл оцениваемого
испытуемого.
Общераспространен подход, когда доверительный интервал
выстраивается как две симметричные окрестности (правая и левая)
вокруг наблюдаемого показателя ученика, хотя это не совсем верно,
поскольку речь должна идти об окрестностях, расположенных слева и
справа от истинного балла. Тем не менее этот факт обычно
игнорируется в прикладных исследованиях, и доверительный интервал
при заданном риске - допустить ошибку =0,05, т.е. в 5 случаях из ста,
принимается равным (Xi – 1,96·SE; Xi + 1,96·SE), где Хi – наблюдаемый
балл i испытуемого; 1,96 – константа, табличное число, используемое
при t=0,05.
Для примера тестовых результатов коэффициент надежности –
0,698 и стандартное отклонение Sx=2,273, по формуле получится
SE = 2,273  1 – 0,698 = 1,25.
Тогда доверительный интервал для истинного балла первого
ученика со значением Х1=9 будет (9–1,96·1,25; 9+1,96·1,25)= от 6,55 до
11,45.
Рассчитайте доверительный интервал для своей матрицы.
Изобразите геометрическую (графическую) интерпретацию
доверительного интервала на оси наблюдаемых баллов для одного из
испытуемых.
4. Определение коэффициента надежности методом деления
теста пополам. Алгоритм расчета:
1) в матрице результатов рассчитайте трудности заданий (как доли
правильных ответов;
2) произведите упорядочение заданий по убыванию значения
трудности;
3) присвойте новые номера заданиям, начиная с 1-ого;
4) из одной матрицы создайте две; в первой результаты выполнения
нечетных номеров заданий (по новому порядку), во второй –
четных номеров;
166
5) для каждого испытуемого в обеих матрицах рассчитайте сырые
тестовые баллы; в первой матрице обозначьте как Xi, во второй –
Yi.
6) используя формулу, рассчитайте корреляцию между двумя
половинами теста:
rí 
N
 N
  N 
N  X i  Yi    X i     Yi 
i 1
 i 1   i 1 
2
N
 N

 N 
2
N  ( X i )    X i   N  Yi     Yi 
i 1
i 1
 i 1 
 i 1 
N
2
2
7) рассчитанное значение указывает на надежность половины теста,
для определения коэффициента надежности всего теста
воспользуйтесь формулой Спирмена-Брауна:
rí 
krí
1  (k  1)rí
где, k=2, rн – значение надежности для половинки теста.
5. Ответьте на вопросы
1. Что понимают под
надежностью тестовых
результатов?
2. Какой из аспектов
надежности раскрывается в формуле KR20?
3. В каких случаях
используется формула
Спирмена-Брауна?
6. Оформление отчета.
Источник информации:
Аванесов В.С., Челышкова М.Б.
Требования по оформлению отчета:
1. Ответы на вопросы давать в развернутом виде.
2. Выводы (в кратком виде) по выполнению работы оформляются
после ответов на вопросы.
3. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
167
4. Отчет оформляется
во время практического занятия с
использованием программы Word и Excel.
5. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет_Конструирование Пр №8 (Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения лабораторного занятия производится
преподавателем.
2. Зачет о выполнении лабораторного занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению лабораторного занятия.
168
РАЗДЕЛ «ПРИМЕНЕНИЕ МАТЕМАТИКО-СТАТИСТИЧЕСКИХ
МЕТОДОВ ПРИ РАЗРАБОТКЕ ТЕСТОВЫХ МАТЕРИАЛОВ»
Входные требования: знание понятийного аппарата теории
педагогических измерений; основных форм тестовых заданий; навыки
работы со стандартным набором программ Microsoft Office – Word,
Excel. Желательно иметь результаты апробации тестовых заданий.
Объем раздела: 18 часов, из них: лекции – 6 часов; практические
работы – 12 часов.
Место проведения занятий: 8 корпус ТПУ (Усова, 7), ауд. 349.
Контакты:
Преподаватель: Муратова Елена Анатольевна, к.т.н., доцент.
Консультации: понедельник с 16.00 до 17.00 в кабинете № 300, 8
корпус ТПУ (Усова, 7).
Если по какой-либо причине эти часы для Вас неудобны, Вы
можете предварительно договориться о встрече в другое время.
Телефон: (8-3822) 56-46-70
E-mail: [email protected]
Материалы, требуемые при изучении раздела
Материалы лекций и презентаций, методических указаний к
практическим занятиям.
Основная литература
1. Челышкова М.Б. Теория и практика конструирования
педагогических тестов: Учебное пособие. – М.: Логос, 2002. – 432 с.
2. Муратова Е.А. Представление результатов тестирования. Расчет
и интерпретация описательных статистик: Методические указания по
лабораторным работам для слушателей, обучающихся по направлению
«Разработка
и
экспертиза
аттестационных
педагогических
измерительных материалов». – Томск: Изд-во ТПУ, 2007. – 36 с.
Дополнительная литература
3. Гласс Дж., Стенли Дж. Статистические методы в педагогике
психологии / Пер. с англ. Л. И. Хайрусовой. – М.: Прогресс, 1976.
4. Серогодский В.В. Эффективный самоучитель c цветными
вкладками Excel 2003: Подробное описание работы в Excel; Вычисления
в Excel; Построение графиков и диаграмм; Оформление таблиц;
Обработка списков и баз данных + Пошаговые примеры и упражнения.
– М.: Наука и техника, 2005. – 392 с.
169
Результаты обучения
По окончании изучения раздела
Вы будете:
1. Демонстрировать знание
основных статистических
характеристик тестовых
заданий, теста и
распределения
результатов тестирования.
2. Уметь проводить
вычисления
статистических
характеристик тестовых
заданий, теста и
распределения
результатов тестирования.
3. Понимать и объяснять
основные этапы
математикостатистического анализа
при конструировании
теста четко и ясно, в их
логической взаимосвязи.
Критерии оценивания достижения
результатов обучения:
1.1. Демонстрирует знание и понимание
основных статистических
характеристик тестовых заданий.
1.2. Демонстрирует знание и понимание
основных статистических
характеристик теста.
1.3. Демонстрирует знание и понимание
основных статистических
характеристик распределения
результатов тестирования.
1.4. Обосновывает выбор
статистических характеристик для
проведения математикостатистического анализа результатов
апробации теста.
2.1. Формирует и подготавливает
матрицу результатов тестирования к
математико-статистическому
анализу.
2.2. Проводит вычисления
статистических характеристик
тестовых заданий, теста и
распределения результатов
тестирования.
2.3. Выбирает и обосновывает способ
представления результатов
вычислений статистических
характеристик.
3.1. Демонстрирует знание и понимание
основных этапов математикостатистического анализа при
конструировании теста.
3.2. Составляет план апробации
тестовых заданий.
170
Результаты обучения
По окончании изучения раздела
Вы будете:
4. Проводить математикостатистический анализ
результатов апробации
теста, интерпретировать
полученные результаты.
5. Составлять отчет по
результатам проведения
математикостатистического анализа
результатов апробации
теста.
Критерии оценивания достижения
результатов обучения:
4.1. Организует и проводит математикостатистический анализ результатов
апробации теста.
4.2. Демонстрирует умение представлять
и интерпретировать результаты
апробации теста.
4.3. Формирует список корректирующих
мероприятий по результатам
апробации.
4.4. Конструирует шкалу оценивания
результатов тестирования.
5.1. Составляет отчет по результатам
проведения математикостатистического анализа результатов
апробации теста.
5.2. Оценивает качество составления
теста по результатам проведения
математико-статистического анализа
результатов апробации теста.
Чтобы достичь этих целей и успешно изучить раздел, необходимо:
 знакомиться с материалом предварительно, до рассмотрения на
занятиях;
 не опаздывать и не пропускать занятия;
 выполнять все необходимые задания;
 уметь работать с партнером или в составе группы;
 обращаться за помощью и получать ее, когда Вы в ней
нуждаетесь.
Оценка результатов обучения:
Для оценивания результатов обучения по данному разделу
используется комплексная оценка, формируемая из оценивания
теоретических знаний и практических умений и навыков.
Форма контроля: по теоретическому разделу – тестирование.
по практическому – портфолио.
171
1.1.Демонстрирует знание и понимание основных
статистических характеристик тестовых заданий.
1.2.Демонстрирует знание и понимание основных
статистических характеристик теста.
1.3.Демонстрирует знание и понимание основных
статистических характеристик распределения
результатов тестирования.
1.4.Обосновывает выбор статистических характеристик
для проведения математико-статистического анализа
результатов апробации теста.
2.1. Формирует и подготавливает матрицу результатов
тестирования к математико-статистическому анализу.
2.2. Проводит вычисления статистических характеристик
тестовых заданий, теста и распределения результатов
тестирования.
2.3. Выбирает и обосновывает способ представления
результатов вычислений статистических
характеристик.
3.1. Демонстрирует знание и понимание основных этапов
математико-статистического анализа при
конструировании теста.
3.2. Составляет план апробации тестовых заданий.
4.1. Организует и проводит математико-статистический
анализ результатов апробации теста.
4.2. Демонстрирует умение представлять и
интерпретировать результаты апробации теста.
4.3. Формирует список корректирующих мероприятий по
результатам апробации.
5.1. Составляет отчет по результатам проведения
математико-статистического анализа результатов
апробации теста.
5.2. Оценивает качество составления теста по результатам
проведения математико-статистического анализа
результатов апробации теста.
172
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Итоговая презентация
Наблюдение за
работой, действиями
Аттестационная
работа
Устный опрос
Результат обучения
Объективный
письменный тест
Отчет о выполненных
действиях
Кроме того, оценивание достижения результатов обучения
проводится во время обучения и защиты аттестационной работы. План
контроля по разделу представлен в таблице 21.
Таблица 21
План контроля результатов обучения по разделу
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
+
Содержание раздела
Форма
занятия
Лекция 1
Выполненная
работа
Способы представления результатов Конспект лекции.
тестирования. Подготовка матрицы План
апробации
результатов тестирования к матема- тестовых заданий.
тико-статистическому анализу. Основные статистические характеристики тестовых заданий и теста, распределения результатов тестирования. Способы их представления и
интерпретации.
Практическая Формирование и подготовка мат- Отчет по резульрицы результатов тестирования к татам проведения
работа 1
математико-статистическому анали- математико-статисзу. Вычисление основных статисти- тического анализа
ческих характеристик тестовых за- результатов
даний.
тестовых заданий.
Практическая Вычисление основных статисти- Отчет по резульческих характеристик распределе- татам проведения
работа 2
ния
результатов
тестирования. математико-статисПредставление и интерпретация ре- тического анализа
зультатов математико-статистичес- распределения рекого анализа.
зультатов тестирования.
Методы параметрического оценива- Конспект лекции.
Лекция 2
ния статистических характеристик План
апробации
тестовых заданий и уровня подго- тестовых заданий и
товки испытуемых. Построение ха- конструирования
рактеристических кривых тестовых теста.
заданий и индивидуальных кривых
обучающихся. Основные принципы
моделирования теста.
Практическая Вычисление параметров трудности Характеристические
заданий и подготовленности тести- кривые
тестовых
работа 3
руемых. Построение характеристи- заданий и индивических кривых тестовых заданий и дуальных кривых
индивидуальных кривых обучаю- обучающихся.
щихся.
Содержание
173
Форма
Содержание
занятия
Практическая Изучение двухпараметрической и
трехпараметрической модели.
работа 4
Конструирование теста.
Составление итогового отчета по
результатам проведения математико-статистического анализа результатов апробации теста.
Лекция 3
Основные этапы математико-статистического анализа при конструировании теста. Методы шкалирования результатов тестирования.
Практическая Шкалирование результатов тестирования.
работа 5
Выполненная
работа
Оценка
качества
составления теста.
Итоговый отчет по
результатам проведения математикостатистического
анализа результатов
апробации тестовых
заданий.
Список
корректирующих
мероприятий
по
результатам апробации.
Конспект лекции.
План математикостатистического
анализа при конструировании теста.
Отчет по результатам шкалирования результатов тестирования.
Практическая Тестирование. Обсуждение результатов. Подведение итогов.
работа 6
Если у Вас возникнут любые вопросы по данному разделу,
пожалуйста, свяжитесь с преподавателем. УДАЧИ!
174
Содержание теоретического курса раздела
«Применение математико-статистических методов
при разработке тестовых материалов»
Лекция 1. «Вычисление основных статистических характеристик
тестовых заданий и распределения результатов тестирования
План
1. Способы представления результатов тестирования.
2. Подготовка матрицы результатов тестирования к математикостатистическому анализу.
3. Основные статистические характеристики тестовых заданий.
4. Основные статистические характеристики теста.
5. Основные статистические характеристики распределения
результатов тестирования.
6. Способы их представления и интерпретации.
Конспект содержания
Слайд 1.
Представление
результатов
педагогических
измерений
1. Матрица результатов
тестирования
2. Подготовка матрицы ответов к
математикоматематико-статистическому
анализу
175
Слайд 2.
Матрица результатов тестирования
Номер задания
№
ФИО
тестирующегося
1
2
3
4
5
6
7
8
9
10
Правильный ответ
С
D
A
C
C
B
D
C
D
B
C
D
A
C
C
B
A
A
C
D
Петров П.П.
C
D
C
D
A
D
C
D
C
C
Дроздов П.У.
A
C
B
A
A
A
A
A
A
D
4
Вахненко М.К.
A
C
D
A
D
A
C
C
A
A
5
Елизарова М.М.
C
D
D
C
C
B
D
C
D
B
6
Лысенко Т.О.
C
B
A
C
C
B
D
C
D
B
7
Голуб А.В.
C
D
A
D
D
D
A
C
C
C
8
Файзулин М.Р.
C
D
A
C
A
B
A
D
C
A
1
Иванов В.А.
2
3
9
Игнатович Р.Т.
C
D
A
C
C
B
D
C
D
D
10
Роднина М.В.
C
D
A
C
C
D
D
A
C
C
11
Правдина М.Л.
C
D
A
C
C
B
D
C
D
B
Слайд 3.
Матрица результатов тестирования –
матрица ответов
Номер задания j
Номер
испытуемого i
1
2
3
4
5
6
7
8
9
10
1
1
1
1
1
1
1
0
0
0
0
2
1
1
0
0
0
0
0
0
0
0
3
0
0
0
0
0
0
0
0
0
0
4
0
0
0
0
0
0
0
1
0
0
5
1
1
0
1
1
1
1
1
1
1
6
1
0
1
1
1
1
1
1
1
1
7
1
1
1
0
0
0
0
1
0
0
8
1
1
1
1
0
1
0
0
0
0
9
1
1
1
1
1
1
1
1
1
0
10
1
1
1
1
1
0
1
0
0
0
11
1
1
1
1
1
1
1
1
1
1
n – общее количество испытуемых (объектов исследования);
р – общее количество заданий теста;
“j”-е задание; “i”-й испытуемый;
xij – результат выполнения “j”-го задания “i”-м испытуемым.
Слайд 4.
Подготовка матрицы ответов к
статистическому анализу
Номер задания j
Номер
испытуемого i
1
2
3
4
5
6
7
8
9
10
1
1
1
1
1
1
1
0
0
0
0
2
1
1
0
0
0
0
0
0
0
0
3
0
0
0
0
0
0
0
0
0
0
4
0
0
0
0
0
0
0
1
0
0
5
1
1
0
1
1
1
1
1
1
1
6
1
0
1
1
1
1
1
1
1
1
7
1
1
1
0
0
0
0
1
0
0
8
1
1
1
1
0
1
0
0
0
0
9
1
1
1
1
1
1
1
1
1
0
10
1
1
1
1
1
0
1
0
0
0
11
1
1
1
1
1
1
1
1
1
1
• Правильный и неправильный профиль ответов
испытуемого
176
Слайд 5.
Подготовка матрицы ответов к
статистическому анализу
Номер задания j
Номер
испытуемого i
1
2
3
4
5
6
7
8
9
10
1
1
1
1
1
1
1
0
0
0
0
2
1
1
0
0
0
0
0
0
0
0
3
0
0
0
0
0
0
0
0
0
0
4
0
0
0
0
0
0
0
1
0
0
5
1
1
0
1
1
1
1
1
1
1
6
1
0
1
1
1
1
1
1
1
1
7
1
1
1
0
0
0
0
1
0
0
8
1
1
1
1
0
1
0
0
0
0
9
1
1
1
1
1
1
1
1
1
0
10
1
1
1
1
1
0
1
0
0
0
11
1
1
1
1
1
1
1
1
1
1
• Удаление строк и столбцов, состоящих
только из нулей и единиц.
Слайд 6.
Подготовка матрицы ответов к
статистическому анализу
Подсчет индивидуальных баллов испытуемых и количества
правильных ответов испытуемых на каждое задание теста.
Yi 
Номер
Номер задания j
испытуемог
Yi
1 2 3 4 5 6 7 8 9 10
оi
1 p
 Bj C j
p j 1
Yi — балл i-го испытуемого;
Bj — ответ i-го испытуемого на
j-тое задание;
Cj — ключ (шкальное значение)
j-того задания;
p — количество заданий.
1
1 1 1 1 1 1 0 0 0 0
6
2
1 1 0 0 0 0 0 0 0 0
2
4
0 0 0 0 0 0 0 1 0 0
1
5
1 1 0 1 1 1 1 1 1 1
9
6
1 0 1 1 1 1 1 1 1 1
9
7
1 1 1 0 0 0 0 1 0 0
4
8
1 1 1 1 0 1 0 0 0 0
5
9
1 1 1 1 1 1 1 1 1 0
9
10
1 1 1 1 1 0 1 0 0 0
6
8 7 6 6 5 5 4 5 3 2
5
Rj
1
Слайд 7.
Подготовка матрицы ответов к
статистическому анализу
Упорядочение матрицы результатов тестирования.
Rj в порядке убывания
Yi в порядке возрастания
Номер задания j
Номер
испытуемого i
Yi
1
2
3
4
5
6
8
7
9
10
5
1
1
0
1
1
1
1
1
1
1
9
6
1
0
1
1
1
1
1
1
1
1
9
9
1
1
1
1
1
1
1
1
1
0
9
1
1
1
1
1
1
1
0
0
0
0
6
10
1
1
1
1
1
0
0
1
0
0
6
8
1
1
1
1
0
1
0
0
0
0
5
7
1
1
1
0
0
0
1
0
0
0
4
2
1
1
0
0
0
0
0
0
0
0
2
4
0
0
0
0
0
0
1
0
0
0
1
Rj
8
7
6
6
5
5
5
4
3
2
51
177
Слайд 8.
Основные
статистические
характеристики
1. Тестовые задания
2. Тест
3. Распределение результатов
тестирования
Слайд 9.
Статистические характеристики
тестовых заданий
•
•
Известная мера трудности является обязательным требованием к
тестовым заданиям. Если неизвестна эмпирическая мера трудности
задания, то это задание не тестовое.
Трудность задания определяется после апробации теста. В качестве
показателя трудности используется статистика – доля неправильных
ответов qj.
pj 
•
•
Rj
q j  1 p j
n
Вариация баллов является вторым обязательным требованием к
тестовым заданиям. Если на какое-то задание отвечают все
тестируемые, или наоборот, не отвечают, то никакой вариации нет, а,
следовательно, задание не дифференцирует знающих испытуемых от
незнающих.
Дисперсия (вариация ответов) определяется по формуле:
s 2j  p j q j,
где pj и qj – доля правильных и неправильных ответов в каждом задании.
Слайд 10.
Статистические характеристики
тестовых заданий
Номер задания j
Номер
испытуемого i
1
2
3
4
5
6
8
7
9
10
4
0
0
0
0
0
0
1
0
0
0
1
2
1
1
0
0
0
0
0
0
0
0
2
7
1
1
1
0
0
0
1
0
0
0
4
8
1
1
1
1
0
1
0
0
0
0
5
1
1
1
1
1
1
1
0
0
0
0
6
10
1
1
1
1
1
0
0
1
0
0
6
5
1
1
0
1
1
1
1
1
1
1
9
6
1
0
1
1
1
1
1
1
1
1
9
9
1
1
1
1
1
1
1
1
1
0
9
Rj
8
7
6
6
5
5
5
4
3
2
51
Wj
1
2
3
3
4
4
4
5
6
7
pj
0.89
0.78
0.67
0.67
0.56
0.56
0.56
0.44
0.33
0.22
qj
0.11
0.22
0.33
0.33
0.44
0.44
0.44
0.56
0.67
0.78
pj qj
0.10
0.17
0.22
0.22
0.25
0.25
0.25
0.25
0.22
0.17
Yi
5.67
178
Слайд 11.
График трудности тестовых заданий (неупорядоченный)
1,00
0,90
0,80
коэф-т трудности
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
A1
A2
A3
A4
A5
A6
A7
A8
A9 A10 A11 A12 A13 A14 A15 A16 A17 A18 A19 A20 A21 A22 A23 A24 A25 A26 A27 A28 A29 A30 A31 A32
тестовое задание
График трудности тестовых заданий (упорядоченный)
1,00
0,90
0,80
коэф-т трудности
0,70
0,60
0,50
0,40
0,30
0,20
0,10
0,00
A8 A18 A1 A11 A20 A4
A6
A7 A30 A15 A14 A12 A22 A29 A27 A28 A31 A16 A32 A19 A2 A10 A26 A21 A5
A3 A25 A24 A13 A17 A23 A9
тестовое задание
Слайд 12.
Статистические характеристики
тестовых заданий
Дифференцирующая способность (discriminatory power)
задания, способность задания разделять обучающихся на
«знающих» и «незнающих».
D j  p хор
 p слj
j
– доля правильных ответов на задание в лучшей группе испытуемых
p хор
j
(27-30% испытуемых, имеющих высокие тестовые баллы),
p
сл
j
– доля правильных ответов на то же задание в худшей группе
(27-30% испытуемых, имеющих низкие тестовые баллы).
№
Dj
1
0,4 < Dj 1
Отличное задание
Оценка / Рекомендации
2
0,3 < Dj 0,4
Хорошее задание
3
0,2 < Dj 0,3
Желательна дальнейшая доработка. Если трудность задания выше 80%, то задание
можно оставить без доработки
4
0,1 < Dj 0,2
Критическое значение. Необходим тщательный анализ содержания.
5
-1  Dj  0,1
Задание нельзя использовать. Отрицательное значение ДСЗ указывает на ошибки в
задании, например, указан неверный ответ.
Достижение дифференцирующего эффекта – главная цель создания
нормативно-ориентированных тестов.
Слайд 13.
Статистические характеристики
тестовых заданий
Номер задания j
Номер
испытуемого i
1
2
3
4
5
6
8
7
9
10
4
0
0
0
0
0
0
1
0
0
0
1
2
1
1
0
0
0
0
0
0
0
0
2
7
1
1
1
0
0
0
1
0
0
0
4
8
1
1
1
1
0
1
0
0
0
0
5
Yi
1
1
1
1
1
1
1
0
0
0
0
6
10
1
1
1
1
1
0
0
1
0
0
6
5
1
1
0
1
1
1
1
1
1
1
9
6
1
0
1
1
1
1
1
1
1
1
9
9
1
1
1
1
1
1
1
1
1
0
9
Rj
8
7
6
6
5
5
5
4
3
2
51
Wj
1
2
3
3
4
4
4
5
6
7
pj
0.89
0.78
0.67
0.67
0.56
0.56
0.56
0.44
0.33
0.22
qj
0.11
0.22
0.33
0.33
0.44
0.44
0.44
0.56
0.67
0.78
pj qj
0.10
0.17
0.22
0.22
0.25
0.25
0.25
0.25
0.22
0.17
pj_слаб
0,67
0,67
0,33
0,00
0,00
0,00
0,67
0,00
0,00
0,00
pj_хор
1,00
0,67
0,67
1,00
1,00
1,00
1,00
1,00
1,00
0,67
ДСЗ
0,33
0,00
0,33
1,00
1,00
1,00
0,33
1,00
1,00
0,67
5.67
179
Слайд 14.
График дифференцирующей способности заданий
0,80
0,70
0,60
диф. способность
0,50
0,40
0,30
0,20
0,10
0,00
A8 A18 A1 A11 A20 A4
A6
A7 A30 A15 A14 A12 A22 A29 A27 A28 A31 A16 A32 A19 A2 A10 A26 A21 A5
A3 A25 A24 A13 A17 A23 A9
-0,10
-0,20
тестовые задания
График дифференцирующей способности заданий
1,20
pj_слаб
pj_хор
доля правильных ответов
1,00
0,80
0,60
0,40
0,20
0,00
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
тестовые задания
Слайд 15.
Оценка системности
(валидности)
валидности) тестового задания
•
Расчет корреляционной матрицы позволяет оценить тестовые свойства
задания.
•
В корреляционной матрице представлены корреляции между двумя
заданиями, а также корреляция тестового задания с суммой баллов.
•
Желательно, чтобы между заданиями были низкие корреляции
(значения меньше 0,3).
•
Чем выше значение корреляции задания с суммой баллов, тем выше
шансы задания называться тестовым и попасть в тест (говорят о
системности (валидности) задания).
•
Квадрат корреляции задания с суммой баллов, представленный в
процентах (коэффициент детерминации), указывает на вклад задания
в общую дисперсию тестовых баллов.
•
Задания с значением корреляции ниже 0,2 из теста удаляются, как не
выдержавшие эмпирической проверки.
Слайд 16.
Корреляционная матрица
1
2
3
4
5
6
7
8
9
10
Yi
1
1
2
0,56
1
3
0,36
0,65
1
4
0,30
0,68
0,88
1
5
0,24
0,66
0,85
0,97
1
6
0,22
0,67
0,86
0,97
0,96
1
7
0,04
0,59
0,81
0,88
0,93
0,95
1
8
0,18
0,65
0,84
0,95
0,98
0,96
0,97
1
9
0,15
0,65
0,83
0,93
0,96
0,98
0,99
0,99
1
10
0,14
0,64
0,82
0,93
0,96
0,97
0,98
0,98
0,99
1
Yi
0,58
0,13
0,42
0,83
0,84
0,76
0,29
0,82
0,83
0,63
34%
2%
17%
69%
71%
58%
8%
67%
69%
40%
1
180
Слайд 17.
График коэффицентов корреляции тестовых заданий с суммой баллов
0,60
0,56
0,54
0,51
0,50
0,48
0,47
0,47 0,47
0,42
0,40
0,35
коэф-т корреляции
0,30
0,28
0,33
0,29
0,27
0,44
0,45
0,41
0,39
0,37
0,34
0,32
0,29
0,22
0,20
0,19
0,19
0,20
0,16
0,16
0,13
0,15
0,09
0,08
0,10
0,00
-0,10
-0,12
-0,20
A8
A18
A1
A11 A20
A4
A6
A7
A30 A15 A14 A12 A22 A29 A27 A28 A31 A16 A32 A19
A2
A10 A26 A21
A5
A3
A25 A24 A13 A17 A23
A9
тестовое задание
График коэффицентов детерминации тестовых заданий
35%
31%
30%
30%
26%
коэф-т детерминации
25%
23%
22%
22% 22%
20%
20%
20%
18%
17%
15%
15%
13%
12%
11%
10%
8%
5%
12%
10%
9%
8%
7%
5%
4%
2%
3%
4%
2%
2%
2%
1%
1%
1%
0%
A8
A18
A1
A11 A20
A4
A6
A7
A30 A15 A14 A12 A22 A29 A27 A28 A31 A16 A32 A19
A2
A10 A26 A21
A5
A3
A25 A24 A13 A17 A23
A9
тестовое задание
Слайд 18.
Коэффициент надежности теста
• Коэффициент надежности теста показывает насколько
можно доверять полученным результатам.
• Говорят «данные получены с высокой надежностью»,
если коэффициент выше 0,8. Чем больше данное
значение, тем уже доверительный интервал для
истинного балла.
• Коэффициент надежности позволяет судить о качестве
теста в целом.
(rн ) KR  20
p

  p jq j
n 
j 1

 1
n 1 
sY2








где pj и qj – доля правильных и неправильных ответов в каждом задании;
n – количество тестируемых; p – количество заданий;
sY2 – дисперсия тестового балла.
Слайд 19.
Ошибка измерения
•
Один из аспектов применения коэффициента надежности связан с
определением стандартной ошибки измерения (standard error of
measurement).
•
Стандартная ошибка измерения является стандартной
погрешностью оценки истинных баллов на основании наблюдаемых
результатов тестовых измерений.
S E  sY (1  rн )
Может быть здесь?
Yi – 1,96SE
•
Ti
Истинный балл здесь?
Xi
Ti
А может быть здесь?
Ti Yi + 1,96SE
При использовании в своей работе «готовых» тестов, стремитесь
узнать (определить) коэффициент надежности теста, с целью
вычисления ошибки измерения.
181
Слайд 20.
Описательные характеристики
распределения тестовых результатов
1. Меры центральной тенденции.
 Мода, медиана, среднее
2. Меры вариации.
 Размах, дисперсия, стандартное отклонение,
коэффициент вариации
3. Квантили.
 Квартили, процентили
4. Меры симметрии и островершинности
кривой распределения.
 Асимметрия, эксцесс
Слайд 21.
Меры центральной тенденции.
тенденции.
• Меры центральной тенденции – это обобщающие
показатели, характеризующие типичное значение,
присущее большинству единиц совокупности,
позволяющие выявлять закономерности.
• Мода, М – это наиболее часто встречающееся значение
признака в исследуемой совокупности.
– Унимодальное распределение,
– Бимодальное распределение,
– Мультимодальное распределение.
В данной совокупности
имеются две относительно
самостоятельные группы.
• Медиана, Мd – это значение, которое делит
упорядоченную совокупность данных пополам, так что
одна половина значений больше медианы, а другая –
меньше.
Слайд 22.
Меры центральной тенденции
• Среднее, x , – это значение, которое отражает типичное
значение для исследуемой совокупности в данных условиях:
n
х
x
i 1
п
i
,
где n – объем совокупности, xi – i-е значение совокупности.
– Чтобы средняя величина была действительно обобщающей
характеристикой, улавливающей закономерность, она должна
применяться к достаточно однородной совокупности.
– Средняя величина рассчитывается только для количественных
признаков.
182
Слайд 23.
Соотношение мер центральной тенденции
• У симметричных унимодальных распределений:
x  M  Md
• У унимодальных распределений с правой асимметрией:
M  Md  x
• У унимодальных распределений с левой асимметрией:
M  Md  x
Выбор меры центральной тенденции в зависимости
от типа измерительной шкалы
Тип шкалы
Меры центральной тенденции
Номинальная
Мода
Ранговая
Мода, медиана
Интервальная
Мода, медиана, среднее
Отношений
Мода, медиана, среднее
Слайд 24.
Меры изменчивости
• Меры изменчивости – показатели, измеряющие
вариацию (разброс) значений совокупности. К мерам
изменчивости относятся: размах, дисперсия, стандартное
отклонение, коэффициент вариации, и др.
•
•
Размах вариации (R), отражает
пределы изменчивости
значений совокупности.
Представляет собой разность
между максимальным (xmax) и
минимальным значением (xmin)
совокупности:
30
25
20
класс А
15
класс В
10
5
0
21
R  xmax  xmin .
22
23
24
• Размах не учитывает всех значений в выборке и
определяется только двумя значениями.
Слайд 25.
Меры изменчивости
• Дисперсия,  2 или s 2, – это значение, которое отражает
внутреннюю изменчивость значений исследуемой
совокупности:
n
2 
•
 ( x  x)
i 1
2
i
п 1
,
где n – объем совокупности,
xi – i-е значение, x – среднее значение.
• Стандартное отклонение,  или s, показывает
насколько в среднем отклоняется каждое значение (xi ) от
среднего x :
  2,
183
Слайд 26.
Меры изменчивости
•
В случае нормальности распределения исследуемой совокупности
значений справедливо следующее (правило «Трех сигм»):
•
70% значений лежит между
х  и x 
,
•
95% значений лежит между
х  2 и x  2
,
•
99% значений лежит между
х  3 и x  3
.
99,72%
95,44%
68,26%
%
15,59%
34,13%
34,13%
15,59%
2,14%
-3
2,14%
-2
-1
Среднее ()
+1
+2
+3
Процентное распределение наблюдений под нормальной кривой
Слайд 27.
Меры изменчивости
o Для сопоставления изменчивости признаков используют
коэффициент вариации
Cv 

x
 100% .
o При симметричных распределениях коэффициент вариации Cv не
превышает 50%. При сильно асимметричных рядах распределения
коэффициент вариации Cv может принимать значение 100% и даже выше.
Варьирование считается
 слабым, если Cv < 10%,
 средним, если 10% < Cv  33%,
 значительным, при Cv  33 %.
o Если значение коэффициента вариации Cv не превышает 33%, то
изучаемая совокупность считается однородной.
Слайд 28.
Квантили
Квантиль – делит совокупность на заданное число равных
частей по количеству значений.
Число частей может быть различным, отсюда и разные квантили –
квартили, децили, перцентили.
Квартиль делит совокупность на четыре равные части, по 25%
значений а каждой части.
184
Слайд 29.
Квантили
• Дециль делит совокупность на 10 равных частей,
по 10% значений в каждой части.
• Перцентиль делит совокупность на 100 равных
частей.
• Например,
D1 = C10, Q1 = C25, Md = C50, Q3 = C75 и т.д.
• Необходимость расчета квантилей вызвана
теми же причинами, что и расчет медианы: низкая
чувствительность к случайным резким
отклонениям значений признака.
Слайд 30.
Меры симметрии и островершинности
кривой распределения
Асимметрия (As) – степень отклонения распределения от
симметричного распределения, характерного для
нормальной кривой.
–
•
•
•
Асимметрия As принимает значения в диапазоне от –3 до +3.
As = 0, распределение симметрично;
As < 0, левосторонняя асимметрия,
As > 0, правосторонняя асимметрия.
отрицательная
асимметрия
нулевая
асимметрия
положительная
асимметрия
Слайд 31.
Меры симметрии и островершинности
кривой распределения
Эксцесс (Ex) – степень островершинности кривой
распределения.
Эксцесс (Ex) принимает значения в диапазоне от –3 до +3.
• Ex = 0, распределение средневершинно;
• Ex < 0, плосковершинная кривая,
• Ex > 0, островершинная кривая.
островершинная
плосковершинная
средневершинная
Понятие «эксцесс» применимо лишь к унимодальным распределениям. Если две моды, то
говорят об эксцессе кривой в окрестности каждой моды.
Меры асимметрии и эксцесса можно использовать для сравнения различных
распределений.
185
Слайд 32.
Гистограмма распределения результатов тестирования
14%
12%
частота, %
10%
8%
6%
4%
2%
0%
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
32
Тестовый балл
Слайд 33.
План апробации тестовых заданий
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Самоконтроль
1. В какой форме представляются результаты тестирования?
2. Что такое дихотомическая и политомическая оценка?
3. Почему перед проведением математико-статистического анализа
матрицы ответов на этапе апробации рекомендуется удалять нулевые
(единичные) строки?
4. Перечислите основные статистические характеристики тестового
задания.
5. Что такое дифференцирующая способность задания?
6. Какое соотношение характерно для суммы правильных ответов и
суммы первичных тестовых баллов в матрице ответов?
7. При использовании политомической оценки, в чем особенность
вычисления доли правильных ответов?
8. Трудность характерна для теста или тестового задания?
9. Какой показатель характеризует качество теста?
186
10. Какое свойство тестового задания характеризует квадрат
коэффициента корреляции задания с тестовым баллом?
11. О чем свидетельствует отрицательное значение
дифференцирующей способности тестового задания?
12. Что такое гистограмма распределения результатов тестирования?
13. Почему необходимо проверять нормальность распределения
результатов тестирования?
14. Какие статистические характеристики следует использовать в
случае асимметричности распределения?
Лекция 2 «Логистические модели оценивания параметров
трудности заданий и уровня подготовленности обучающихся»
План
1.
2.
3.
4.
5.
Понятие латентной переменной.
Item Response Theory.
Вычисление логита трудности и логита подготовленности.
Модели IRT.
Основные принципы моделирования теста.
Конспект содержания
Слайд 1.
ITEM RESPONSE
ANALYSIS
1.
Понятие латентной переменной.
2.
Item Response Theory.
3.
Вычисление логита трудности и логита
подготовленности.
4.
Модели IRT.
5.
Основные принципы моделирования теста.
187
Слайд 2.
Латентные переменные

Свойство личности, измеряемое косвенным
образом, посредством индикаторов,
называется латентным (скрытым).

Специалисты такую переменную могут
описать, перечислив признаки,
характеризующие проявление
интересующего свойства.

Например,
«интеллект» непосредственно не измеряется, однако по
проявляемым признакам можно оценить уровень интеллекта
индивида;
«подготовленность студентов», «знание учебной дисциплины»,
«способность понимать».


Слайд 3.
Латентные переменные

Чтобы измерить способность студента,
необходимо разработать шкалу измерения,
то есть сконструировать «линейку»,
позволяющую получить количественное
значение способности студента. Это даст
возможность сравнения нескольких
индивидов.
Теоретический диапазон изменения
значений способности личности – от минус
бесконечности до плюс бесконечности, со
Слайд 4.средним значением в области 0. На
практике, при измерении способности,
Item
Response Theory
ограничиваются интервалом от -5 до +5,
хотя надо иметь в виду, что возможны
 Теория
ответов
на задания
значения
и за пределами
выбранного
диапазона.


Современная теория тестов

Теория латентных черт

Теория характеристических кривых заданий

Современная теория параметризации и
моделирования тестов
188
Слайд 5.
Item Response Theory

Классическая теория –
Уровень подготовленности зависит от
трудности заданий, включенных в тест
Трудность задания зависит от уровня
подготовленности студентов, выполнивших
тест (Hambleton и Swamination, 1985).
Поэтому при использовании различных тестов
характеристики задания и уровень
подготовленности студентов измерены в
различных шкалах, и, как следствие,
несопоставимы (Wright & Stone, 1979).
Слайд 6.
Item Response Theory

IRT базируется на двух постулатах:
1. Результат выполнения студентом тестового
задания может быть предсказан набором
факторов, представленных скрытыми
способностями.
2. Отношение между результатом выполнения
студентом тестового задания и набором черт,
лежащих в основе выполнения данного
задания могут быть определены
характеристической кривой задания
(Hambleton & Swaminathan, 1985).
Слайд 7.
Item Response Theory
В IRT рассматривается три основных модели:
1) Трехпараметрическая модель,
2) Двухпараметрическая модель,
3) Однопараметрическая модель.
Трехпараметрическая модель (Warm, 1978) – форма
характеристической кривой определяется тремя параметрами:

a – параметр дифференцирующей способности задания –
задает крутизну характеристической кривой.

b – параметр трудности тестового задания – указывает
местоположение на оси уровня подготовленности (θ), где
вероятность правильного ответа составляет 50%, Р(θ)=0,5.

с – параметр угадывания – вероятность угадывания
правильного ответа на задание.
189
Слайд 8.
Трехпараметрическая модель
Характеристические кривые заданий
Слайд 9.
Двухпараметрическая модель
Характеристические кривые заданий
Слайд 10.
Однопараметрическая модель
Характеристические кривые заданий
190
Слайд 11.
Item Response Theory
В IRT принимаются во внимание несколько мер
трудности заданий:
1.
Доля неправильных ответов испытуемых на каждое задание
проектируемого теста (qj);
2.
Отношение qj/pj , предложена Г. Рашем, ее можно условно назвать
потенциалом трудности задания;
3.
Значение натурального логарифма отношения qj/pj;
4.
Корректированные в процессе шкалирования значения ln qj/p. В
качестве окончательной меры трудности заданий принимается
именно эта мера. В IRT она называется параметром трудности
задания.
Скорректированные значения ln pi/qi называются параметром
подготовленности испытуемого.
Слайд 12.
Item Response Theory
Основная цель IRT-моделей
Анализ различий в тестовых оценках, которые
первоначально не линейны (Wright & Stone, 1973).

Преобразование вероятностей в логиты позволяет
исследователям сравнивать трудности заданий и
уровень подготовленности студента независимо от
используемого теста (Warm, 1978).
График вероятностей доли правильных ответов и
график логит-преобразованных вероятностей
Слайд 13.
Первичные баллы. Нелинейность.
Теория утверждает, а практика подтверждает, что даже
небольшое изменение состава теста (в рамках той же
учебной программы) приводит к другому ранжированию.
При этом вполне возможна инверсия, то есть вполне может
случиться так, что после этого изменения уже студент B
окажется лучше студента A.
Понятно, что ни о какой объективности и точности
баллов здесь говорить не приходится.
Увеличение такого балла на единицу дает различный вклад в
реальный уровень подготовленности испытуемого в
зависимости от того, к какому количеству баллов эта
единица добавляется. Поэтому подобные баллы не
являются взаимозаменяемыми, а соответствующая
шкала не линейна, что недопустимо для объективных
измерений.
191
Слайд 14.
Первичные баллы. Линеаризация.
Необходимая линеаризация состоит в
выражении имеющейся в первичных
баллах информации в терминах
такой новой единицы, которая
является неизменной на всем
используемом диапазоне
соответствующей метрической
шкалы. Такой единицей является
логит.
Слайд 15.
Первичные баллы – исходные данные,
а не результаты.
Кстати, термин "балл" часто смущает и приводит к спорам о
том, сколько баллов приписать верному выполнению того
или иного задания.
Споры эти беспочвенны, так как речь должна идти
только о подсчете количества положительных исходов.
Так что первичный балл - это, по существу, вовсе и не
балл! Это не конечные результаты, а, наоборот,
исходные данные.
Если же пользоваться ими как результатом, то ни о какой
объективности говорить не приходится. Невозможно
всерьез говорить и о точности первичных баллов.
По образному выражению одного из классиков тестологии,
первичные баллы - это кривое зеркало, способное исказить
реальную ситуацию причудливым образом и сделать
серьезное дело смешным.
Слайд 16.
Графическая интерпретация инвариантности оценок учебных
достижений
192
Слайд 17.
Графическая интерпретация неинвариантности
первичных баллов.
Слайд 18.
Разница в первичных баллах

В случае инвариантности оценок учебных достижений разность
между баллами двух испытуемых по результатам выполнения
разных тестов должна остаться неизменной.

При отсутствии инвариантности разности между баллами двух
испытуемых по результатам выполнения обоих тестов
различны, например, как на предыдущих слайдах.

Таким образом, первичные баллы определяют собой
конкретные факты и являются важными исходными
данными, но не конечными результатами.

Для того чтобы из фактов извлечь нужную информацию
об уровне подготовленности испытуемых, необходима
специальная теория, обеспечивающая, в частности,
линеаризацию первичных баллов.
Слайд 19.
Графическая иллюстрация линеаризации первичных баллов
193
Слайд 20.
Слайд 21.
Слайд 22.
194
Слайд 23.
Логит трудности
Вычисляются:

1.
2.
3.
Начальные значения логита трудности
тестовых заданий;
Среднее значение для логита трудности, где
р – количество заданий:
p
j

 сред.  j 1
p
Вариация для логита трудности, где р –
количество заданий:
p
U
 ( )
i 1
2
 p   сред
.
2
i
p 1
Слайд 24.
Пример.
Слайд 25.
Логит подготовленности:

Вычисляются:
1.
2.
Начальные значения логита подготовленности;
Среднее значение для логита
подготовленности, где n – количество
тестируемых:
n
 сред. 
3.

i 1
i
n
Вариация для логита подготовленности, где n –
количество тестируемых:
n
V
 ( )
i 1
i
2
2
 n   сред
.
n 1
195
Слайд 26.
Пример.
Слайд 27.
Выравнивание логитов:
Цель:

Устранение зависимости логита
трудности тестовых заданий и логита
подготовленности тестируемого от выборки
тестируемых и используемого теста.
Поправочные коэффициенты:
Ошибка измерения:
Для логита трудности:
Для логита трудности:
1  V / 2.89
Y
1  U V / 8.35
Для логита подготовленности:
S ( *j ) 
Y
n pj qj
Для логита подготовленности:
1  U / 2.89
X
1  U V / 8.35
S ( i* ) 
X
n  pi  qi
Слайд 28.
Скорректированные значения логита
Номер
задания
Количеств
о
правильн
ых ответов
на задание
логит трудности,
δj
Скорректирован
ный логит
трудности, δj*Y
Возможный
балл
Частота,
f
логит
подготовленност
и, θi
Скорректирован
ный логит
подготовленност
и, θi*X
1
0
-2,565
-5,503
2
2
-1,792
-3,844
2
-1,299
-2,787
4, 5
32
-2,997
-4,395
3
7
30
-2,240
-3,284
4
1
-0,916
-1,966
6, 9
26
-1,403
-2,058
5
4
-0,588
-1,261
8
25
-1,246
-1,828
6
7
-0,288
-0,617
10
23
-0,962
-1,411
7
9
0,000
0,000
11
13
0,255
0,374
8
1
0,288
0,617
13
9
0,797
1,169
9
2
0,588
1,261
12
6
1,316
1,930
10
3
0,916
1,966
14
4
1,790
2,625
11
1
1,299
2,787
15
2
2,548
3,736
12
2
1,792
3,844
16, 17
1
3,272
4,798
13
0
2,565
5,503
U=
4,841
U=
4,841
V=
0,722
V=
0,722
Y=
1,466
X=
2,145
196
Слайд 29.
Однопараметрическая модель
Первая модель появилась в 1958 году, когда у Г. Раша
возникла идея выразить вероятность правильного
ответа на задание j посредством функции вида
p 
1
e  1 e   1  1 e  (   )


e e




























θ - уровень подготовленности (знаний), латентная
переменная;
δ - уровень трудности конкретного, латентная
переменная;
e – константа, иррациональное число, равное
округлённо 2,72.
Слайд 30.
Однопараметрическая модель
педагогического измерения
В начале 50-х годов прошлого столетия датский математик
G.Rasch стал рассматривать матрицу тестовых данных как
результат взаимодействия множества испытуемых с множеством
заданий.
При этом естественным образом принималась аксиома - чем
труднее задание для данного испытуемого, тем ниже вероятность
правильного ответа.
Из этой аксиомы следует свойство функциональности модели:
вероятность правильного ответа испытуемых на задание j есть
функция от взаимодействия двух параметров – от уровня
подготовленности испытуемых θ и от уровня трудности задания δ.
Формально это условие можно записать P(θ) = f(θ - δ), что
позволяет говорить, что эта функция от одной переменной
величины, от разности значений θ-δ.
Слайд 31.
Графический образ функции
197
Слайд 32.
Двухпараметрическая модель
Вероятность правильного ответа на задание j
выражается посредством функции вида

p  1 e

 a j (  ) 1
θ – уровень подготовленности (знаний), латентная
переменная;
δ – уровень трудности конкретного, латентная
переменная;
e – константа, иррациональное число, равное
округлённо 2,72;
aj – дифференцирующая способность задания j.
Слайд 33.
Трехпараметрическая модель
Вероятность правильного ответа на задание j
вычисляется посредством функции вида

p  с j  (1  c j ) e

 a j (  ) 1
θ – уровень подготовленности (знаний), латентная
переменная;
δ – уровень трудности конкретного, латентная
переменная;
e – константа, иррациональное число, равное
округлённо 2,72;
aj – дифференцирующая способность задания j;
cj – коэффициент угадывания.
Слайд 34.
Взаимное расположение заданий и уровней
подготовленности на шкале логитов
198
Слайд 35.
Взаимное расположение заданий и уровней
подготовленности на шкале логитов
Слайд 36.
План апробации тестовых заданий
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Самоконтроль
1.
Что такое латентная переменная?
2.
Каким образом можно измерить латентную переменную?
3.
Приведите примеры латентных переменных в педагогических
измерениях.
4.
Какие синонимы IRT Вам известны?
5.
Какое преимущество IRT перед классической теорией
измерений?
6.
На каких постулатах базируется IRT?
7.
Сколько и какие модели рассматриваются в IRT?
8.
Перечислите и объясните параметры трехпараметрической
модели измерения.
9.
Перечислите основные шкалы измерений.
199
10. Сопоставимы ли в IRT параметр трудности задания и
трудность задания?
11. Что такое потенциал трудности задания?
12. Что такое потенциал подготовленности тестируемого?
13. Каким образом можно добиться независимости результата
выполнения теста от используемых заданий и выборки, на которой
проводилось тестирование?
14. Назовите единицу измерения в IRT.
15. Почему первичные баллы являются исходными данными, а не
конечными результатами?
16. Почему необходимо исключать из дальнейшего анализа
нулевые строки и столбцы матрицы ответов?
17. Каким образом, зная параметры трудности задания и
подготовленности тестируемого, можно моделировать содержания
теста?
Лекция 3 «Основные этапы математико-статистического анализа
при конструировании теста. Шкалирование результатов
тестирования»
План
1. Определение эффективного теста.
2. Основные этапы математико-статистического анализа при
конструировании теста.
3. Методы шкалирования результатов тестирования.
Конспект содержания
Слайд 1.
Основные этапы
математико-статистического
анализа
при конструировании теста
1.
Определение эффективного теста.
2.
Основные этапы математикостатистического анализа при
конструировании теста.
3.
Шкалирование результатов тестирования.
200
Слайд 2.
Определение теста
«Систематизированная процедура для наблюдения и
описания поведения индивида с помощью шкалы или
понятийной системы»
Cronbach L. Essentials of psychological testing. N. Y., 1970.
— 745 p.

«Объективное и стандартизованное измерение выборки
поведения»
Анастази А. Психологическое тестирование: В 2 кн. Кн. I /
Пер. с англ.; Под ред. К. М. Гуревича, В. И. Лубовского,
1982. — 320 с.

«Некоторый набор стандартизованных или
контролируемых ситуаций для реагирования,
предъявляемых испытуемому с целью вызывать у него
репрезентативную выборку его поведения, которое имеет
место, когда он сталкивается с некоторым определенным
видом требований, предъявляемых окружающей средой»
English Н. В., Englich А. С. A comprehensive dictionary of
psychological and psycho-analytical terms. N. Y., 1958.
— 594 p.

Слайд 3.
Эффективность теста
1. Органическое соединение методологической
оснащенности и специальной эрудированности.
2. Строгая стандартизация условий испытания и связанная
с этим возможность моделировать те или иные ситуации.
3. Наличие в структуре каждой тестовой методики
достаточно сложного математико-статистического
аппарата, состоящего из двух основных компонентов:
а) специальной системы для оценивания результатов
испытания, основанной на использовании шкал
производных оценок, которые вместе со шкалой
непосредственных, первичных оценок составляют
специальную систему для оценивания полученных
результатов;
б) критериально-оценочной спецификации данного теста,
представляющей собой своеобразный технический
паспорт, содержащий количественные характеристики
данного теста по критериям надежности, а также
содержательной и прогностической валидности.
Слайд 4.
Эффективный тест
 Это
стандартизированная
методика, тщательно научнометодически разработанная и
проверенная на репрезентативной
выборке с достаточно высокой
надежностью и валидностью.
201
Слайд 5.
Эффективный тест
Информация, получаемая при помощи грамотно построенного
теста, обладает признаками:







воспроизводимости (это качество проверяется по критерию
надежности),
выводимости (и первичные, и тем более производные
тестовые оценки представляют собой продукты целой серии
индуктивных и дедуктивных выводов, обеспечивающих
получение неочевидных следствий из принимаемых
допущений),
проверяемостью (для проверки содержательной валидности
и прогностической ценности разработаны специальные
процедуры),
способностью к предсказаниям и обобщениям (оба эти
признака являются для тестовых методик стержневыми),
возможностью математического выражения получаемых
результатов (этот признак является для тестов необходимо
специфическим),
практической полезностью,
критичностью (способность метода тестов к развитию и
совершенствованию).
Слайд 6.
Построение теста при помощи классической теории
тестирования:
1. Составление заданий. Необходимо составить как минимум в
два раза больше заданий, чем предполагается включить в
окончательный вариант теста.
2. Апробация (калибровка): полученные задания нужно
протестировать на выборке, близкой к той, для которой
предназначается тест.
3. Вычислить корреляции задания с тестовым баллом. Исключить
задания с низкой (<0,2) или отрицательной корреляцией.
4. Вычислить дифференцирующую способность задания.
Исключить задания с низким (<0,2) или отрицательным
значением.
5. Вычислить трудность заданий. Нежелательно включать в тест
задания, имеющие значение более 0,85 или менее 0,15.
6. Определить необходимое число заданий в тесте. Включить в
тест задания с самой высокой корреляцией задание - итоговый
балл, так как они повышают надежность теста, снижая
стандартную ошибку измерения.
7. Построить шкалу производных оценок.
8. Составить спецификацию теста.
Слайд 7.
Основные этапы математико-статистического
анализа при конструировании теста

Формирование репрезентативной
выборки

Проведение измерений

Описательный (дескриптивный) анализ

Аналитическая статистика

Этапы принятия статистического
решения
202
Слайд 8.
Выборочный метод

Составитель теста должен уметь определять:



точность выводов при заданном размере выборке;
размер выборки, чтобы добиться требуемой точности
выводов.
Апробация и стандартизация теста на
репрезентативной выборке обладает
следующими достоинствами:
 относительно небольшими (по сравнению со
сплошным наблюдением) материальными,
трудовыми и стоимостными затратами на сбор
данных (включая затраты на планирование и
формирование выборки);
 оперативность получения результатов;
 широкая область применения;
 высокая достоверность результатов.
Слайд 9.
Генеральная совокупность и выборка
 Выборка
– группа, которая
реально тестируется.
 Генеральная
совокупность –
более широкая группа, имеющая
тот же состав, что и выборка, на
которую могут быть перенесены
результаты тестирования.
Слайд 10.
Репрезентативная выборка

Для того чтобы по имеющейся выборке делать вывод о
свойствах генеральной совокупности, выборка должна
быть репрезентативной (представительной), т.е. она
должна полно и адекватно представлять свойства
генеральной совокупности.
1
6
6
2
5
3
4
а)
1
5
2
4
1
6
3
б)
5
2
3
4
в)
Рис. 2. Формирование выборки из генеральной совокупности
203
Слайд 11.
Репрезентативная выборка

Репрезентативность выборки не зависит от ее
объема.


Одним из наиболее правильных способов
обеспечения репрезентативности выборки
является ограничение (сужение) границ генеральной
совокупности.


Маленькая, но репрезентативная выборка будет
предпочтительнее большой, но неравномерно
представленной.
Лучше применять полученные результаты к
«ограниченной» генеральной совокупности, чем к той,
которая не была адекватно представлена в
репрезентативной выборке.
Проявляя должную тщательность при определении
объема, в самом отборе и оценке результатов можно
повысить ее представительность.
Слайд 12.
Виды выборок

Нормативная и пилотажная выборки:



Нормативная выборка:







На пилотажной выборке происходит проверка дифференцирующей
способности, надежности и валидности теста, а на нормативной выборке –
его окончательная стандартизация.
При этом нормативная выборка является репрезентативной по отношению ко
всей генеральной совокупности, а пилотажная – по отношению к
нормативной.
Необходима для нормативно-ориентированных тестов.
Формируется для конструирования норм, которые в дальнейшем будут
работать при практическом использовании теста.
Должна быть достаточно большой. Ее величина проверяется по следующему
критерию: другая выборка, отобранная из той же популяции, не должна
приводить к нормам, отличных от полученных. Нормативная выборка должна
состоять из 500 испытуемых.
Наиболее существенно, чтобы нормативная выборка была репрезентативна
по отношению ко всей популяции.
При этом необходимо четкое определение спецификации популяции, к
которой применимы полученные нормы.
Для получения адекватных норм для специфических групп необходимо
стратифицировать выборку по основной переменной, влияющей на эти
группы.
Пилотажная выборка:

Объем выборки обычно не превышает 50-100 чел., но и в этом случае она
должна быть репрезентативной по отношению к выборке основного
исследования.
Слайд 13.
Методы формирования выборки

Используются два основных метода формирования
выборки:



1) вероятностный,
2) целенаправленный (направленный).
При выборе метода следует исходить из преимуществ и
недостатков каждого из них.

Вероятностный метод обладает теоретическими
преимуществами

Целенаправленный – практическими.

Вероятностный отбор лучше осуществлять в тех случаях,
когда есть возможность составить полный список
генеральной совокупности.

Направленный отбор лучше осуществлять, когда
составление (получение) перечня единиц генеральной
совокупности крайне затруднено.
204
Слайд 14.
Вероятностный метод
Основное правило при случайном
отборе – равная вероятность каждой
единицы генеральной совокупности
попасть в выборку.
 При проведении тестирования обычно
используют случайный бесповторный
отбор.
 Разработаны технические процедуры случайного
отбора:




при помощи таблиц случайных чисел,
с использованием компьютера,
систематический случайный отбор.
Слайд 15.
Целенаправленный отбор
Обычно используют следующие отборы с неравной вероятностью:
1.
2.
3.
4.
Беспорядочный
Типический
Стратифицированный
Оценочный отбор
Беспорядочный отбор не позволяет отнести его к вероятностным
методам и использовать при статистических оценках, несмотря на
всю его кажущуюся «случайность».
Типический отбор – исследователь сознательно выбирает то или иное
«гнездо» (населенный пункт, школу, факультет, вуз и т.п.), которое
является наиболее распространенным типом среди всех единиц
генеральной совокупности. В рамках типичного отбора можно
проводить сплошное или выборочное тестирование.
Оценочный метод – используются профессиональные оценки.

Например, для определения валидности тестовых заданий.

Валидные задания должны четко отделять хорошо
подготовленных от слабо подготовленных учащихся, поэтому в
выборку должны быть включены соответствующие группы.
Слайд 16.
Отбор с применением стратификации

Данный метод предполагает деление
генеральной совокупности на несколько
взаимоисключающих категорий или групп.

И только после этого в каждой из групп
проводят выборку, вероятностную или
целенаправленную в той же пропорции, что и в
генеральной совокупности.

Разбивка на группы (страты) преследует цель
достижения большей эффективности.

Чем большую дисперсию обеспечивают страты, тем
качественнее стратификация.
205
Слайд 17.
Отбор с применением стратификации
Чаще всего за основу стратификации берут:
разные программы обучения (базовый уровень,
повышенный уровень, с определенным уклоном),
разные профили обучения (физико-математический,
естественнонаучный, гуманитарный, эстетический, военноспортивный, профессиональное обучение),
место размещения (центр города, спальный район),
разные населенные пункты (город, сельская
местность),
возраст,
пол (мужской, женский).






Пол
мужской
Уровень подготовленности
женский
Тип учебного заведения
школа
гимназия
лицей
школа
гимназия
лицей
отлично
хорошо
удовлетворительно
неудовлетворительно
Слайд 18.
Описание вероятностных выборок
Тип выборки
Стратегия отбора
Простая случайная
Каждый элемент исследуемой совокупности имеет
равную вероятность быть выбранным в выборку.
Систематическая
Каждый элемент исследуемой совокупности либо
имеется в перечне элементов, либо представлен в
собрании элементов. Назначается случайный старт,
затем элементы совокупности выбираются с равным
интервалом.
Стратифицированная
Каждый элемент исследуемой совокупности
включен только в одну группу или страту. Затем
используется простая случайная выборка из каждой
страты.
Кластерная
Каждый элемент исследуемой совокупности
включен только в одну группу или кластер. Затем
кластеры выбираются случайно, и все элементы
выбранного кластера включаются в выборку.
Слайд 19.
Описание невероятностных выборок
Тип выборки
Стратегия отбора
Доступная
Выбор элементов базируется на доступности к любому элементу.
Правдоподобная
Выбор элементов производится исходя из того, что данный
элемент представляет совокупность в соответствии с
наложенными условиями, либо элемент включается в выборку в
соответствии с различными условиями.
Типическая
Выбор элементов осуществляется на основании того, что заранее
известно об этих элементах: они подходят по целям исследования
и не принадлежат к экстремальным группам.
Критическая
Выбор элементов ведется в соответствии с ключевыми или
существенными признаками исследуемой совокупности,
доступными для всего исследования, либо доступны все элементы
с ключевыми признаками.
Лавинная
Квотная
Ведется выбор групповых элементов, а групповые члены
определяют добавочные элементы, которые включаются в
выборку.
Респонденты выбираются в той же пропорции: по самым легко
определимым признакам, что и в генеральной совокупности.
206
Слайд 20.
Ошибка выборки

Ошибка выборки - это разность между величиной параметра в
генеральной совокупности и его величиной, вычисленной по
результатам выборочного исследования:
 х~
х
х
где
- среднее значение для генеральной совокупности из N-единиц,
равное
х   хi / N
~
х - среднее значение для выборочной совокупности из n-единиц,
равное
~
х   хi / n
Величина Δ есть предельная ошибка выборки и не должна превышать
  t
, где t - коэффициент доверия, μ - средняя ошибка выборки
 
n
где σ - стандартное отклонение среднего генеральной совокупности,
выборки.
n - объем
Средняя ошибка выборки - это возможные отклонения характеристик
выборки от соответствующих характеристик генеральной совокупности,
чем больше величина этих отклонений, тем больше ошибка
репрезентативности.
Без учета ошибки выборки полученные результаты можно относить только
к тем людям, которые непосредственно были протестированы.
Слайд 21.
Определение объема выборки

Основная величина, от которой зависит объем выборки –
дисперсия и ее изменение.
2
21
n1
N
График зависимости дисперсии от объема выборки

Объем выборочной совокупности может быть рассчитан:
1) по таблицам достаточно больших чисел и
2) по формулам математической статистики.
Слайд 22.
Расчет объема выборки по таблицам
больших чисел

Данный метод используют, если ничего нельзя сказать ни о
средних показателях, ни о генеральной совокупности. При
этом используются следующие допущения:



объем генеральной совокупности не влияет на объем выборки;
численность выборки зависит от доверительной вероятности (Р), с
которой делается вывод о достоверности результатов и предельной
ошибки репрезентативности
Чтобы определить по таблице необходимый объем выборки для
обеспечения точности оценки р=0,05 и ее надежности
(доверительная вероятность) Р=0,95, на пересечении заданных
параметров находим число 384.
207
Слайд 23.
Нахождение объема выборки путем
математических расчетов

Расчет объема выборки начинают по формуле повторного отбора
n
t 2  2
,
2

(1)
где 2 – дисперсия генеральной совокупности, t – табличная величина,
соответствующая заданной доверительной вероятности P, с которой будут
гарантированы оценки генеральной совокупности по данным выборочного
исследования (данная величина находится по таблице доверительных
вероятностей), Δ – допустимая предельная ошибка репрезентативности.

Слайд 24.
Нахождение объема выборки путем
математических расчетов


Дисперсия генеральной совокупности 2 , как правило, не
известна.
Используются какие-либо оценки:

результаты прошлых тестирований той же совокупности, если ее структура
и условия развития достаточно стабильны, или же зная примерную
величину средней, находят дисперсию из соотношения
1 
3 
2
 2   х .

Если известны xmax и xmin, то можно определить стандартное отклонение в
соответствии с правилом «трех сигм»
1
6
  ( xmax  xmin ),
Пример.
для апробации вступительного теста из 9753 выпускников
следует отобрать определенное количество учащихся, которые
бы обеспечивали с вероятностью 0,95 определение уровня
подготовленности с предельной ошибкой выборки 2 балла.
Дисперсию примем по прошлому тестированию, равной 365.
n0 
1.96 2  365
 350,55  351
22
Слайд 25.
Ошибки измерения

В теории педагогических измерений ошибка трактуется
как статистическая величина, отражающая степень
отклонения наблюдаемого балла от истинного балла.
Тист  X ф  E
где Tист – истинный балл, Xф – наблюдаемый результат,
Е – суммарная ошибка измерения.

Среди ошибок выделяют два наиболее важных
типа: систематические и случайные.
•К систематическим относятся ошибки, порождаемые
недостаточным качеством теста.
•Случайные ошибки происходят от особенностей поведения
испытуемых, а не от заданий теста.
208
Слайд 26.
Доверительный интервал

Стандартная ошибка измерения:
SE   1  rH



где  - стандартное отклонение индивидуальных тестовых баллов;
rH- коэффициент надежности теста.
Оба показателя вычисляются на одной выборке испытуемых.

Стандартная ошибка измерения также рассматривается как
величина, отражающая степень точности отдельных измерений, и
используются для определения границ доверительного
интервала, внутри которого должны находиться истинные баллы
испытуемых

или определения границ доверительного интервала, внутри
которого должно находиться среднее значение генеральной
совокупности
  tSE
Y    Tист  Y  
хвыб    х ген  хвыб  
  t
Слайд 27.
Пример 1
Доверительный интервал для истинного балла
Проведено тестирование, в котором участвовало 243 студента.
Средний тестовый балл составил 30 баллов,
Стандартное отклонение – 12,5 баллов.
Коэффициент надежности теста, вычисленный по формуле
Кьюдера-Ричардсона – 0,89.
Ошибка измерения равна
S E  12,5 1  0,89  4,15
Предельная ошибка при доверительной вероятности Р=0,95 равна
  1,96  4,15  8,13
Границы доверительного интервала:
30  8,13  Т ист  30  8,13,
21,87  Tист  38,13.
Например, студент Иванов получил за выполнение теста 35 баллов.
Истинное значение уровня подготовленности Иванова находится в
интервале от 27 до 43 баллов.
Слайд 28.
Пример 2
Доверительный интервал среднего значения
Проведено тестирование, в котором приняли участие 243 студента.
Генеральная совокупность – 859 студентов, обучающихся на первом
курсе одного из вузов города.
Средний балл – 30 баллов, стандартное отклонение – 12,5 баллов.
Средняя ошибка выборки равна

12,5


 0,80.
n
243
Предельная ошибка при доверительной вероятности Р=0,95 равна
  1,96  0,80  1,57
Границы доверительного интервала:
28,43  х ген  31,57.

С доверительной вероятностью 95% средний тестовый балл генеральной
совокупности будет не меньше 28,43 и не больше 31,57.

Другими словами, если выборки повторять много раз, то в 95 случаях из 100
получим, что выборочная средняя будет отстоять от генеральной средней не
далее, чем на величину вычисленной нами предельной ошибки, равной 1,57.
209
Слайд 29.
Общая схема выборочного метода
1
Определение цели тестирования
2
Определение критериев отклонений
3
Определение генеральной совокупности
4
Выбор метода отбора
5
Определение объема выборки
6
Построение (получение) выборки
7
Анализ обнаруженных отклонений
8
Оценка результатов по выборочной проверке
Слайд 30.
Результат проделанной работы по пунктам 1 – 7
Описание сформированной выборки:

Объект исследования – студенты первого курса, изучающие
английский язык.
Предмет исследования – уровень подготовленности студентов по
английскому языку после окончания средней школы.
Генеральная совокупность – 2361 студент 1 курса (без студентовповторников).
Выборка – случайная бесповторная с дополнительным
квотированием. В выборочной совокупности представлены студенты
всех факультетов пропорционально их доли в общей численности.
Репрезентативность выборки – обеспечивается соблюдением
процедуры случайного отбора респондентов, а также дополнительным
квотированием. Для определения числовых квот использовались
данные деканатов.
Объем выборки – 250 студентов.






Слайд 31.
Описательный (дескриптивный) анализ
Построение частотной таблицы и
гистограммы распределения.
 Вычисление статистических
характеристик распределения.

Аналитическая статистика

Формирование гипотез и проверка их
значимости статистическими критериями, с
помощью которых можно было бы объективно
выяснить, например, является ли наблюдаемая
разница в средних значениях или взаимосвязь
(корреляция) выборок случайной или нет.
210
Слайд 32.
Формулирование гипотез

Видно, что в контрольной группе разница между
средними обоих распределений невелика, и поэтому
можно думать, что обе выборки принадлежат к одной и
той же генеральной совокупности. Напротив, в опытной
группе большая разность между средними позволяет
предположить, что распределения для фона и
воздействия относятся к двум различным генеральным
совокупностям, разница между которыми обусловлена
тем, что на одну из них повлияла независимая
переменная.
Слайд 33.
Оценка разности средних.
Визуально сравнить средние значения исследуемых
выборок можно с использованием ящичковых диаграмм.
Вертикальная линия внутри каждого ящичка соответствует медиане значений показателя.
Слайд 34.
Статистический критерий

Статистический критерий – решающее правило,
обеспечивающее принятие истинной и отклонение ложной
гипотезы с высокой вероятностью.

Критерии делятся на параметрические и непараметрические.





Параметрические критерии – это критерии, включающие в
формулу расчета параметры распределения: средние, дисперсии,
стандартное отклонение.
Непараметрические критерии – это критерии, не включающие в
формулу расчета параметры распределения и основанные на
оперировании частотами или рангами.
При нормальном распределении признака параметрические
критерии обладают большей мощностью, чем
непараметрические критерии.
В случае отличий распределений признака от нормального
вида следует применять непараметрические критерии, которые
в этой ситуации оказываются часто более мощными.
Непараметрические методы наиболее приемлемы, когда объем
выборок мал. Если данных много (например, n > 100), то не
имеет смысла использовать непараметрические критерии.
211
Слайд 35.
Параметрические критерии
Критерий
Описание
Гипотезы
Ограничения
Критерий
Стьюдента
Критерий предназначен для
оценивания достоверности
различий между статистическими
характеристиками распределения:
средними, дисперсиями, долями.
Н0: Различие средних
двух выборок
является случайной.
Н1: Разность средних
двух выборок не
является случайной.
Критерий требует нормальное распределение генеральных совокупностей, из которых
извлечены сравниваемые выборки, и равенство генеральных
дисперсий.
Критерий
Пирсона
(хи-квадрат)
Применяется для сопоставлений:
•эмпирического распределения
признака с теоретическимравномерным, нормальным или
каким-то иным;
•2,3 и более эмпирических
распределений одного и того же
признака.
Критерий определяет, с
одинаковой ли частотой
встречаются разные значения
признака в эмпирическом и
теоретическом распределениях
или в 2 и более эмпирических
распределениях.
Н0: Интенсивность
сдвигов в типичном
направлении не
превосходит
интенсивности
сдвигов в
нетипичном
направлении.
Н1: Интенсивность
сдвигов в типичном
направлении
превосходит
интенсивности
сдвигов в
нетипичном
направлении.
1. Минимальное
количество
испытуемых- 5,
максимальное- 50
2. Нулевые сдвиги из
рассмотрения
исключаются, а
количество
наблюдений
уменьшается на
количество этих
нулевых сдвигов.
Слайд 36.
Непараметрические критерии различий
(независимые выборки)
Критерий
Описание
Гипотезы
Ограничения
Критерий
МаннаУитни
Используется для оценки
различий между двумя
выборками по уровню
какого-либо признака,
количественно измеренного
(между малыми выборками).
Н0: Уровень признака в
группе 2 не ниже
уровня признака в
группе 1.
Н1: Уровень признака в
группе 2 ниже
уровня признака в
группе 1.
1. В каждой группе не
менее 3 наблюдений
(если в первой 2, то во
второй- 5).
2. В каждой выборке не
более 60 наблюдений.
Критерий
КрускалаУоллиса
Используется для оценки
различий между тремя и
более выборками по уровню
какого-либо признака.
Рассматривается как
непараметрический аналог
метода дисперсионного
однофакторного анализа для
несвязанных выборок (сумма
рангов).
Н0: Между выборками 1,
2, 3 и т.д.
существуют лишь
случайные различия
по уровню
исследуемого
признака.
Н1: Между выборками 1,
2, 3 и т.д.
существуют
неслучайные
различия по уровню
исследуемого
признака.
1. При сопоставлении 3
выборок 3:2:2различия на низшем
уровне значимости.
2. Критическое значение
предусмотрено только
для 3 выборок. Для 4 и
более необходимо
использовать таблицу
критерия хи-квадрат.
3. При множественном
сопоставлении
выборок достоверные
различия между
какой-либо парой
могут быть стерты.
Слайд 37.
Непараметрические критерии сдвигов
(зависимые выборки)
Гипотезы
Ограничения
Критерий
знаков
Критерий
Критерий предназначен для
установления общего
направления сдвига
исследуемого признака:
изменяются ли показатели в
сторону улучшения,
повышения или усиления
или, наоборот, в сторону
ухудшения, понижения или
ослабления.
Описание
Н0: Преобладание
типичного
направления сдвига
является случайным.
Н1: Преобладание
типичного
направления сдвига
не является
случайным.
Количество наблюдений
в обоих замерах не
менее 5 и не более
300.
Критерий
Вилкоксона
Применяется для
сопоставления показателей,
измеренных в двух
различных условиях на
одной и той же выборке
испытуемых. Позволяет
установить не только
направленность, но и их
выраженность. Применим,
если признаки могут быть
упорядочены.
Н0: Интенсивность
сдвигов в типичном
направлении не
превосходит
интенсивности
сдвигов в нетипичном
направлении.
Н1: Интенсивность
сдвигов в типичном
направлении
превосходит
интенсивности
сдвигов в нетипичном
направлении.
1. Минимальное
количество
испытуемых- 5,
максимальное- 50
2. Нулевые сдвиги из
рассмотрения
исключаются, а
количество
наблюдений
уменьшается на
количество этих
нулевых сдвигов.
212
Слайд 38.
Дисперсионный анализ
Гипотезы
Ограничения
Для
независимых
выборок
Критерий
Применяется в тех случаях,
когда исследуется
одновременное действие
двух факторов на разные
выборки испытуемых.
Описание
• о влиянии фактора А
отдельно от фактора
Б;
• о влиянии фактора Б
отдельно от фактора
А;
• о влиянии взаимодействия градаций
факторов А и Б.
1. У каждого из фактора
не менее 2 градаций.
2. В каждой ячейки
комплекса не менее 2
наблюдаемых значений.
3. Результативный
признак должен быть
нормально распределен.
Факторы должны быть
независимы.
Для
зависимых
выборок
Применяется в тех случаях,
когда исследуется действие
двух факторов на одну и ту
же выборку испытуемых.
• о влияния фактора А;
• о влиянии фактора Б;
• о влиянии взаимодействия факторов А и Б;
• о влиянии фактора
индивидуальных
различий.
Ограничения те же, что и
для независимых
выборок с одним
уточнением. Все
испытуемые должны
пройти все сочетания
градаций двух
факторов.
Слайд 39.
Методы предсказания (экстраполяции):
Множественный регрессионный анализ
Предсказывает значения метрической «зависимой»
переменной по множеству известных значений
«независимых» переменных, измеренных у множества
объектов (испытуемых).
Дискриминантный анализ
Предсказывает принадлежность объектов (испытуемых) к
одному из известных классов (номинативной шкале) по
измеренным метрическим (дискриминантным)
переменным.
Слайд 40.
Методы классификации:
Кластерный анализ (классификация без обучения)
по измеренным характеристикам у множества объектов
(испытуемых) либо по данным об их попарном
сходстве (различии) разбивает это множество объектов
на группы, в каждой из которых содержатся объекты,
более похожие друг на друга, чем на объекты из других
групп.
Дискриминантный анализ (классификация с
обучением, распознавание образов)
позволяет классифицировать объекты по известным
классам, исходя из измеренных у них признаков,
пользуясь решающими правилами, выработанными
предварительно на выборке идентичных объектов, у
которых были измерены те же признаки.
213
Слайд 41.
Структурные методы:
Факторный анализ
направлен на выявление структуры переменных как
совокупности факторов, каждый из которых — это
скрытая, обобщающая причина взаимосвязи группы
переменных.
Многомерное шкалирование
выявляет шкалы как критерии, по которым поляризуются
объекты при их субъективном попарном сравнении.
Слайд 42.
Сведения о шкалах

Процесс измерения есть процесс отображения
состояния измеряемого объекта на некоторое
множество действительных чисел, называемое
шкалой.

Важнейшей отличительной чертой шкалы является
набор тех соотношений между ее элементами,
которые имеют содержательный смысл.
Шкалы измерений
Качественные
дискретные шкалы
Шкала
наименований
(номинальная)
Количественные
непрерывные шкалы
Шкала
порядковая
(ранговая)
Интервальная
шкала
Шкала
отношений
Слайд 43.
Описание шкал
Тип шкал:
номинальная
шкала
порядковая
шкала
интервальная
шкала
шкала
отношений
статистика
пример
(физика)
пример
(психология)
операция установления
равенства / неравенства
отношения
число случаев, мода,
корреляция с
использованием
коэффициента φ (фи)
и критерия хи-квадрат
пол
№ регистрации
в списке
операции установления
равенства / неравенства и
больше / меньше (последнее
позволяет ранжировать
элементы)
медиана, ранговая
корреляция
таблица
твердости
минералов
таблица «кто
кого победил в
конкурсе»
операции установления
равенства / неравенства,
больше / меньше и
равенства / неравенства
интервалов
среднее
арифметическое,
линейная корреляция
с использованием t- и
F-критериев
шкала
Цельсия
IQ
операции установления
равенства / неравенства,
больше / меньше, равенства
/ неравенства интервалов и
равенства / неравенства
отношений
все операции
математической
статистики
расстояние
в
километрах
основной
психофизический закон
214
Слайд 44.
Возможности шкал
Тип шкал:
классы
«большеменьше»
«большеменьше
на столькото»
«большеменьше
в столько-то
раз»
номинальная
шкала
да
нет
нет
нет
порядковая
шкала
да
да
нет
нет
интервальная
шкала
да
да
да
нет
шкала
отношений
да
да
да
да
Слайд 45.
Шкалирование результатов тестирования

Чтобы определить положение испытуемого
относительно выборки стандартизации, его
первичный результат переводят в некую
относительную меру. В основе такого
преобразования лежит стремление повысить
уровень измерений, перейти, если это
возможно от порядковой к интервальной
шкале, допускающей упорядочение
испытуемых с учетом различия в их уровне
подготовки путем введения фиксированной
единицы измерения.
Слайд 46.
Линейные и нелинейные преобразования
сырых значений шкалы

Линейные преобразования получаются вычитанием из
первичного показателя константы и дальнейшего деления
на другую константу, поэтому все соотношения,
характерные для первичных показателей, также имеют
место и для линейных. Наиболее часто используется z–
оценка.

Нелинейное преобразование получается путем вычисления
процентильной оценки.
Линейное и нелинейное преобразование сырых баллов
преобразованная
оценка
Z-оценка
95
85
75
65
55
45
35
25
15
5
-5
5
6
7
8
Процентильная
100 бальная
Процентная
9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32
сырой тестовый балл
215
Слайд 47.
Сопоставление шкал
Слайд 47.
План математико-статистического
анализа при конструировании теста
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
Самоконтроль
1. Назовите характерные черты эффективного теста.
2. Дайте определение ошибке выборки, средней ошибке выборки,
ошибке измерения.
3. Укажите возможности снижения величины средней ошибки
выборки.
4. Определите основное отличие между простой случайной и
квотной выборкой.
5. Почему необходимо формирование вероятностной выборки?
6. Какого типа выводы можно делать по итогам проведенного
исследования, если оно не было репрезентативным?
216
7. Вычислите границы среднего балла по химии, если при
выборке в 400 человек этот балл равен 51,2, дисперсия равна 20,8 с
вероятностью 0,95.
8. Назовите минимальный объем нормативной и пилотажной
выборки.
9. Каким образом вычислить необходимый объем выборки для
апробации тестовых заданий?
10. Назовите основные этапы математико-статистического анализа
при проектировании теста.
11. Назовите задачи аналитической статистики.
12. Что такое статистический критерий? Какие критерии
называются непараметрическими и почему?
13. Перечислите основные виды шкал. Приведите примеры.
14. Назовите формы преобразования первичных результатов
тестирования. Укажите их преимущества и недостатки.
Содержание практического курса раздела
«Применение математико-статистических методов
при разработке тестовых материалов»
Требования к выполнению практических работ:
На практическом занятии необходимо иметь конспект лекций. В
процессе выполнения задания составляется отчет, который включается
в аттестационную работу.
Оформление отчетов:
1. Ответы на вопросы необходимо давать в развернутом виде.
2. Выводы (в кратком виде) по выполнению работы оформляются
после ответов на вопросы.
3. Каждый слушатель оформляет индивидуальный отчет в
соответствии с шаблоном.
4. Отчет оформляется во время практического занятия с
использованием программы Word.
5. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Статистика_Пр(№№)_Фамилия.
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
217
2. Не допускается коллективного выполнения отчета. В этом
случае преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
Практическое занятие 1. «Вычисление основных
статистических характеристик тестовых заданий»
Цель занятия:
1. Формирование и подготовка матрицы результатов тестирования
к математико-статистическому анализу.
2. Вычисление основных статистических характеристик тестовых
заданий.
Последовательность работы:
1. Изучите строение матрицы результатов. Определите место
расположения заданий, испытуемых, ответов испытуемых на тестовое
задание.
2. Определите количество заданий теста (p) и испытуемых (n).
Количество заданий
p=_________,
Количество испытуемых
n=_________.
3. Вычислите
испытуемого.
индивидуальный
тестовый
балл
каждого
4. Вычислите количество правильных ответов на каждое задание
теста.
5. Проверьте правильность произведенных вычислений.
p
R
j 1
n
Y
i 1
i
j
 ___________________________,
 ____________________________,
Вывод:_____________________________________________________
6. Упорядочите матрицу по строкам в порядке убывания
индивидуального тестового балла каждого испытуемого.
7. Сделайте выводы:
218
а) Определите наличие неправильных профилей ответов. Объясните,
почему
надо
стремиться
к
формированию
правильных
индивидуальных структур знаний, в которых не было бы пробелов.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
б) Определите наличие в матрице ответов результаты тестируемых
ответивших правильно на все задания, и тех, кто не справился ни с
одним из них. Почему такие результаты рекомендуют удалять из
дальнейшего статистического анализа?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
в) Какие действия необходимо предпринять, чтобы не допустить
появление «недомеренных» испытуемых?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
8. Вычислите характеристики тестовых заданий:
pj – доля правильных ответов на задание (вероятность правильного
ответа);
qj – доля неправильных ответов на задание (коэффициент трудности
тестового задания).
9. Постройте график распределения тестовых заданий по
трудности в тесте. График скопируйте в отчет.
10. Проанализируйте полученное распределение. Запишите в
отчете выводы:
а) Удалось ли разработчику при составлении теста расположить
задания по нарастающей трудности?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
б) Почему при составлении теста рекомендуется распределять
задания по увеличению коэффициента трудности?
219
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
11. Упорядочите матрицу ответов по возрастанию уровня
трудности.
12. Постройте график распределения тестовых заданий в тесте по
упорядоченным значениям трудности. График скопируйте в отчет.
13. Проанализируйте график на предмет присутствия очень легких
(qj=0) или очень трудных (qj=1) заданий. В отчете отметьте, почему
такие задания не должны включаться в тест при итоговом контроле.
14. Определите уровни трудности заданий, заполнив таблицу 22.
Таблицу скопируйте в отчет.
Таблица 22
Уровни трудности тестовых заданий
№
1
2
3
Уровень
трудности
Легкий
qj <0,3
Средний
0,3  qj  0,7
Трудный
qj > 0,7
Количество
заданий
Номера
заданий
15. Проанализируйте полученное распределение тестовых заданий
по трудности и данные таблицы 22. Запишите в отчете выводы:
а) Оцените соотношение заданий по уровням трудности:
20% легких, 70% средней трудности и 10% трудных заданий.
В тесте ____ легких (должно быть ____ ) заданий, заданий
средней трудности _____ (должно быть ____ ) и трудных _____
(должно быть ____ ) заданий.
б) Что характеризуют имеющиеся на графике «ступеньки» и резкие
«скачки»
(не
характерно
большое
расстояние
между
«ступеньками»)? Укажите, с какой трудностью должны быть
добавлены задания в тест, чтобы исключить имеющиеся скачки.
___________________________________________________________
___________________________________________________________
___________________________________________________________
220
___________________________________________________________
___________________________________________________________
17. Вычислите характеристики тестовых заданий:
pjхор. – доля правильных ответов на задание хорошо подготовленной
группы испытуемых;
сл.
pj – доля правильных ответов на задание слабо подготовленной
группы испытуемых;
Dj – дифференцирующая способность задания.
18.
Постройте
график
распределения
значений
дифференцирующей способности заданий. График скопируйте в отчет.
19. Оцените дифференцирующую способность тестовых заданий.
Заполните таблицу 23. Таблицу скопируйте в отчет.
Таблица 23
№
1
2
3
4
5
Оценка дифференцирующей способности задания
Номера заданий
Dj
0,4 < Dj 1
0,3 < Dj 0,4
0,2 < Dj 0,3
0,1 < Dj 0,2
-1  Dj  0,1
20. Для интерпретации полученных значений постройте график
распределения долей правильных ответов в группах хорошо и слабо
подготовленных испытуемых. График скопируйте в отчет.
21. Выпишите номера заданий, которые требуют корректировки.
______________________________________________________________
______________________________________________________________
______________________________________________________________
______________________________________________________________
_____________________________________________________________
22. Составьте итоговую таблицу 24, в которую должны войти
задания с хорошей и отличной дифференцирующей способностью
(табл. 23).
221
Таблица 24
Банк качественных тестовых заданий
№
1
2
3
Уровень
трудности
Легкий
qj <0,3
Средний
0,3  qj  0,7
Трудный
qj > 0,7
Количество
заданий
Номера
заданий
23. В отчете сделайте выводы:
а) В результате апробации из _____ заданий требуют доработки _____
заданий.
б) В целом качество компоновки теста можно считать ___________.
в) Почему не стоит ограничиваться анализом только коэффициента
трудности тестовых заданий.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
Практическое занятие 2. «Вычисление основных
статистических характеристик распределения результатов
тестирования»
Цель занятия
Вычисление
основных
статистических
характеристик
распределения результатов тестирования.
Представление и интерпретация результатов математикостатистического анализа.
Последовательность работы
1. Определите количество заданий теста (p) и испытуемых (n).
Количество заданий
p=_________,
Количество испытуемых
n=_________.
2. Вычислите
испытуемого Yi.
индивидуальный
тестовый
балл
каждого
3. Постройте и заполните частотную таблицу 25 дискретного
вариационного ряда.
222
Таблица 25
Частотная таблица дискретного вариационного ряда
Тестовый
балл
…
…
…
Всего (n)
Частота,
fi
…
…
…
…
Частота,
%
…
…
…
…
4. Постройте
гистограмму
распределения
результатов
тестирования: ось Х – тестовый балл, ось У – частота встречаемости
тестового бала в %.
5. Построенную таблицу и гистограмму распределения перенесите
в отчет. В отчете сделайте выводы по гистограмме:
а) тестовые баллы варьируют в диапазоне _____________________
б) большинство испытуемых получили тестовый балл, равный ____
в) построенный дискретный вариационный ряд _________________
(подчиняется, не подчиняется)
нормальному закону распределения, потому что ________________
(объясните)
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
г)
почему
на
гистограмме
частотного
распределения
предпочтительней использовать частоты, выраженные в процентах
__________________________________________________________
__________________________________________________________
__________________________________________________________
__________________________________________________________
д) оцените по гистограмме распределения тестовых результатов
сбалансированность теста по трудности _______________________.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
223
6. Постройте дискретный и интервальный ряды распределения
результатов
тестирования
с
использованием
дополнительно
подключаемого модуля «Пакет Анализа» в Microsoft Excel.
7. На свободном месте сформируйте таблицу 26, которую будете
заполнять по ходу выполнения задания.
Таблица 26
Интерпретация полученных статистических характеристик апробации
Характеристика
Значение
…
…
Интерпретация
…
8. Вычислите меры центральной тенденции: моду, медиану,
среднее значение.
Мода
M = _________,
Медиана
Md =_________,
Среднее значение
x = _________.
Сделайте вывод о симметричности распределения, используя
известное Вам соотношение мер центральной тенденции.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
9. Вычислите
меры
изменчивости:
размах,
стандартное отклонение, коэффициент вариации.
Минимальный тестовый балл
Min = _________,
Максимальный тестовый балл
Max = _________,
Размах
R = _________,
Дисперсия
2 = _________,
Стандартное отклонение
 = _________,
Коэффициент вариации
cv =_________.
224
дисперсию,
Оцените степень однородности значений выборки
___________________________________________________________
Проверьте гипотезу о нормальности распределения результатов
тестирования, используя правило «трех сигм».
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
10. Исследуйте симметричность и островершинность кривой
распределения: коэффициент асимметрии и эксцесса.
Коэффициент асимметрии
As = _________,
Эксцесс
Ex =_________.
Оцените нормальность распределения результатов тестирования,
используя известное Вам правило для коэффициента асимметрии и
эксцесса.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
11. Вычислите основные характеристики распределения с
использованием дополнительно подключаемого модуля «Пакет
анализа» в Microsoft Excel. Сравните полученные результаты.
12. Дайте
интерпретацию
вычисленным
статистическим
характеристикам распределения и заполните соответствующий столбец
в таблице, сформированной в п. 7.
Практическое занятие 3. «Вычисление параметров трудности
заданий и подготовленности тестируемых»
Цель занятия:
1. Вычисление параметров трудности заданий и подготовленности
тестируемых.
2. Построение характеристических кривых тестовых заданий и
индивидуальных кривых обучающихся.
225
Последовательность работы:
1. Определите количество заданий теста (p) и испытуемых (n).
Количество заданий
p=_________,
Количество испытуемых
n=_________.
3. Вычислите
испытуемого Yi.
индивидуальный
тестовый
балл
каждого
4. Вычислите количество правильных ответов на каждое задание
теста Rj.
5. Составьте таблицы 27 и 28 (отдельно от основной матрицы –
так будет удобней с ними работать дальше):
Таблица 27
Уровень подготовленности испытуемых
№
СтандартиДоля
Доля
Начальные
зированные
правильных неправильных
оценки уровня
оценки уровня
Yi ответов i-го ответов i-го pi/qi
подготовленности подготовленности
испытуемого, испытуемого,
в логитах, i
в логитах, i*
рi
qi
Таблица 28
Трудность заданий
Доля
Доля
правильных неправильных
Тестовое
Rj ответов на j ответов на j qj/pj
задание
задание,
задание,
pj
qj
Начальные
Стандартиоценки
зированные
трудности
оценки уровня
заданий в подготовленности
логитах,
в логитах, j*
6. Вычислите средние значения логитов уровня подготовленности
и логитов трудности заданий теста:
Среднее значение
сред = _________,
Среднее значение
сред = _________.
226
По вычисленным средним значениям оцените уровень
подготовленности группы и трудность теста.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
7. Вычислите дисперсию логитов уровня подготовленности и
логитов трудности заданий теста:
Дисперсия по множеству значений i
V = _________,
Дисперсия по множеству значений j
U = _________.
8. Вычислите поправочные коэффициенты для стандартизации
логитов уровня подготовленности и логитов трудности заданий теста:
Поправочный коэффициент для i
X = _________,
Поправочный коэффициент для j
Y = _________.
По вычисленным средним значениям оцените уровень
подготовленности группы и трудность теста.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
9. Вычислите
стандартизированные
логиты
подготовленности и логиты трудности заданий теста.
уровня
10. Постройте характеристические кривые тестовых заданий и
уровня подготовленности тестируемых.
11. Анализируя
выводы:
построенные графики, сделайте
следующие
1) Что характеризует наложение характеристических кривых
заданий:
___________________________________________________________
___________________________________________________________
___________________________________________________________
2) Что характеризует близкое расположение характеристических
кривых заданий:
227
___________________________________________________________
___________________________________________________________
___________________________________________________________
3) Ваши действия в случае неравномерного расположения
характеристических кривых заданий
___________________________________________________________
___________________________________________________________
___________________________________________________________
4) Где должно быть больше заданий в центре или на краях
распределения и почему?
___________________________________________________________
___________________________________________________________
___________________________________________________________
5) К чему приведет заполнение всех пустых интервалов на шкале
логитов трудности заданий
___________________________________________________________
___________________________________________________________
___________________________________________________________
6) В случае однородности группы по уровню подготовки каким
образом
расположены
на
оси
латентной
переменной
характеристические кривые подготовленности?
___________________________________________________________
___________________________________________________________
___________________________________________________________
7) Для измерения уровня подготовленности, достаточно
однородной по подготовленности группы, как должны отбираться
задания для проектируемого теста
___________________________________________________________
___________________________________________________________
___________________________________________________________
8) Если
характеристические
кривые
подготовленности
тестируемых расположены на достаточно большом расстоянии друг
от друга, в тест должны быть добавлены задания
___________________________________________________________
___________________________________________________________
___________________________________________________________
228
9) Для
отбора
наиболее
эффективных
заданий
при
конструировании теста достаточно ли однопараметрической модели
Г. Раша ________? Почему?
___________________________________________________________
___________________________________________________________
___________________________________________________________
10) Каким образом можно наметить пути дальнейшего
совершенствования
теста
по
взаимному
расположению
характеристических
кривых
трудности
заданий
и
характеристических кривых подготовленности тестируемых?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
Практическое занятие 4. «Изучение двухпараметрической и
трехпараметрической модели»
Цель занятия:
1. Изучение двухпараметрической и трехпараметрической модели.
2. Конструирование теста.
Последовательность работы:
1. Постройте
характеристические
кривые
заданий
однопараметрической модели. Воспользуйтесь следующими данными:
Задание
А1
А2
А3
А4
А5
А6
А7
А8
А9
Трудность
-3,5
-2,8
-1,4
0
0,8
1,5
3
3,5
4,5
Сделайте вывод о качестве выбранных заданий, оцените
расстояние, на котором кривые располагаются друг от друга.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
229
2. Постройте
характеристические
кривые
уровня
подготовленности однопараметрической модели. Воспользуйтесь
следующими данными:
Номер студента
Уровень
подготовленности
1
2
3
4
5
6
7
8
9
-3,5
-2,8
-1,4
0
0,8
1,5
3
3,5
4,5
Сделайте вывод об уровне подготовленности группы. Оцените
расстояние, на котором кривые располагаются друг от друга.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
3. Постройте
характеристические
кривые
заданий
двухпараметрической модели. Воспользуйтесь следующими данными:
Задание
А1
А2
А3
А4
А5
А6
А7
А8
А9
Трудность
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
Дифференцирующая
способность
-2,5
-1,5
-0,8
0
0,5
1,0
1,5
2,5
3
Сделайте вывод о качестве выбранных заданий, оцените
расстояние, на котором кривые располагаются друг от друга. Как
изменились кривые с вводом нового параметра?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
4. Постройте
характеристические
кривые
уровня
подготовленности двухпараметрической модели. Воспользуйтесь
следующими данными:
Номер студента
1
2
3
4
5
6
7
8
9
Уровень
подготовленности
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
Дифференцирующая
способность
-2,5
-1,5
-0,8
0
0,5
1,0
1,5
2,5
3
230
Сделайте вывод об уровне подготовленности группы. Оцените
расстояние, на котором кривые располагаются друг от друга и их
взаимное расположение. Как изменились кривые с вводом нового
параметра?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
5. Постройте
характеристические
кривые
заданий
трехпараметрической модели. Воспользуйтесь следующими данными:
Задание
А1
А2
А3
А4
А5
А6
А7
А8
А9
Трудность
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
Дифференц.
способность
-2,5
-1,5
-0,8
0
0,5
1,0
1,5
2,5
3
Коэф.
угадывания
0,2
0,25
0,2
0,3
0,05
0,5
0,01
0,001
0,15
Сделайте вывод о качестве выбранных заданий, оцените
расстояние, на котором кривые располагаются друг от друга. Как
изменились кривые с вводом нового параметра?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
6. Постройте
характеристические
кривые
уровня
подготовленности трехпараметрической модели. Воспользуйтесь
следующими данными:
Номер студента
1
2
3
4
5
6
7
8
9
Уровень
подготовленности
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
1,2
Дифференцирующая
способность
3
3
3
3
3
3
3
3
3
Коэффициент
угадывания
0,2
0,25
0,2
0,3
0,05
0,5
0,01
0,001
0,15
Сделайте вывод об уровне подготовленности группы. Оцените
расстояние, на котором кривые располагаются друг от друга и их
231
взаимное расположение. Как изменились кривые с вводом нового
параметра?
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
7. Самостоятельно
изучите
влияние
параметров
на
характеристические кривые заданий и подготовленности тестируемых.
Определите идеальные параметры трудности, дифференцирующей
способности и коэффициента угадывания.
___________________________________________________________
___________________________________________________________
___________________________________________________________
8. Составьте итоговый отчет по результатам проведения
математико-статистического анализа результатов апробации теста, в
котором сформируйте список корректирующих мероприятий по
результатам апробации предтестовых заданий.
Практическое занятие 5. «Шкалирование результатов
тестирования»
Цель занятия:
Познакомиться с линейным и нелинейным преобразованием
первичных тестовых результатов.
Последовательность работы:
1. Вычислите
испытуемого Yi.
индивидуальный
тестовый
балл
каждого
2. Вычислите среднее значение и стандартное отклонение
полученного распределения результатов тестирования.
3. Вычислите z-оценку для каждого значения Yi. Для этого
воспользуйтесь формулой НОРМАЛИЗАЦИЯ (тестовый балл; среднее;
стандартное отклонение).
232
4. Для линейного преобразования первичных тестовых баллов,
воспользуйтесь формулой перевода в новый масштаб, задавая новое
среднее значение и стандартное отклонение:
xT    z  x .
а) Вычислите Т-оценки с новым средним значением
стандартным отклонением равным =10;
x =50 и
б) шкалу «стэнайнов» (целочисленные значения от 1 до 9,
стандартная девятка) – x =5,0 и  = 2;
в) шкалу «стэнов» (стандартная десятка) – x =5.5 и  = 2;
5. Для нелинейного преобразования первичных тестовых баллов,
воспользуйтесь формулой ПЕРСЕНТРАНГ().
6. Для вычисленных оценок постройте точечные графики.
Сравните построенные графики. Опишите преимущества нелинейного
преобразования.
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
___________________________________________________________
233
Р А З Д Е Л «СРЕДСТВА АВТОМАТИЗАЦИИ РАЗРАБОТКИ
ТЕСТОВЫХ МАТЕРИАЛОВ»
Примерный тематический план
Основные понятия,
Формы занятий
Темы занятий
рассматриваемые на
(методы)
занятии
Тест,
тестовые
1. Компьютерные технологии
в
педагогических
измерениях
2. Использование компьютерных
технологий
при
разработке ТМ
3-5. Программные продукты
для
автоматизации
разработки ТМ
6. Программные продукты
для обработки и анализа
результатов ТМ
материалы,
информационные технологии в
образовании
(ИТО),
информационно-компьютерная
грамотность
(ИКТ).
Компоненты компьютерных технологий, проЛекция
(иллюстративное граммное обеспечение,
автоматизация процессизложение)
сов разработки ТМ.
Адаптивная
среда
тестирования,
Практическая
администратор
АСТ,
работа
конструктор
тестов,
(тренинг)
мастер тестовых заданий,
генератор тестов.
Статистические характеПрактическая
ристики тестовых задаработа
ний, графическое пред(производственное ставление
результатов
тестирования, экспертиза
задание)
Лекция
(диалогическое
объяснение)
Цели и задачи изучения раздела
Основной целью изучения данного курса является ознакомление с
основными концепциями, направлениями, моделями и принципами
построения систем автоматизации процессов педагогических
измерений, современными тенденциями их развития, а также с
требованиями, накладываемыми средствами автоматизации на
педагогические измерительные материалы и условия их применения.
Получение теоретических знаний и практических навыков в области
эксплуатации современных средств автоматизации разработки и
применения тестовых материалов, овладение навыками создания
тестовых материалов в специализированной среде.
234
Задачи изучения раздела
В результате изучения раздела слушатель должен:
 знать основные используемые понятия и определения;
 знать цели и задачи применения информационных технологий при
организации и проведении педагогических измерений;
 закрепить и углубить знания основных видов и типов
программного обеспечения, их классификацию;
 знать место и роль программного обеспечения, входящего в
комплексы автоматизации педагогических измерений, и основные
требования, предъявляемые к ним;
 уметь пользоваться универсальным прикладным программным
обеспечением для разработки тестовых педагогических измерительных
материалов;
 уметь
пользоваться
специализированным
программным
обеспечением.
Взаимосвязь с другими дисциплинами учебного плана
Раздел
«Средства
автоматизации
разработки
тестовых
материалов» представлен в виде специальной темы курса повышения
квалификации, и его изучение опирается на знания, умения и
материалы, полученные при освоении разделов «Конструирование
тестовых материалов» и «Применение математико-статистических
методов при разработке тестовых материалов».
Итоговый контроль по разделу «Средства автоматизации
разработки ТМ» осуществляется в форме зачета при выполнении
практических работ, результатом которых должна стать:
1. Система заданий (не менее 20, количество используемых форм –
4) аттестационного контроля, занесенная в накопитель тестовых
заданий в инструментальной адаптивной среде тестирования;
2. Расчет основных статистических характеристик тестовых заданий,
графическое представление результатов тестирования с использованием
средств автоматизации обработки данных.
Информация о преподавателе
Борис Валентинович Илюхин, доцент кафедры Радиотехнических
систем ТУСУРа, доцент кафедры педагогических измерений ТПУ,
заведующий Центром оценки качества образования ТОИПКРО.
235
Консультации: вторник с 16-00 до 18-00, аудитория 108 Томского
областного института повышения квалификации и переподготовки
работников образования (ул. Пирогова, 10). Если по какой-либо
причине эти часы для Вас неудобны, Вы можете предварительно
договориться о другом времени.
E-mail: [email protected]
Телефон: (8-3822) 426 327
Материалы, требуемые при изучении раздела
При выполнении практических работ потребуются разработанные
задания в тестовой форме, знания статистических характеристик
тестовых заданий.
236
Содержание теоретического курса раздела
«Средства автоматизации разработки тестовых материалов»
Лекция 1. «Компьютерные технологии в педагогических измерениях»
План
1. Используемые понятия и определения.
2. Цели и задачи применения информационных технологий при
организации и проведении педагогических измерений.
3. Знания и умения в области компьютерных технологий.
4. Возможности автоматизации различных видов деятельности по
подготовке и проведению педагогических измерений.
Конспект содержания
1. Используемые понятия и определения
Слайд лекции
Комментарии
Интеграция
России
в
мировую Значение
информаинформационную инфраструктуру. Доступ к ционных технологий в
мировым
информационным
ресурсам. жизни общества
Программное
обеспечение
управляет
коммуникационными,
транспортными
и
медицинскими, образовательными и многими
другими системами.
Информационная
инфраструктура
образовательных
учреждений
позволяет
модифицировать качество учебного процесса и
контроля знаний обучающихся.
Суть понятия информационные технологии в
образовании (ИТО). Определенное научное
направление, конкретный способ работы с
информацией, совокупность знаний о способах
и средствах работы с информационными
ресурсами, способ и средства сбора, обработки
и передачи информации для получения новых
сведений об изучаемом объекте.
ИТО следует понимать как приложение
информационных технологий для создания
новых
возможностей
передачи
знаний
(деятельности педагога), восприятия знаний
(деятельности обучаемого), оценки качества
обучения и всестороннего развития личности
обучаемого.
237
Слайд лекции
Понятие компьютерная технология обучения
(КТО) часто используется в том же смысле, что
и ИТО. Информационные технологии могут
использовать компьютер как одно из
возможных средств, не исключая при этом
применения
аудиои
видеоаппаратуры,
проекторов и других технических средств
обучения. В дальнейшем будем использовать
термин компьютерные технологии.
Комментарии
2. Цели и задачи применения информационных технологий при
организации и проведении педагогических измерений
Объективность
и
измеримость
качества Цель
проведения
образования
посредством
тестирования аттестационного
открывают
широкие
возможности
для контроля.
управления
учебным
процессом
–
от
корректировки содержания образовательных
стандартов и программ до совершенствования
методов
преподавания
и
повышения
эффективности стимулирования самостоятельных занятий учащихся и студентов.
Педагогические задания в тестовой форме
могут быть применены для реализации как
обучающей, так и контролирующей функции.
Тесты позволяют получать объективные оценки
уровня
знаний,
выявлять
проблемы,
возникающие
при
усвоении
учебной
программы.
Термин
тест
(англ.test
–
испытание, Дайте
определение
исследование) в данном случае может понятию
тестовые
толковаться следующим образом:
материалы.
 испытание, эксперимент, проверка;
 система заданий стандартной формы, На какие основные
выполнение которых проходит в равных для особенности
всех
испытуемых
условиях,
поддается обращено внимание
втором
количественному учету (оценке), позволяет во
установить уровень сформированности знаний, определении?
навыков, умений тестируемого.
238
Роль компьютерных технологий в тестологии.
Использование заданий стандартной формы,
создание обезличенной технологии проведения
экзамена, обработка результатов испытаний,
количественный учет, анализ и интерпретация
результатов.
Соответственно, тестирование (testing):
Какие
этапы
тестирования
Вы
 использование и проведение теста;
 совокупность ряда этапов: планирование, можете назвать еще?
составление и апробация теста, а также
обработка и интерпретация результатов;
 метод обучения, используемый для
получения объективной информации.
3. Знания и умения в области компьютерных технологий
Заметное влияние на все этапы тестирования –
от конструирования теста до его проведения,
подсчета баллов, сообщения результатов и их
интерпретации оказывает компьютеризация
этого процесса.
В основе информационной культуры тестолога
(специалиста
в
области
педагогических
измерений)
лежит
информационнокомпьютерная
грамотность
–
система
компьютерных
знаний
и
умений,
обеспечивающая
необходимый
уровень
получения, переработки, передачи, хранения и
представления профессионально значимой
информации.
Знания и умения в области компьютерных
технологий можно разделить на:
 базовые – пользовательский минимум,
необходимый для успешного освоения и
практического
использования
любого
прикладного программного обеспечения;
 профессионально-ориентированные
–
специфически определенный для каждой
профессиональной категории пользователей
комплекс знаний и умений.
239
Профессионально-ориентированные знания и
умения предполагают получение специального
профессионального
образования
по
специальным
долгосрочным
программам
подготовки.
4. Возможности автоматизации различных видов деятельности
по подготовке и проведению педагогических измерений
В рамках видов деятельности по разработке и
применению тестовых материалов можно
выделить следующие виды деятельности:
1 – проектировочная;
2 – гностическая;
3 – конструктивная;
4 – коммуникативная;
5 – организаторская.
В проектировочной деятельности (плани- Каким
этапам
ровании,
определении
целей
и задач, разработки тестовых
творческой переработке программного мате- материалов присущ
риала с учетом индивидуально-психологи- данный
вид
ческих
особенностей
занимающихся) деятельности?
накопление, хранение и обработка необходимой информации на персональном компьютере
(ПК) обеспечивает максимальную эффективность этой деятельности.
В гностической деятельности (познавательная С
какой
деятельность, умение провести анализ своей деятельностью
в
деятельности и деятельности обучающихся) – конструировании ТМ
использование интернет-технологий, электрон- связана гностическая
ных энциклопедий и справочников, электрон- деятельность?
ных таблиц и баз данных.
Применительно к конструктивной деятельности –
использование электронных энциклопедий,
справочников, электронных таблиц, текстовых
и графических редакторов, анимационных
редакторов, специализированного и базового
программного обеспечения для разработки
тестовых материалов, обработки результатов
педагогических измерений и их анализа.
240
Для
коммуникативной
деятельности,
характеризующей
отношения
между
преподавателем и обучающимся – психологопедагогические компьютерные программы,
любые программные средства для организации
проектной деятельности обучающихся.
В организаторской деятельности (практической
реализации проектировочной деятельности) –
различные редакторы, базовые и специальные
прикладные
программные
продукты
планирования
и
проведения
массовых
оценочных мероприятий.
САМОКОНТРОЛЬ
1. Поясните термин компьютерная технология обучения?
2. Используете ли Вы в своей педагогической деятельности тестовые
материалы? Если да, то как?
3. Назовите виды знаний и умений в области компьютерных
технологий.
4. Какие программные продукты Вы используете в своей
проектировочной деятельности?
5. Перечислите возможности компьютерных технологий для
автоматизации процессов подготовки, организации и обработки
результатов тестирования.
Лекция 2. «Использование компьютерных технологий
при разработке ТМ»
План
1. Виды и типы обеспечения вычислительной техники.
2. Применение компьютерных технологий в массовых процедурах
оценки качества знаний.
3. Использование прикладного программного обеспечения при
разработке тестовых материалов.
Конспект содержания
1. Виды и типы обеспечения вычислительной техники
Слайд лекции
Комментарии
Аппаратное
обеспечение
(Hardware)
– Примеры программ и
физическая структура или логический макет, их использования
конфигурация машин, систем и прочего
оборудования.
241
Слайд лекции
Программное обеспечение (Software) – набор
правил, руководящих принципов и алгоритмов,
необходимых
для
работы
технического
оборудования + программы, соглашения,
стандарты
и
правила
пользования,
направленные на координацию отдельных задач
и процесса в целом.
Алгоритмическое (интеллектуальное) обеспечение (Brainware, knoware) – должно обосновывать целесообразность использования и
развертывания технического и программного
обеспечения, а также его конфигурацию в
каждом конкретном случае.
Программное обеспечение:
Системные программы – это программы,
входящие в операционную систему.
Операционная
система
–
совокупность
программ, обеспечивающих согласованную
работу всех модулей компьютера. Ее основное
назначение – обеспечить запуск и выполнение
всех остальных программ, необходимых
пользователю.
Обслуживающие программы – это программмы, выполняющие вспомогательные функции:
проверку дисков, обнаружение вирусов и
лечение компьютера, сжатие (архивирование)
информации и др.
Прикладные программы – текстовые и графические редакторы, электронные таблицы, базы
данных, тестовые и обучающие программы,
электронные энциклопедии, игры и др.
Среды программирования – это программные
средства для создания новых программ: Visual
Basic, Delphi.
Классификация программного обеспечения по
способу применения:
• системное – для поддержания работо-
242
Комментарии
Примеры
Примеры
Назовите известные
Вам
прикладные
программы,
их
назначение.
Как
можно использовать
при тестировании?
способности операционной системы;
• прикладное – для решения различного рода
прикладных задач, в том числе разработки и
применения тестов;
• универсальное – для решения любых профессиональных прикладных задач (стандартные
текстовые,
графические
редакторы,
электронные
таблицы,
например,
пакет
Microsoft office);
• специальное – программы, применяемые
исключительно для решения конкретных
прикладных задач – ABBY Formreader, АИС
«Экзамен», система тестирования АСТ и т.д.
По способу работы:
• сетевое (групповое) – используемое группой
пользователей:
- глобальное (используемое в глобальной
сети – Интернет);
- локальное (используемое в пределах
локальной сети);
• индивидуальное (локальное) – применяемое
исключительно на отдельном компьютере.
Этот перечень видов классификации далеко не
полон.
2. Применение компьютерных технологий
процедурах оценки качества знаний
Компьютерные технологии могут применяться
в следующих целях:
 обучение;
 формирование измерительных материалов;
 мониторинг;
 аттестация;
 статистика;
 анализ;
 управление.
Автоматизация создания и формирования
измерительных материалов (тестов) является
одной
из
важных
задач
применения
компьютерных технологий в образовании.
243
в
массовых
Существующие формы проведения массовых
процедур
оценки
уровня
обученности
накладывают существенные ограничения на
применение отдельных видов тестовых заданий
и отдельных способов тестирования.
Компьютерное тестирование
Положительные аспекты:
 отсутствие затрат на распечатку заданий,
бланков ответов, инструкций и другой
документации;
 возможность
быстрого
оценивания
результатов;
 возможность подбора заданий по ходу теста
(адаптивное тестирование);
 меньшее время выполнения;
 результаты работы сразу становятся известны
проверяющему (тестирующемуся);
 объективность при оценивании работы;
 рандомизация заданий;
 подробная регистрация времени тестирования,
с возможностью регламентировать время ответа
на каждый отдельный вопрос;
 возможность дистанционного проведения с
использованием
Internet-технологий
(электронная
почта;
Online-тестирование,
Offline-тестирование).
Отрицательные аспекты:
 необходимость
обеспечения
каждого
участника
процедуры
компьютером
(вычислительным устройством), отсутствие
достаточного парка ЭВМ;
 необходимость
использования
специализированного
программного
обеспечения, а также сложность и дороговизна
его разработки;
 отсутствие навыков пользователя ЭВМ у
обучаемых;
 проблема
распознавания
ответов
произвольной формы в открытых текстовых
заданиях.
244
Автоматизация бланочного тестирования.
По автоматизации обработки:
 бумажное или тетрадное (обработка
производится вручную);
 частично автоматизированное (проверка
производится
вручную,
автоматизированы
операции
шкалирования,
интерпретации
результатов);
 автоматизированное (автоматизированы
операции обработки бланков ответов, проверки,
шкалирования и интерпретации результатов).
Назовите недостатки
и
преимущества
тестирования,
проводящегося
с
использованием
бланков и тетрадей.
3. Использование прикладного программного обеспечения при
разработке тестовых материалов
Программные продукты для подготовки и Сравните
проведения компьютерного тестирования:
возможности,
используя табл. 29
 АСТ;
 AWPT.
Программные продукты для подготовки и
проведения бланочного тестирования:
 ABBY Formreader;
 КРОК АИС Экзамен.
Таблица 29
Сравнительная характеристика программных продуктов ABBY и КРОК
Основные возможности
№№
программного обеспечения
Formreader АИС Экзамен
(ПО)
1
ПО подготовки экзамена
отсутствует
есть
2
Автоматизированное
отсутствует
есть
размещение экзаменующихся
3
ПО проведения экзамена
отсутствует
есть
4
ПО сканирования, обработки
есть
есть
бланков ответов и верификации
5
ПО проверки результатов
отсутствует
есть
245
Следует отметить, что информация о тестовых
заданиях
и
результатах
тестирования
необходимая на разных уровнях системы
образования, различна, т.е. для каждого уровня
необходима своя, определенная задачами
данного уровня, информация. Можно выделить
следующие уровни:
 индивидуальный (обучающегося);
 групповой (класс, группа);
 образовательного учреждения;
 муниципальный;
 региональный;
 федеральный.
Применяемое для разработки измерительных
(тестовых)
материалов,
проведения
тестирования, обработки, оценки и анализа
результатов, программное обеспечение может
быть как универсальным, так и специальным.
При
этом
оно
обязательно
должно
соответствовать
принципу
построения
открытых систем и обладать следующими
свойствами:
 открытость;
 полнота;
 совместимость;
 масштабируемость;
 удобство пользования;
 корректность.
Основные программные средства, наиболее
часто используемые для решения задачи
автоматизации создания тестовых заданий –
универсальные средства:
Microsoft Office (Microsoft Excel, Microsoft Word
и т.д.).
Специальные комплексные средства:
• Microsoft Class Server
• ACT
• АСКОР
• Пегас
• Контроль
Исследованию ряда данных программных
средств посвящены практические занятия,
проводимые в рамках данного курса.
246
Продолжение таблицы 29
Принцип построения
открытых систем –
возможность взаимодействия с любым
оборудованием любых
производителей без
какой-либо доработки аппаратного или
программного обеспечения.
САМОКОНТРОЛЬ
1. Назовите виды и типы обеспечения вычислительной техники.
Приведите примеры программного обеспечения.
2. Какие способы классификации программного обеспечения Вам
известны?
3. Назовите
преимущества
и
недостатки
компьютерного
тестирования.
4. Опишите преимущества бланочного тестирования.
5. Что такое принцип открытой архитектуры? Приведите примеры.
6. Используете ли Вы в своей работе прикладные программные
продукты автоматизации разработки тестовых заданий. Если да, то
какие?
247
Содержание практического курса раздела
«Средства автоматизации разработки тестовых материалов»
Практическая работа 1-3.
«Программные продукты для автоматизации разработки ТМ»
Цель занятия
• ознакомиться с особенностями строения и использования
инструментальной адаптивной среды тестирования (ACT);
• научиться формировать накопитель тестовых заданий;
• научиться работать с OLE-объектами;
• ознакомиться с особенностями использования Мастера тестовых
заданий ACT;
• научиться использовать возможности Мастера тестовых заданий
ACT для их разработки.
Последовательность работы
1. Ознакомиться с особенностями строения и использования
инструментальной ACT посредством прочтения данного пособия.
2. Сформировать накопитель тестовых заданий (НТЗ) по
преподаваемой дисциплине.
3. Выполнить все функции, предусмотренные в меню Библиотеки
OLE-объектов.
4. Используя возможности Мастера тестовых заданий ACT создать
тестовые задания четырех тестовых форм по преподаваемой
дисциплине.
5. Ввести тестовые задания в НТЗ.
Методика выполнения практической работы
I. Прочитать текст лабораторной работы № 1, требования к ее
выполнению, вопросы для самоконтроля.
II. Приступить к формированию НТЗ в соответствии с
методическими рекомендациями данного пособия.
Конспект содержания теоретического материала
Конструктор тестов
Адаптивная среда тестирования (ACT) – инструментальная среда
для создания педагогических тестов и адаптивного тестирования. ACT
состоит из следующих программно не зависимых компонентов:
• администратор;
• конструктор тестов;
• система тестирования Области применения ACT;
• текущий контроль усвоения учебного материала;
• оценка истинного уровня знаний, умений, навыков;
248
• оценка качества преподавания;
• аттестация специалистов.
Возможности ACT:
• обеспечение объективной оценки знаний, умений, навыков;
• адаптация тестов к качеству ответов испытуемого;
• освобождение преподавателя от рутинной работы, экономия
времени, средств;
• возможность
формирования
строго
структурированного
информационного банка и наполнения его тестовыми заданиями
различной трудности; структура банка адаптивна к области применения
и целям его создания;
• наличие Мастера, обеспечивающего контролируемый системой
пошаговый ввод в базу данных тестовых заданий;
• наличие сервисных функций, обеспечивающих верификацию и
идентификацию информационного банка, дизайн отображения,
экспорт/импорт тестовых заданий и др.;
• динамическое, автоматически осуществляемое системой в
процессе тестирования формирование тестов с использованием
различных стратегий (строгая последовательность заданий, случайный
выбор, последовательность с возрастанием трудности заданий,
адаптивный алгоритм);
• наличие настраиваемой шкалы оценивания результатов,
возможность выбора способа расчета итогового результата и формы
представления оценки (зачет, класс, рейтинг);
• возможность установки временных ограничений (на весь тест
и/или тестовое задание);
• представление результатов тестовых проверок в различной форме,
каждая из которых ориентирована на соответствующую категорию
участника образовательного процесса.
Конструктор тестов (КТ) предназначен для создания тестовых
заданий (ТЗ), объединения их в структурированную базу и
формирования на основе последней тестов различного назначения, а
также для пробной генерации тестов с целью предварительной оценки
их качества.
Тестовые задания можно создавать либо непосредственно на ПК,
либо переносить их с бумажного носителя, дискеты, компакт-диска.
Конструктор тестов позволяет работать только с одним НТЗ, который
называется активным.
Главными структурными компонентами КТ являются Накопитель
тестовых заданий, Мастер тестовых заданий и Генератор тестов,
249
которые позволяют выполнить полный цикл операций по созданию
базы тестовых заданий, отвечающих особенностям применения ACT в
компьютерном тестировании (см. рис. 14.).
Рис. 14. Панель инструментов конструктора тестов ACT
Накопитель тестовых заданий (НТЗ) предназначен для создания
системной базы данных, представляющей собой множество заданий,
размещаемых в соответствии с некоторой выбранной структурой.
Мастер тестовых заданий (МТЗ) обеспечивает пошаговое
формирование (создание) каждого из тестовых заданий по отдельности,
их размещение в структуре НТЗ, а при необходимости перенос заданий
из одного накопителя в другой (см. ниже раздел «Экспорт заданий»).
Генератор тестов служит для формирования тестов из
имеющихся в НТЗ тестовых заданий, для придания сформированному
тесту различных параметров, а также для выбора режима тестирования
и шкалы оценивания результатов тестирования.
Работа в КТ начинается с формирования накопителя (НТЗ) с
использованием панели инструментов (см. рис. 14). Для этого следует
обратиться к команде «Выбор НТЗ» (см. рис. 14), дважды кликнув по
ней левой кнопкой мыши. Появляется меню, которое включает
команды, указанные на рис. 15.
Рис. 15. Выбор НТЗ в ACT
Для формирования нового НТЗ используется команда «Новый». В
открывшемся диалоговом окне (см. рис. 16) необходимо заполнить
имеющиеся поля, для чего воспользоваться клавиатурой и ввести:
• имя накопителя;
250
• ФИО автора тестовых заданий;
• область применения теста;
• количество и наименование уровней структуры НТЗ;
• пароль (необязательно).
НТЗ организован таким образом, что хранящаяся в нем
информация может быть структурирована по различным показателям,
например, по принадлежности к разделам (подразделам, темам,
подтемам) дисциплины и/или по уровню трудности заданий.
Количество и наименование уровней определяется создателем НТЗ и
может в дальнейшем корректироваться.
Рис. 16. Диалоговое окно НТЗ ACT
Структурирование
осуществляется
в
диалоговом
окне
«Структура НТЗ» при последовательном обращении к командам
«Раздел», «Подраздел» и «Тема», в которых затем размещается
соответствующее число тестовых заданий (рис. 17).
Рис. 17. Диалоговое окно «Структура ACT»
При нажатии на соответствующие клавиши открывается
ниспадающее меню, которое содержит следующие команды:
251
 Добавить – добавление нового узла данного уровня;
 Удалить – удаление выделенного в данный момент узла;
 Переименовать – переименование выделенного в данный момент
узла.
Использование других команд инструментальной панели (рис. 4)
состоит в следующем:
 Накопитель ТЗ \ Подробно – открывает окно "Коррекция
данных о Накопителе ТЗ" для просмотра НТЗ и/или внесения
в него изменений;
 Тестовое Задание \ Добавить – запускает Мастер ТЗ для
создания тестового задания и включения его в текущий узел
Накопителя ТЗ;
 Список ТЗ (см. рис. 18) – активизирует диалоговое окно «Полный
список тестовых заданий», в котором в виде таблицы отображены
все тестовые задания данного НТЗ. В этом окне дана возможность
осуществлять различные действия с заданиями: удалять,
копировать, просматривать, изменять, добавлять новые и т.д., а
затем вернуться к полному списку.
Указанные операции выполняются с помощью соответствующих
кнопок в пиктографическом меню окна
Рис. 18. Полный список тестовых заданий ACT
Для того чтобы произвести какие-либо действия с тестовым
заданием, необходимо выделить его левой кнопкой мыши и нажать
нужную пиктограмму на инструментальной панели или пункт
текстового меню (таблица 30).
Таблица 30
Действия с тестовыми заданиями
Сформировать список из тестовых заданий конкретного узла
структуры НТЗ. Кнопка «Показать ТЗ» конкретного узла
структуры открывает структуру Накопителя и даёт
возможность вернуться к списку заданий одного из узлов
структуры Накопителя ТЗ (особенно удобно для очень
252
больших баз данных)
Добавить новые задания с помощью Мастера ТЗ. Происходит
активизация МТЗ.
Проиграть ТЗ. Осуществляет многократное предъявление ТЗ в
режиме пробного тестирования.
Перемещение по структуре НТЗ обеспечивает перемещение ТЗ из
одного узла структуры НТЗ в другой. Для перемещения задания из
одного узла в другой необходимо его выделить одновременным
нажатием левой кнопки мыши и клавиши «Ctrl». Признаком выделения
ТЗ является изменение на красный цвета символа ТЗ и изображения
указателя мыши на «указующий перст». Установите «указующий
перст» на изображение узла структуры, в который необходимо
поместить ТЗ, и повторно одновременно нажмите левую кнопку мыши
и клавишу «Ctrl». Дерево структуры НТЗ отобразит выполненные
изменения.
Экспорт ТЗ — активизирует режим экспорта ТЗ, окно «Экспорт
ТЗ», обеспечивающее копирование одного или нескольких заданий из
одного НТЗ в другой.
При входе в данный режим автоматически открывается окно
выбора НТЗ-приемника, в который экспортируются ТЗ (это
выполняется с помощью стандартного окна «Выбор базы данных»).
Затем отображается структурное дерево активного НТЗ (слева) и
структурное дерево НТЗ-приемника (справа). Каждое тестовое задание
представлено зеленым кружком и авторским именем.
Нажатие клавиши «Enter» или двойное нажатие левой кнопки
мыши на изображении тестового задания активного НТЗ вызовет его
проигрывание.
Порядок копирования тестовых заданий:
1. Отметьте в левом окне ТЗ или узел НТЗ (что равносильно
отметке всех заданий в данном узле) однократным нажатием левой
кнопки мыши на его изображении. Признаком выделения ТЗ для
импорта является изменение цвета его символического изображения на
красный и изменение символического изображения узла структуры
НТЗ.
2. Также отметьте однократным нажатием левой кнопки мыши
узел НТЗ-приемника, куда необходимо поместить импортируемое
задание. На выделенном узле-приемнике появляется указатель «V».
3. Нажмите кнопку «Импорт» на панели инструментов.
Допустимо копирование любого ТЗ или группы ТЗ из любого узла
текущего НТЗ в любой узел НТЗ-приемника.
253
Перечисленные выше сведения в совокупности образуют тот
минимум, который необходим для первоначального ознакомления с
ACT.
III. Приступить к выполнению всех функций, предусмотренных в
меню Библиотеки OLE-объектов.
Библиотека OLE-объектов
OLE-объектом называется любой документ, сформированный с
использованием технологии OLE (Object Linking and Embedding).
Многие программные приложения, работающие под управлением
Windows, поддерживают данную технологию и формируют документы,
которые могут быть переданы другому программному приложению в
качестве объекта. Примерами таких объектов являются: рисунок
Painbrush, документ WinWord, рабочий лист Excel, формула Equation,
картинка Clip Gallary.
Библиотекой OLE-объектов называется совокупность всех OLEобъектов, создаваемых Вами в процессе работы с конкретным НТЗ.
Доступ к Библиотеке OLE-объектов осуществляется из основного окна
Конструктора тестов или в МТЗ при нажатии командной кнопки
«Добавить объект» или «Вставить объект».
За один сеанс обращения к OLE-Библиотеке можно создать или
изменить несколько объектов. В дальнейшем, при формировании
тестовых заданий Вам останется только выбрать нужный объект в
качестве элемента задания.
Интерфейс Библиотеки OLE-объектов обеспечивает:
• просмотр OLE-объектов;
• ввод нового OLE-объекта;
• удаление OLE-объекта;
• модификацию OLE-объекта;
• копирование OLE-объекта;
• переход к конкретному OLE-объекту;
• изменение формы отображения OLE-объекта;
• отображение инструкции по работе с Библиотекой OLE-объектов.
Поле просмотра (оно также носит название «OLE-контейнер»)
предназначено для отображения выбранного объекта. При входе в
Библиотеку OLE-объектов из основного окна Конструктора тестов
выбранным является первый элемент из списка.
Находясь в среде OLE-библиотеки, выбор объекта допустим
двумя способами:
• посредством нажатия управляющих кнопок индикатора списка;
254
• посредством выполнения команды меню «Объект / Перейти к ...»
и указания уникального номера идентификатора OLE-объекта в списке
библиотеки.
Установите курсор на пункте «Объект» и дважды кликните левой
кнопкой мыши. Данный пункт меню включает в себя следующие
команды (табл. 31):
Таблица 31
Выполнение команд меню «Объект»
«Новый»
Появляется запрос на выбор редактора для создания
документа, в среде которого создается новый объект.
«Перейти к»
Появляется запрос на ввод номера объекта, к которому
необходимо перейти.
«Копировать» Создаётся копия активного объекта.
«Изменить»
Активизируется выбранный объект. При этом
открывается редактор, в котором объект был создан, и
можно произвести необходимые изменения.
«Копировать и Создаётся копия активного объекта. Открывается
изменить»
редактор, в котором объект был создан, и можно
произвести необходимые изменения.
«Удалить
После подтверждения удаляет объект, отображаемый в
активный»
поле просмотра.
«Удалить
все После подтверждения удаляет все объекты, не
неиспользуемые» используемые в тестовых заданиях.
«Выйти
и Осуществляется закрытие Библиотеки OLE-объектов.
сохранить»
Объект, отображенный в окне просмотра, будет
перенесен в Тестовое задание.
«Выйти
Осуществляется закрытие Библиотеки OLE-объектов.
не сохраняя»
Тестовое задание останется без изменений, т.е. в том
состоянии, в каком оно находилось до входа в
Библиотеку.
Создание нового объекта
Создание нового объекта допустимо двумя способами:
1-ый способ. Для создания нового объекта необходимо выбрать
команду меню «Объект / Новый», при этом открывается окно
«Вставка объекта», где необходимо установить переключатель
«Создать новый / Создать из файла» в нужную Вам позицию.
При выборе переключателя «Создать новый» появляется окно с
перечнем программных приложений, которые зарегистрированы на
данном компьютере в каталоге \Windows\System или System32.
255
1. Осуществите выбор приложения, в котором будет создан новый
объект (рис. 19). Нажмите кнопку ОК.
Рис. 19. Диалоговое окно Вставка объекта
2. Загрузится выбранное программное приложение, в котором Вы
формируете объект.
3. После выхода из программного приложения Вы возвращаетесь в
окно Библиотеки OLE-объектов. Выполните команду меню
«Вернуться» или дважды щелкните левой кнопкой мыши по
отображению объекта.
Созданный Вами объект должен отображаться в поле просмотра.
Отсутствие изображения означает, что выбранное вами программное
приложение не позволяет внедрить объект. Причины могут быть
различны. Стабильное повторение такой ситуации с конкретным
программным приложением означает, что данное приложение не может
быть использовано для создания OLE-объекта. В некоторых случаях
следует посоветоваться с системным программистом, так как причины
некорректной обработки OLE-объектов могут быть обусловлены сбоями
в работе операционной системы и приложений, установочными
параметрами самих приложений.
Если со вставкой объекта ничего не получилось (к сожалению не
каждый объект может быть вставлен), об этом Вы узнаете по чистому
полю просмотра (OLE-контейнеру). Не стоит беспокоиться о пустых
или неиспользованных объектах OLE-библиотеки. Их можно удалить в
любое время.
2-ой способ.
1. Выбираете из OLE-библиотеки объект, наиболее близкий по
изображению и копируете его. В поле просмотра отображается
256
созданная Вами копия объекта, и указатель индикатора устанавливается
на номер вновь созданного путем копирования объекта.
2. Выбираете команду «Изменить». Активизируется программное
приложение, в среде которого Вы доводите изображение объекта до
нужного Вам.
3. После выхода из программного приложения вы возвращаетесь
в окно OLE-библиотеки. Выполните команду меню «Вернуться» или
дважды щелкните левой кнопкой мыши по отображению объекта.
Замечание. Вы можете сократить количество операций, выполнив
команду «Копировать и изменить».
Изменение существующего объекта
1. Проверьте, чтобы объект, который Вы хотите изменить,
отображался в окне просмотра. При необходимости выполните
действия, обеспечивающие выбор нужного Вам объекта.
2. Выполните команду меню «Объект / Изменить» или дважды
щелкните левой кнопкой мыши по отображению объекта. Открывается
редактор, в котором был создан выбранный объект. Выполните
необходимые изменения, порядок действий определяется средой
редактирования. По окончании редактирования необходимо выйти из
редактора (например, WinWord), не забыв сохранить изменения. После
закрытия редактора Вы возвращаетесь в окно Библиотеки OLEобъектов. Доступна только команда меню Вернуться.
3. Выполните команду меню Вернуться или дважды щелкните
левой кнопкой мыши по отображению объекта.
Если объект не отображается в окне, это означает:
1. Система не поддерживает OLE-технологию для выбранного
Вами программного приложения.
2. Нарушение в функционировании выбранного Вами программного приложения, вызванное его некорректной установкой или
эксплуатацией.
3. Ошибки чтения.
Мастер Тестовых Заданий (МТЗ) осуществляет пошаговое
формирование тестовых заданий четырех тестовых форм (открытое,
закрытое,
на
соответствие,
на
установление
правильной
последовательности). МТЗ обеспечивает корректность представления
любой из компьютерных форм тестовых заданий, ввод заданий в НТЗ.
Общие положения
Максимальное количество шагов формирования тестового
задания равно 6. Однако, в зависимости от формы, некоторые из шагов
могут быть пропущены. Обязательными для всех форм заданий
являются:
257
Шаг 1 – выбор формы;
Шаг 2 – выбор способа формирования содержательной части;
Шаг 5 – определение временных и идентификационных
параметров задания, проигрывание задания, запись задания в НТЗ;
Шаг 6 – формирование дизайна отображения, т.е. цветового
оформления и схемы расположения элементов задания.
Командные кнопки
 Выход из Мастера тестовых заданий без
сохранения
результатов
выполненных
действий:
 переход к предыдущему шагу МТЗ
 переход к следующему шагу МТЗ, удаление
элемента из списка
Если командная кнопка перехода к следующему шагу не
доступна, значит, не выполнены правила формирования тестового
задания (например: не введен эталонный ответ для задания открытой
формы, количество пар в задании на соответствие меньше 3, заполнены
не все элементы задания на упорядочение, не помечены правильные
ответы для задания закрытой формы).
Способ формирования содержательной части заданий
Текст – при формировании содержания задания используется
только текст, вводимый с клавиатуры или вставляемый из буфера
обмена.
Другое – при формировании содержания Вы можете использовать:
формулу Equation, таблицу Excel, текст Word, картинку Clip Gallary,
графические образы и другие объекты, которые можно создать и
отредактировать по OLE-технологии.
Шаг 1 – выбор формы задания. Чтобы определить форму
тестового задания нужно левой кнопкой мыши щелкнуть в кружке
рядом с названием нужной формы ТЗ (см. рис. 20). Далее в окне
«Структура НТЗ» необходимо отметить тот узел структуры, к которому
будет принадлежать вводимое тестовое задание.
Далее (Шаг 2 – Шаг 4) работа Мастера Тестовых заданий будет
развиваться в зависимости от того, какая форма ТЗ была выбрана.
258
Рис. 20. Изображение окна «Выбор формы ТЗ»
Шаг 2 – Шаг 4. Открытая форма задания. Для открытой формы
ТЗ основными элементами являются:
 формулировка задания;
 содержание задания;
 эталонные ответы – все возможные ответы, которые являются
правильными.
Шаг 2 – определение содержания задания. Выберите способ ввода
содержания задания:
1)Текст (ввести непосредственно)
2)Другое (Файл, Рисунок, Формула, другой объект)
Для этого нужно установить указатель мыши на нужный способ и
щелкнуть левой кнопкой.
Шаг 3 – ввод содержания задания.
1. Заполните поле содержания задания. Если Вы выбрали «Текст»,
то в поле ввода текста задания можно непосредственно напечатать
нужный текст или вставить текст из буфера обмена. Если Вы выбрали
переключатель «Другое», то для формирования содержания задания
необходимо нажать кнопку «Вставка объекта». При этом открывается
окно Библиотеки OLE-объектов. Описание работы в Библиотеке OLEобъектов см. выше.
2. Поле «Формулировка задания» можно, по своему усмотрению,
заполнить или очистить (для удобства там уже введено слово
Дополните).
259
Шаг 4 –текстовое содержание ответов.
Наберите добавляемое слово или словосочетание и нажмите
командную кнопку «Добавить». Для удаления ответа из списка
необходимо его выделить и нажать командную кнопку «Удалить».
Оценка правильности ответа тестируемого осуществляется путем
посимвольного сравнения введенного значения с эталонным, с учетом
следующих правил:
 если на месте одного символа в эталоне стоит знак "*", то любой
символ, введенный тестируемым на это место, будет считаться верным;
 прописные и заглавные буквы не различаются;
 пробел(ы) перед ответом и в конце ответа тестируемого
игнорируются;
 несколько пробелов между словами преобразуются в один.
Шаг 2 – Шаг 4. Закрытая форма задания. Для закрытой формы ТЗ
выделим следующие составляющие:
 формулировка задания;
 содержание задания;
 группа ответов, среди которых обязательно есть один или
несколько верных.
Шаг 2 – определение содержания задания. Окно выбора способа
ввода содержания тестового задания и способа ввода элементов группы
ответов. Доступна любая из четырёх возможных комбинаций. Для
выбора достаточно щёлкнуть левой кнопкой мыши на соответствующий
переключатель (при этом цвет переключателя меняется).
Шаг 3 – ввод содержания задания. Аналогичен шагу 3 для
открытой формы задания (см. выше).
Шаг 4 – текстовое содержание ответов.
Если Вы выбрали «Текст + Текст», «Другое + Текст»:
1. В поле «Список ответов в группе» необходимо ввести все
варианты ответов. Для этого в поле ввода ответа напишите необходимое
слово, словосочетание, предложение. Далее нажмите клавишу «Enter»
или командную кнопку «Добавить». Повторите данную процедуру
столько раз, сколько вариантов ответа Вы хотите ввести.
2. Для удаления ответа из списка необходимо его выделить
(установить на него указатель мыши и щелкнуть один раз левой
кнопкой) и нажать командную кнопку «Удалить» (или функциональную
клавишу F8).
3. Из полного списка вариантов ответа нужно выделить верные
ответы. Для этого выделите нужный вариант в «Списке ответов в
группе» и нажмите кнопку «Добавить» в окне «Список верных ответов
260
в группе». Выделенное значение появится и в списке верных ответов.
Если верных ответов несколько, то данную процедуру следует
повторить нужное количество раз, так как все правильные ответы
должны быть отражены в списке верных ответов.
Шаг 4 – формирование ответов в форме объектов.
Если Вы выбрали: «Текст + Другое», «Другое + Другое»):
1. В поле «Список элементов из группы ответов» необходимо ввести
все ответы. Для ввода ответа нажмите кнопку «Ответ (вставка объекта)»
(см. рис. 15, 16.), при этом откроется окно Библиотеки OLE-объектов.
Выполнив все необходимые действия (Описание работы в Библиотеке
OLE-объектов см. выше.) и вернувшись в исходное окно, Вы увидите в
окне просмотра созданный объект и справа от него его номер в списке.
Повторите операцию вставки объекта необходимое количество раз. Все
введенные Вами ответы должны быть отражены в списке ответов.
2. Для удаления ответа из списка необходимо выделить его из списка
(установить на него указатель мыши и щелкнуть один раз левой
кнопкой) и нажать функциональную клавишу F8.
3. Из полного списка вариантов ответа нужно выделить верный
ответ. Для этого выделите нужный вариант в «Списке ответов в группе»
(содержание выделенного ответа должно быть отображено в поле
просмотра), нажмите командную кнопку «Добавить» в окне «Список
верных ответов в группе». Выделенное значение дублируется в списке
верных ответов.
4. Для удаления ответа из списка верных необходимо выделить его и
нажать кнопку «Удалить». Номер удаленного ответа должен пропасть
из окна верных ответов.
При формировании массива ответов помните:
 максимально допустимое количество ответов равно 20;
 все элементы из группы ответов будут иметь одинаковый размер;
 при увеличении количества ответов уменьшается их максимально
допустимый размер.
Шаг 2 – Шаг 4. Задание на упорядочение.
Шаг 2 – определение содержания задания. На данном шаге
пользователь определяет способ формирования элементов задания:
 элементы группы содержат только текст, т.е. элементами этой
группы могут являться слова, фразы, предложения и т.п., которые
должны вводиться непосредственно с клавиатуры;
 элементами группы являются однородные объекты, т.е. в этой
группе могут содержаться только объекты: формулы, картинки и т.п.;
261
 элементы группы неоднородны, т.е. в этой группе могут
содержаться как объекты (формулы, рисунки и т.п.), так и текст (слова,
предложения и т.п.).
Шаг 3 – ввод содержания задания. Для формирования тестового
задания на установление правильного порядка необходимо в окне «Поле
ввода содержания элемента группы» ввести все элементы, которые
необходимо будет упорядочить.
Правила формирования задания:
1. Ввод осуществляется только в правильном порядке, т.к.
перемешивание элементов осуществляется автоматически при
предъявлении задания в процессе тестирования.
2. Для ввода текстового элемента необходимо нажать кнопку
«Добавить текст», при этом в правом окне группы появится
порядковый номер элемента, а в левом окне появится курсор, и Вы
можете ввести необходимый текст.
3. Для ввода элемента в виде объекта необходимо нажать кнопку
«Добавить объект». Загрузится окно Библиотеки OLE-объектов
(описание работы в Библиотеке OLE-объектов см. выше.). После
формирования объект отображается в окне просмотра слева от списка
элементов группы.
4. Вводимые элементы из группы получают порядковые номера.
5. Количество элементов должно быть не менее 3 и не более 20.
6. Кнопка «Далее» не доступна до тех пор, пока существует хотя бы один
пустой элемент в списке или количество элементов в списке менее 3.
7. Для перемещения элемента (в упорядоченном списке элементов
группы ТЗ на установление правильной последовательности)
необходимо щелкнуть левой кнопкой мыши на перемещаемый элемент
в списке (при этом указатель мыши измениться на "часы") и, не
отпуская ее, установить указатель мыши на элемент группы, перед
которым необходимо поставить перемещаемый элемент.
8. Для удаления элемента из списка необходимо выделить его левой
кнопкой мыши и нажать кнопку «Удалить элемент».
9. Заполните поле «Формулировка задания».
Шаг 2 – Шаг 4. Задание на соответствие.
Выделим следующие составляющие задания:
 формулировка задания;
 1-ая группа элементов;
 2-ая группа элементов.
Шаг 2 – определение содержания задания.
Выбор способа формирования элементов группы:
262
 элементы обеих групп содержат только текст, т.е. необходимо
установить соответствие между двумя группами, элементами которых
являются слова, фразы, предложения и т.п;
 элементами одной из групп являются объекты, т.е. необходимо
установить соответствие между группой, элементы в которой являются
объектами (формулы, картинки и т.п.), и группой с элементами,
сформированными в текстовом режиме;
 элементами обеих групп являются объекты, т.е. в данном случае
необходимо установить соответствие между двумя группами,
элементами которых являются объекты (формулы, рисунки и т.п.).
Шаг 3 – ввод содержания задания. Для примера приведём
описание работы с окном для ввода задания на соответствие, когда
элементы одной из групп сформированы в текстовом режиме, а
элементами другой являются объекты.
Правила формирования задания:
1. Элементы одной группы должны быть однородны по способу
формирования, т.е. только объекты или только текст.
2. Подобно тому, как в задании на упорядочение ввод элементов
осуществляется только в правильном порядке, в заданиях на
соответствие элементы вводятся только «правильными» парами. Это
означает, что в каждой отдельно взятой паре соответствие между
элементами обеих групп должно быть истинным.
3. При предъявлении задания в процессе тестирования элементы
групп автоматически перемешиваются. Порядок следования пар при
формировании задания не важен.
4. Один (и только один!) из элементов пары может быть не заполнен.
Такие пары называются неполными. В этом случае при предъявлении
тестового задания в процессе тестирования количество элементов в
одной группе будет меньше количества элементов в другой группе, что
повышает надежность тестового задания.
5. Не допускается наличие пустых элементов одновременно в двух
группах. Пустые, незаполненные элементы допустимы только в одной
группе.
6. Переход к 5 шагу возможен при наличии не менее 3-х
заполненных пар элементов.
7. Неполные пары перемещаются в конец списка при переходе на
следующий шаг МТЗ.
8. Максимально допустимое количество пар, включая неполные
пары, не превышает 10.
263
Порядок работы:
1. Нажмите клавишу «Добавить» в средней части «Поля ввода
содержания пары элементов», в окне списка пар под кнопкой
«Добавить» появится номер пары элементов.
2. Введите содержимое одного из элементов пары.
2.1. Для ввода текстового элемента пары необходимо щёлкнуть
левой кнопкой мыши по окну для ввода текста (это простое окно,
без каких-либо кнопок). Появится курсор, и можно напечатать
нужный текст.
2.2. Для ввода элемента пары в виде объекта необходимо
щёлкнуть по кнопке «Добавить объект» над одним из окон,
откроется окно «Библиотека OLE-объектов».
3. При необходимости введите содержимое элемента другой группы.
Если содержимое обоих элементов пары заполнено, то пара называется
полной. В том случае, когда один из элементов пары не заполнен, пара
называется неполной.
4. Для удаления пары элементов из списка необходимо выделить
порядковый номер пары элементов в списке и нажать кнопку
«Удалить».
5. Заполните поле «Формулировка задания» (для удобства там уже
написано «Установить соответствие между элементами»).
Шаг 5 (для всех типов ТЗ)
В группе «Характеристика Тестового Задания» необходимо
определить тип задания: базовое, сложное или стандартное.
Если для данного тестового задания необходимо ограничить
время выполнения, то в группе «Время выполнения Тестового Задания»
необходимо поставить галочку в окошке «Ограничено», а в поле ниже
переключателя поставить время выполнения (в нашем случае время
ограничено 0,5 минутами). Если выполнение тестового задания не
ограничено по времени, то окошко рядом со словом «Ограничено»
должно оставаться пустым.
В процессе тестирования ограничение по времени выполнения
тестового задания активизируется в том случае, если при генерации
теста устанавливается опция «ограничение ТЗ по времени». Таким
образом, одно и то же задание с установленным временем ограничения
может реализовываться в двух режимах: с ограничением времени и без.
В поле «Авторское имя» Тестового Задания можно ввести
удобное для автора имя тестового задания. Впоследствии авторское имя
облегчит идентификацию задания. Указанное поле не является
обязательным и вводится только для удобства. Если данное поле
остается пустым, система самостоятельно присваивает заданию имя.
264
Кнопки «Выполнить» и «Сохранить» не доступны.
Шаг 6. На 6 шаге можно просмотреть и при необходимости
изменить цвет, размер и расположение элементов задания.
Схема расположения элементов ТЗ
Для тестового задания всех форм, кроме открытой,
предоставляется возможность выбора схемы расположения элементов
задания на экране.
Схема расположения элементов тестового задания выбирается из
«окна схем», которое автоматически активизируется при первом входе в
режим шестого шага МТЗ. В дальнейшем «окно схем» активизируется
из меню «Схема расположения / Выбрать». В зависимости от формы
тестового задания меняется содержание «окна схем».
Дизайн отображения ТЗ
Окно настроек внешнего вида тестовых заданий. Позволяет
производить изменения цвета, шрифта, размеров и т.д.
Вкладка «Общие» устанавливает фоновый цвет экрана всего
задания.
Вкладка «Формулировка задания» позволяет изменять вид
формулировки задания, которая находится в верхней части экрана
(например, "Дополните", "Установите соответствие").
Вкладки «Содержание задания» и «Групповые элементы» имеют
одинаковый вид, но различное назначение. Вкладка «Содержание
задания» влияет на внешний вид текста или объектов, используемых в
качестве основной части задания открытой или закрытой формы
задания. Вкладка «Групповые элементы» определяет внешний вид
текста или объектов, используемых в качестве ответов для закрытой
формы задания или групповых элементов задания на соответствие или
упорядочение. Причём все параметры, связанные с изменением цветов,
размеров и видов шрифтов, относятся только к текстовому содержанию,
на объекты эти изменения не влияют.
Функциональное меню
Окно редактирования внешнего вида Тестового задания (Шаг 6)
также имеет своё меню.
Схема расположения:
Выбрать – появляется окно с возможными схемами
расположения на экране групп вопросов и ответов. Для открытой
формы тестового задания схема расположения только одна.
Сохранить – сохраняются все сделанные изменения размеров и
местоположения элементов задания на экране.
Восстановить системные параметры – восстанавливаются все
размеры и положение элементов задания на экране в начальное
265
положение, которое рассчитывается в соответствии с выбранной схемой
расположения.
Восстановить сохранённые параметры – восстанавливаются все
размеры и положение элементов задания на экране в соответствии с
сохранёнными ранее параметрами (если Вы хотя бы один раз их
сохраняли, используя пункт данного меню «Сохранить»).
Экран
Выбрать – появляется окно настройки дизайна отображения
тестового задания (настройка цвета, шрифтов и т.п.).
Сохранить – сохраняются все произведённые изменения,
связанные с дизайном отображения.
Восстановить системные параметры – восстанавливаются все
параметры дизайна отображения ТЗ, установленные по умолчанию.
Восстановить сохранённые параметры – восстанавливаются
ранее сохранённые параметры дизайна отображения ТЗ (с помощью
команды «Сохранить» данного меню).
Центрирование – помеченные объекты, отображённые на экране,
располагаются по центру с учетом выбранной схемы.
Выход – выход из данного окна с сохранением параметров к шагу
5 из 6.
Шаг 5 из 6 (продолжение)
Кнопка «Отмена» завершает работу с окном, и при этом
сохранения данных не происходит, МТЗ возвращается к первому шагу.
Кнопка «Сохранение» завершает работу с данным окном и заносит
всю информацию о тестовом задании в базу данных, МТЗ возвращается
к первому шагу. Дальнейшее редактирование тестового задания на этом
этапе невозможно. Режим сохранения доступен только после
выполнения 6 шага, определяющего параметры отображения задания.
Кнопка «Выполнить» вызывает режим проигрывания задания.
Режим проигрывания задания
Выполнение режима проигрывания не является обязательным.
Окно проигрывания задания полностью аналогично режиму
тестирования и разворачивается на весь экран. Все управляющие
кнопки расположены в нижней строке.
Правильность формирования задания и результата ответа
проверяется путем многократного проигрывания, для этого введите
ответ и нажмите кнопку «Готово». Нажатие кнопки «Следующее»
вызовет повторное проигрывание задания. Выход из режима
проигрывания происходит при нажатии кнопки «Прервать».
266
Вопросы для самопроверки
1. Какие объекты называются OLE-объектами?
2. В каких случаях OLE-объекты не устанавливаются в ТЗ?
3. Какова область применения ACT?
4. Какие программно не зависимые компоненты входят в
структуру ACT?
5. Для чего необходимо уметь выполнять экспорт-импорт
тестовых заданий?
6. Что необходимо предусмотреть при формировании НТЗ?
7. Для чего предназначен генератор тестов?
8. Для формирования каких тестовых форм тестовых заданий
предназначен Мастер Тестовых Заданий (МТЗ)?
9. Могут ли Элементы одной группы тестовых заданий быть
неоднородны по способу формирования (объекты или текст)?
10. Важен ли порядок следования пар при формировании заданий?
11. Сколько элементов пары могут быть не заполнены?
12. Допускается ли наличие пустых элементов одновременно в
двух группах?
13. Каково максимальное количество шагов формирования
тестового задания?
14. Какие шаги формирования тестового задания являются
обязательными для всех форм заданий?
Требования по оформлению отчета:
1. Каждый слушатель формирует в программе кодификатор,
состоящий не менее чем из трех уровней, на нижнем уровне, состоящий,
как минимум, из 3-4 тем.
2. Каждый из слушателей наполняет свой банк заданий,
состоящий не менее чем из 10 заданий, представленных 4 формами по
различным темам.
3. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Компютерные технологии_Пр
№1_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
267
Практическая работа 4.
«Программные продукты для обработки и анализа результатов ТМ»
Цель занятия
Автоматизировать процесс расчета характеристик тестовых
заданий с использованием стандартных средств Microsoft Office.
Исходными данными для расчета будет матрица ответов
испытуемых. Пример матрицы ответов приведен в таблице 32.
Таблица 32
Матрица тестовых результатов
Испытуемые
№№ Вопроса
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 Балл
1-й
0 1 1 0 0 1 0 0 1 1
0
1
1
0
0
0
1
1
1
1
11
2-й
1 1 0 1 1 1 0 1 1 1
0
1
1
0
0
0
1
1
1
1
14
3-й
0 0 1 0 1 1 0 0 0 0
1
0
0
0
1
0
1
0
0
1
7
4-й
0 1 1 0 1 1 0 0 1 1
0
0
1
0
1
1
0
0
1
0
10
5-й
0 1 1 1 1 1 1 0 1 1
1
1
1
0
0
1
1
1
0
0
14
6-й
1 1 1 1 0 0 1 0 1 1
0
1
1
0
1
1
0
0
1
1
13
7-й
0 1 1 0 1 0 1 0 1 0
0
1
1
1
1
1
0
0
0
1
11
8-й
1 0 1 0 0 0 0 1 1 1
1
1
0
0
0
0
1
1
1
1
11
9-й
0 0 0 0 1 0 0 0 0 1
1
0
0
0
0
0
1
0
0
0
4
10-й
0 1 0 0 0 1 1 0 1 1
1
0
0
0
0
0
0
1
1
1
9
11-й
1 1 0 0 0 0 1 1 0 0
0
0
0
0
0
0
0
1
1
0
6
12-й
0 0 1 0 1 0 0 1 0 1
1
1
1
0
0
0
0
0
0
1
8
13-й
1 0 0 0 1 0 0 0 1 1
1
0
0
0
1
1
1
0
0
0
8
14-й
1 1 1 1 1 1 0 0 1 1
1
0
0
1
1
0
1
1
1
1
15
15-й
0 1 1 1 1 0 0 0 1 1
1
0
1
1
1
1
0
0
0
0
11
Правильный ответ испытуемого на задание i обозначен цифрой 1.
Неверный ответ – цифрой 0. Соответственно, за верный ответ
испытуемому начислен 1 балл, за неверный ответ – 0 баллов.
268
Суммарное количество правильных ответов приведено в колонке
«Балл».
Последовательность работы
1. «Отсортировать» испытуемых (соответствующие строки таблицы)
в порядке возрастания тестового балла.
2. На основании таблицы результатов (табл. 24) рассчитать в MS
Excel:
a. Средний тестовый балл;
b. Среднеквадратическое отклонение (дисперсию) тестового
балла для каждого испытуемого по формуле:
N
S x2 
где,
 (X
i 1
i
 X )2
N 1
,
(1)
X i – значение индивидуального тестового балла i-ого испытуемого;
X – среднее значение баллов по тестируемой группе;
N – число испытуемых.
Для расчета этой формулы Вам необходимо будет использовать
встроенные функции Microsoft Excel. Для этого нужно зайти в меню
«Вставка» и выбрать пункт меню «Функция…». В результате этих
действий перед вами появится окошко с выбором всевозможных
функций. Для расчета среднего значения баллов по тестируемой группе
Вам понадобится функция «СРЗНАЧА()», которая находится в разделе
статистических функций. Также вам понадобится функция «СУММ()»,
находящаяся в разделе математических функций. Для возведения
значения в степень используйте функцию «СТЕПЕНЬ()», которая также
находится в разделе математических функций.
c. Рассчитать асимметрию и эксцесс кривой распределения
тестового балла по формулам:
N
 (X
i 1
As =
i
 X )3
S x3  N
,
где
(2)
Xi – индивидуальный балл i-го испытуемого;
X – среднее значение баллов по тестируемой группе;
N – число испытуемых;
Sx – стандартное отклонение по множеству значений индивидуальных баллов.
Для удобства расчетов этой формулы, Вы можете использовать
значения, полученные при расчете предыдущей формулы. Для расчета
стандартного отклонения используйте функцию «СТАНДОТКЛОН()»,
находящуюся в разделе статистических функций.
269
3. Построить в MS Excel кривую распределения тестового балла.
4. На основании полученных результатов рассчитать характеристики
тестового задания:
a. Трудность задания.
Под параметром трудности задания понимают процент
учащихся, выполнивших верно данное задание.
b. Ошибку измерения трудности задания, связанную с
выборкой, которую можно оценить, используя формулу
стандартной ошибки измерения:

pq
N ,
(3)
где
р – доля правильных ответов на задание;
q = 1 – p;
N – число испытуемых.
Для расчета значения квадратного корня используйте функцию
«КОРЕНЬ()» из раздела математических функций.
Требования по оформлению отчета:
1. Выводы по выполнению работы оформляются кратко.
2. Каждым из слушателей оформляется индивидуальный отчет в
соответствии с шаблоном отчета.
3. Отчет оформляется
во время практического занятия с
использованием программы Word или Ecxel.
4. Файл с отчетом формируется и хранится в личной папке
слушателя под именем: Отчет Компьютерные технологии_Пр
№2_(Фамилия).
Проверка и зачет о выполнении практического занятия:
1. Проверка выполнения практического занятия производится
преподавателем.
2. Зачет о выполнении практического занятия проводится после
проверки и индивидуальной защиты отчета каждым слушателем.
3. Дата
защиты
отчета
устанавливается
преподавателем
индивидуально и доводится до сведения слушателя.
4. Не допускается коллективного выполнения отчета. В этом случае
преподаватель вправе назначить новый перечень вопросов по
выполнению практического занятия.
270
ВЫПУСКНАЯ АТТЕСТАЦИОННАЯ РАБОТА
на общую тему
Тестовые материалы для аттестационного контроля по
дисциплине __________________
содержит:
1. Титульный лист.
2. Задание на выполнение аттестационной работы (АР).
3. Введение
(актуальность,
особенности
контролируемой
предметной области, проблемы, на решение которых направлено
тестирование).
4. Кодификатор учебного модуля.
5. Спецификацию аттестационного теста.
6. Описание принципов и правил разработки ЗТФ. Примеры
заданий,
диагностирующих
определенные
конкретизированные
результаты обучения согласно разработанному кодификатору.
7. Тестологическую экспертизу ЗТФ.
8. Примеры статистической обработки результатов тестирования:
математическое ожидание, трудность и дифференцирующая сила
заданий, расчет качественных характеристик теста.
9. Заключение.
10.Приложения (по необходимости).
Для выполнения АР составляется индивидуальное задание, в
котором указываются:
 тема АР;
 содержание расчетно-пояснительной записки в виде перечня
основных вопросов, подлежащих разработке;
 исходные данные к работе, которые в развернутой форме могут
быть представлены в дополнение к заданию;
 перечень графического и иллюстративного материала;
 консультанты по разделам АР;
 даты выдачи задания и сдачи готовой работы.
Задание подписывается руководителем АР, слушателем и
утверждается заведующим кафедры ПИ.
Аттестационная работа (АР) по направлению повышения
квалификации «Разработка тестовых материалов» должна представлять
собой самостоятельную и логически завершенную работу, связанную с
разработкой (или изложением) теоретических вопросов, проведением
экспериментальных или расчетных исследований, проектных
271
(организационно-технологических) расчетов для решения актуальных
задач разработки эффективных тестовых материалов.
Объектом исследований являются педагогическая система или ее
составные части и элементы. Предметом:
 содержание тестового контроля;
 принципы, методы конструирования тестовых материалов;
 статистическая
обработка
результатов
апробационного
тестирования;
 критерии отбора тестовых заданий.
В соответствии с видами и задачами профессиональной
деятельности слушателей, обучающихся по направлению повышения
квалификации «РТМ» основными вопросами, решаемыми в ходе
выполнения АР, являются:
1. Кодификатор учебного модуля (структурированный перечень
проверяемых дидактических единиц с конкретизированными целями
обучения), разрабатываемый на занятиях «Методология педагогических
измерений»;
2. Разработка спецификации (практическая работа № 7 раздела
«Конструирование тестовых материалов») теста, включающая:
 теоретико-методологическое обоснование выбора цели
тестирования, подхода к разработке теста;
 описание задач, которые можно решить, используя
результаты
тестирования;
календарное
время
использования, контингент испытуемых для которых
предназначен тест;
 перечень нормативных документов (стандартов, базисных
программ, требований к уровню подготовки и др.),
используемых при планировании содержания теста;
 описание общей структуры теста;
 описание
предполагаемых
процедур
установления
валидности и надежности разработанного теста;
 цели проведения апробационных тестирований при
разработке
теста,
рекомендации
по
контингенту
испытуемых для апробации теста;
 примеры инструкций, бланков, используемых при
тестировании;
 тестовую матрицу;
 рекомендации по оценке результатов тестирования и
интерпретации результатов.
272
3. Разработка заданий в тестовой форме (практические работы
№№ 1-5 «Конструирование тестовых материалов»). Необходимо
произвести согласование контролируемых результатов обучения,
выделенных в кодификаторе в виде конкретизированных целей и
разрабатываемых заданий. Указать, какими правилами, принципами
пользовались при конструировании, по каким основаниям проходила
выбраковка заданий. Также нужно показать:
 предшествующую экспертизе конструкцию заданий,
 ошибки, найденные в ходе предметной и тестологической
экспертизы,
 переформулированную конструкцию заданий.
Возможна разработка систем заданий в тестовой форме
(тематических,
текстовых,
ситуационных)
при
организации
междисциплинарного экзамена.
4. Описание целей, процедур, сущности математикостатистической обработки данных на примере анализа и интерпретации
результатов апробационного тестирования применительно к отдельным
заданиям, системе заданий, испытуемым (практические работы
«Математико-статистические
методы
в
разработке
тестовых
материалов»).
5. Отчет по оценке качества тестовых материалов по результатам
апробационного тестирования в рамках классической теории тестов.
Отчет должен состоять из следующих пунктов:
1) Оценка коэффициентов трудности тестовых заданий. Их
визуализация и интерпретация.
2) Оценка дифференцирующей способности тестовых заданий.
Их визуализация и интерпретация.
3) Результаты корреляционного анализа тестовых заданий с
общим тестовым баллом. Их визуализация и интерпретация.
6. Отчет по оценке качества тестовых материалов по результатам
апробационного тестирования в рамках современной теории тестов.
Отчет должен состоять из следующих пунктов:
1) Оценка коэффициентов трудности тестовых заданий на
шкале логитов.
2) Оценка дифференцирующей способности тестовых заданий
на шкале логитов.
3) Построение характеристических кривых заданий и
испытуемых.
4) Моделирование теста в рамках современной теории теста.
7. Отчет, в котором представляются результаты шкалирования
результатов тестирования.
273
8. Проектирование использования компьютерных технологий в
конструировании тестовых материалов на разных этапах создания
(раздел «Средства автоматизации разработки тестовых материалов»).
9. Выработка и формулировка выводов, как заключения о
состоянии исследуемой педагогической системы и причинах,
вызывающих это состояние (в том случае если проведена апробация или
на примере имеющихся данных).
10. Способы выявления проблем в качестве подготовки
обучающихся и их анализ. Обсуждение полученного решения, оценка
практической
значимости
результатов,
возможные
пути
совершенствования или дальнейшего решения выявленных проблем.
«Заключение» должно представлять собой четкое изложение
конкретных результатов выполненной работы. Эти сведения излагаются
не в форме констатации фактов или отчета по результатам проделанной
работы, а являются анализом полученных данных. Также важно
согласование поставленных задач во введении и полученных выводов.
Следует отметить, что сведения, содержащиеся в «Заключении»,
являются анализом полученных данных, а не констатацией фактов или
отчетом по результатам проделанной работы.
274
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
РФ
Государственное образовательное учреждение
высшего профессионального образования
«Томский политехнический
университет»
Институт __Инженерной педагогики
Кафедра __ Педагогических измерений
ТЕСТОВЫЕ МАТЕРИАЛЫ АТТЕСТАЦИОННОГО КОНТРОЛЯ
ПО ДИСЦИПЛИНЕ _____________________________________
(Тема выпускной аттестационной работы)
ПОЯСНИТЕЛЬНАЯ ЗАПИСКА
к выпускной аттестационной работе
Слушатель
____________
_______
(Подпись)
Руководитель
Консультанты:
Еремина В. В.
(Фамилия И.О.)
____________
_______
Муратова Е.А.
______________
_________
Михайлова Н. С.
______________
_________
Илюхин Б.В.
Допустить к защите:
Заведующий кафедрой ПИ,
к.п.н., доцент
(Дата)
__________
(Подпись)
ТОМСК – 200__
275
_____
( Дата)
(Фамилия И.О.)
ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ
Государственное образовательное учреждение высшего профессионального образования
«Томский политехнический университет»
Кафедра педагогических измерений
УТВЕРЖДАЮ:
Зав. кафедрой ПИ
_______________
«___»__________200__г.
ЗАДАНИЕ № _____
на выпускную аттестационную работу
Слушателю
.группы
фамилия, инициалы
.
1. Тема____________________________________________________
___________________________________________________________
2. Срок представления проекта к защите
«______»___________________200____г.
3. Исходные данные к работе
____________________________________________________________
____________________________________________________________
4. Перечень разделов пояснительной записки
4.1 _________________________________________________________
4.2__________________________________________________________
4.3__________________________________________________________
4.4__________________________________________________________
4.5__________________________________________________________
4.6__________________________________________________________
5. Перечень графического материала _____________________________
_____________________________________________________________
Руководитель:
_____________
подпись, дата
Задание принял к исполнению ___________
подпись, дата
276
Е.А. Муратова
инициалы, фамилия
Т.В. Цавнина
инициалы, фамилия
Приложение 1
Таксономия Б. Блума
Таблица 33
Таксономия Б. Блума. Когнитивный класс целей
КОГНИТИВНОЕ обучение демонстрируется воспроизведением знаний и интеллектуальных навыков: понимание информации, управление
идеями, анализ и синтез данных, применение навыков, выбор среди альтернатив при решении проблемы, оценивание идеи или действий.
Уровень
Знание
Иллюстрирующий глагол
составьте, определите, опишите, дублируйте,
идентифицируйте, маркируйте, перечислите, найдите
соответствие, запомните, назовите, установите порядок,
выделите, распознайте, найдите отношения, вспомните,
повторите, воспроизведите, выберите, установите
Определение
Изученная
информация,
находящаяся в
памяти
Пример
Запоминание особых фактов,
терминологии, правил,
последовательностей, процедур,
классификаций, категорий, критериев,
методологий, принципов, теорий,
структуры
Понимание
классифицируйте, преобразуйте, обоснуйте, опишите,
обсудите, отличите, оцените, объясните, выразите,
расширьте, обобщите, приведите примеры, определите,
укажите, выведите, определите место, перефразируйте,
предскажите, распознайте, редактируйте, сообщите,
установите вновь, рассмотрите, выберите, суммируйте,
переведите
Постижение
значения
информации
Постановка проблемы собственными
словами, преобразование химической
формулы, понимание диаграммы,
перевод слов и фраз на иностранный
язык
Применение знаний
к действительным
ситуациям
Применение принципов, изученных в
курсе математики, для расчета объема
цилиндра двигателя внутреннего
сгорания
Применение примените, измените, выберите, вычислите,
продемонстрируйте, обнаружьте, инсценируйте,
используйте, проиллюстрируйте, проинтерпретируйте,
воздействуйте, измените, управляйте, пробуйте,
предскажите, подготовьте, произведите, свяжите, наметьте,
покажите, сделайте набросок, решите, используйте,
напишите
277
Приложение 1
Продолжение табл. 33
Уровень
Иллюстрирующий глагол
Определение
Пример
Анализ
проанализируйте, оцените, подразделите, вычислите, категоризируйте,
сравните, противопоставьте, критикуйте, изобразите схематически,
дифференцируйте,
отличите,
распознайте,
исследуйте,
экспериментируйте,
определите,
проиллюстрируйте,
выведите,
смоделируйте, выделите, укажите, расспросите, свяжите, выберите,
разделите, подразделите, испытайте
Обсуждение того, чем
отличаются текучие и
жидкие среды, при
обнаружении логического
заблуждения в
объяснении студентом 1го закона Ньютона о
движении
Синтез
распределите, соберите, категоризируйте, отберите, совместите,
согласуйте, составьте, постройте, создайте, спроектируйте, разработайте,
изобретите, объясните, сформулируйте, произведите, объедините,
отрегулируйте, измените, организуйте, спланируйте, подготовьте,
предложите, перестройте, восстановите, свяжите, реорганизуйте,
пересмотрите, перепишите, устройте, просуммируйте, синтезируйте,
расскажите, напишите
Разложение
объектов или идей
на более простые
составляющие и
рассмотрение
того, как эти
составляющие
связаны и упорядочены
Преобразование
компонент
идей/понятий в
нечто новое
Составление
суждений на
основе
внутренних
свидетельств или
внешних критериев
Оценивание
альтернативных решений
проблемы; обнаружение
противоречий в речи
представителя
студенческого правления
Оценивание определите, оспорьте, оцените, свяжите, выберите, сравните, закончите,
противопоставьте, защитите, опишите, отличите, вычислите, установите,
объясните, рассудите, обоснуйте, интерпретируйте, свяжите, предскажите,
рассмотрите, выберите, просуммируйте, поддержите, дайте оценку
278
Написание детального
отчета по упражнению,
включающему решение
проблемы; планирование
дискуссий или групповых
обсуждений; написание
обстоятельной курсовой
работы
Дидактичес
кая единица
Конкретизированная
(деятельностная) цель
1.1 Массовое
число атома
1.3.1. Дать определение термину «изотоп».
1.3.2. Называть причины существования
изотопов.
1.3.3. Называть вред, причиняемый радиоактивными изотопами живым организмам.
1.3.4. Перечислять особенности изотопов
некоторых элементов.
1. Строение атомных ядер
1.2 Энергия
связи ядра.
Дефект
массы
1.3.
Изотопы
1.4 Распад
радиоактивных элементов. Ядерные
реакции
1.3.5. Выбирать по массовым числам
формулы изотопов.
1.3.6. Перечислять способы применения
изотопов в промышленности.
1.3.7. Объяснять отличия изотопов одного элемента.
1.3.8. Объяснять устойчивость изотопов.
1.3.9. Характеризовать распространение
изотопов разных элементов в природе.
1.3.10. Устанавливать различие между
изотопами и изобарами.
1.3.11. Рассчитывать процентное содержание изотопов элемента по атомной
массе и наоборот.
1.3.12. …
Уровень
усвоения
Знание
Знание
Знание
Вид
контроля
Метод, форма
контроля
Входной, текущий
Текущий
Устный фронтальный
опрос
Текущий
Беседа
Уровень
значимости
задания
Базовый
Средний
Базовый
Знание
Текущий
Диктант
Системный
Понимание
Входной
Текущий
Базовый
Знание
Тематический
Уст.фронт.
опрос,
письменная КР
Зачет (тест)
Понимание
Текущий,
итоговый
КР
Зачет (тест)
Базовый
Понимание
Понимание
Тематический
Текущий
Средний
Средний
Применение
Текущий
Индивид.опрос
Письменная
КР
Диктант
Применение
Тематический
Текущий
Итоговый
Задачи
Индивид.опрос
Зачет (тест)
Базовый
279
Форма
задания
1.3.1.1. Описательный
вопрос.
1.3.1.2. Проблемный вопрос.
1.3.1.3.
Уточняющий
вопрос.
1.3.2.1.
…
Базовый
Системный
1.3.3.1. …
1.3.3.2. …
Коэффицие
нт
трудности
Тема
(раздел)
Приложение 2
Таблица 34
Фрагмент совмещенного кодификатора по дисциплине блока ЕН «Химия» для специальности
КТ1
КТ3
КТ2
Приложение 2
Таблица 35
Дидактическая
единица
1. Трансформаторы силовые
1.1.Конструкция и
принцип действия
1.2 Схемы
замещения
1.3 Уравнение
равновесия
напряжений, токов
1.4 Векторные
диаграммы
1.5 Характеристики холостого хода
и короткого
замыкания
1.6
Эксплуатационные
характеристики
1.7 Группы
соединений обмоток
Конкретизированная (деятельностная)
цель
Уровень
усвоения
Вид контроля
Знание
Входной,
текущий,
итоговый
Понимание
Тематический
1.5.3. Перечислять условия
проведения опыта холостого хода
Знание
Тематический,
итоговый
1.5.4. Перечислять характеристики,
получаемые при опыте холостого хода
Знание
Тематический,
итоговый
Понимание
Текущий,
итоговый
Понимание
Текущий,
итоговый
Понимание
Текущий,
итоговый
1.5.1. Дать определение термину
холостой ход;
1.5.2. Называть (перечислять) отличия
опыта холостого хода от режима
холостого хода
1.5.5. Объяснить поведение тока
холостого года при опыте холостого
хода
1.5.6. Объяснить поведение мощности
холостого хода при опыте холостого
хода
1.5.7. Объяснить поведение
коэффициента мощности холостого
хода при опыте холостого хода
280
Метод, форма
контроля
Уровень
значимости
задания
Коэфф.
трудн.
Тема
Фрагмент совмещенного кодификатора по дисциплине «Электрические машины»
для направления 140600 «Электротехника, электромеханика и электротехнологии»
Устный
фронтальный
опрос (УФО)
Базовый
КТ1
УФО
Средний
КТ2
Средний
КТ2
Системный
КТ2
Системный
КТ1
Системный
КТ3
Системный
КТ3
Письменный
отчет по ЛР,
тест
Устный
фронтальный
опрос
Письменный
отчет по ЛР,
тест
Письменный
отчет по ЛР,
тест
Письменный
отчет по ЛР,
тест
Приложение 2
Дидактическая
единица
1.8 Параллельная
работа
Уровень
значимости
задания
Коэфф.
трудн.
Тема
Окончание табл. 35
УФО
Базовый
КТ1
Тематический
УФО
Средний
КТ2
Знание
Тематический,
итоговый
Письменный
отчет по ЛР,
тест
Средний
КТ2
Знание
Тематический,
итоговый
УФО
Системный
КТ!
1.5.12. Объяснять поведение тока короткого
замыкания при опыте короткого замыкания
Понимание
Тематический,
итоговый
Системный
КТ3
1.5.13. Объяснять поведение мощности
короткого замыкания при опыте короткого
замыкания
Понимание
Тематический,
итоговый
Системный
КТ3
1.5.14. Объяснять поведение коэффициента
мощности короткого замыкания при опыте
короткого замыкания
Понимание
Тематический,
итоговый
Системный
КТ3
Конкретизированная (деятельностная)
цель
Уровень
усвоения
Вид контроля
Знание
Входной, текущий,
итоговый
Понимание
1.5.10. Перечислять условия
проведения опыта короткого замыкания
1.5.11. Перечислять характеристики,
получаемые при опыте короткого
замыкания
1.5.8. Дать определение термину
короткое замыкание
1.5.9. Называть (перечислять) отличия
опыта короткого замыкания от аварийного
короткого замыкания
281
Метод, форма
контроля
Письменный
отчет по ЛР,
тест
Письменный
отчет по ЛР,
тест
Письменный
отчет по ЛР,
тест
Наталья Степановна Михайлова
Михаил Григорьевич Минин
Елена Анатольевна Муратова
Борис Валентинович Илюхин
РАЗРАБОТКА ТЕСТОВЫХ МАТЕРИАЛОВ
Учебно-методический комплекс
Печатается в редакции авторов
Подписано к печати
.2008. Формат
. Бумага «Классика».
Печать RISO. Усл.печ.л. . Уч.-изд.л.
Заказ
. Тираж
экз.
Томский политехнический университет
Система менеджмента качества
Томского политехнического университета сертифицирована
NATIONAL QUALITY ASSURANCE по стандарту ISO 9001:2000
. 634050, г. Томск, пр. Ленина, 30.
282
Скачать