Методические рекомендации по разработке тестов

Учреждение образования
ВЫСШИЙ ГОСУДАРСТВЕННЫЙ КОЛЛЕДЖ СВЯЗИ
Учебно-методический отдел
Методические указания по
разработке тестов
Минск 2010
1. Содержание
1. Содержание ............................................................................................................ 2
2. Словарь терминов.................................................................................................. 3
3. Общие положения ................................................................................................. 4
4. Этапы разработки теста ....................................................................................... 4
5. Общие рекомендации к тестовым заданиям ...................................................... 5
6. Принципы отбора содержания тестовых заданий для тестов .......................... 5
7. Рекомендации к формулировкам тестовых заданий ......................................... 6
8. Критерии качества тестов..................................................................................... 7
9. Критерии выставления оценки ............................................................................ 9
Приложение 1 Пример плана теста ......................................................................... 10
Приложение 2 Варианты тестовых заданий ........................................................... 11
3
2. Словарь терминов
Дистрактор - неправильный вариант ответа на тестовое задание
Тест - под тестом в данном положении понимается совокупность тестовых
заданий, предназначенная для проверки знаний и навыков
Тестовое задание - это минимальная составляющая единица теста, по которой
испытуемый в ходе выполнения теста совершает отдельное действие, а его
результат регистрируются в первичном протоколе в форме отдельного ответа.
Параллельные формы теста - разновидность альтернативных форм теста (т.е.
двух
или
более
версий
теста,
которые
рассматриваются
как
взаимозаменяемые): имеют одинаковые средние значения и значения
стандартного отклонения, а также одинаковые корреляции с другими
измерениями для любых выборок.
План теста - таблица, в которой каждое тестовое задание соотносится с
определенным элементом содержания учебного предмета, конкретным видом
знаний или умений, позволяющим объективно судить об уровне
подготовленности испытуемых. Пример составления приведен в Приложении 1
данного положения.
3
4
3. Общие положения
Тестирование - один из наиболее эффективных методов оценки знаний
студентов. К достоинствам метода относится:
-объективность оценки тестирования;
-оперативность, быстрота оценки;
-простота и доступность;
-пригодность результатов тестирования для компьютерной обработки и
использования статистических методов оценки.
Тестирование является важнейшим дополнением к традиционной системе
контроля уровня обучения.
Для оценки уровня подготовленности студентов методом тестирования
создаются специальные педагогические тесты. Основные цели тестирования
рассматриваются в связи с задачами внутривузовского управления качеством
подготовки специалистов, а также с задачами итоговой аттестации
выпускников, государственной аттестации и аккредитации вуза.
Тесты предназначены для проверки знаний студентов заочной формы
обучения на уровне воспроизведения, понимания или умения применить
знания на практике.
В настоящей методической разработке даны рекомендации
преподавателям, приступающим к созданию специальных тестов для оценки
знаний, умений и навыков студентов.
При составлении рекомендаций использованы "Методические
рекомендации по разработке педагогических тестов для комплексной оценки
подготовленности студентов в вузе", разработанные Исследовательским
центром проблем качества подготовки специалистов (Москва, 1995 г.).
4. Этапы разработки теста
1.
Для облегчения процедуры составления тестов учебный материал
должен быть достаточно формализован, т.е. каждый раздел, тему учебной
дисциплины (дисциплин) необходимо представить в виде таких задач и
(или) вопросов, которые наиболее полно отображают содержание
дисциплины (дисциплин). При этом важно выделить главные
(проблемные) вопросы, не увлекаясь второстепенными.
2.
На втором этапе, в зависимости от цели тестирования (текущий
контроль знаний, итоговый контроль знаний, оценка остаточных знаний и
др.) и формы теста разрабатывается план раскладки задач и вопросов в
тестовые задания. Формализация учебного материала и составление
тестовых заданий - наиболее ответственные и сложные этапы составления
тестов.
3. После составления тестовых заданий преподаватель оформляет
правильный ответ.
4
5
5. Общие рекомендации к тестовым заданиям
1. Содержание тестового задания должно быть ориентировано на получение
от тестируемого однозначного заключения.
2. Основные термины тестового задания должны быть явно и ясно
определены.
3. Тестовые задания должны быть прагматически корректными и
рассчитаны на оценку уровня учебных достижений студентов по
конкретной области знаний.
4. Тестовые задания должны формулироваться в виде свернутых кратких
суждений.
5. В содержании тестового задания определяющий признак должен быть
необходимым и достаточным.
6. Следует избегать тестовых заданий, которые требуют от тестируемого
развернутых заключений на требования тестовых заданий.
7. При конструировании тестовых ситуаций можно применять различные
формы их представления, а также графические и мультимедийные
компоненты с целью рационального предъявления содержания учебного
материала.
8. Количество слов в тестовом задании не должно превышать 10-12, если
при этом не искажается понятийная структура тестовой ситуации.
Главным считается ясное и явное отражение содержания фрагмента
предметной области.
9. Среднее время заключения студента на тестовое задание не должно
превышать 1,5 минуты.
6. Принципы отбора содержания тестовых заданий для тестов
1. Содержание теста должно соответствовать содержанию учебной
дисциплины. Задания теста должны в правильной пропорции охватывать все
важные аспекты области содержания.
2. Необходимо включение в тесты только наиболее важных, базовых знаний,
выражающих
сущность,
содержание,
законы
и
закономерности
рассматриваемых явлений. Все спорные точки зрения, допустимые в научном
споре, следует исключить из тестовых заданий.
3. Каждый учебный элемент должен иметь некоторую усредненную меру
трудности, которую необходимо учитывать в процессе контроля знаний.
7. 1. Рекомендации к формулировкам тестовых заданий
1. Основными элементами тестового задания являются инструкция, задание
(содержательная часть), ответы к заданию.
2. Тестовые задания могут быть четырех форм:
 задания с выбором одного или нескольких правильных ответов;
5
6
 задания на установление соответствия;
 задания на установление правильной последовательности;
 задания открытой формы, т. е. без указания ответов.
3. Инструкция к тестовым заданиям определяет перечень действий студента
при прохождении тестирования. Она должна быть адекватна форме и
содержанию задания («укажите правильный ответ (ответы)», «установите
соответствие», «определите правильную последовательность», «введите
правильный ответ»).
4. Используемая терминология не должна выходить за рамки основных
учебников и нормативных документов.
5. Содержательная часть задания не должна включать элементы
инструкции.
6. Содержательная часть задания формулируется в логической форме
высказывания, а не в форме вопроса; в ней не должны быть
двусмысленные и неясные формулировки, вводные фразы, двойное
отрицание, оценочное суждение, выясняющее субъективное мнение
испытуемого.
7. Все повторяющиеся слова должны быть исключены из ответов и
вынесены в содержательную часть задания.
8. В содержательной части и в ответах необходимо исключить слова
«большой, небольшой, много, мало, меньше, больше, часто, всегда,
редко, никогда …».
9. Все варианты ответов должны быть грамотно согласованы с
содержательной частью задания, однообразны по содержанию и
структуре, равнопривлекательны. Между ответами необходимы четкие
различия. Правильный ответ однозначен и не должен опираться на
подсказки.
10.Среди ответов должны отсутствовать ответы, вытекающие один из
другого.
11.В варианты ответов нельзя включать формулировки «все перечисленное
выше», «все утверждения верны», «перечисленные ответы не верны»,
так как такие ответы нарушают логическую конструкцию тестового
задания или несут подсказку.
12.Число тестовых заданий с отрицанием должно быть минимальным. При
этом частица «не» выделяется жирным шрифтом.
7.2. Рекомендации к заданиям с выбором ответа
1. В тексте задания должна быть устранена всякая двусмысленность или
неясность формулировок;
2. Основная часть задания формулируется очень кратко, не более одного
предложения из семи-восьми слов;
3. Задание должно иметь предельно простую синтаксическую конструкцию;
6
7
4. В основную часть задания включается как можно больше слов, оставляя для
ответа 2-3 ключевых слова для данной проблемы;
5. Все ответы к одному заданию должны быть примерно одной длины, либо в
некоторых заданиях правильный ответ может быть короче других;
6. Из текста должны быть исключены все ассоциации, способствующие выбору
правильного ответа с помощью догадки;
7. Частота выбора одного и того же номера места для правильного ответа в
различных заданиях должна быть примерно одинакова;
8. Основная часть задания должна быть освобождена от всякого ненужного для
данной проблемы материала;
9. Из ответов исключаются все повторяющиеся слова за счет ввода их в
основной текст заданий;
10. В ответах не рекомендуется использовать слова «все», «ни одного»,
«никогда», «всегда», «ни один из перечисленных», «все перечисленные», т.к. в
отдельных случаях они способствуют угадыванию правильного ответа;
11. Из числа неправильных должны исключаться ответы, вытекающие один из
другого;
12. Из числа тестовых должны исключаться задания, содержащие оценочные
суждения или мнения испытуемого по какому-либо вопросу;
13. Все варианты ответов должны быть равновероятно привлекательны для
испытуемых;
14. Ни один из вариантов ответов не должен являться частично правильным,
превращающимся при определенных дополнительных условиях в правильный;
15. Основная часть задания формулируется в форме утверждения, которое
обращается в истинное или ложное высказывание после подстановки ответов;
16. Ответ на одно задание не должен служить ключом к правильным ответам на
другие задания теста, т.е. не следует использовать дистракторы из одного
задания в качестве ответов к другим заданиям теста;
17. Если задание содержит среди прочих альтернативные ответы, не следует
сразу после правильного приводить альтернативный ответ, так как внимание
отвечающего обычно сосредотачивается только на этих двух ответах;
18. Все ответы должны быть параллельны по конструкции и грамматически
согласованы с основной частью задания теста.
8. Критерии качества тестов
Рекомендуется соблюдать следующие параметры тестов:
1. Соответствие содержания тестовых заданий государственному
образовательному стандарту по учебной дисциплине (базовая часть
тестовых заданий –70%- 85%), а также включение дополнительных
тестовых заданий (вариативная часть тестовых заданий – 15%-30%).
2. Необходимо проводить подбор заданий, комплексно отображающих
основные темы учебной дисциплины.
7
8
3. Тестовые задания по конкретной учебной дисциплине должны наиболее
полно отображать ее содержание и ключевые понятия, чтобы иметь
качественную объективную оценку знаний студентов. Включение в тест
второстепенных элементов содержания может привести к неоправданным
выводам о знании или незнании учебной дисциплины.
4. Необходимо соблюдать пропорции в количестве тестовых заданий по
темам учебной дисциплины.
5. Необходимо проверять соответствие содержания тестовых заданий
знаниям, навыкам и умениям, оцениваемым у студентов.
6. В каждом тестовом задании необходима определенность, логичность,
отсутствие некорректных формулировок, выделение одного предмета
измерения (ключевого понятия, термина, правила, определения и
т.д.).
Внутренняя экспертиза качества теста
Каждому эксперту выдаются следующие материалы:

Спецификация и план теста

Инструкция по экспертизе

Формы для заключения об экспертизе и записи решений
В процессе экспертизы проводится следующая работа:

Выполняется каждое задание теста (указывается правильный ответ,
приводится решение задания, где необходимо)

Анализируются формулировки задания (проверяется предметная
корректность формулировок)

Анализируется содержание заданий на их тематическую принадлежность
и уровень сложности (базовый, повышенный или высокий)

Формулируются замечания каждому из заданий, в конструктивной форме
с предложениями, что и как необходимо изменить.

Формулируется заключение о пригодности теста для использования
Спецификация теста включает:

Цель создания теста, обоснование выбора подхода к его созданию,
описание возможных сфер его применения.

Перечень нормативных документов (базисных программ, требований к
уровню подготовки выпускников и др.), используемых при планировании
содержания теста.

Количество заданий различной формы с указанием числа ответов к
закрытым заданиям, общее число заданий в тесте.

Вес каждого задания, рекомендуемый автором теста.

Рекомендуемое время выполнения теста, среднее время выполнения
одного задания с учетом специфики формы.
8
9

Охват требований государственных образовательных стандартов по
дисциплине.
Требования к экспертной комиссии и процедуре экспертизы качества
теста

Оценка качества содержания теста проводится независимыми
экспертами, не участвовавшими в разработке теста. Число экспертов составляет
не менее 3-х человек - наиболее опытные преподаватели, с большим стажем
работы.

В комплект материалов для экспертизы должен входить перечень
требований к уровню подготовки испытуемых.

Эксперту при работе потребуются часы для фиксации времени работы
над каждым заданием и бланк для экспертного заключения.

Если задание теста проверяет степень достижения требований на
минимальном уровне - это базовое задание, на уровне «хорошей» оценки –
задание повышенного уровня, «отличной» оценки – сложное задание.

Эксперт должен оценить значимость содержания теста по следующей
шкале – 0 – неоправданное включение задания в тест, 1 – незначимое задание, 2
– значимое, 3 – наиболее важный опорный элемент.
План теста
При разработке плана тестовых заданий по дисциплине делается примерная
раскладка процентного содержания разделов и определяется необходимое
число заданий (но не менее 3-х) по каждому разделу дисциплины (по каждой
дидактической единице) исходя из его важности и числа часов, отведенных на
его изучение в программе.
9. Критерии выставления оценки
Процент выполнения тестов
Оценка
50-60
60-70
70-80
80-90
90-100
Предлагается следующая таблица критериев выставления оценки.
Колонку «Оценка» кафедры проставляют по своему усмотрению, учитывая
специфику предмета.
9
10
Приложение 1 Пример плана теста
Номер
задания
А1
А2
А3
А4
А5
А6
А7
А8
А9
А10
А11
А12
А13
А14
Шифр
темы
Тема
Основные законы химии. Количество
вещества. Молярная масса.(Задача)
Молярный объем газа. (Задача)
Число Авогадро (Задача)
Основные типы химических реакций
Периодическая система Д.И.Менеделеева и
свойства химических элементов
Химическая связь и строение вещества
Химическая кинетика и катализ. Скорость
реакций. Катализ. (Задача)
Химическое равновесие. Константа
равновесия. Смещение равновесия.
Дисперсные системы. Общие свойства
растворов. Энергетика растворения.
Состав растворов. Массовая доля. Молярная
концентрация.
Растворы электролитов. Диссоциация
кислот, оснований, солей.
Кислотно-основные реакции. Гидролиз
солей.
Реакции ионного обмена. Выпадение осадка,
образование газа.
Химические свойства простых веществ,
оксидов, кислот, оснований
Шифр
темы
Вид
задания*
1
2
1
1
3.2, 3.3
3.1
2
1
2
1
3.4
2. 2.3
1.3
2.1,
2.2
1.1
1.2
1.1,
2
2
1.1
3.2
3.2
2
3, 3.2
2
3
1
3
2
3
2
% от
Количество
всего
заданий
теста
1
1.1
..
Всего
*Примечание. Виды тестовых заданий:
1 - задания с выбором одного или нескольких правильных ответов;
2 - задания открытой формы, т. е. без указания ответов
3 - задания на установление соответствия
4 - задания на установление правильной последовательности
10
11
Приложение 2 Варианты тестовых заданий
1. Тестовое задание с вариантом выбора ответа
На месте ключевого элемента в содержании задания необходимо поставить
прочерк или многоточие. При каждом предъявлении тестового задания порядок
расположения элементов из множества допустимых заключений должен
изменяться. Элементы группы не маркируются.
С левой стороны каждого элемента располагается графическое изображение
логического идентификатора, состояние которого тестируемый изменяет при
выборе корректного заключения. Пометка верных заключений осуществляется
испытуемым с помощью мыши.
Допустимо использование двух вариантов заданий данного типа:
Выбор одного ответа:
до ввода тестируемым
после ввода тестируемым
заключения
заключения
I ... in my office now.
I ... in my office now.
 is  are  am  was
were

 is
 are  am  was

were
11
12
Несколько ответов:
до ввода тестируемым
после ввода тестируемым
заключения
заключения
Слова с окончанием -е в
Слова с окончанием -е в
предложном падеже
предложном падеже
 в музе_
 в музе_
 в безмолви_
 в безмолви_
 в плать_
 в плать_
 на свирел_
 на свирел_
 об Анастаси_
 об Анастаси_
2. Тестовое задание открытой формы
Требует сформулированного самим тестируемым заключения на
требования задания. Имеет вид неполного утверждения, в котором отсутствует
один или несколько ключевых элементов. В качестве ключевых элементов
могут быть: число, слово или словосочетание. При формулировке задания на
месте ключевого элемента, необходимо поставить прочерк или многоточие.
Отсутствующий элемент (правильный вывод) в задании открытой формы
вводит тестируемый, при этом вводимое заключение отображается на экране
монитора на месте прочерка и/или в специальном поле, хорошо видимом
испытуемым.
12
13
после ввода тестируемым
до ввода тестируемым заключения
заключения
Россия подписала мир с
Россия подписала мир с Францией
Францией в Тильзите в 1807
в Тильзите в … году.
году.
3. Тестовые задания на установление соответствия
Состоит из двух групп элементов и четкой формулировки критерия
выбора соответствия между ними.
Соответствие устанавливается по принципу 1:1 (одному элементу первой
группы соответствует только один элемент второй группы) или 1:M (одному
элементу первой группы соответствует М элементов второй группы). Внутри
каждой группы элементы должны быть однородными. Количество элементов
во второй группе должно превышать количество элементов первой группы, но
не более чем в 1,5 раза. Максимально допустимое количество элементов во
второй группе не должно превышать 10. Количество элементов в первой группе
должно быть не менее двух.
13
14
Пример:
после ввода тестируемым
до ввода тестируемым заключения
заключения
Соответствие между музыкальными
Соответствие между музыкальными
произведениями и его авторами:
произведениями и его авторами:
 Чайковский

 Чайковский

 Мусоргский


 Мендельсон
 Бетховен
 Шопен
 Мусоргский


 Мендельсон
 Бетховен
 Шопен
14
15
4. Тестовые задания на установление правильной последовательности
Состоит из однородных элементов некоторой группы и четкой
формулировки критерия упорядочения этих элементов.
Пример:
до ввода тестируемым заключения:
Порядок следования дней в неделе
 среда
четверг  понедельник  пятница  вторник
в процессе ввода тестируемым заключения:
Порядок следования дней в неделе
 среда
 четверг  понедельник  пятница  вторник
система отображает введенный тестируемым порядок:
Порядок следования дней в неделе
 понедельник  вторник  среда
 четверг  пятница
15