ПОРЯДОК ПРОВЕДЕНИЯ РАБОТЫ

ПОРЯДОК ПРОВЕДЕНИЯ РАБОТЫ
по оценке качества ПТМ
1.
Процедура оценки качества ПТМ
1.1. Процедура оценки качества ПТМ по характеру и содержанию работ состоит из трех
последовательных этапов, которые входят в процесс разработки теста как отдельные
этапы. Первый этап – комплексная независимая экспертиза ПТМ, включающая оценку
качества содержания, предметную чистоту объектов контроля, правильности форм
заданий, соблюдение тестологических требований к композиции заданий в тестовой
форме (ЗТФ), установление соответствия материалов целям измерения и выборке
тестируемых. Второй этап – определение квалиметрических характеристик тестовых
заданий по результатам статистического анализа данных апробационного
тестирования. Третий этап – оценка качества ПТМ как измерительного инструмента по
критериям надежности и валидности и выдача сертификата качества ПТМ (в
дальнейшем - сертификат). Или свидетельства о качестве. Образец бланка сертификата
разрабатывается Лабораторией и утверждается Учебно-методическим советом ТПУ.
1.2. Лаборатория проводит оценку качества представляемых заказчиками ПТМ на всех
и на отдельных этапах.
1.3. Проведение комплексной экспертизы рекомендуется после разработки
кодификатора, спецификации, банка заданий в тестовой форме до момента апробации.
Цель комплексной независимой экспертизы ПТМ – дать рекомендации разработчикам
по совершенствованию начальных тестовых материалов.
1.4. На основе квалиметрических характеристик тестовых заданий, определяемых в
Лаборатории по результатам статистического анализа выявляется качество тестовых
заданий, пригодность для данной группы обучающихся.
1.5. Определение валидности и надежности тестовых результатов характеризует
эффективность исследуемых ПТМ как инструмента измерения учебных достижений
студентов.
1.6. При неполном соответствии характеристик ПТМ требованиям качества или при
прохождении в виде отдельного этапа выдается заключение о прохождении процедуры
оценки качества. Заключение удостоверяет факт прохождения процедуры оценки
качества и содержит рекомендации по доработке ПТМ. В случае получения
Сертификата оценка качества теста на первом или втором этапе может быть проведена
без участия специалистов Лаборатории, с обязательным документальным
подтверждением квалификации проводящих данное исследование. Образцы
заключения и содержания рекомендаций по доработке ПТМ разрабатываются
Лабораторией и утверждаются Учебно-методическим советом ТПУ.
1.7. Сертификат, выдаваемый после окончательного этапа оценивания, дает право на
использование ПТМ с целью оценки знаний обучающихся в ТПУ. Сертификат
снабжается бланком с паспортными данными ПТМ, содержащими информацию о
характеристиках ПТМ, и имеет регистрационный номер, совпадающий с
регистрационным номером ПТМ.
2.
Проведение комплексной независимой экспертизы
2.1. Экспертные оценки, получаемые в ходе первого этапа, представляют собой
суждения высококвалифицированных специалистов в определенных предметных
областях, сформулированные в виде оценок в содержательной форме. Полученные
суждения по рассматриваемым объектам обрабатываются для генерации обобщенных
данных и новой информации, направленной на улучшение качества оцениваемых
объектов. Предметные области экспертизы составляют дисциплины образовательных
программ ТПУ и теория педагогических измерений. Эксперты работают в соответствии
с Руководством и методическими указаниями по оцениванию качества ПТМ.
2.2. Объектами независимой экспертизы на первом этапе оценивания ПТМ являются:
 кодификатор (структурированный перечень контролируемого содержания
учебной дисциплины),
 спецификация (паспорт ПТМ),
 задания в тестовой форме.
2.3. Порядок прохождения экспертизы соответствует следующей схеме:
1) формулировка цели экспертного опроса;
2) подбор основного состава рабочей группы;
3) разработка рабочей группой и утверждение технического задания;
4) разработка рабочей группой сценария, включая методы работы и анализа
полученной информации;
5) подбор экспертов в соответствии с их компетентностью;
6) формирование и утверждение экспертной комиссии, заключение договоров;
7) проведение сбора экспертной информации;
8) анализ полученной информации;
9) интерпретация полученных результатов и подготовка заключения.
2.4. При оценивании кодификатора рассматривается предлагаемая авторами ПТМ
структура содержательной области, полнота и правильность выделения учебных
элементов, конкретизированных целей обучения, назначение коэффициентов
значимости объектов контроля.
2.5. Экспертиза спецификации необходима для обоснования оценки знаний по всему
предмету на основе ответов по малому числу заданий теста. Оцениванию подвергается:
 обоснование выбора подходов к созданию теста, предлагаемых сфер применения
теста;
 соответствие разделов технологической матрицы разделам в ГОСе;
 соответствие объема содержания разделов (программа, ГОС) количеству
заданий на этот раздел в спецификации, т.е. пропорциональность числа заданий
объему содержания разделов;
 распределение заданий по уровням усвоения знаний в соответствии с
содержанием учебного предмета, требованиями к подготовленности
испытуемых.
2.6. При экспертизе ЗТФ каждое из заданий рассматривается как индикатор,
выявляющий определенный фрагмент учебных достижений студента. В ходе
предметной (содержательной) экспертизы ЗТФ оценивается:
 степень соответствия тестовых заданий минимуму содержания учебной
дисциплины, определяемому ГОС (федеральный компонент);
 степень соответствия тестовых заданий содержанию ОС ТПУ (региональновузовский компонент);
 соответствия тестовых заданий целям изучения данной учебной дисциплины и
целям тестирования;
 соответствия формы, содержания (значения, смысла) морфологических (слово,
символ, знак) и синтаксических (выражения, обороты) единиц тестового задания
форме и содержанию аналогичных единиц, использованных (используемых) при
изложении данной учебной дисциплины;
 параллельность заданий;
 качество критериев оценивания свободноформулируемых заданий;
 подбор дистракторов в заданиях с выбором правильного ответа.
2.7. Тестологические характеристики ЗТФ оцениваются специалистами-тестологами по
следующим критериям с использованием программного обеспечения, разработанного
на кафедре ПИ:
 технологичность задания,
 краткость формулировки;
 правильность использования формы;
 правильность конструкции задания;
 предложенное оценивание выполнения задания.
2.8. Для работы экспертам выдается комплект материалов, содержащий:
 бланк о неразглашении содержания рецензируемых тестов;
 договор о проведении работ по экспертизе;
 инструкции и методические указания по оцениванию ПТМ;
 бланки, таблицы, необходимые для внесения мнений эксперта;
 ПТМ, включающие кодификатор, спецификацию, ЗТФ;
2.9. Результаты работы эксперта должны быть представлены:
 текстовыми (печатными/рукописными) или электронными копиями тестовых
материалов с выделенными в них недостатками;
 заполненными бланками протоколов экспертизы тестовых материалов (заданий),
адаптированных для автоматизированной обработки;
 описаниями каждого из выявленных недостатков в форме письменного
изложения;
 предложениями об удалении из теста (банка, базы) конкретного тестового
задания (совокупности тестовых заданий), его изменениями или
модификациями.
 краткими отчетами об экспертизе тестовых материалов, составленный в
соответствии с руководством для экспертов по экспертизе тестовых материалов.
2.10. Схематически процесс экспертизы ЗТФ представлен на блок-схеме (рисунок 1).
Авторские ПТМ
ПТМ, прошедшие
независимую экспертизу,
результаты независимой
экспертизы
Независимые экспертизы
(тестологическая, предметная),
минимум по 3 эксперта
нет расхождения в оценках
проверка расхождения
между оценками
экспертов
Тестирование
(апробация ТЗ и тестов)
расхождение с одной оценкой
Расхождение в 3х оценках
результаты
работы эксперта
ПТМ (предварительные)
принять оценку,
выставленную двумя
другими экспертами
Результаты тестирования
(апробации ТЗ и тестов)
авторам на
корректировку
принятие
решения
Повторная экспертиза
(3 эксперта совместно
обсуждают выявленные
расхождения в оценках)
окончател
ьного
решения
исключить
Рисунок 1. Блок-схема процессов комплексной независимой экспертизы ПТМ
3. Определение квалиметрических характеристик ПТМ
3.1. На втором этапе оценивания ПТМ тестологами-специалистами анализируются
результаты апробационного тестирования на основе квалиметрических характеристик
заданий и тестов. Блок – схема процессов данного этапа представлена на рисунке 2.
3.2. Результаты апробационного тестирования представляются двумя матрицами,
отражающими правильность выполнения заданий теста и выбор варианта ответа
каждым из тестируемых. Для определения репрезентативности выборки испытуемых
необходимо дать характеристику выборочной совокупности.
3.3. Анализ статистических данных начинается с анализа согласованности
эмпирического распределения с нормальным. При необходимости формируется
репрезентативная выборка методом пропорциональных страт. Основой стратификации
могут служить результаты входного контроля или текущей успеваемости. При
отсутствии согласованности, проверка которой проводится с помощью коэффициента
согласованности φ2, формируется выборочная совокупность. Для формирования
которой выбирают 70% результатов, находящихся в центре распределения, а 15% самых
низких и 15% самых высоких результатов исключаются, тем самым повышается
достоверность эмпирических результатов выполнения теста.
3.4. Оценивание качества тестовых заданий проводится путем вычисления с
использованием программного обеспечения:
1) значений трудности заданий;
2) значений коэффициентов корреляции ТЗ с итоговым баллом по тесту;
3) параметров дискриминативности ТЗ;
4) групповых баллов и построения геометрических образов;
5) коэффициентов корреляции подобранных дистракторов с правильным ответом
(для заданий с выбором правильного ответа);
6) подсчет значений дифференцирующей силы задания по модели Бирнбаума;
7) коэффициента корреляции задания с заданием (проверка теста на гомогенность).
3.5. Далее проводится анализ соответствия эмпирических показателей с
рекомендуемыми критериями. В случае удовлетворительных показателей, проводится
анализ качественных показателей тестов, в противном случае, необходимо выяснить
причину неудовлетворительных показателей методом детального анализа
качественных показателей, полученных по результатам выполнения теста.
3.6. В случае оценивания нескольких вариантов ПТМ анализируется параллельность
тестов в рамках:
 классической теории на основе корреляционного анализа, подсчета и
сравнительного анализа мер центральных тенденций по каждому тесту;
 IRT путем статистической проверки гипотезы о равной трудности одноименных
заданий различных вариантов одного и того же теста.
3.7. Результатом оценивания качества ПТМ на данном этапе является База тестовых
заданий, пригодных для конструирования тестов.
Результаты
тестирования
(апробации ТЗ и
тестов)
Результаты
независимой
экспертизы ТЗ
БАНК ТЕСТОВЫХ
ЗАДАНИЙ
(окончательный)
Корректировка экспертных
показателей ТЗ
расчет статистических
показателей ТЗ и тестов
расхождение не обоснованное
На анализ экспертам
Результаты расчетов
статистических
показателей
Сравнение статистических
показателей с результатами
независимой экспертизы
сравнительный
анализ
расхождений
сравнительный
анализ
расхождений
расхождение
обоснованное
Сравнение статистически
значимых расхождений
статистических показателей с
экспертной оценкой
расхождение статистически
значимое
Сведения для
анализа тестологам
расхождение статистически незначимое
Рисунок 2. Блок – схема процессов определения квалиметрических характеристик ПТМ
4. Оценка качества ПТМ как измерительного инструмента
4.1. Оценка качества ПТМ как измерительного инструмента проводится на основе
вычислений коэффициентов надежности тестовых результатов и определения
содержательной, критериальной валидности и оптимального времени тестирования.
4.2. Надежность понимается как помехоустойчивость, точность и внутренняя
согласованность полученных результатов. Поэтому в зависимости от целей тестирования
определение коэффициента надежности проводится разными методами. Для конкретного
теста допустимо использование не менее двух методов. По результатам вычислений
определяется ошибка измерения, доверительный интервал. В случае получения
неудовлетворительного значений анализируются повлиявшие факторы:
 длина теста;
 гетерогенность репрезентативной выборки;
 время выполнения теста;
 однородность заданий теста;
 качество инструментария;
 профессионализм разработчиков;
 мотивация участников.
4.3. Определение содержательной валидности результатов тестирования проводится
методом экспертного оценивания спецификации и тестовых заданий, прошедших
апробацию. Критерии оценивания:
 соответствие содержания теста целям обучения и целям контроля;
 сбалансированность содержания теста по разделам;
 соответствие трудности заданий уровню требований к обучающимся;
 значимость содержания отдельных заданий.
4.3. При определении критериальной валидности результаты тестирования сравнивают с
успехами по выбранному критерию. Для итогового контроля – с текущей успеваемостью,
для вступительных испытаний – с успехами в последующем обучении. К критерию
предъявляются требования:
 релевантность (уместность, существенность);
 свобода от контаминации (сдвига на другой, сопредельный, похожий критерий);
 статистически достаточная надёжность.
4.4. Оценка качества теста относительно критерия определяется по корреляции
результатов тестирования с внешним критерием в зависимости от имеющихся данных.
При получении низких оценок валидности в заключении, составляемом Лабораторией,
указываются причины, приводящие к непригодности ПТМ.
4.5. Для определения оптимального времени тестирования проводится эксперимент на
равнозначных группах испытуемых, не менее трех. Априори время тестирования
определяется как трехкратная величина времени, затраченного профессионалом на ответы
заданий теста. Апостериорно эта величина определяется по наибольшей дисперсии
полученных результатов среди групп, выполнявших тест за разное время.
4.6. На третьем этапе оцениванию подлежат также методы и правильность определения
норм или критериальных баллов, используемых при интерпретации результатов
тестирования. Разработчики должны представить матрицы апробационных испытаний, на
основе которых проходило установление данных характеристик.
4.7. На заключительном этапе оценки качества ПТМ, получившие удовлетворительные
оценки, получают Сертификат на использование в образовательном процессе ТПУ.
7
5. Требования к организации оценки качества ПТМ
5.1. Оценка качества ПТМ проводится на базе Лаборатории.
5.2. Оценка качества ПТМ проводится по желанию авторов тестов или по заявкам
учебных подразделений ТПУ.
5.3.. Оценка качества проводится на основании договора, заключаемого между
заказчиками работ и Лабораторией оценки качества ПТМ. Договор может
предусматривать оказание заказчику дополнительных услуг по доработке ПТМ до уровня
требований оценки качества или определения отдельных качественных характеристик
тестов.
5.4. С целью проведения содержательной процедуры экспертизы на базе Лаборатории
создаются экспертные группы. Состав экспертных групп утверждается Учебнометодическим Советом ТПУ по представлению Лаборатории. В состав экспертов не
должны входить представители учебного подразделения ТПУ, заказавшего проведение
работ по оценке качества.
5.5. Работа экспертных групп осуществляется по специальным методикам,
утвержденным Учебно-методическим Советом ТПУ.
5.6. Оценка тестологических свойств заданий и целиком теста проводится отдельным
специалистом-тестологом на основе требований к форме, композиции, логике
содержания.
5.7. Для установления соответствия статистических характеристик ПТМ используется
программное обеспечение, состоящее из пакета стандартных офисных программ
Microsoft, специальных программ, приобретенных кафедрой ПИ и разработанных
сотрудниками ТПУ.
5.8. Оформление результатов оценки качества и выдача сертификата проводятся в
порядке, утвержденном Учебно-методическим Советом ТПУ, и в соответствии с
описанной выше процедурой оценки качества.
5.9. Ежегодные отчеты о результатах оценки качества тестов (в аннотированной
форме) передаются Лабораторией оценки качества ПТМ в Учебно-методический Совет
ТПУ.
5.10. ПТМ, прошедшие процедуру оценивания качества, помещаются с согласия
заказчика-(автора) в информационные базы Лаборатории оценки качества ПТМ для
создания внутривузовского фонда ПТМ (банка тестов). Лаборатория оценки качества
ПТМ не обладает правом передачи ПТМ без согласия авторов третьим лицам.
5.11. Оценка качества ПТМ дает право на их использование для контроля учебных
достижений обучающихся методом тестирования только в соответствии с паспортными
данными ПТМ. При любых изменениях, приводящих к нарушению паспортных данных
ПТМ, зафиксированных в процессе оценки качества ПТМ, сертификат утрачивает силу.
5.12. При возникновении конфликтных ситуаций, связанных с заключениями
экспертов, заказчики работ обладают правом обращаться в Учебно-методический Совет
ТПУ с целью назначения дополнительной экспертизы.
6. Перечень документов и материалов, необходимых для выполнения оценки качества
ПТМ
Для проведения оценки качества сертифицируемых ПТМ заказчик работ должен
представить в электронном и бумажном виде следующее:
6.1. Для проведения комплексной экспертизы ПТМ заказчик работ представляет:
1) кодификатор – структурированное содержание контролируемой предметной
области;
2) спецификацию теста;
3) методическое оснащение;
8
4) тексты всех разработанных вариантов тестов, готовом для предъявления
тестируемым;
5) таблица правильных ответов с критерием оценки за выполнение каждого задания;
6) планируемые правила оценки результатов.
6.2. Для определения статистических характеристик заданий и теста, и установления
соответствия характеристик целям измерения и особенностям выборки, заказчик работ
должен представить:
1) эмпирические результаты апробации ПТМ в виде матриц: результатов
выполнения заданий, выбора испытуемыми варианта ответа (номер задания –
вариант ответа) с указанием дат проведения;
2) характеристика апробационной выборки;
3) правила оценки результатов.
6.3. Для тестирования, проводимого на бумажных носителях:
1) кодификатор контролируемой предметной области;
2) общие данные о тесте;
3) тексты всех разработанных вариантов тестов в распечатанном виде, готовом для
предъявления тестируемым;
4) спецификацию теста;
5) таблицу правильных ответов с критериями оценки (в баллах) за выполнение
каждого задания;
6) эмпирические результаты апробации ПТМ в виде матриц с указанием дат
проведения тестирования;
7) описание выборки стандартизации, использованной при разработке ПТМ, и
основания для ее стратификации с указанием объема выборки;
8) статистические характеристики всех заданий и вариантов теста;
9) шкалу и правила оценки результатов;
10) все сопроводительные материалы по проведению тестирования (методическое
оснащение).
6.4. Для компьютерного тестирования:
1) структуру и характеристики банка тестовых материалов;
2) распечатки тестовых заданий и отдельных вариантов тестов со всеми
имеющимися характеристиками по выбору экспертов;
3) технологию формирования и предъявления теста;
4) демонстрационную версию банка;
5) систему оценивания результатов тестирования.
7. Методические указания по подготовке педагогических тестовых материалов к
оценке качества
С целью подготовки ПТМ к процедуре оценки качества заказчики (авторы)
предварительно самостоятельно оценивают качество содержания ПТМ, проверяют
соответствие заданий требованиям тестовой формы и выявляют статистические
характеристики ПТМ.
7.1. Кодификатор представляет собой структурированное содержание предметной
области, контроль которой осуществляется с помощью ПТМ. В нем должны найти
отражение учебные элементы, подлежащие усвоению, цели обучения и контроля, этап
контроля, детализированные результаты обучения, уровень усвоения, уровень
значимости, уровень трудности.
7.2. Общие данные о ПТМ должны включать:
9
а) название учебного предмета;
б) название образовательной программы и год обучения;
в) авторский коллектив разработчиков;
г) период разработки (даты начала и окончания);
д) даты прохождения экспертизы тестов и тестовых заданий, число экспертов, даты
прохождения апробации тестов.
7.3. Спецификация ПТМ должна включать:
а) цели создания ПТМ;
б) перечень специальностей и направлений подготовки, для которых планируется
использование ПТМ (в высших и средних специальных учебных заведениях);
в) перечень исходных документов, использованных при разработке ПТМ (ГОС или
документы их заменяющие с указанием года и места издания, наименование программ
вступительных испытаний и.т.п.);
г) вид ПТМ;
д) наименование подхода к разработке ПТМ;
е) число заданий в каждом варианте ПТМ;
ж) число вариантов ПТМ;
з) количество и процентное содержание заданий каждой формы;
и) число ответов к заданиям с выбором ответа;
к) вес каждого задания при подсчете баллов испытуемых;
л) время выполнения теста и время выполнения каждого задания;
м) соотношение заданий в каждом варианте ПТМ по разделам (содержательным
линиям) и видам деятельности (знаниям, умениям) испытуемых (в виде таблицы и с
подробной расшифровкой),
н) способ формирования вариантов ПТМ (кластерная модель или параллельные
формы);
о) план теста;
п) примеры инструкций для выполнения заданий теста.
7.4. Статистические характеристики заданий теста должны включать:
а) данные о трудности заданий в долях правильных ответов испытуемых, процентах
правильных ответов или в шкале логитов (при использовании современной теории
конструирования тестов);
б) для закрытых заданий теста – дистракторный анализ;
в) для открытых заданий - распределение ответов испытуемых в соответствии со
схемой оценки выполнения заданий;
г) данные о дискриминативности заданий, полученные с помощью индекса
дискриминативности, точечно-бисериального коэффициента корреляции, параметра
дифференцирующей способности заданий теста (при использовании современной теории
конструирования тестов);
д) результаты проверки правдоподобности гипотезы о нормальном распределении
эмпирических результатов по тесту (для нормативно-ориентированных тестов);
е) нормы (для нормативно-ориентированных тестов), включающие среднее значение
сырых баллов, дисперсию и т.д. с указанием временного промежутка действия норм;
ж) критериальный балл (для критериально-ориентированных тестов), сопровождаемый
описанием процедуры его получения и результатами его эмпирической валидизации (с
указанием временного промежутка действия балла);
з) данные о надежности теста с указанием методов их получения;
и) данные о валидности теста с указанием типа валидности и использованного метода
получения оценок;
к) данные анализа корреляционных связей заданий;
10
л) для гетерогенных тестов данные о результатах факторного анализа, количестве и
видах шкал;
м) оптимальное время выполнения теста;
н) данные об информативности теста с точки зрения соответствия целевой
информационной функции (если использовалась современная теория конструирования
теста).
7.5. Методическое оснащение ПТМ рассматривается как условие, обеспечивающее
равные условия на всех этапах использования, состав его должен быть представлен в
следующем виде:
1) инструкция для тестируемых;
2) инструкция для ведущих;
3) сценарий тестирования;
4) бланки ответов (для бланочного тестирования)
5) рекомендации по интерпретации полученных результатов.
7.6. При проведении содержательной экспертизы ПТМ используются следующие
критерии:
а) полнота отображения материала образовательной программы при отборе
содержания ПТМ;
б) правильность пропорций, выбранных при отображении разделов предмета
(содержательных линий);
в) полнота охвата требований государственных образовательных стандартов в ПТМ;
г) соответствие содержания заданий знаниям, умениям и навыкам, запланированным
для проверки в кодификаторе и спецификации ПТМ;
д) значимость содержания каждого задания ПТМ для целей проверки.
7.7. Задания оцениваемых ПТМ рекомендуется разрабатывать в одной из четырех
форм:
а) задания с выбором ответов (испытуемый выбирает правильный ответ (ответы) из
числа готовых, предлагаемых в задании теста),
б) задания на дополнение (испытуемый сам формулирует краткий или развернутый
ответ),
в) задания на установление соответствия между элементами двух множеств,
г) задания на установление правильной последовательности в ряду предлагаемых
элементов.
Разрабатываемые задания должны соответствовать ряду требований, которые
можно подразделить на общие, инвариантные относительно выбранной формы и на
специальные, отражающие специфику форм заданий теста.
К общим требованиям относят:
 технологичность проверки и выполнения задания;
 наличие порядкового номера задания, установленного согласно статистическим
оценкам трудности и выбранной разработчиком стратегии предъявления заданий
теста;
 наличие стандартной инструкции, адекватной форме заданий теста и форме
предъявления;
 определенность мест расположения элементов заданий,
 наличие эталонов правильных ответов к заданиям (кроме случая использования
заданий в открытой форме со свободно конструируемым ответом) и правил,
выбранных разработчиком для оценки результатов выполнения теста с
обоснованием выбора весовых коэффициентов, если они имеются.
11
В отличие от общих специальные требования довольно многочисленны. Они
излагаются в пособиях по тестовой проблематике, а также в развернутых методических
рекомендациях, которые выдаются заказчикам после заключения договора на оценку
качества ПТМ.
В оцениваемых ПТМ допускается сочетание различных форм. В том случае, когда
формы чередуются, соответствующим образом должна меняться инструкция к заданиям
теста.
При подготовке материалов для оценки качества рекомендуется использовать
пособия по тестовой проблематике, приведенные ниже.
Рекомендуемая литература:
1)
Аванесов В.С. Композиция тестовых заданий. – М: Центр тестирования, 2002. – 240
с.
2)
Гласс Дж., Стенли. Дж. Статистические методы в педагогике и психологии. – М.:
Прогресс, 1976. – 495 с.
3)
Клайн П., Введение в психометрическое программирование. Справочное
руководство по конструированию тестов. - Киев, 1994.
4)
Майоров А.Н. Теория и практика создания тестов для системы образования. –М.,
2001. – 296 с.
5)
Михайлова Н.С. Методика создания учебных заданий для тестового контроля. –
Томск: Изд-во Томского политехнического ун-та, 2007. – 227 с.
6)
Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и
параметризации педагогических тестов. – М., 2000. – 168 с.
7)
Переверзев В.Ю. Технология разработки тестовых заданий: справочное
руководство. – М.: Е-Медиа, 2005.
8)
Челышкова М.Б. Теория и практика конструирования педагогических тестов:
Учебное пособие. – М.: Логос, 2002. – 432 с.
12