Временное положение по тестированию

1
ПРОЕКТ
Временное положение по тестированию
для аттестации студентов ИНИТ ГОУ ВПО «КнАГТУ»
Требования к системе автоматизированного тестирования
1. Общие положения
Тест – это система заданий, возрастающей трудности в специфической форме,
позволяющей объективно оценивать уровень и структуру знаний студентов. Единицами
тестирования служат тестовые задания – единицы контрольного материала, сформулированные
в виде утверждения, предложения с неизвестным, удовлетворяющие ряду требований.
Автоматизированный тестовый контроль знаний (далее Тест) представляет собой набор
вопросов (далее – тестовых заданий), охватывающих основные разделы по учебному курсу
(дисциплине). Тестовые задания объединяются в группы по тематическому принципу.
Различают основные виды Тестов – рубежный (тест по разделу), итоговый (тест по всему
курсу). Количество групп в Тесте, а также количество вопросов в каждой группе определяется
Преподавателем в соответствии с ограничениями данного положения. Результаты тестирования
сохраняются в итоговые таблицы для последующего просмотра и анализа.
Интерпретация результатов теста осуществляется автоматически.
Для студентов, которые обучаются по заочной форме, тестовые задания составляются в
пределах выданных методических материалов (пособий).
2. Требования, предъявляемые к тестам
Тестовые задания могут формулироваться в следующих режимах:
· выбор одного верного ответа из множества (текст, изображения, звук и т.д.);
· несколько правильных ответов или все неправильные (текст, фрагменты изображения);
· ввод данных в указанное поле с последующим сравнением ответа с эталоном
(указывается последовательность, вводится формула, вставляется буква, символ);
· расстановка предложенных элементов (ответов) в определенной последовательности.
· соединить точки;
· сгруппировать (переместить);
· выбрать элементы в матрице;
· указать значение (заполнить пробел) на слайдере (линейке).
Использование этих форм позволяет полностью обеспечить совместимость тестовой
подсистемы с рекомендациями международного консорциума IMS.
Процедура тестирования имеет временные ограничения, определяемые преподавателем
в соответствии с требованиями данного Стандарта. Каждому тестовому заданию присваивается
показатель сложности от 1 до 12.
При формулировании тестовых заданий, преподаватель может использовать только те
режимы, которые определены в данном Стандарте.
Общее количество тестовых заданий в Тесте должно быть не менее 150. Из них
генерируются рубежные и итоговые Тесты.
Рубежный тест должен содержать тестовые задания по одному разделу. Раздел состоит
из нескольких тем. Количество тем определяется автором Теста. Количество тестовых заданий
в тесте – не более 15-25.
В случае не явки на рубежный тест или не сдачи студентом теста, он направляется
преподавателем на сдачу итогового теста. Рубежный тест не пересдается.
Итоговый тест должен охватывать все темы, изучаемые в рамках данной дисциплины.
Количество тестовых заданий в тесте – не более 30-50.
В случае не сдачи итогового теста, студенту дается еще одна попытка. В случае
повторной не сдачи итогового теста, студент все последующие попытки должен оплатить.
2
В зависимости от уровня сложности Теста преподаватель должен определить общее
время, необходимое для прохождения процедуры тестирования. Максимальное время
прохождения Итогового теста не должно превышать 80 минут.
При составлении тестовых заданий учитываются:
· дифференцирующая способность (знающие студенты должны выполнить задание, не
знающие – не в состоянии его выполнить);
· локальная независимость (выполнение заданий не зависит от результатов выполнения
других форм работы);
· информативность заданий (каждое задание выполняет информационную функцию);
· однозначность и простота (тестовые задания должны быть по возможности краткими,
без излишних слов и пояснений, лаконичными;
· отсутствие двусмысленности;
· рассмотрение в задании только одного признака, объекта или действия;
· использование только эффективных дистракторов, что может привлечь внимание
испытуемых (отсутствие намеков на правильный ответ, отсутствие оборотов с отрицанием
«не», использование наглядных форм предъявления информации, возможность выполнения без
обращения к справочной литературе);
· доступная трудность (задания, которые выполняет вся группа, считаются слишком
легкими и должны быть переделаны; задания, которые не выполняет вся группа или
убедительное большинство, считаются слишком трудными и должны быть переделаны;
оптимально, трудность теста должна быть в пределах 50-60%: 20-25% легких заданий, с
коэффициентом сложности от 1 до 4, 20-25% трудных заданий, с коэффициентом сложности от
9 до 12, остальные – средней сложности; задачи-головоломки не могут использоваться в
тестах);
· соответствие источникам информации, которыми пользуются испытуемые;
· использование одинаково и безусловно понятных всем испытуемым терминов,
способов и индексации обозначений;
· грамматическое и логическое соответствие ответов заданию;
· отсутствие абсурдных, очевидно неправильных ответов.
3. Участники тестирования
В процессе тестирования участвуют 5 категорий пользователей: Администратор,
Методист (ответственный за тестирование), Автор, Преподаватель, Проктор, Тестируемый.
Администратор осуществляет настройку и сопровождение Реестра пользователей;
контролирует разграничение прав доступа к информации; целостность данных; защиту от
несанкционированного доступа и копирования информации; обрабатывает информацию,
поступающую из внешних модулей, не входящих в систему автоматизированного
тестирования; осуществляет генерацию списков изучаемых дисциплин; по окончании
тестирования производит генерацию необходимой отчетной документации. При
необходимости, администратор имеет полнофункциональный доступ к базе тестовых заданий.
Методист производит операции по созданию/получению контингента тестируемых;
проверке допуска студента в систему (оплата за повторные тесты); созданию/получению
контингента авторов/тестирующих; «привязке» авторов и дисциплин (на каждую дисциплину –
один Автор); определению сроков прохождения теста; получению необходимой отчетной
документации.
Автор с помощью конструктора тестов заполняет базу тестовых заданий в соответствии
с требованиями данного Стандарта. Доступ к базе осуществляется после авторизации на
учебном сайте и предоставления Автором мотивированного заключения кафедры.
Преподаватель заполняет блок параметров (шаблонов) для каждого теста по своей
дисциплине в соответствии с требованиями данного Стандарта. Доступ к блоку шаблонов
осуществляется после авторизации на учебном сайте.
Проктор (наблюдатель), после авторизации на учебном сайте, получает электронный
ключ-подпись, с помощью которого активизирует тест для каждого студента; определяет время
3
прохождения зачетного теста, а также, по согласованию с Преподавателем, сроки
(возможность) пересдачи теста; контролирует оплату повторной сдачи зачетного теста.
Тестируемый выполняет тест в соответствии с процедурой тестирования, определенной
в данном Стандарте.
4. Правила создания тестов
 Кафедра предоставляет методисту (ответственному за тестирование) список авторов
с указанием дисциплин. Для каждого теста указывается только один автор.
 Методист (ответственный за тестирование) осуществляет «привязку» авторов и
дисциплин
 Автор проходит регистрацию, получает права доступа и пароль, после чего,
пользуясь конструктором тестов, заполняет тестовую базу (по каждой дисциплине –
не менее 150 вопросов с разбивкой на темы). Для получения прав доступа автор
должен предоставить мотивированное заключение кафедры.
 Преподаватель «формирует» тесты по своим дисциплинам, заполняя в спец.разделе
конструктора тестов блок «параметры».
 Методист (ответственный за тестирование) определяет проктора(наблюдателя) и
время сдачи зачетных тестов
 Проктор проходит регистрацию и получает уникальный ключ для активизации теста.
Ключ является аналогом подписи преподавателя в зачетной книжке. Ключом
активизируются тесты для каждого студента.
 До момента активизации теста студент может пройти пробное тестирование
1 (один) раз.
 Для лиц, не прошедших авторизацию в ИНИТ, доступны только демо-тесты.
5. Рекомендуемая процедура прохождения тестов
Тестирование может осуществляться в трех режимах:
a. Демо-тест
b. Тест-тренинг
c. Зачетный тест.
Демо-тест предназначен для ознакомления с процедурой тестирования, формой
представления тестовых заданий и уровнем сложности тестов. Демо-тест помещается в
открытой части учебного сайта и доступен для всех желающих. Содержание демо-теста
изменяется программно.
Тест-тренинг предназначен для самопроверки студентом своих знаний и доступен
только тем пользователям, которые прошли процедуру авторизации и получили доступ в
закрытый раздел учебного сайта. Тестирование осуществляется по следующей схеме.
1) Тестируемый со своим уникальным именем и паролем получает доступ в закрытую
часть сайта, выбирает дисциплину и тест.
2) после получения Теста на сервере отмечается время начала тестирования.
3) Тестируемый выполняет тестовые задания в произвольном порядке. Тестируемому
предоставляется возможность пересмотра ответов до момента окончательного подтверждения о
выполнении Теста.
4) Таймер, контролирующий время прохождения Теста, запускается локально, в
программе-клиенте. Если Тестируемый не уложился во временные ограничения, установленные
для данного теста, процедура тестирования останавливается. Все неотвеченные вопросы
помечаются как неверные.
5) Результаты тестирования отправляются на сервер после подтверждения Тестируемым.
Тестируемому предоставляется возможность сохранить результаты и распечатать.
6) В случае неудовлетворительных результатов, тестируемый может повторить попытку,
оплатив тестирование. В этом случае ему предоставляется другой вариант теста.
Зачетный тест является одной из форм итоговой аттестации. Доступ к тесту
предоставляет проктор с помощью своего электронного ключа-подписи. Тестирование
осуществляется по следующей схеме.
4
1) Тестируемый проходит процедуру аутентификации (определение личности по
предоставленной им информации) и получает Тест в соответствии с выбранной дисциплиной.
Выбор дисциплины ограничивается курсом и специальностью Тестируемого (нельзя сдать
тесты по дисциплинам более старших курсов и по дисциплинам, отсутствующим в учебном
плане данной специальности). Процедура идентификации Тестируемого возлагается на
Тестирующего (преподавателя или проктора).
2) После получения Теста на сервере отмечается время начала тестирования.
3) Тестируемый выполняет тестовые задания в произвольном порядке. Тестируемому
предоставляется возможность пересмотра ответов до момента окончательного подтверждения о
выполнении Теста.
4) Таймер, контролирующий время прохождения Теста, запускается локально, в
программе-клиенте. Если Тестируемый не уложился во временные ограничения, установленные
для данного теста, процедура тестирования останавливается. Все неотвеченные вопросы
помечаются как неверные.
5) Результаты тестирования отправляются на сервер после подтверждения Тестируемым.
В том случае, если результаты не могут быть отправлены на сервер немедленно по окончании
теста (отсутствие связи, сбой в работе компьютера Тестируемого, недоступен сервер и т.п.),
Тестируемому предоставляется возможность сохранить результаты и отправить их по
электронной почте. Результаты теста в этом случае кодируются.
6) После получения результатов Теста, осуществляется автоматическая проверка и
публикация результатов тестирования.
В случае, если Тест не сдан, тестируемый может повторить попытку с разрешения
преподавателя и при условии оплаты пересдачи.
6. Методика определение сложности задания
При разработке теста следует учитывать форму задания и сложность задания (вопроса), на
который студент должен ответить.
В соответствие с этим тестовые задания по форме могут быть:
1) Единственный или множественный выбор:
· выбор одного верного ответа из множества (текст, изображения, звук и т.д.);
· несколько/все правильных ответов или все неправильные (текст, фрагменты
изображения);
2) Цифровой, текстовый ввод:
· ввод данных в указанное поле с последующим сравнением ответа с эталоном
(указывается последовательность, вводится формула, вставляется буква, символ);
3) Ранжирование
· расстановка предложенных элементов (ответов) в определенной последовательности.
4) Выбор соответствия – установить соответствия между понятиями и определениями,
причиной и следствием и т.д.;
Отношения один – к одному или один – ко многим.
Каждому из заданий в соответствии с формой условимся приписывать обозначение:
Сложность формы задания
Единственный или множественный выбор
Цифровой, текстовый ввод
Ранжирование
Выбор соответствия
Обозначение
Ф1
Ф2
Ф3
Ф4
5
Каждому из заданий (вопросов) в соответствии с его сложностью условимся приписывать
обозначение:
Задание
Обозначение
Легкое Средней сложности Сложное
ЗЛ
ЗСр
ЗС
Каждому из заданий (вопросов) в зависимости от формы задания и сложности задания
(вопроса) присваивается коэффициент сложности:
Коэффициент сложности – 1…4 (25% от общего числа заданий);
Коэффициент сложности – 5…8 (50% от общего числа заданий);
Коэффициент сложности – 9…12 (25% от общего числа заданий).
Процентное соотношение заданий в зависимости от коэффициента сложности
фиксировано, чтобы сложность тестов была одинаковой.
Коэффициент сложности задания выбирается в зависимости от формы задания и
сложности задания (вопроса):
Определение коэффициента сложности задания
Обозначения Ф1
Ф2
Ф3
Ф4
ЗЛ
1
2
3
4
ЗСр
5
6
7
8
ЗС
9
10
11
12
Коэффициент сложности задания, форма сложности задания и время задается при
разработке теста. Максимальное время прохождения итогового теста не должно превышать 80
минут.
6
7. Оценка результатов выполнения тестов
Успешность работы с тестом складывается из выполнения его заданий. Но поскольку тест
есть система заданий, то предстоит сопоставить результаты выполнения различных заданий
между собой.
В качестве критерия оценки результата выполнения теста выбрано число (процент)
правильно выполненных заданий (ni). Для того чтобы можно было сопоставлять результаты
работы с тестами, включающими в себе различное число заданий (n), за достижение
испытуемого (Д) принимается процент выполнения теста.
Оценивание проводят в зависимости от коэффициента сложности заданий.
Максимальное количество баллов, которое может получить студент, в зависимости от
сложности заданий, 78 балов (100%).
Подсчет процента выполнения теста производят по следующей формуле:
n3
n5
n6
n7
n8
n9
n 10
n2
n4
n 11
n 12
 n1

  ni
ni
ni
ni
ni
ni
ni
ni
ni
ni
ni
ni 











1 i 1  2 i 1  3 i 1  4 i 1  5 i 1  6 i 1  7 i 1  8 i 1  9 i 1  10 i 1  11 i 1  12 i 1 
 n
n2
n3
n4
n5
n6
n7
n8
n9
n10
n11
n12 
1


  100 % ,
Ä 
78
где 1…12 – коэффициент сложности задания;
n1…12 – кол-во вопросов в задании;
n1...1 2
 n i – кол-во правильных ответов в i-ом задании.
i 1
Рекомендуется следующее соответствие между процентной и пятибалльной системами
оценок:
Оценка
Процент выполнения теста, %
«5»
100
«4»
70
«3»
50
«2»
30
-
71
-
51
-
31
-
0
8. Анализ и статистика проведенного тестирования
В результате тестирования преподаватель получает ведомость по группе с процентом
выполнения всего теста каждым студентом и оценку по 5-балльной шкале.
Преподаватель может получить дополнительно для анализа следующие статистические
данные:
1. Статистика по отдельно взятому студенту:
- количество и процент правильных ответов на задания в зависимости от коэффициента
сложности: количество тестовых заданий данного коэффициента сложности, процент
выполнения тестовых заданий данного коэффициента сложности;
- протокол опроса: формулировка вопроса, номер или номера правильных ответов,
номер или номера выбранные студентом в качестве ответов;
2. Статистика по группе:
- количество и процент правильных ответов на задания в зависимости от коэффициента
сложности: количество тестовых заданий данного коэффициента сложности, средний
процент выполнения тестовых заданий данного коэффициента сложности по группе;
- средний процент выполнения теста по группе.
3. Статистика по нескольким группам (специальности):
7
- количество и процент правильных ответов на задания в зависимости от коэффициента
сложности: количество тестовых заданий данного коэффициента сложности, средний
процент выполнения тестовых заданий данного коэффициента сложности по нескольким
группам;
- средний процент выполнения теста по нескольким группам.
Статистические данные по отдельно взятому студенту могут быть использованы в
рейтинговой системе аттестации студентов.
Статистические данные по группе, по нескольким группам (специальности) могут быть
использованы:
- для анализа корректности отдельных заданий, если получен небольшой процент
выполнения конкретного задания.
- для определения или изменения коэффициента сложности задания;
- для анализа содержания пособий по вопросам, задаваемым в тестовых заданиях.
9. Требования к техническому и программному обеспечению
Минимальные аппаратные требования к серверу:
 Процессор 2000 МГц и выше
 Винчестер 80 Гб и выше
 Память 512 Мб и выше
Серверная часть:
Для Linux-совместимых ОС Apache 2.0 и выше (PHP5.0 и выше),
MySQL 4.0 и выше.
Для Windows 2000 и выше IIS5.0 и выше (ASP + PHP), MSSQL2000 и выше
Клиентская часть
Любая оболочка с поддержкой HTML 1.1.