Проверка знаний: как делать тесты и что можно делать кроме

Круглый стол
Проверка знаний – тестирование
уровня освоения учебного
материала
Минск - 2013
Ю.В.Тихомиров,
профессор кафедры физики Московского
государственного технического университета
гражданской авиации
1
ВОПРОС
Мог ли Маугли стать Эйнштейном или Курчатовым?
Отрицательный ответ очевиден.
Но какова причина?
Ведь его обучали и воспитывали авторитеты
джунглей.
ОТВЕТ: Чтобы появились Эйнштейны,
Курчатовы, Королевы надо было обучить
миллионы детей на высоком уровне,
используя многовековой опыт Европы, на
который опирались и педагогические
школы России и Советского Союза.
2
Ясно, что для эффективной работы
структур, типа Сколково, необходимо
массовое качественное обучение на
территории всей России и не только в
школах, но и в большом количестве
технических вузов.
По многим причинам массовое
качественное обучение возможно только
на основе современных технологий.
3
Можно ли эффективно обучать без
контроля, проверки, тестирования? Ответ
очевиден!
4
Место контроля в общей технологии
электронного обучения (eL)
Под электронным обучением
подразумевается система обучения,
основанная на использовании последних
достижений электроники и
информационных технологий (IT).
Компьютер (и управляемые им устройства,
в частности, информационные сети)
является основным техническим средством
системы электронного обучения.
5
Основные элементы любой системы
обучения
Получение обучаемым структурированной
учебной информации (самостоятельное
или при участии обучающего).
Поэлементное освоение информации
(самостоятельное или при участии
обучающего).
Контроль результата обучения
(упрощенно «проверка знаний») и
коррекция (повторное обучение) при
неприемлемом результате контроля.
6
Как организована «проверка знаний», так и
будут действовать обучаемые в процессе
обучения.
Студенты часто говорят: «Что будут
спрашивать на экзамене, то мы и будем
учить!».
7
Современные тенденции в развитии eL
и eAssessment
• Предъявление учебной информации все
больше доверяется современным
электронным средствам и IT-технологиям.
• Делается упор на самостоятельное
получение информации, современные
источники которой становятся все более
доступными.
• Человек дополняется компьютером,
оснащенным новым программным
обеспечением и подключенным к сетевым
8
ресурсам.
• Новые программные средства
становятся все более дружественными к
непрограммирующим потребителям.
• Электронные накопители наполняются
все более обширной информацией, в
частности оцифрованными учебниками.
• Самостоятельный поиск информации
упрощается и становится все более
доступным.
• Ресурсы типа Википедии накапливают
самую современную информацию,
доступную всем.
9
Освоение информации все больше
осознается, не как «усвоение пищи»
(положили в рот и можешь глотать), а как
самостоятельный этап процесса обучения.
Все чаще можно видеть попытки четкого
структурирования и подробной
детализации учебной информации по
содержанию и уровню освоения.
Теперь самое главное понять, как
обеспечить достижение обучаемым этих
уровней.
10
Известная триада «знания, умения и навыки»
перестает быть чем-то абстрактным. Многие
понимают, что в этой триаде отражены
уровни освоения учебной информации, а не
что-то обособленное.
ЗАМЕЧАНИЕ: К сожалению здесь несколько
мешает русский язык, в котором слова
«знания» и «знание» имеют множество
значений и понимаются разными людьми поразному.
11
Общепринятый, но слишком обобщенно
понимаемый термин «контроль
знаний», теперь осознается, как контроль
достижения обучаемым заданного уровня
освоения каждого данного элемента
учебной информации.
Такой контроль знаний следует называть
«обучающим» и отличать его от так
называемого «нормативного» контроля,
используемого на завершающих этапах
процесса обучения, например, на
экзаменах или аттестациях.
12
Только обучающий контроль позволяет
полностью реализовать процесс обучения,
поскольку его результат подводит итог
обучения и позволяет принять
обоснованное решение о необходимых
корректирующих мерах (обратной связи).
13
Новые требования к детализации
учебного материала
Стандартный контроль: решил задачу (получил
верное число) – значит освоил тему, знает
материал; не решил (полученное число
неверное) – значит не освоил. Рекомендация
преподавателя: «иди учи снова!».
Обучаемый «в ступоре»: не понимает, что учить,
как учить, как определить, выучил или нет?
Может быть снова решать задачу? А
преподавателю кажется, что он «блестяще»
выполнил свое предназначение по обучению! 14
Обучающий контроль возможен, только
если учебный материал максимально
детализирован, т.е. в нем выделены
минимальные по объему элементы,
имеющие вид логических утверждений.
15
Пример детализации алгоритма решения
1. Кратко записать условие задачи и перевести в
систему СИ числовые значения.
2. Проанализировать условие и выделить основные
элементы задачи: объект, процесс, в котором он
участвует и окружение, которое на него воздействует.
3. Подобрать физические модели для каждого
элемента и записать основные характеристики.
4. Выбрать, вспомнить и записать основные законы,
которым подчиняются модели.
5. Преобразовать формулы законов в соответствии с
условиями задачи.
16
6. Решить систему уравнений и получить формулу
ответа в общем виде.
7. Подставить числовые значения характеристик в
полученную формулу, произвести вычисления и
получить числовое значение ответа.
8. Подставить в формулу ответа размерности
характеристик и получить размерность ответа.
9. Записать ответ в надлежащем виде.
10. Проанализировать ответ с точки зрения здравого
смысла.
ЗАМЕЧАНИЕ: Стандартно контролируется только ответ (п.7)!!
17
Каждый элемент алгоритма это учебная
информация, которую надо освоить на
требуемом уровне.
Если задачу надо решить без
использования учебников и шпаргалок,
тогда уровни освоения это знания,
умения и, иногда, навыки (время
решения ограничено).
18
Если задачу можно решать дома, тогда
можно пользоваться учебником и другими
пособиями и требуемый уровень освоения
это представление и умение (время не
ограничено).
19
Контролируя каждый шаг алгоритма (т.е.
каждый минимальный элемент учебной
информации) мы легко определяем, что
обучаемый не освоил и обеспечиваем
обратную связь (доучивание с помощью
повторного предъявления элемента
информации и его освоения).
20
При правильном решении мы
гарантируем «умение решать задачи» не
только по данной теме, но и по другим
темам, если освоена соответствующая
теория и есть необходимые
математические навыки.
А, если не решил, то мы точно знаем, что
именно он «не умеет» т.е. не освоил.
21
P.S. Репетиторство (индивидуальные
занятия) в основном направлено на
натаскивание, которое обеспечивает в
лучшем случае решение только
однотипных задач на экзамене (пп. 5, 6
и 7).
22
Контроль результатов решения
дидактической задачи
Дидактическая задача - реализация целей
обучения.
Цель обучения по курсу – обеспечить
заданный уровень освоения всех элементов
учебной информации курса.
Уровни освоения это способность
обучаемого к определенным действиям в
отношении данного элемента информации.
23
Таким образом цель обучения всегда
формулируется в терминах
деятельности обучаемого по отношению
к определенному элементу учебной
информации.
24
Начальные уровни освоения
элементов учебного материала
1. Представление – способность
воспроизвести устно или письменно
данный элемент информации, используя
ту или иную «поддержку», обычно, часть
контролируемой информации.
2. Знание - способность воспроизвести
устно или письменно данный элемент
информации по идентификатору и без
подсказок (таксономия Блума).
25
3. Умение – способность воспроизвести и
использовать данный элемент информации
в знакомых условиях (задачах) без
ограничения времени.
4. Навык - способность воспроизвести и
использовать данный элемент информации
в знакомых условиях (задачах) за
ограниченное время
5. Элементы творчества - умение
ориентироваться в незнакомых условиях.
26
Представления, знания, умения, навыки
(т.е. множественное число от
приведенных выше терминов) следует
понимать, как совокупность
элементов информации, освоенных
на соответствующем уровне.
27
Высокий уровень освоения любого
элемента информации не может быть
достигнут сразу, одним скачком.
Требуется последовательное освоение,
начиная с самого первого уровня, при
наличии контроля освоения на каждом
уровне.
28
При срыве на первой ступени надо снова
читать материал, при срыве на второй требуется отладить систему запоминания,
при срыве на третьей – надо дорабатывать
математику, при срыве на четвертом –
надо обратить внимание на тренинг
быстроты реакции и т.д.
29
Тестирование
Тестирование людей принято делить в
соответствии с группой решаемых задач
на тестирование способностей
(скрытых возможностей) и на
тестирование учебных достижений
(результатов процесса обучения).
30
Педагогическим тестом называют
совокупность заданий, имеющих
определенную форму и обеспечивающих
решение определенной дидактической
задачи.
31
Стандартные формы тестовых заданий
•открытые задания – ответ вводится в
произвольной форме;
•задания с выборочным ответом
(многократным выбором) – вводится номер
выбранного ответа;
•задания на установление соответствия –
вводятся номера нескольких ответов;
•на установление правильной
последовательности – вводятся номера
нескольких утверждений в нужной
последовательности.
32
При разработке системы контроля
учебных достижений приходится «с
потолка» брать содержание и форму
заданий, руководствуясь только здравым
смыслом, поскольку заранее вычислить
качество задания практически
невозможно.
В подавляющем большинстве известных
учебных курсов используются тесты с
выбором ответа из нескольких
вариантов или задачи с контролем
числового значения ответа.
33
34
Основные требования к обучающему контролю
1. Учет многовекового опыта реализации
контроля в процессе обучения.
2. Объективность контроля, минимизация
участия человека.
3. Гуманность, отсутствие неоправданных
умственных и психических нагрузок.
4. Возможность априорной оценки
достоверности контроля достижения
заданного уровня освоения каждого
элемента учебного материала
(информации).
35
5. Сохранение свойств заданий и
качества контроля после многократного
применения.
6. Обеспечение доверия обучаемого к
результатам контроля.
7. Обеспечение однозначности
процедуры коррекции состояния
обучаемого по результатам контроля.
8. Наличие средств разработки заданий,
доступных большинству
преподавателей.
36
ЗАМЕЧАНИЕ: Ни один преподаватель при
устном опросе (контроле «знаний») не
применял ранее и не применяет сейчас
тестовые задания стандартных форм,
которые перечислены выше.
Указанные формы были разработаны в
последние 70 лет в основном для
тестирования скрытых способностей. И
весьма спорным является их применение
в качестве тестов учебных достижений
(педагогических).
37
Первый шаг в разработке системы
обучающего контроля - детализация
учебной информации
Состав основного ядра учебной
информации: определения явлений и их
характеристик, законы в словесном и
формульном виде, схемы, алгоритмы,
правила, инструкции, указания и т.д.
38
Все они имеют вид логических
утверждений, состоящих из
определенных элементов – слов,
словосочетаний, символов, графических
элементов и т.д.
Кроме ядра есть разъяснения и так
называемая «вода».
39
Учебная информация предварительно
обработана
Выделено информационное ядро
дисциплины, элементы которого
обработаны до четких утверждений
минимального объема.
В каждом утверждении выявлен
идентификатор (название).
Для каждого утверждения
сформулирован уровень освоения его
информации.
40
Второй шаг - разработка заданий
Стандартная процедура ответа студента
при контроле:
Студент воспроизводит (по запросу
внешнему или внутреннему) требуемое
утверждение, подбирая (выбирая из
памяти) нужные элементы и расставляет их
в правильном порядке, постепенно
конструируя утверждение в целом.
Подобная процедура реализуется при
компьютерном контроле с помощью
заданий на конструирование ответа. 41
Выполнение заданий на конструирование
ответа
.Выполнение заданий на конструирование ответа.
Задание и начало ответа
ШАБЛ
могут быть лишние
ОН
В задании вместо вопроса - шаблон - утверждение с
пропущенными элементами. На местах указанных «_»,
надо разместить элементы, предложенные для вставки.
.Выполнение заданий на конструирование ответа.
Вставлен первый элемент
Ответ формируется в естественной форме путем
последовательного добавления элементов (слов).
Ложной информации на экране практически нет.
Выполнение заданий на конструирование ответа.
Ответ закончен. Результат
Верный ответ сформирован и присутствует на экране в виде
единственного логического утверждения. Если оно
признается верным, то возникает рекомендация его
прочитать, запомнить и, если надо, переписать в тетрадь.
Неверное можно повторить.
Верное выполнение свидетельствует об освоении материала
на уровне «представление».
.Выполнение заданий на конструирование ответа.
Задание без шаблона (сложное)
нет шаблона
только
идентификатор
Задание повышенной сложности. Контролирует
способность воспроизвести информацию практически без
подсказки (поддержки), что соответствует уровню освоения
«знание».
Выводы
•Практически равна нулю вероятность
угадывания верного ответа. Ошибка
верного ответа отсутствует.
•Действия обучаемого достаточно
примитивны и не затрудняют ответ
(вероятность неверного ответа при знании
материала минимальна).
•Легко изменить контролируемый уровень
освоения, меняя сложность задания,
например, меняя количество пропущенных
элементов (вакансий) и убирая шаблон.
•Количество ложной информации на
экране сведено к 0.
•Выполнение задания на конструирование
очень похоже на ответ обучаемого при
устном контроле: утверждение
формируется из слов и словосочетаний.
Это снижает нервное напряжение.
•Отсутствие вопроса уменьшает лишнюю
информацию.
48
Что мешает Вам применять такие
задания?
1. Нет детальной информации.
2. Считаю нецелесообразным.
3. Слишком сложна разработка.
4. Нет программных средств.
5. Считаю, что задания на
выбор лучше.
Разработка заданий на конструирование
ответа
TsW редактор
Один из вариантов системы, позволяющей
разрабатывать и использовать задания на
конструирование ответа, был создан на
основе редактора MS Word (выше 95).
Сохранены все возможности этого редактора
и добавлен комплект программ на языке
VBA, создающих дополнительный сервис.
Разработка заданий на конструирование ответа.
НАЧАТЬ СОЗДАНИЕ
ВЫДЕЛИТЬ ЭЛЕМЕНТ
ВЫДЕЛИТЬ ЗАДАНИЕ
ВВЕСТИ ОТВЕТЫ
СОЗДАТЬ ДОКУМЕНТ
ПРОБНОЕ ТЕСТИРОВАНИЕ
TsW - редактор
ПОКАЗАТЬ ЗАКЛАДКИ
УДАЛИТЬ ЗАКЛАДКИ
ОТМЕНИТЬ УКАЗАНИЯ
АКТИВИРОВАТЬ КНОПКИ
ПОКАЗАТЬ СПЕЦСИМВОЛЫ
КОПИРОВАТЬ ЗАДАНИЕ
ВНЕДРИТЬ ЗАДАНИЕ
Пример создания задания на конструирование
З
А
Д
А
Н
И
Е
И
Н
С
Т
Р
У
К
Ц
И
И
Отмечаем первый элемент
Первый элемент размечен
Отмечаем второй элемент
Размечаем все утверждение
Пробное тестирование
Тест без шаблона
Инструментальная система TestumW
•Обеспечивает разработку и применение
заданий любой формы, включая задания с
конструируемым ответом.
•Реализует тестирование в среде
редактора Word, т.е. использует все
возможности самого этого редактора.
•Позволяет использовать ранее созданные
учебные материалы в электронной форме
без дополнительного конструирования и
печати тестовых заданий.
•Время разработки одного задания не
более 5 минут.
•Не требуется переработка теста после
нескольких повторений в е-курсе.
•Не требует от преподавателя
специальных навыков работы с
компьютером.
61
Преимущества заданий на
конструирование и их использование в
е-курсах
•Контролирует с высокой достоверностью
начальные уровни освоения материала
(представление, знание, понимание,
умение).
•Можно использовать на любом этапе
контроля знаний в е-курсе, начиная с
минимального блока (элемента) учебной
информации.
•Имеет малую трудоемкость при разработке.
Можно легко разработать сотни заданий.
•Можно повторять сколько угодно раз без
потери качества.
•Не содержит ложной информации,
которая составляет подавляющую часть
содержания задания с множественным
выбором (multiple choice).
•Легко контролирует разные уровни
освоения, при изменении количества
пропущенных элементов для заполнения
(вакансий) и вариации с шаблоном.
•Может не иметь вопроса, что облегчает
восприятие его студентом и повышает
достоверность контроля.
64
Особенности системы тестирования,
использующей задания с
конструированием ответа
Задания можно использовать на любом
этапе обучения от предъявления
информации до контроля остаточных
знаний.
Задания удовлетворяют требованиям,
сформулированным выше.
65
Практическое использование в течение
почти 20 лет показало заметное
повышение качества учебного
процесса по дисциплине физика на
некоторых специальностях в МГТУГА.
66
Тихомиров Юрий Валентинович
профессор кафедры физики
Московского государственного
технического университета
гражданской авиации
http:\\sites.google.com\site\yutixtestum
E-mail: yutix@yandex.ru
- для запроса на дополнительный материал
Skype: yury.tikhomirov