Особенности электронной программы оценки

Особенности электронной программы оценки результатов
тестирования знаний студентов высшего учебного заведения
Кальницкий Ф.Е.
к.т.н., доцент, Мининский университет
Скачкова Е.Г.
к.ф.м.н., доцент, Мининский университет
Тихонова Н.А.
старший преподаватель, Мининский университет
Постановка задачи. Издавна и поныне основой передачи знаний и
умений человека от поколения к поколению является личностное общение
преподавателя с обучаемым. Безусловно, известны также и примеры
самостоятельного достижения человеком значительных успехов в учёбе,
искусстве, в научном и техническом творчестве. Тем не менее, основная роль в
развитии цивилизации принадлежит укоренившейся системе обучения
следующих поколений.
Одно из противоречий сложившейся системы обучения состоит в
следующем. Вспомним, ещё совсем недавно лекции в высших учебных
заведениях читались «студенческим потокам». Зачастую лекцию посещали
свыше 350 студентов. Ныне лекция читается для одной-двух студенческих
групп. В таких условиях преподаватель достаточно хорошо знаком с каждым
студентом, ясно представляет себе его уровень научной подготовки. Во время
лекции преподаватель имеет возможность наблюдать за реакцией слушателей и
в соответствии с наблюдениями корректировать интерпретацию излагаемого
материала. Такие же возможности существуют у преподавателя и при оценке
знаний студента во время экзамена или при защите курсового проекта. Эти
черты - безусловное достижение современной системы образования. Вместе с
тем, объём знаний, предусмотренный учебными планами, зачастую настолько
велик, что времени для личностного общения преподавателя и студента
оказывается недостаточно для проведения достаточно глубокого текущего
контроля успеваемости студента. В такой ситуации, как правило, используются
тесты, позволяющие оценить не столько глубину знаний студента, сколько
понимание основных определений, параметров, предмета изучения,
методологии и других достаточно общих характеристик изучаемой
дисциплины. Понятно, что при таком тестировании основное внимание
преподавателя сосредоточено на выявлении широты знаний студента. Эта
особенность тестирования предопределяет значимость объективности оценки
знаний студента при использовании такой формы контроля.
Проблеме повышения уровня объективности оценки знаний студентов
тестированием посвящена предлагаемая электронная программа.
Основная особенность предлагаемой программы состоит в попытке
преодолеть противоречия в оценке знаний и способностей студента,
сложившихся у преподавателя в процессе личностного общения со студентом, с
оценкой, выдаваемой электронной программой. Основные причины этих
противоречий следующие:
1
1. При достаточно большом количестве вопросов, предлагаемых
студенту при тестировании, возникают проблемы с оценкой сравнительной
сложности вопросов. Действительно, очень трудно представить себе тест,
состоящий, например, из 30 вопросов одинаковой сложности. Правильному или
неправильному ответу на каждый вопрос теста должен соответствовать свой
балл за ответ.
2. Оценочная электронная программа должна учитывать личностное
общение преподавателя с группой в целом и с каждым студентом в
отдельности. Эта задача может быть решена на основе статистической
обработки накопившихся у преподавателя опросов студентов, анализа
экзаменационных ведомостей, активности студентов на лабораторных и
практических занятиях. Без учёта такого рода факторов неизбежно
противоречие между результатами личностного общения преподавателя и
студента и оценкой знаний студента электронной программой.
3. Необходимость сопоставления суммарного бала, рассчитанного
программой по результатам тестирования знаний студента, с пятибалльной
оценочной шкалой. Действительно, как выбрать минимальное значение
суммарного балла, соответствующее неудовлетворительной оценке, и как
выбрать значение максимального балла, соответствующее оценке «отлично»?
Наконец, какой отметке в пятибалльной шкале соответствует суммарный балл
за тестирование, который рассчитан электронной программой?
4. Из предыдущих замечаний ясно: разработка программы – это не
разовая работа, а процесс, требующий постоянной корректировки программы
по мере накопления опыта её использования каждым преподавателем
индивидуально.
Итак: целью этой работы является создание электронной программы
оценки результатов тестирования, дополняющей личностную форму обучения,
основанную на общении преподавателя и студента.
Система оценки тестового контроля. Из постановки задачи следуют по
крайней мере два вывода:
1. Система оценок электронного тестирования (балльная система
оценок) должна быть достаточно гибкой, позволяющей по мере накопления
опыта выполнять согласование сложившихся у преподавателя представлений о
знаниях и уровне развития студента с результатами электронного тестирования.
Возможна и противоположная по своей сути формулировка проблемы: система
оценок должна быть индикатором, указывающим преподавателю на
необходимость более внимательного отношения к тому или иному разделу
дисциплины.
2. Балльная система оценок электронного тестирования в итоговом
протоколе теста должна быть конвертирована в обычную пятибалльную шкалу
оценок.
Балльная система оценок результатов тестирования. Система оценок
результатов тестирования обязательно должна учитывать разную сложность
вопросов, предлагаемых студенту при тестировании.
В преподавательской практике достаточно широко распространены
тесты, в которых студенту предлагается выбрать из некоторого набора ответов
2
один единственный ответ на поставленный вопрос. При этом, количество
ответов, предлагаемых для выбора, в разных вопросах может быть разным.
Представим наиболее простую ситуацию – студенту предлагается выбор из
двух вариантов. Вероятность правильного ответа даже при случайном
угадывании (в теории вероятности применяется термин «случайное событие»
[1]) очень высока. В таком случае правильный ответ может быть оценен
относительно невысоким баллом. В случае, когда студенту предлагается выбор
из большего количества вариантов, правильный ответ должен быть оценён
более высоким баллом. Можно предложить достаточно простое решение этой
дилеммы: количество баллов за правильный ответ равно количеству вариантов
ответов, предлагаемых студенту на выбор. Такой подход представляется
относительно объективным, т.к. он в наибольшей мере отвечает интересам
хорошо подготовленного студента (такой студент не угадывает, а размышляет и
анализирует).
Вместе с тем, каждый вопрос теста имеет свою смысловую нагрузку и
потому многие вопросы отличаются друг от друга степенью сложности.
Совершенно очевидно, что оценивать степень сложности вопросов должен
составитель теста – преподаватель. В электронной программе степень
сложности вопроса может быть учтена «коэффициентом сложности - 𝑲𝒔 ».
Значение этого коэффициента для каждого вопроса теста задаёт преподаватель.
Такой подход к оценке сложности вопросов теста содержит в себе
потенциальные возможности для усовершенствования контроля. Представим,
что очень малое число студентов от тестирования к тестированию отвечает
правильно на некоторые вопросы. А вот оценка преподавателем уровня знаний
других студентов достаточно высока. Из этой ситуации следуют два очевидных
вывода. Первый – преподаватель должен уделить повышенное внимание
рассмотрению соответствующих разделов дисциплины. Второй вывод –
преподаватель может увеличить коэффициент сложности вопросов,
вызывающих затруднения у студентов, и тем самым стимулировать их на более
глубокое изучение этих разделов. По мере апробации теста потребность в
изменении значений коэффициентов сложности будет становиться всё меньше,
а готовность студентов к тестированию всё лучше.
Описанные предложения оценки результатов тестирования позволяют
рассчитать наибольший возможный оценочный балл - 𝑩𝒗 , который может быть
поставлен студенту по результатам тестирования. Действительно, если известен
балл за каждый правильный ответ, то простая сумма всех баллов с учётом
коэффициентов сложности вопросов теста равна наибольшему возможному
оценочному баллу за весь тест. Очевидно, что знания студента, получившего в
результате электронного тестирования наибольший балл, должны быть
оценены наивысшей отметкой (пять) в пятибалльной шкале оценок. Итак,
𝑩𝒗 = ∑𝑵
(1)
𝒊=𝟏 𝒏𝒊 ∗ 𝑲𝒔𝒊
Здесь
𝒏𝒊 – предлагаемое студенту количество вариантов ответа на 𝒊 – тый вопрос;
𝑲𝒔𝒊 - коэффициент сложности 𝒊 – того вопроса;
𝑵 – количество вопросов в тесте.
3
Теперь обратимся к выбору балла случайного угадывания
(в
дальнейшем – случайного балла) при оценке результатов тестирования.
Значение случайного балла может быть поставлено в соответствие с
неудовлетворительной отметкой (два) в пятибалльной оценочной шкале.
Пусть в тестировании участвует неподготовленный к контролю студент.
Полагаясь на теорию вероятности, студент надеется, что ему удастся правильно
ответить на некоторые вопросы, в том числе и на вопросы повышенной
сложности. Действительно, почему такому не произойти – ведь уточняющие
вопросы тестированием не предусмотрены? Корректно обоснованных
критериев противодействия такому намерению студента по всей видимости
нет. Если намеренно выбрать низкое значение случайного балла, то количество
успешно прошедших контроль студентов окажется неоправданно завышенным.
Среди таких студентов окажутся и студенты, ориентирующиеся на случайный
выбор правильного ответа. И наоборот, завышенное значение случайного балла
приведёт к уменьшению числа студентов, прошедших контроль успешно. В
этом случае среди студентов не прошедших тестирование окажутся и студенты,
заслуживающие удовлетворительной оценки. Предложим один из возможных и
одновременно достаточно простой приём решения этой проблемы.
Пусть студенту, ориентирующемуся на случайный выбор для ответа на 𝒊
– тый вопрос теста, предлагается выбор из некоторого количества 𝒏𝒊
возможных ответов. Коэффициент сложности предлагаемого вопроса равен 𝑲𝒔𝒊 .
Исходя из простых соображений, можно записать зависимость для расчёта
случайного балла 𝒊 – того вопроса при правильном ответе студента.
𝑩𝒊 = 𝑷𝒊 ∗ 𝒏𝒊 ∗ 𝑲𝒔𝒊
В этой зависимости
𝑩𝒊 – случайный балл 𝒊 – того вопроса теста;
𝑷𝒊 – вероятность выбора правильного ответа при числе вариантов ответа 𝒏𝒊 .
Очевидно, что суммарный случайный балл всего теста 𝑩𝒏 равен сумме
всех значений 𝑩𝒊 .
𝑩𝒏 = ∑𝑵
(2)
𝒊=𝟏 𝑷𝒊 ∗ 𝒏𝒊 ∗ 𝑲𝒔𝒊
Придадим некоторый обобщённый вид сделанным предложениям.
Заметим, вероятность правильного ответа 𝑷𝒊 на 𝒊 – тый вопрос равна
𝑷𝒊 =
𝟏
𝒏𝒊
Действительно, если студенту на выбор представляется два варианта
𝟏
ответа, то вероятность угадывания равна , если три варианта, то вероятность
𝟐
𝟏
угадывания равна и т.д. Из этого простого наблюдения следует
𝟑
𝑩𝒏 = ∑𝑵
𝒊=𝟏 𝑲𝒔𝒊
С учётом этой зависимости найдём отношение случайного балла
тестирования к наибольшему баллу
𝑩𝒏
𝑩𝒗
=
∑𝑵
𝒊=𝟏 𝑲𝒔𝒊
∑𝑵
𝒊=𝟏 𝒏𝒊 ∗ 𝑲𝒔𝒊
(3)
4
Выясним смысл этого соотношения, рассматривая наиболее простые
возможные ситуации.
При одинаковом значении коэффициента сложности эта зависимость
принимает вид
𝑩𝒏
𝑩𝒗
=
𝑲𝒔𝒊 ∗𝑵
𝑲𝒔𝒊 ∗∑𝑵
𝒊=𝟏 𝒏𝒊
=
𝑵
∑𝑵
𝒊=𝟏 𝒏𝒊
(4)
Смысл соотношения 4 очевиден.
1. При одинаковом коэффициенте сложности всех вопросов доля
суммарного случайного балла от наибольшего оценочного балла обратно
пропорциональна сумме всех предложенных на выбор вариантов ответов всех
вопросов.
В случае, когда на все вопросы теста предлагается одинаковое число
вариантов ответов, то соотношение 4 принимает вовсе простой вид.
𝑩𝒏
𝑵
𝟏
=
=
= 𝑷𝒊
𝑩𝒗
𝒏𝒊 ∗ 𝑵
𝒏𝒊
Интерпретация этого уравнения очевидна. При одинаковых
коэффициентах сложности всех вопросов теста и при одинаковом числе
предлагаемых ответов на каждый вопрос, доля суммарного случайного балла от
наибольшего возможного балла за тест равна вероятности правильного
ответа на один вопрос.
Видно, увеличение числа вариантов ответов на вопросы теста
существенно уменьшает вероятность успешной оценки по результатам
тестирования студента, ориентирующегося на случай, а не на знания. И в то
же время, такой подход мало повлияет на оценку студентов, ориентирующихся
на знания, а не случайный выбор правильного ответа. В самом деле, ответ
такого студента в большей мере определяется его знаниями, а не числом
предложенных вариантов ответа.
2. Вновь обратимся к уравнению 3. Рассмотрим ситуацию, когда
коэффициенты сложности вопросов теста 𝑲𝒔𝒊 неодинаковы и значения
количества вариантов ответов 𝒏𝒊 на 𝒊 – тый вопрос также различны. Тогда,
случайный выбор правильного ответа на более сложный вопрос повышает
значение относительного наименьшего балла тестирования студента.
Казалось бы, что в этом случае вероятность успешной сдачи тестирования
студентом, ориентирующимся на случайный выбор правильного ответа,
возрастает. Однако это не так. Вспомним, ранее было оговорено: каким бы ни
было значение суммарного случайного балла, именно этому значению ставится
в соответствие отметка «два» в пятибалльной оценочной шкале. А вот
правильный ответ знающего студента на более сложный вопрос увеличивает
оценочный балл и способствует увеличению оценки за тест.
Результаты выполненного анализа можно распространить и на тест с
произвольными значениями параметров 𝒏𝒊 и 𝑲𝒔𝒊 .
Сопоставление балльной системы с пятибалльной оценочной шкалой
отметок. Конвертировать балльную систему оценок результатов тестирования в
укоренившуюся
пятибалльную
шкалу
отметок
можно,
используя
разнообразные приёмы. На этапе апробации электронного тестирования
5
обратимся к линейному преобразованию балльной системы оценок в
пятибалльную шкалу. Удовлетворяющая этой постановке задачи зависимость
имеет вид
𝑶 − 𝑶𝒎𝒊𝒏
𝑩 = 𝑩𝒏 + (𝑩𝒗 − 𝑩𝒏 ) ∗
(5)
𝑶𝒎𝒂𝒙 − 𝑶𝒏
Здесь:
𝑩 – балл по результатам тестирования;
𝑶 – оценка в пятибалльной шкале, соответствующая баллу 𝑩;
𝑶𝒎𝒂𝒙 – наивысшая оценка в пятибалльной шкале отметок, 𝑶𝒎𝒂𝒙 = 5;
𝑶𝒎𝒊𝒏 – наименьшая оценка в пятибалльной шкале отметок, 𝑶𝒎𝒊𝒏 = 2.
Положим, что та или иная отметка за тест (2,3,4, или 5) в пятибалльной
шкале ставится в соответствие с какими-то интервалами чисел в балльной
системе. В свою очередь, из зависимости 5 следует, что интервалам в балльной
системе соответствуют интервалы в пятибалльной шкале отметок. Для
определения соответствия интервалов в балльной системе интервалам в
пятибалльной шкале удобно задаваться интервалами пятибалльной шкалы.
Например, отметке 3 (удовлетворительно) можно выбрать интервал чисел от
2,5 до 3,5. Зададимся этими интервалами. Затем, используя зависимость 5,
поставим в соответствие интервалам чисел в пятибалльной шкале интервалы
чисел в балльной системе (от суммарного случайного балла до наибольшего
возможного балла). Результаты расчёта сведём в таблицу.
Отметка за тест
в пятибалльной шкале
2
Интервалы чисел в
пятибалльной шкале
2 ≦ O < 2,5
3
2,5 ≦ O < 3,5
4
3,5 ≦ O < 4,5
5
4,5 ≦ O ≦ 5
Интервалы чисел в
балльной системе
𝑩𝒏 ≦ 𝑩
𝑩 < 0,167 ∗ (𝑩𝒗 − 𝑩𝒏 )
𝟎, 𝟏𝟔𝟕 ∗ (𝑩𝒗 − 𝑩𝒏 ) ≦ 𝑩
𝑩 < 0, 𝟓 ∗ (𝑩𝒗 − 𝑩𝒏 )
𝟎, 𝟓 ∗ (𝑩𝒗 − 𝑩𝒏 ) ≦ 𝑩
𝑩 < 𝟎, 𝟖𝟑𝟑 ∗ (𝑩𝒗 − 𝑩𝒏 )
𝟎, 𝟖𝟑𝟑 ∗ (𝑩𝒗 − 𝑩𝒏 ) ≦ 𝑩
𝑩 ≦ 𝑩𝒗 )
Апробация электронного тестирования должна сопровождаться
статистическим сравнением результатов тестирования с представлениями
преподавателя о знаниях студентов. Можно предположить, что такой анализ
может выявить заметные расхождения между опытом преподавателя и
результатами электронного тестирования. Одним из приёмов нивелирования
такого рода противоречий может служить нелинейное преобразование
балльной оценки в пятибалльную шкалу отметок.
6
2
Bv
Bn
1
2,0 2.5 3.0 3,5 4,0 4,5 5,0
На рисунке показаны два преобразования балльной оценочной системы
в пятибалльную шкалу отметок – линейное (1) и нелинейное (2)
преобразования. Нелинейных преобразований можно выполнить бесконечно
большое количество. Непременным требованием для такого преобразования
является необходимость использования непрерывной и постоянно
возрастающей функции преобразования. В противном случае, одному и тому
же значению балла за тест могут быть поставлены в соответствие две разные
отметки в пятибалльной шкале.
Выполним сравнение двух приведенных преобразований. Видно, что
студенту для получения отметки «3» понадобится получить меньший
оценочный балл за тест при нелинейном преобразовании, чем при линейном
преобразовании балльной системы в пятибалльную шкалу отметок. А вот для
получения отметок «4» и «5» студенту понадобится получить больший балл за
тест при нелинейном преобразовании нежели в линейном.
Нелинейное преобразование балльной системы в пятибалльную шкалу
отметок несколько сложнее, чем линейное преобразование. Тем не менее,
нелинейное преобразование может оказаться необходимым для устранения
противоречий между представлениями преподавателя о знаниях студентов и
результатами электронного тестирования.
Выводы:
1. Электронная программа оценки результатов тестирования должна
быть одной из форм, дополняющей личностную форму обучения, основанную
на общении преподавателя и студента.
2. Электронная программа по мере её апробации в учебном процессе
должна постоянно корректироваться преподавателем. Корректирование
программы должно быть направлено на уменьшение противоречий между
представлениями преподавателя о знаниях и способностях студентов с
результатами электронного тестирования. Этой же цели должна способствовать
и корректировка изложения дисциплины преподавателем, учитывающая
результаты тестирования.
3. Корректировка электронной программы может производиться:
7
- изменением коэффициентов сложности вопросов;
- выбором разного числа вариантов предлагаемых ответов на вопрос;
- использованием нелинейного преобразования балльной системы оценок в
пятибалльную шкалу отметок.
Авторами статьи разработана электронная программа тестирования
знаний студентов, соответствующая изложенным выше принципам. Результаты
апробации программы удовлетворительны.
Список литературы
1. Бронштейн И.Н. Справочник по математике для инженеров и учащихся
втузов/ И.Н. Бронштейн, К.А. Семендяев. – Лейпциг: Издательство «Тойбнер», М.:
Энергия, Главная редакция физико-математической литературы, 1981. – 721с.
8