УДК 378.146 Т.Л. ОВСЯННИКОВА, А.С. ТУГАРЕВ T.L.OVSYANNIKOVA, A.S. TUGAREV

УДК 378.146
Т.Л. ОВСЯННИКОВА, А.С. ТУГАРЕВ
T.L.OVSYANNIKOVA, A.S. TUGAREV
ТЕХНОЛОГИИ ТЕСТИРОВАНИЯ И БОРЬБЫ С ОНЛАЙН-ПОМОЩНИКАМИ
ПРИ ДИСТАНЦИОННОМ ОБУЧЕНИИ МАТЕМАТИЧЕСКИМ ДИСЦИПЛИНАМ
TESTING TECHNOLOGIES AND FIGHTING AGAINST ONLINE ASSISTANTS
IN DISTANCE LEARNING MATHEMATICS
Важной составляющей дистанционного обучения математике и её приложениям является организация
тестирования. В статье рассматриваются информационные технологии, применяемые при проведении
онлайновых тестов и контрольных работ и обеспечивающие сбалансированную рандомизацию задач.
Рассматриваются технологии, дающие возможность ввода не только ответов, но и решений. Предлагаются
меры, исключающие использование онлайн-помощников при выполнении контрольных работ.
Ключевые слова: дистанционное обучение, онлайн-тестирование, конструкторы тестов, борьба с
онлайн-помощниками.
The performing tests are the most important component of distance learning mathematics and its applications.
This article discusses the information technology used during the conduct of online tests and examinations and providing balanced for randomization of problems. This article describes the technology, which is able to introduce not only
answers but solutions. We propose measures that exclude the use of online helpers when performing tests.
Keywords: distance learning, online testing, test constructors, fight against online assistants.
В настоящее время дистанционные формы обучения активно внедряются в
образовательную практику и рассматриваются как современные и высокотехнологичные.
Сейчас существует несколько разновидностей дистанционного обучения:
– традиционное заочное обучение, модернизированное использованием интернета;
– массовые открытые онлайн-курсы (МООК – Massive open online courses,MOOC);
– системы так называемого «смешанного обучения (blended learning), совмещающие
очные занятия и перенос части образовательной деятельности в сеть.
В сеть выносятся, прежде всего, обучающий контент (дублирующий лекционный
материал, дополняющий его или заменяющий), а также текущее и рубежное тестирование.
Остановимся подробнее на технологиях тестирования при дистанционном обучении.
Сетевая выдача и приём тестов и контрольных работ имеют ряд достоинств. Они
позволяют:
– чётко зафиксировать факт получения и сдачи заданий, а при необходимости и
проконтролировать время, затраченное на их выполнение (в том числе для отдельных
заданий);
– для контрольных работ с жёстким учётом времени – обеспечить удобное каждого
для студентов время выполнения;
– индивидуализировать сроки изучения материала;
– рандомизировать задания при большом числе студентов или создать уникальные
варианты (в том числе из заранее объявленного массива заданий);
– проводить групповой анализ статистики ошибок типовых заданий, корректировать
на её основе содержание контента.
Однако при сетевом тестировании имеет место ряд организационных и технических
проблем, в частности:
1) выбор информационных технологий для проведения тестирования является
неочевидной и нетривиальной задачей – в частности, далеко не все программные средства
удобны для проведения тестирования по математическим дисциплинам, предполагающим
ввод не только букв и цифр, но и формул, а также чертежей;
2) в отличие от очного тестирования, сложнее обеспечить самостоятельность
выполнения тестов.
Организация тестирования существенно зависит от того, как реализуются
дистанционные технологии: через общеуниверситетскую систему управления обучением
(LMS – Learning management system) или внедряется преподавателем самостоятельно в
рамкам смешанного обучения. В последнем случае, как правило, целесообразнее
использовать не типовые LMS (Moodle, BlackBoard и т.п.), а отдельные системы
тестирования, не интегрированные с базами данных учёта студентов (вследствие не только
сложности и небесплатности большинства LMS, но и ограниченности их функциональных
возможностей).
Специализированные программные продукты, ориентированные только на сетевое
тестирование, называют конструкторами тестов. Наиболее важными критериями их выбора
являются:
– наличие поддержки русского языка;
– возможность бесплатного использования;
– возможность создания тестов в веб-интерфейсе или в оффлайновой программе;
– наличие контроля и (или) ограничения времени на выполнение задания;
– возможность автоматической генерации вариантов из массива заданий.
– поддержка различных типов тестовых заданий.
Последний критерий имеет смысл рассмотреть подробнее. Тестовые задания можно
разделить на три группы (буквы для обозначения групп использованы такие же, как в
заданиях ЕГЭ):
А – открытые задания, в которых достаточно выбрать варианты из представленных:
1) выбор из нескольких вариантов одного верного ответа (обычно число вариантов не
менее трёх: четыре, пять или шесть, но возможно и большее количество вариантов: главное,
чтобы все они были правдоподобными);
2) выбор из нескольких вариантов нескольких верных ответов;
3) установление соответствия между парами объектов;
4) установление правильной последовательности (например, пунктов алгоритма);
5) заполнение пропусков.
Задания подтипов 2 – 5 могут быть сведены к подтипу 1 для упрощения обработки
результатов. Несмотря на простоту реализации и удобство обработки результатов, задания
этого типа не всегда дают объективную картину усвоения – хотя бы потому, что правильные
результаты могут быть угаданы.
В – закрытые задания – на ввод букв и (или) цифр:
– численного результата;
– букв (указание объекта или термина по описанию);
– букв, соответствующих заданию А2 или А4 (если в тесте не предусмотрены задания
типа А).
Для заданий типа В возможна автоматизация проверки правильности введённого
результата.
С – задания, предполагающие ввод развёрнутого ответа или полного решения.
Задания С в любом случае предусматривают неавтоматическую проверку. При этом
для математических дисциплин (а также дисциплин, связанных с математическим
моделированием) именно они дают наиболее верную картину знаний и умений обучаемого.
Конструкторы тестов могут быть снабжены механизмами, расширяющими возможности
ввода (степени, подстрочные индексы, греческие буквы, дроби, радикалы и т.п.), но чаще
целесообразнее приложить файл с решением.
Для этого возможно использование типовых офисных пакетов (например, Microsoft
Office, OpenOffice.org, LibreOffice и т.п.) с предоставляемыми ими средствами для ввода
формул, построения графиков и создания векторных рисунков. Наиболее удобны для
полноценного оформления решения задачи в электронном виде средства разметки
TeX/LaTeX либо свободный редактор формул OpenOffice.org Math. Оба этих формата
конвертируются в MathML, что позволяет качественно отображать формулы в браузерах.
В последние годы стал возможным графический ввод формул в веб-интерфейсе
(например, на ресурсе mathurl.com) и ручной ввод формул на планшетах, а также через вебинтерфейс (например, ресурс Web Equation с возможностью сохранения в TeX и MathML, а
также онлайнового вычисления результата в WolframAlpha).
Весьма полезным представляется использование в процессе решения тестовых задач
типа С распространённых математических пакетов и отправка файлов с решением:
– универсальных математических пакетов (Matcad, Maple, Mathematica и т.п.)
– систем динамической геометрии (например, GeoGebra);
– программного обеспечения для статистических расчётов (например, R – впрочем,
для решения несложных заданий могут быть применены и табличные процессоры офисных
пакетов);
– пакетов для моделирования динамических систем.
По результатам проверки имеет смысл обобщение статистики как по отдельным
студентам (что позволяет локализовать пробелы в их знаниях), так и по вопросам (например,
наличие нескольких типичных неверных ответов на задание типа В может позволить для
следующего потока перевести задание в вариант А.
Возможны несколько вариантов установления временных рамок прохождения теста:
– единый для всех обучаемых сеанс рубежного контроля по модулю (при
необходимости назначаются сеансы пересдачи);
– установка ряда сеансов (в разные дни недели, в разное время), во время которых
варианты контрольной работы будут доступны онлайн (иногда студенту предоставляется
право использовать несколько попыток прохождения рубежного контроля с возможностью
выбора лучшего результата);
– установка временного окна, в течение которого контрольная работа должна быть
сдана (например, неделя);
– установка временных рамок прохождения модуля в зависимости от даты получения
зачёта по предыдущему модулю (например, две недели).
Важнейшими факторами, повышающими объективность результатов модульного
контроля, являются:
– разнообразие тестовых задач (они должны по возможности перекрывать все темы
модуля);
– сбалансированность набора задач по сложности (в наборе должны присутствовать
задания от относительно простых до достаточно сложных; набор слишком простых задач не
позволит получить объективную картину знаний тестируемых, а набор слишком сложных
позволит получить её получить в лучшем случае только для нескольких студентов потока);
– адекватная дифференциация баллов по задачам, например: от 1 балла за простую до
10 за сложную;
– возможность получения различного количества баллов за задачи типа С при не
вполне верном решении;
– единообразие сложности задач, имеющих одинаковый вес и подпадающих под
рандомизацию;
– желательная избыточность заданий (при лимитированном времени на выполнение
никто не должен выработать весь возможный запас);
– возможность выбора заданий по сложности (при ограничении на количество
получаемых в ходе контрольной работы задач).
Для модульных и рубежных контрольных работ необходимо предусматривать
возможность повторной сдачи. При этом для повторной сдачи можно изменить критерии
оценивания, например: на каждой следующей итерации сдачи экзамена максимальный балл
каждой задачи уменьшается вдвое. При этом студент может получать по несколько задач
каждого типа, но не больше 2n-1, где n – номер итерации сдачи.
В таблице 1 приведено сравнение некоторых наиболее популярных конструкторов
тестов, пригодных для организации сетевого тестирования в высшей школе.
Таблица 1 – Сравнение популярных конструкторов тестов
Конструктор
тестов
QuizMaker
[1]
поддержка
русского языка
возможность
использования без
согласования с
руководством
университета
возможность
бесплатного
использования
да
закрытые тесты
(выбор вариантов)
другие закрытые
тесты
(установление
соответствий,
последовательност
и, заполнение
пропусков и т.п.)
открытые тесты
(ввод букв и цифр)
ввод формул для
автора теста
ввод формул для
тестируемого
загрузка
тестируемым
файла
учёт времени
выполнения
ограничения
длительности
выполнения
рандомизация
заданий
различное число
баллов за задания
различное число
баллов за
различные ответы
возможность
ветвления теста
наличие
встроенной базы
вопросов
наличие доступной
базы тестов других
авторов
VeralSoft
[6]
SunRav
[7]
Indigo
[8]
да
Online
Test
Pad [5]
да
да
да
да
да
да
да
да
да
да
да (с
реклам
ой)
в течение
месяца
да
да
да (с
ограни
чениям
и)
да
да
да
в
течени
е 45
дней
да
да
да
да
да
да
да
да
да
да
да
да
да
да
WebAssign
[2]
i-exam
[3]
Simpoll
[4]
да
в течение
месяца
да
без
провер
ки
правил
ьности
да
да
через
загруз
ку
файла
частично
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да (с
выгрузкой
в
оффлайн)
да
да
да
да
анализ результатов
конструктор
тестов онлайн
импорт тестов
интеграция с LMS
да
да
да
да
да
да
да
да
да
да
да
да
да
да
да
Можно видеть, что универсальных программных продуктов, превосходящих
конкурентов по всем параметрам, пока нет. Интересно, что многие системы тестирования в
принципе не предусматривают возможность заданий типа С или позволяют их реализовать
только без загрузки файлов – этот недостаток представляется достаточно существенным,
несмотря на прочие возможности.
Для организации тестирования результатов усвоения математических дисциплин при
смешанном обучении, видимо, наилучшим выбором представляется бесплатный и
полностью сетевой конструктор тестов Online Test Pad, бесплатность которого обусловлена
рекламой на страницах тестирования. Впрочем, можно отметить, что у ближайшего
конкурента – Simpoll – интерфейс удобнее, хотя возможностей меньше. Среди других
бесплатных конструкторов тестов, несколько менее функциональных (в частности, ни один
из них не предусматривает загрузки тестируемым файлов), можно отметить также: maketest.ru [9], Let’s Test [10], Tests Online [11], Айрен [12].
Не секрет, что значительная часть студентов считают для себя возможным выполнять
тестовые задания (в особенности те, которые влияют на количество баллов по результатам
прохождения курса) не вполне самостоятельно, а с привлечением помощников. В последнее
время весьма распространились онлайн-помощники, предлагающие помощь через интернет в
режиме реального времени, а законодательство пока никак не запрещает подобную
деятельность.
В МООК для устранения или хотя бы ослабления этой проблемы всем обучающимся
предлагается прочитать кодекс чести и подтвердить согласие с ним. К сожалению, для
смешанных курсов, эта мера представляется не вполне действенной.
Нет смысла ограничивать в процессе сдачи теста доступ в интернет на компьютере,
где тест выполняется – этот запрет не имеет смысла: уже сложно представить ситуацию,
когда решение задач, связанных с математическими методами, осуществляется в условиях
полной невозможности подключения к интернету. Наоборот, умение привлечь ресурсы
интернета для поиска информации, полезной для решения задачи, является важной
компетенцией.
Тем не менее, некоторые системы контроля в процессе сдачи онлайн-теста
представляются необходимыми. Они призваны:
– исключить возможность одновременного доступа к странице теста с нескольких
устройств;
– обеспечить аутентификацию обучаемого (исключить возможность сдачи теста
другим лицом);
– проконтролировать запрет на присутствие в непосредственной близости от
компьютера, на котором проводится тестирование, посторонних лиц, запрет на
использование сдающим тест других электронных устройств (телефонов, планшетов и т.п.),
запрет на использование онлайн-помощников через средства связи (электронную почту, IP
телефонию, службы обмена сообщениями, социальные сети).
Исключение возможности одновременного доступа к странице теста с нескольких
устройств может быть реализовано через настройки конструктора тестов.
Аутентификацию обучаемого можно произвести через уникальный пароль, который
он вводит при начале тестирования. Этот метод позволяет исключить сдачу теста за кого-то
без его ведома, однако не может исключить передачу пароля самим студентом другому лицу.
Ведение автоматической биометрической идентификации при современном развитии
информационных технологий пока не представляется возможным:
– сканирование отпечатков пальцев на сегодняшний момент реализуется на
тачскринах только немногих топовых гаджетов, либо требует специального оборудования;
– сканирование радужной оболочки глаза неосуществимо при стандартных
параметрах веб-камер;
– алгоритмы идентификации людей по лицам, по голосам, по клавиатурному почерку
в настоящее время реализованы в некоторых коммерческих продуктах, но пока ещё далеко
от массового свободного использования.
Фактически
единственным
способом
надёжной
неавтоматизированной
аутентификации является просмотр видеозаписи, сделанной через вебкамеру (визуальное
сравнение с фотографией обучаемого, если обучение полностью дистанционно).
Кроме того, видеозапись процесса выполнения задания позволяет проконтролировать
факт использования в процессе сдачи теста других электронных устройств и присутствия в
помещении других людей (которые могут выполнять задания вместо тестируемого сами или
делать запросы онлайн-помощникам, а потом передавать тестируемому текст для набора).
Разумным требованием является включение видеокамеры на запись перед получением
задания. Прямая трансляция потокового видео в режиме реального времени в сеть возможна
(например, через популярную программу VLC), однако в большинстве случаев достаточно
отсылки по электронной почте или загрузки записанного видеофайла на указанный сайт
сразу после завершения задания типа С или группы заданий типов А или В (например, в
течение минуты – за это время отредактировать видео файл маловероятно).
Радикальным способом, который может быть внедрён при наличии подозрений в
несамостоятельной работе студента, является требование использования двух веб-камер.
Поскольку фронтальная веб-камера (встроенная в корпус ноутбука или монитора, либо
закреплённая на мониторе) оптимизирована для видеотелефонии и часто не позволяет
зафиксировать обстановку на столе рядом с клавиатурой (где может лежать планшет) и
обстановку справа и слева от сдающего тест, имеет смысл установка второй веб-камеры
сбоку на расстоянии не менее метра.
Для записи действий пользователя на компьютере могут быть применены средства
записи видео с экрана (Bandicam, CamStudio и т.п.), но они достаточно сильно загружают не
слишком мощные компьютеры и дают слишком большой объём видеофайла.
Специализированные средства для создания скринкастов (например, Screencast-O-Matic,
Wink, RecordMyDesktop и т.п.) в ряде случаев позволяют производить замедленную запись,
но высокое разрешение современных экранов также делает этот файл весьма большим.
В принципе, достаточно логировать только существенные действия пользователя:
переход между приложениями (в частности, использование других браузеров), открытие в
браузерах новых вкладок, ввод данных (в частности, оправку писем или сообщений),
скачивание файлов и т.п. – и для этого не обязательна полноценная запись видео с экрана.
Возможно использование кейлогеров, однако это программное обеспечение,
рассчитанное преимущественно на тайный для пользователя контроль, может быть сложным
для установки и может вступать в конфликт с антивирусными программами. В то время как в
рассматриваемом случае именно сам пользователь должен включать средства логирования
своих действий на время выполнения задания и отсылать логи срезу после окончания их
выполнению.
Наиболее простым и доступным вариантом для системы Windows вариантом
логирования представляется использование средства записи действий по воспроизведению
неполадок (появившееся начиная с версии 7), которое обеспечивает фиксацию действий и
запись скриншотов. Логи компонуются в файл с разрешением mht автоматически
упаковываются (со сжатием примерно вдвое) в архив с расширением zip, который также, как
и видео с вебкамер, имеет смысл требовать загружать сразу после выполнения задания.
Комплекс мер обеспечения самостоятельности выполнения заданий не является для
студента обременительным: затраты времени на включение логирования и записи с вебкамеры, а также последующей загрузки этих данных в сеть минимальны, а типовые для
сегодняшнего момента безлимитные тарифы доступа в интернет не требуют
дополнительных затрат. Однако отправка больших файлов всё же может быть нестабильна,
поэтому при внедрении этой мер желательно раздельное логирование каждого задания.
При
разработке
специализированных
модулей
для
подтверждения
самостоятельности, интегрируемых в LMS, запись видео с двух камер (с пониженной
частотой кадров), запись звука, логирование действий пользователя и отправку данных –
целесообразно интегрировать в единое приложение.
СПИСОК ЛИТЕРАТУРЫ
1 iSpringQuizMaker 7. Программа для создания тестов – URL: ispring.ru/ispring-quizmaker
2 WebAssign – URL: webassign.net
3 Единый портал интернет-тестирования – URL: i-exam.ru
4 Simpoll – Сервис опросов – URL: simpoll.ru
5 Тесты онлайн в Online Test Pad – URL: onlinetestpad.com
6 VeralSoft. Программы для создания тестов и проведения тестирования – URL: veralsoft.com
7 SunRav Software. Программы для создания тестов и электронных книг – URL: sunrav.ru
8 Программа для создания тестов и онлайн тестирования – URL: indigotech.ru
9 Создай свой тест – URL: make-test.ru
10 Let’s Test – URL: letstest.ru
11 Tests Online – система электронного тестирования – URL: tests-online.ru
12 Айрен – программа тестирования знаний – URL: irenproject.ru
Овсянникова Татьяна Львовна, ФГБОУ ВПО «Орловский государственный университет», кандидат
педагогических наук, доцент, доцент кафедры геометрии и методики преподавания математики, +79066621793,
otl19@yandex.ru
Тугарев Алекей Святославович, ФГБОУ ВПО «Государственный университет – учебно-научнопроизводственный комплекс», кандидат технических наук, доцент, доцент кафедры «Электроника,
вычислительная техника и информационная безопасность», +79066615790, tugarev@yandex.ru