Горбаченко В.И., Валиуллова Н.А. Обзор методов контроля знаний

Горбаченко В.И., Валиуллова Н.А. Обзор методов контроля знаний. // Проблемы информатики в образовании, управлении, экономике и технике: Сб. статей Междунар. научнотехн. конф.– Пенза: ПДЗ, 2010. – С. 134-137.
ОБЗОР МЕТОДОВ КОМПЬЮТЕРНОГО КОНТРОЛЯ ЗНАНИЙ
В.И. Горбаченко1, Н.А. Валиуллова2
Пензенский государственный педагогический университет
им. В.Г. Белинского,
г. Пенза,
2
Кузнецкий институт информационных и управленческих технологий,
г. Кузнецк, Россия
1
В настоящее время большое число организаций (как коммерческих фирм, так и государственных образовательных учреждений) разрабатывает, приобретает и внедряет различные
системы компьютерного обучения, включающие подсистемы контроля знаний. Делается попытка проанализировать и систематизировать применяемые методы проведения компьютерного контроля знаний.
Gorbachenko V.I., Valiullova N.A. The review of the methods of computer-based control of
knowledge. At present a number of organizations (both business firms and state educational establishments) are developing, acquiring and implementing various systems of computer-based education (SCE),
including subsystems of knowledge control. An attempt to analyze and systematize the applied methods of
implementing computer-based control of knowledge is made.
Введение
Вопросы компьютерного контроля представляют большой интерес для преподавателей вузов и создателей средств реализации такого контроля. Интерес в
значительной мере побуждается настойчивым внедрением Единого государственного экзамена для выпускников средних школ и зачислением в вуз по результатам этого экзамена. Между тем, вопросы компьютерного контроля недостаточно широко освещены в теоретическом плане, и интерес к ним обычно реализуется в большинстве случаев путем создания очередной программы компьютерного контроля с заранее составленным набором контрольных заданий.
Однако в области компьютерного контроля еще не все так очевидно, как представляется с первого взгляда. Имеются некоторые важные вопросы, которые
либо освещены в малодоступной литературе, либо проработаны недостаточно
прозрачно.
Методы компьютерного контроля знаний
Проблемы компьютерного контроля знаний (ККЗ) обычно рассматривают в
двух аспектах: методическом и техническом [1]. К методическим аспектам относятся: планирование и организация проведения контроля; определение типов
вопросов и отбор заданий для проверки знаний обучающихся; формирование
набора вопросов и заданий для опроса; определение критериев оценки выполнения каждого задания и контрольной работы в целом и др. К техническим аспектам относятся: автоматическое формирование набора контрольных заданий
на основе выбранного подхода; выбор и использование в системе проверки параметров контроля знаний; выбор алгоритмов для оценки знаний обучающихся
и др. [2]. Поэтому вопросы ККЗ интересуют многих ученых, как педагогов, так
и специалистов в области информационных технологий. За последние тридцать
лет были исследованы различные виды контроля [3, 4, 5]; определены более десяти видов вопросов, их компоненты и метаданные, используемые, как правило, при формировании набора контрольных заданий [2, 6, 7] и разработаны математические модели оценки знаний обучающихся [8, 9, 10, 11, 12]. Таким образом, необходимо отметить, что существует ряд интересных разработок, посвященных различным аспектам контроля знаний и основанных на современных достижениях науки и компьютерной техники. В настоящей статье делается
попытка проанализировать и систематизировать применяемые методы проведения ККЗ.
За последнее годы было разработано и реализовано на практике немалое
число алгоритмов и методов контроля знаний: предметно-критериальный метод
[13], метод распознавания образа уровня знаний [14], метод Раша и Бирнбаума
[15], метод статистического анализа качества обучения [11], метод определения
количества образовательной информации [11], метод адаптивного тестового
контроля [17], информационно-генетический метод [16], нейросетевой метод
контроля знаний [18].
Каждый из этих методов имеет свои сильные и слабые стороны, однако
наиболее перспективным является нейросетевой метод ККЗ. Он предполагает
использование нейронных сетей (НС) для определения качества подготовки
обучаемого (выставления оценки). В работах А.П. Свиридова [8] (предложивший данный подход) отмечается, что он может быть применен не только при
моделировании отношения «обучаемый-педагог», но и при рассмотрении других отношений «человек-человек». Также он описал примеры успешного применения НС в ККЗ. При этом используются: сети Кохонена, многослойные
перцептроны, ART- и RBF-сети.
Вместе с тем, несмотря на свой большой потенциал, нейросетевой метод
ККЗ имеет ряд недостатков:
1. Не существует четких правил вывода результата. Правила не закладываются в НС экспертом, а формируются самой НС по обучающей последовательности. В этом смысле НС можно рассматривать как «черный ящик».
2. Отсутствует алгоритм, который бы позволил получить объяснение выставленной оценки. Такой алгоритм улучшил бы качество обучения НС, повысил процент совпадения оценок, выставленных НС и преподавателем, и указал
бы обучаемым на их наиболее существенные ошибки.
3. Не исследован вопрос оптимизации топологии НС, предназначенной для
ККЗ.
Заключение
Проблема исследования заключается в отсутствии подходов, основанных на
использовании НС, к разработке эффективных тестов и методов использования
таких тестов при измерении эффективности обучения.
В связи с этим можно определить следующие задачи:
1) проанализировать основные СКО и алгоритмы контроля знаний, используемые ими;
2) проанализировать различные варианты структуры НС (число скрытых
слоев и количество нейронов в одном слое) и совместное использование НС с
генетическими и нечеткими алгоритмами;
3) исследовать алгоритмы генерации объяснения решений, принимаемых
НС, с целью его адаптации к задаче ККЗ.
Библиографический список
1. Зайцева Л.В. Некоторые аспекты контроля знаний в дистанционном обучении // Образование и виртуальность – 2000: сборник научных трудов IV
Международной конференции. – Харьков-Севастополь: УАДО, 2000. – С. 126 –
131.
2. Зайцева Л.В., Прокофьева Н.О. Проблемы компьютерного контроля знаний // Proceedings. IEEE International Conference on Advanced Learning Technjlogies (ICALT 2002). 9-12 September 2002/ Kazan, Tatarstan, Russia, 2002. – P. 102 –
106.
3. Беспалько В.П. Основы теории педагогических систем. Проблемы и методы психолого-педагогического обеспечения технических обучающих систем. –
Воронеж, 1977. – 304 с.
4. Беспалько В.П. Слагаемые педагогической технологии. – М.: Педагогика,
1989. – 192 с.
5. Лернер И.Я. Развивающее обучение с дидактических позиций // Педагогика. – 1996. – № 2. – С. 7 – 11.
6. Brusilovsky P., Miller P. Web-based testing for distance education // WebNet'99. ngs of AACE World Cjnference of the WWW and Internet. – Honolulu, HI,
1999. – P. 149 – 154.
7. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработки и применение автоматизированных и обучающих систем на базе ЭВМ. – Рига: Зинатне, 1989. –
174 с.
8. Свиридов А.П. Основы статистической теории обучения и контроля знаний. – М.: Высшая школа, 1981. – 262 с.
9. Зайцева Л.В., Новицкий Л.П., Прокофьева Н.О. Контроль знаний обучаемых с помощью методов линейно-кусочной аппроксимации и вычисления оценок.
10. Зайцева Л.В. Методы контроля знаний при автоматизированном обучении
// Автоматика и вычислительная техника. – 1991. – № 4. –
С. 88 – 92.
11. Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г. Статистический подход к принятию решений по результатам тестирования для тестов
открытой формы // Открытое образование. – 2001. – №1. –
http://www.mesi.ru/N1_01/mo.html.
12. Попов Д.И. Способ оценки знаний в дистанционном обучении на нечетких отношениях // Дистанционное образование. – 2000. – №6. –
http://www.mesi.ru/joe/N6_00/popov.html.
13. http://ito.edu.ru/2001/ito/VI/VI-0-27.html.
14. http://ito.edu.ru/2001/ito/VI/VI-0-19.html.
15. http://ito.edu.ru/2001/ito/VI/VI-0-17.html.
16. http://ito.edu.ru/2001/ito/VI/VI-0-12.html.
17. Моисеев В.Б., Пятирублевый Л.Г., Таранцева К.Р. Информационный
подход к выбору решений в системах адаптивного тестирования // Материалы
конференции «Анализ качества образования и тестирование». – М.: МЭСИ, 2001. –
С. 174 – 178.
18. Титов А.М. Нейросетевые алгоритмы компьютерного контроля знаний:
разработка и исследование: дис. … канд. техн. наук. – М., 2008.