Управление качеством электронных обучающих систем
advertisement
На правах рукописи ВОРОБКАЛОВ ПАВЕЛ НИКОЛАЕВИЧ УПРАВЛЕНИЕ КАЧЕСТВОМ ЭЛЕКТРОННЫХ ОБУЧАЮЩИХ СИСТЕМ Специальность 05.13.10 – «Управление в социальных и экономических системах» АВТОРЕФЕРАТ диссертации на соискание ученой степени кандидата технических наук Волгоград – 2008 Работа выполнена на кафедре «Системы автоматизированного проектирования и поискового конструирования» Волгоградского государственного технического университета Научный руководитель: доктор технических наук, профессор Камаев Валерий Анатольевич Официальные оппоненты: доктор технических наук, профессор Глушань Валентин Михайлович доктор экономических наук Солопов Вячеслав Юрьевич Ведущая организация: Исследовательский центр проблем качества подготовки специалистов Московского государственного института стали и сплавов (технологического университета) Защита состоится 13 декабря 2008 года в 1300 часов на заседании диссертационного совета ДМ 212.009.03 при Астраханском государственном университете по адресу: 414056, Астрахань, ул.Татищева,20а, конференц-зал. С диссертацией можно ознакомиться в библиотеке Астраханского государственного университета. Автореферат разослан 10 ноября 2008 г. Ученый секретарь диссертационного совета, к.т.н. О.В. Щербинина 2 ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ Актуальность темы. В настоящее время происходит активное развитие электронных форм обучения. Это обуславливает появление большого количества электронных обучающих систем и других инструментальных средств. Электронная обучающая система представляет пользователю обучающие материалы и затем производит контроль его знаний с использованием тестовых заданий. С учетом современных требований, предъявляемых к специалистам, процесс обучения все более усложняется, требования к используемым средствам обучения повышаются. Технологии электронного обучения развиваются, в электронных обучающих системах появляется возможность построения стратегии обучения и отображения обучающих материалов индивидуально для каждого обучаемого (т.н. адаптивные обучающие системы). Ввиду постоянного повышения требований и увеличения затрат на разработку и внедрение электронных обучающих систем становятся необходимыми оценка и управление их качеством. Существующие на настоящий момент методы оценки качества автоматизированных систем не позволяют оценивать обучающие системы с точки зрения результатов процесса обучения. Кроме того, данные методы являются частными и не позволяют управлять качеством на различных этапах жизненного цикла электронных обучающих систем. Таким образом, актуальной является задача разработки метода и критериев оценки качества электронных обучающих систем, которые бы позволили осуществлять управление качеством с точки зрения результата процесса обучения на стадиях их разработки, внедрения и эксплуатации. Цель и задачи работы. Целью работы является повышение эффективности обучения с использованием электронных обучающих систем за счет управления качеством на стадиях их разработки, внедрения и эксплуатации. Для достижения поставленной цели были выделены следующие задачи: 1) Провести анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, современных подходов и методов оценки качества электронных обучающих систем. 2) Разработать метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством на различных стадиях их жизненного цикла. 3) Разработать критерии для оценки качества обучающих систем на стадиях их разработки, внедрения и эксплуатации, и алгоритмы их расчета. 4) Реализовать предложенный метод и алгоритмы расчета критериев качества в автоматизированной системе оценки качества обучающих систем. Объектом исследования являются электронные обучающие системы. Предметом исследования являются способы повышения эффективности обучения с использованием электронных обучающих систем. 3 Гипотеза исследования. Если процесс жизненного цикла электронной обучающей системы является управляемым процессом с обратной связью, то формируемые на основе адекватной оценки качества управляющие воздействия позволят повысить качество электронной обучающей системы. Методы исследования. Для решения поставленных задач были использованы методы системного анализа, теории управления, математического моделирования, искусственного интеллекта. Научная новизна заключается в разработке нового метода, позволяющего управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации, а именно: 1) разработаны критерии, позволяющие производить оценку качества как на ранних этапах разработки системы (априорные критерии), так и на стадиях внедрения и эксплуатации (апостериорные критерии); 2) разработана имитационная модель процесса обучения, учитывающая значимые с точки зрения результатов обучения характеристики процесса обучения и позволяющая моделировать процесс обучения в различных электронных обучающих системах; 3) разработана концептуальная модель автоматизированной системы оценки качества, поддерживающей процесс управления качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации. Положения, выносимые на защиту: 1) априорные и апостериорные критерии оценки качества электронных обучающих систем; 2) имитационная модель процесса обучения, учитывающая значимые для оценки качества обучения характеристики процесса обучения, и позволяющая моделировать процесс обучения в различных электронных обучающих системах; 3) метод оценки качества электронных обучающих систем, позволяющий управлять качеством электронных обучающих систем на стадиях их разработки, внедрения и эксплуатации. Практическая ценность работы состоит в разработке автоматизированной системы оценки качества электронных обучающих систем, реализующей предложенный метод оценки качества и алгоритмы расчета априорных и апостериорных критериев качества. Реализация результатов работы. Разработанный метод оценки качества, априорные и апостериорные критерии качества и автоматизированная система оценки качества были внедрены в ВолгГТУ, университете Глазго-Каледония г. Глазго, ООО «КСИ» (компания, специализирующаяся на разработке обучающих игр). Априорные критерии использованы для оценки качества адаптивной обучающей системы в процессе ее разработки, что позволило внести изменения в модель обучаемого системы и повысить ее качество. С помощью апостериорных критериев произведена оценка качества обучающей системы «CALMAT», используемой в университете Глазго-Каледония, и адаптивной обучающей 4 системы «AHA!», в результате были идентифицированы недостатки данных систем и сформулированы рекомендации по их исправлению. После внесения изменений тестирование показало увеличение среднего уровня знаний студентов после обучения в соответствующих системах. Применение метода оценки качества для управления качеством адаптивных обучающих игр позволило выявить и устранить недопустимые последовательности игровых обучающих заданий, приводящие к снижению результатов обучения. Апробация работы. Основные положения и материалы диссертационной работы докладывались на Международной научнотехнической конференции ИННОВАТИКА-2008 (1-12 октября 2008 г.), Международной научно-технической конференции AIS’08 (3-10 сентября 2008 г.), Международной научно-технической конференции ИННОВАТИКА2007 (1-12 октября 2007 г.), XI Региональной конференции молодых исследователей Волгоградской области (8-10 ноября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г.Москва, 2-3 марта 2006 г.), Международной конференции «Информационные технологии в образовании, технике и медицине» (г. Волгоград, 23-26 октября 2006 г.), смотре-конкурсе научных, конструкторских и технологических работ студентов ВолгГТУ (г. Волгоград, 11-13 мая 2005 г.), VI Всероссийской конференции Прогрессивные технологии в обучении и производстве (г. Камышин, 18-20 октября 2006 г.), Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» (г. Москва, 17-18 февраля 2005 г.) и других научнотехнических и научно-практических конференциях. Работа «Модель процесса адаптивного обучения» удостоена 1-го места на XI Региональной конференции молодых исследователей Волгоградской области, работа «Автоматизация оценки качества адаптивных обучающих систем» удостоена 1-го места на Всероссийской конференции студентов, аспирантов и молодых ученых «Технологии Microsoft в теории и практике программирования» 2006 г., «Анализ и синтез адаптивных обучающих систем» удостоена второй премии на смотре-конкурсе НИРС ВолгГТУ 2005 г. Публикации. По теме диссертации опубликовано 16 печатных работ общим объемом 3,5 п.л., в том числе 3 публикации в журналах, рекомендованных ВАК РФ. Структура и объем диссертации. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа содержит 153 страниц основного текста, 53 рисунка, 14 таблиц и список литературы из 122 наименований. Общий объем работы 207 страниц. Соискатель выражает особую благодарность доценту кафедры «САПР и ПК» ВолгГТУ, к.т.н. Шабалиной Ольге Аркадьевне за оказанную помощь и консультации в ходе выполнения диссертационной работы. 5 СОДЕРЖАНИЕ РАБОТЫ Во введении обоснована актуальность работы, дана общая характеристика работы. В первой главе проведен анализ процесса жизненного цикла, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки существующих подходов, методов и автоматизированных систем, применяемых для оценки качества электронных обучающих систем. Анализ современных подходов к проектированию показал, что разработка электронных обучающих систем производится в соответствии со спиральной моделью жизненного цикла. При использовании данной модели жизненного цикла оценка качества особенно важна, так как ее результаты используются на каждом следующем витке спирали. Большой вклад в исследование понятия качества внесли отечественные ученые А.В. Гличев, В.П. Панов, Г.Г. Азгальдов, проблемами качества обучения и образования занимаются такие российские ученые как Н.А. Селезнева, А.М. Новиков, А.Г. Гриценко, М.И. Нежурина, А.И. Гусева и др. Разработку методов оценки качества электронных и адаптивных обучающих систем проводят известные исследователи в области электронного обучения П. Брусиловский, Х. Караганнидис и Д. Сампсон, С. Вайбельзаль, А. Парамизис, К. Стефанидис, Д. Чин и Е. Гердер. В современных подходах под качеством объекта понимается совокупность характеристик, относящихся к его способности удовлетворять установленные и предполагаемые потребности. Применительно к обучающим системам под качеством будем понимать совокупность характеристик системы, определяющих способность системы обеспечить требуемый уровень знаний обучаемого. Для оценки качества используются значения этих характеристик. Под управлением качеством электронной обучающей системы будем понимать процесс воздействия на ее характеристики (за счет изменения обучающих материалов, механизмов функционирования) с целью достижения требуемого уровня знаний обучаемых после применения данной системы для их обучения. Процесс управления качеством электронных обучающих систем показан на рис. 1. Требования к обучающей системе Разработчик Среда разработки Оболочка Обучаемые системы, Знания обучающий обучаемых курс Электронная обучающая система Знания обучаемых Оценки по критериям Оценка качества Рисунок 1 – Процесс управления качеством обучающих систем 6 Существующие методы оценки качества электронных обучающих систем делят на две группы. Методы первой группы используют подход к оценке качества электронной обучающей системы в целом (as a whole approach). Модель системы в данном случае представляет собой модель «черного ящика». Оценка качества обучающей системы в целом осуществляется на основе определения значений наиболее общих критериев качества (производительность, безопасность и т.д.), анализа отзывов пользователей и на основе проверки соответствия стандартам (сертификации). У данного подхода имеется два недостатка: оценка качества в нем производится только на этапе внедрения системы, когда уже существует тестовая версия программного продукта; предоставляемой информации часто недостаточно для улучшения системы. Методы второй группы («многослойный» подход, layered approach) были разработаны для оценки качества адаптивных обучающих систем. Адаптивная обучающая система берет на себя ответственность руководства обучаемым в процессе обучения, результат которого впрямую зависит от используемых в системе моделей, методов и механизмов адаптации. Адаптивные обучающие системы характеризуются наиболее сложными внутренними подсистемами, и оценка их качества требует значительных трудозатрат. В данных методах обучающая система представляется как «белый ящик». Процесс функционирования системы рассматривается как взаимодействие ее подсистем, каждая из которых оценивается по различным критериям. Это позволяет эффективно идентифицировать недостатки системы и, впоследствии, устранять их. При анализе существующих критериев, применяемых в методах оценки качества электронных обучающих систем, выявлена группа общих критериев качества, предназначенных для оценки различных автоматизированных систем, и группа критериев, предназначенных для оценки электронных обучающих систем. Но эти критерии возможно применять только на этапе эксплуатации обучающей системы, что не позволяет управлять ее качеством на этапе разработки. Более того, определение большинства критериев качества в данных методах связано с обработкой значительных массивов данных, и их расчет занимает большое количество времени. Существуют различные автоматизированные системы, применяемые для оценки качества электронных обучающих систем и обучающих материалов (см. таблицу 1). В результате проведенного анализа было выявлено, что применяемые методы оценки качества не позволяют формировать рекомендации по изменению электронных обучающих систем; существующие автоматизированные системы оценки качества узкоспециализированы и ориентированы на оценку качества конкретной электронной обучающей системы; «многослойный» подход к оценке качества электронных обучающих систем не реализован на практике; отсутствуют автоматизированные системы оценки качества адаптивных обучающих систем. Поэтому необходима разработка метода автоматизированной оценки 7 качества, охватывающего широкий класс электронных обучающих систем, в том числе адаптивных. Таблица 1 – Анализ автоматизированных систем оценки качества процесса обучения и обучающих материалов Система оценки качества Система оценки качества программных комплексов для дистанционного обучения (МИЭМ) Подсистема оценки качества информационно-образовательной среды "Chopin" (АлтГТУ) SADEP Интеллектуальная система оценки качества учебного процесса (КТИ, филиал ВолгГТУ) Hypermethod Assessment Tools (Лаборатория программных систем искусственного интеллекта, СанктПетербург) Система оценки качества электронного обучения eLup (Университет Монпелье-2, Франция) Quality Integration Tool (Университет Дуйзбург-Ессен, Германия) Используемый метод Оценка качества по ISO 14598:1-6:1998-2000 «Оценивание программного продукта» Оценка качества на основе свертки критериев: - валидность; - надежность; - трудность; - экономичность и избыточность; - интегрированность; - практичность. Оценка качества на основе «контрольных карт», показывающих успешность обучения по отдельным частям курса Метод оценки качества на основе методик менеджмента предприятием: - KPI – ключевые показатели качества; - MBO – целевое управление. Оценка качества на основе диаграмм описания процесса обучения на UML-подобном языке Система поддержки процесса управления качеством электронных обучающих систем на основе процессного подхода и методологии ISO 9001:2000 Во второй главе изложен метод и критерии оценки качества, позволяющие производить оценку качества как на ранних этапах разработки обучающих систем, так и на стадиях внедрения и эксплуатации. Оценка качества на ранних этапах разработки обучающей системы очень важна, так как решения на данных этапах определяют качество конечного продукта. Для оценки электронных обучающих систем существуют критерии качества, применимые на этапе разработки. Для адаптивных обучающих систем такие критерии отсутствуют. В адаптивных обучающих системах для персонификации процесса обучения используется модель обучаемого, в которой хранятся некоторые характеристики обучаемого, и технологии адаптации, применяемые на основе модели обучаемого. Разработка модели обучаемого особенно критична для таких систем. Для ее оценки на этапе разработки предложены два априорных критерия: адекватность модели обучаемого, чувствительность модели обучаемого. Значение критерия адекватности модели обучаемого в адаптивной обучающей системе представляет собой оценку возможности адаптации 8 системы на основе характеристик модели и надежности измерения каждой характеристики модели пользователя. Адаптация системы реализуется с помощью технологий адаптации, выбор которых зависит от пользователей системы и предметной области. Таким образом, для оценки адекватности модели обучаемого необходимо, руководствуясь знаниями о целевой аудитории обучающей системы и особенностях предметной области, определить технологии адаптации, которые требуется реализовать в системе, так как характеристики, хранящиеся в модели обучаемого определяют набор технологий, которые могут быть использованы. Расчет критерия адекватности модели обучаемого основан на методе анализа иерархии, с той разницей, что здесь в качестве критериев качества на нижнем уровне выступает надежность измерения каждой характеристики модели обучаемого, а уровнем выше вместо групп критериев качества – технологии адаптации, которые планируется реализовать в адаптивной обучающей системе. В качестве метода оценки приоритетов на каждом уровне экспертом используется метод, основанный на использовании матрицы парных сравнений. Получающаяся в результате свертки оценка характеризует адекватность модели обучаемого. Чем выше данная оценка, тем более построенная модель обучаемого удовлетворяет требованиям обучения данной целевой аудитории в данной предметной области. Адекватность модели обучаемого UMA рассчитывается по формуле: UMA IV1 RV , IV2 RV ,, IVn RV PV , где IVi I i1 , I i 2 ,, I i m – вектор влияний характеристик в модели обучаемого на реализацию i-ой технологии адаптации; I i j – влияние j-ой характеристики в модели обучаемого на реализацию i-ой технологии адаптации; – вектор надежности измерения характеристик RV R1 , R2 ,, Rm модели обучаемого; R j – надежность измерения j -ой характеристики; PV P1 , P2 ,, Pn – вектор важности технологий адаптации; Pi – важность i-ой технологии адаптации; n – число технологий адаптации обучающей системы; m – число характеристик модели обучаемого обучающей системы. Чувствительность модели обучаемого характеризуется величиной изменений характеристик обучаемого в модели при изменении результатов обучения. Под чувствительностью модели обучаемого SP по параметру P будем понимать отношение изменения хранящегося в системе значения характеристики обучаемого к изменению значения измеряемого параметра: SP LC , P где LC – изменение хранящейся в системе характеристики обучаемого; P – изменение значения измеряемого параметра. 9 Характеристика чувствительности модели обучаемого может быть использована для анализа степени влияния поведения обучаемого на изменение его характеристик в модели. Правильное различение пользователей по поведению повышает качество моделей адаптации. В неадаптивных обучающих системах характеристика чувствительности также может быть применена для оценки чувствительности системы к уровню знаний обучаемого, показываемому им в процессе обучения. Для оценки качества на этапе внедрения и эксплуатации разработаны апостериорные критерии качества, рассчитываемые по результатам процесса обучения. Для представления процесса обучения используется имитационная модель, отображающая процесс взаимодействия обучающего с системой. Такая модель позволяет определять моменты возникновения ошибок в ходе процесса обучения. Для обеспечения инвариантности при построении модели использованы только общие для большинства электронных обучающих систем данные об обучаемых. Часть электронных обучающих систем позволяет совместное изучение курсов и выполнение проектов обучаемыми, поэтому в модели предусмотрена возможность моделирования процесса обучения, в котором несколько обучаемых взаимодействуют друг с другом. Для представления модели процесса обучения была выбрана модель на основе сети Петри, так как она позволяет описать качественные и количественные характеристики процесса обучения, может быть наглядно представлена и построена автоматически. Метки сети Петри представляют собой обучаемых. Позиции сети Петри интерпретируются как концепты предметной области, то есть темы, которые проходят студенты. Для интерпретации переходов сети Петри был введен термин «контрольный переход». Срабатывание данного перехода интерпретируется как выполнение некоторого теста или контрольной работы по итогам изучения концепта. Необходимость моделирования процесса обучения обусловила введение соответствующих расширений сети Петри. Для моделирования процесса обучения каждого обучаемого, отдельной метке сети сопоставляется определенный цвет. Цвет состоит из двух компонент: первая компонента идентифицирует обучаемого, вторая компонента показывает состояние процесса обучения. Метки с состоянием «изучен» находятся в позициях, соответствующих изученным обучаемыми концептам. Метки с состоянием «текущий» находятся в концептах, которые обучаемые изучают в моделируемый момент времени. Переход считается разрешенным, только если число меток в его входной позиции совпадает с числом входных дуг, а цвета меток соответствуют цветам дуг. При срабатывании перехода метка с состоянием «текущий» извлекается из позиции, одновременно в позицию помещается метка с состоянием «изучено». Метка с состоянием «текущий» помещается в позицию, соответствующую следующему изучаемому концепту. В электронных обучающих системах выбор последовательности изучаемых разделов курса (стратегии обучения) зависит от решения самого 10 обучаемого. В адаптивных обучающих системах после изучения каждого концепта система может изменить стратегию и предложить различные варианты продолжения обучения в зависимости от характеристик обучаемого. Для моделирования различных стратегий изучения предметного курса в модели используется стохастическое расширение сети Петри. Дугам, соединяющим переходы с выходными позициями, сопоставляются функции вероятностей, соответствующие частотам выбора соответствующих концептов обучающего курса при заданной разметке сети. При определении вероятности учитывается набор пройденных обучаемым концептов. Для моделирования динамики числовых характеристик процесса обучения каждому переходу сопоставляется распределение случайной величины интервала времени его выполнения. Это позволяет учесть время, затраченное на изучение концепта, соответствующего входной позиции перехода. Для представления уровня знаний каждого обучаемого метки содержат атрибут уровня знаний, что позволяет оценивать результаты обучения на каждом шаге процесса обучения. Метки с атрибутом «изучен» хранят уровень знаний обучаемого, которого он достиг после изучения концепта, соответствующего позиции, в которой находится метка. Метки с атрибутом «текущий» хранят соответствующий моменту времени моделирования текущий уровень знаний. Каждому переходу сопоставляется распределение случайной величины изменения уровня знаний обучаемого, которое равно оценке, полученной за тест, соответствующий сработавшему контрольному переходу. Набор введенных расширений сети Петри позволяет классифицировать разработанную модель как стохастическую раскрашенную временную сеть Петри. Формально модель процесса обучения описывается кортежем вида: N P,T , F , C, m0 , cf , h, a , где P p1 , p2 ,..., pn – множество позиций p i , каждая из позиций соответствует этапу процесса обучения, n – количество позиций; T t1 , t2 ,..., tk – множество переходов t i , переход соответствует обучающему заданию, срабатывание перехода интерпретируется как выполнение обучающего задания, k – количество переходов; F P T T P – отношение инцидентности, определяющее множества дуг, направленные от позиций к переходам и от переходов к позициям; C c1, c2 ,..., cv – множество цветов ci сети Петри, – количество цветов; m0 : P C ( ) – функция, задающая начальную разметку сети Петри; cf : F C – функция, задающая раскраску дуг сети Петри; h : F M [0,1] – функция, задающая вероятности развития процесса обучения в зависимости от текущей разметки сети Петри; M P C () – множество всех возможных разметок сети Петри; a : A T , – функция, задающая значения статистических атрибутов A каждого перехода. 11 ci Identity, Kind , где Identity 1,, l – компонента цвета, идентифицирующая обучаемого, l – число обучаемых; Kind "Текущий"," Пройден" – состояние изученности. A D, D, KL, KL, D, KL, где D – математическое ожидание продолжительности изучения концепта; D – среднеквадратическое отклонение продолжительности изучения концепта; KL – математическое ожидание уровня получаемых при изучении концепта знаний; KL – среднеквадратическое отклонение уровня получаемых при изучении концепта знаний; D, KL – коэффициент корреляции между продолжительностью изучения концепта и уровнем получаемых при его изучении знаний. Алгоритм построения модели представлен на рис. 2. Построение модели процесса обучения Вход Очередь событий Начало процесса обучения Внесение изменений в модель Накопление статистики в текущем переходе Создание начального концепта, перехода и соединяющих дуг нет Создание концепта, перехода и соединяющих дуг Создание конечного концепта Сделать начальный концепт и переход текущими нет Остались события в очереди? нет Следующий концепт существует? да Текущий переход соединен со следующим концептом? да Соединение текущего перехода с концептом да Извлечь событие Изменение таблицы вероятностей дуги Внесение изменений в модель нет Сделать следующий концепт и переход текущими Конец Следующий концепт конечный? да Сделать начальный концепт и переход текущими Выход Модель процесса обучения Рисунок 2 – Алгоритм построения модели процесса обучения В качестве исходных данных при построении модели используются данные о том, каким обучаемым была пройдена тема, идентификатор темы, время, затраченное на прохождение темы, и оценка, полученная при тестировании: 12 I E1 , E2 ,, En , где I - входные данные для построения модели процесса обучения; n - число произошедших в обучающей системе событий; Ei SID, RID , CID, D, KL - событие процесса обучения; SID - идентификатор обучаемого; RID - идентификатор роли в процессе обучения; CID - идентификатор изученного концепта; D - продолжительность изучения концепта; KL - оценка, полученная по итогам изучения концепта. Для оценки построенной модели процесса обучения разработаны следующие критерии: 1) Критерии, основанные на количественных характеристиках графа сети Петри: а) число позиций сети Петри; б) число переходов сети Петри; в) число дуг сети Петри; г) число всех возможных путей; д) связность графа сети Петри. 2) Критерии, основанные на статистических атрибутах переходов стохастической сети Петри: а) средний уровень знаний концепта; б) степень интегрированности концепта в обучающий курс; в) степень взаимосвязи между концептами обучающего курса. 3) Критерии, основанные на результатах моделирования с использованием полученной модели процесса обучения: а) средний уровень конечных знаний обучаемого; б) успешность адаптационных решений. Расчет этих критериев позволяет идентифицировать недостатки обучающего курса и механизмов принятия адаптационных решений. Разработанные критерии используются в методе оценки качества электронных обучающих систем. Метод включает в себя следующие этапы: 1) Расчет априорных критериев оценки качества электронной обучающей системы. 2) Анализ результатов априорной оценки качества и внесение изменений в электронную обучающую систему. 3) Сбор данных о процессе обучения в системе целевой группой достаточного для получения достоверного результата размера. 4) Автоматическое построение модели процесса обучения в электронной обучающей системе с использованием автоматизированной системы оценки качества. 5) Идентификация концептов курса с низким качеством обучения. 6) Расчет критериев и анализ качества процесса обучения. 7) Модернизация обучающего курса по результатам анализа. 8) Верификация внесенных изменений в обучающий курс. 13 Данный метод включает в себя априорные и апостериорные критерии, а также этапы внесения изменений в электронную обучающую систему и обучающий курс, что позволяет управлять качеством электронных обучающих систем на всех этапах их жизненного цикла. В третьей главе описана автоматизированная система оценки качества, реализующая метод оценки качества и алгоритмы расчета критериев качества. Разработанный метод оценки качества и алгоритмы расчета критериев качества были реализованы в автоматизированной системе оценки качества. Архитектура автоматизированной системы представлена на рис. 3. Потоки данных системы: Подсистема интерфейса пользователя 1 – исходные данные о процессе обучения в адаптивной обучающей системе; 2,3 – данные о процессе обучения во внутреннем формате; 4,5 – обработанные данные о процессе обучения в электронной обучающей системе; 6,7,8 – структура сети Петри; 9,10,11 – результаты моделирования процесса обучения; 12,13 – значения и описание критериев оценки качества электронной обучающей системы; 14 – учетные данные пользователей; 15 – данные, подлежащие отображению и визуализации. 15 14 Подсистема безопасности БД «Учетные записи» 8 5 13 11 Электронная обучающая система 1 Подсистема сбора данных 3 Подсистема 4 предобработки данных Подсистема 7 построения модели процесса обучения Подсистема моделирования процесса 10 обучения Подсистема расчета критериев качества 2 6 9 12 БД «Данные процесса обучения» БД «Модели процесса обучения» БД «Эксперименты» БД «Результаты оценки» Рисунок 3 – Архитектура автоматизированной системы оценки качества Система оценки качества включает в себя следующие подсистемы: а) подсистема сбора данных, предназначена для сбора данных о процессе обучения в оцениваемой электронной обучающей системе; б) подсистема предобработки данных, предназначена для предобработки данных о процессе обучения в электронной обучающей системе с использованием методов статистического анализа данных; в) подсистема построения модели процесса обучения, предназначена для построения модели процесса обучения на основе данных о процессе обучения в электронной обучающей системе и ее редактирования; г) подсистема моделирования, предназначена для моделирования процесса обучения с помощью модели процесса обучения на основе стохастической раскрашенной сети Петри; д) подсистема определения критериев качества, предназначена для расчета значений различных критериев качества; 14 е) подсистема интерфейса пользователя, предназначена для организации взаимодействия пользователя с системой; ж) подсистема безопасности, обеспечивает аутентификацию и авторизацию пользователей в системе. Автоматизированная система была реализована с использованием языка программирования Java. При разработке использовалась интегрированная среда разработки Eclipse. Система позволяет рассчитывать априорные критерии качества на стадии разработки электронной обучающей системы и апостериорные критерии качества на стадиях внедрения и эксплуатации. Расчет апостериорных критериев производится на основе данных о процессе обучения в системе. Сбор данных может осуществляться двумя способами: обучающая система сохраняет сведения о процессе обучения, после чего система оценки качества преобразует данные сведения в собственный формат; обучающая система передает данные системе оценки качества в формате XML с использованием технологии Web Services (возможно использование системы оценки качества как удаленного сервиса). Разработанная автоматизированная система позволяет поддерживать процесс управления качеством электронных обучающих систем, в том числе адаптивных, на стадиях их разработки, внедрения и эксплуатации. В четвертой главе приведено описание применения разработанного метода, критериев и автоматизированной системы оценки качества электронных обучающих систем, показаны результаты управления качеством электронных обучающих систем, в том числе адаптивных, используемых в учебном процессе. Априорные критерии оценки качества были применены для оценки и управления качеством на этапе разработки адаптивной обучающей системы на сети Бейеса (разработка кафедры «САПР и ПК» ВолгГТУ). Для применения критерия адекватности модели обучаемого были составлены множества характеристик модели обучаемого и технологий адаптации. Была произведена оценка зависимостей реализации технологий адаптации от характеристик модели обучаемого, в результате выявлена неполнота модели обучаемого. Выявленный недостаток был исправлен за счет добавления дополнительных характеристик обучаемого. Оценка чувствительности модели обучаемого данной адаптивной обучающей системы к колебаниям данных о текущем уровне знаний обучаемого показала, что модель на сети Бейеса позволяет адаптироваться к процессу обучения с учетом стабильности показываемых результатов обучения. Чем выше стабильность результатов обучаемого, тем меньше отклонения от ожидаемых результатов влияют на оценку уровня знаний. Обучающая система была использована для обучения целевой группы. Результаты обучения показали ее преимущество в сравнении с аналогами, использующими другие варианты модели обучаемого (было подтверждено увеличение среднего уровня знаний обучаемых). Таким образом, применение априорных критериев позволяет адекватно оценить модель обучаемого и управлять качеством обучающей системы на этапе ее разработки. 15 С помощью автоматизированной системы оценки качества была проведена апостериорная оценка двух действующих обучающих систем. Для оценки качества обучающей системы «CALMAT» был выбран курс математики, который используется для обучения по специальности «Биология и медицина». В качестве исходных данных для оценки качества были взяты данные о прохождении обучающего курса, состоящего из 10 тем, шестью группами общей численностью 151 человек. Собранные исходные данные были преобразованы в формат системы оценки качества и на их основе была построена модель процесса обучения (уровень знаний нормирован на интервал [0;1]). Применение оценки уровня знания, критериев степени интегрированности концептов и взаимосвязей концептов (см. рис. 4) позволило определить, что уровень знаний студентов по последним трем темам ниже, чем по остальным, потому что данные концепты тематически не связаны с остальными концептами предметного курса. Вследствие этого при переходе от предыдущих концептов к их изучению наблюдалось снижение оценок. В результате проведенного анализа были сформулированы рекомендации по изменению обучающих материалов. Рисунок 4 – Модель процесса обучения в системе «CALMAT» с отображением результатов расчета критерия взаимосвязей концепта T01 Оценка качества адаптивной обучающей системы «AHA!», модели адаптации которой основаны на продукционных правилах и семантической сети предметной области. Модель процесса обучения была построена на основе данных о процессе обучения 120 студентов по курсу «Теоретические основы автоматизированного управления», проходивших обучение на кафедре «САПР и ПК» ВолгГТУ (см. рис. 5). Рисунок 5 – Результаты изучения обучающего курса в системе «AHA!» до изменения адаптационных решений В результате анализа по уровню знаний, степени интегрированности и взаимосвязей концептов, успешности стратегий адаптации было определено подмножество адаптационных решений, приводящих к низким результатам 16 обучения. Внесенные по результатам оценки качества изменения в семантическую сеть предметной области позволили исключить данное подмножество, что повысило результаты обучения (см. рис. 6, 7) (уровень достоверности 5%). Уровень знаний Рисунок 6 – Результаты изучения обучающего курса в системе «AHA!» после изменения адаптационных решений до изменений после изменений Концепт Рисунок 7 – Графики результатов изучения обучающего курса в системе «AHA!» до и после изменения адаптационных решений Разработанная автоматизированная система оценки качества обучающих систем была также использована для управления качеством адаптивных обучающих игр (разработки компании ООО «КСИ», специализирующейся на создании обучающих игр). Адаптивная обучающая игра представляет собой адаптивную обучающую систему, персонифицирующую процесс обучения в игре за счет использования нелинейного сюжета. Применение метода оценки качества позволило выявить и устранить недопустимые последовательности заданий, приводящие к снижению результатов обучения. Полученные практические результаты применения разработанного метода, критериев и автоматизированной системы оценки качества подтверждены приведенными в диссертации актами о внедрении. 17 В заключении диссертации приводятся основные научные и прикладные результаты, полученные автором в процессе выполнения работы. В приложении приведены материалы справочного, иллюстративного характера, данные, собранные в ходе тестирования целевых групп. ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ 1) Проведен анализ процесса жизненного цикла электронных обучающих систем, процесса управления качеством электронных обучающих систем, выделены достоинства и недостатки современных подходов и методов оценки качества электронных обучающих систем, произведена систематизация критериев оценки качества обучающих систем. 2) Разработан метод оценки качества электронных обучающих систем, в том числе адаптивных, позволяющий управлять их качеством как на ранних этапах разработки системы, так и на стадиях внедрения и эксплуатации. 3) Разработаны априорные критерии для оценки качества обучающих систем на стадии разработки и апостериорные критерии для оценки качества на этапах внедрения и эксплуатации, и алгоритмы их расчета. 4) Предложенный метод оценки качества и алгоритмы расчета критериев качества реализованы в автоматизированной системе оценки качества электронных обучающих систем на языке Java в среде разработки Eclipse. 5) Произведена апробация разработанного метода, критериев и автоматизированной системы оценки качества на этапах разработки, внедрения и эксплуатации обучающих систем, что позволило выявить их недостатки и устранить их, за счет чего повысить уровень знаний обучаемых. В целом разработанные метод оценки качества и автоматизированная система оценки качества позволяют повышать эффективность электронных обучающих систем за счет управления их качеством на всех этапах жизненного цикла. ОПУБЛИКОВАННЫЕ РАБОТЫ ПО ТЕМЕ ДИССЕРТАЦИИ В изданиях, рекомендованных ВАК РФ: 1. Воробкалов, П.Н. Управление качеством процесса разработки адаптивных обучающих систем с использованием многослойного подхода / П.Н. Воробкалов, О.А. Шабалина // Изв. ВолгГТУ, Серия «Актуальные проблемы управления, вычислительной техники и информатики в технических сстемах»: межвуз. сб. науч. ст. / ВолгГТУ.- 2007.- Вып.2, №2.С. 63-66. 2. Воробкалов, П.Н. Метод оценки качества адаптивных обучающих систем с использованием имитационного моделирования / П.Н. Воробкалов, О.А. Шабалина // Изв. ВолгГТУ. Серия "Новые образовательные системы и 18 технологии обучения в вузе": межвуз. сб. науч. ст. / ВолгГТУ. - Волгоград, 2007. - Вып.4, №7. - C. 164-166. 3. Воробкалов, П.Н. Метод управления качеством электронных обучающих систем / П.Н. Воробкалов // Системы управления и информационные технологии.- Воронеж, 2008.- 3.2(33).- С. 238-243. В прочих изданиях: 4. Воробкалов, П.Н. Управление качеством электронных обучающих систем / П.Н. Воробкалов // Информационные технологии моделирования и управления.- 2008.- Вып. 6(49).- С. 616-623. 5. Воробкалов, П.Н. Оценка качества электронных обучающих систем с использованием модели процесса / П.Н. Воробкалов, В.А. Камаев // AIS`08. CAD-2008. Интеллектуальные системы. Интеллектуальные САПР: тр. конференций / ФГОУ ВПО "Юж. федерал. ун-т" [и др.]. - М., 2008. - Т. 1. C. 323-327. 6. Воробкалов, П.Н. Quality Estimation of e-Learning Systems / П.Н. Воробкалов, В.А. Камаев // Methodologies and Tools of the Modern (e-) Learning: suppl. to Int. Journal "Information Technologies and Knowledge". 2008. - Vol. 2, [Int. Book Series "Inform. Science & Comput."; № 6]. - C. 25-30.Англ. 7. Разработка, применение и оценка качества обучающих игр / О.А. Шабалина, П.Н. Воробкалов, А.В. Катаев, А.В. Тарасенко // Открытое образование: приложение к журналу [по матер. междунар. конференций, Ялта-Гурзуф, 20-30 мая 2008 г.]. - 2008. - Б/н. - C. 335-337. 8. Воробкалов, П.Н. Автоматизация оценки качества адаптивных обучающих систем / П.Н. Воробкалов, О.А. Шабалина // Технологии Microsoft в теории и практике программирования: тр. Всерос. конф. студ., аспир. и мол. ученых. Центр. регион: Москва, 2-3 марта 2006 г. / МГТУ им. Н.Э. Баумана.- М., 2006.- С. 111-112. 9. Воробкалов, П.Н. Автоматизированная система управления качеством адаптивных обучающих систем / П.Н. Воробкалов, О.А. Шабалина // Системные проблемы надежности, качества, информационных и электронных технологий в инновационных проектах: (Инноватика, 2006): матер. Междунар. конф. и Рос. науч. школы / Науч.-техн. центр «АСОНИКА» и др.- М., 2006.- Ч.2.- С. 45-48. 10. Воробкалов, П.Н. Метод автоматизированной оценки качества адаптивных обучающих систем / П.Н. Воробкалов, О.А. Шабалина // Открытое образование: прил. к журн.: по матер. XXXIII межд. конф. и IV межд. конф. мол. уч. IT + S&E’06 (Ялта-Гурзуф, Крым): Инф. технол. в науке, образов., телекоммуникации и бизнесе.- 2006.- б/н (май).- С. 423-424. 11. Воробкалов, П.Н. Модель процесса обучения для оценки качества адаптивных обучающих систем / П.Н. Воробкалов // Информационные технологии в образовании, технике и медицине: матер. междунар. конф., Волгоград, Волгоград, 23-26 октября 2006 г. / ВолгГТУ и др.- Волгоград, 2006.- С. 42-43. 19 12. Воробкалов, П.Н. Поддержка процесса разработки адаптивных обучающих систем / П.Н. Воробкалов // Прогрессивные технологии в обучении и производстве: матер. IV Всерос. конф., г. Камышин, 18-20 октября 2006 г. / КТИ (филиал) ВолгГТУ и др.- Камышин, 2006.- Т.2.С. 120-121. 13. Воробкалов, П.Н. Критерии оценки качества адаптивных систем / П.Н. Воробкалов, О.А. Шабалина // Технологии Microsoft в теории и практике программирования, Москва, 17-18 февр. 2005 г. (к 175-летию МГТУ им. Н.Э. Баумана): Тр. Всерос. конф. студ., аспир. и мол. ученых, Центр. регион / МГТУ им. Н.Э. Баумана и др.- М., 2005.- Секция 4.- С. [62]. 14. Воробкалов, П.Н. Оценка адекватности адаптационных моделей обучающих систем / П.Н. Воробкалов, О.А. Шабалина // Дистанционное обучение – образовательная среда XXI века: матер. V Междунар. науч.метод. конф., (10-11 ноября 2005 г.) / Белорус. гос. ун-т информатики и радиоэлектроники.- Минск, 2005.- С. 254-257. 15. Воробкалов, П.Н. Оценка и контроль качества адаптивных обучающих систем / П.Н. Воробкалов, О.А. Шабалина // Проблемы качества, безопасности и диагностики в условиях информационного общества. КБДИнфо – 2005: матер. науч. практ. конф., г. Сочи, 1-10 октября 2005 г. / Моск. гос. ин-т электроники и математики и др.- М., 2005.- С. 305-308. 16. Воробкалов, П.Н. Методы оценки качества электронных обучающих систем / П.Н. Воробкалов, О.А. Шабалина // Международный научный симпозиум, посвященный 140-летию МГТУ "МАМИ", Москва, 23-24 марта 2005 г.: программа / МГТУ "МАМИ" и др. - М., 2005. - Секция 4. - C. [62]. 17. Воробкалов, П.Н. Свидетельство № 2008615302 о регистрации программы для ЭВМ «Автоматизированная система оценки качества электронных обучающих систем QuAdS» / П.Н. Воробкалов.- Заявл. 23.10.2008; Зарег. 06.11.2008.- М.: Федеральный институт промышленной собственности Федеральной службы по интеллектуальной собственности (Роспатент), 2008. Подписано в печать 10.11.2008 г. Формат 60х84/16. Бумага офсетная Усл. печ. л. 1.25 Тираж 150 экз. Заказ РПК “Политехник” Волгоградского государственного технического университета 400131, г. Волгоград, ул. Советская, 35. 20