КОНТРОЛЬ КАЧЕСТВА ИНТЕРНЕТ-ОБУЧЕНИЯ В ВУЗЕ ПО КРИТЕРИЮ УДОВЛЕТВОРЕННОСТИ ПОТРЕБИТЕЛЯ С.Л.Тимкин Омский государственный университет

КОНТРОЛЬ КАЧЕСТВА ИНТЕРНЕТ-ОБУЧЕНИЯ В ВУЗЕ ПО КРИТЕРИЮ
УДОВЛЕТВОРЕННОСТИ ПОТРЕБИТЕЛЯ
С.Л.Тимкин
Омский государственный университет
Тел.: (3812) 63-04-45, e-mail: timkin@omsu.ru
Важной составляющей системы менеджмента качества, обеспечивающей качество дистанционного
обучения в вузе, должны стать инструменты и регламенты мониторинга и контроля этого процесса. Под
мониторингом и контролем здесь понимается непрерывное или периодическое измерение и анализ текущих
характеристик, прогноз окончательных результатов процесса и корректировка условий его протекания с
целью достижения максимально возможного результата.
В осеннем семестре 2004 г. в ОмГУ был поставлен масштабный педагогический эксперимент по
внедрению дистанционных образовательных технологий (ДОТ) в традиционный учебный процесс, целями
которого, в частности, были [1]:
– нахождение критериев и характеристик качества дистанционного учебного процесса;
– определение факторов, влияющих на качество учебного процесса;
– установление необходимых корреляций и регрессионных уравнений для созданной модели;
– создание инструментов мониторинга качества учебного процесса;
– разработка рекомендаций для текущей коррекции учебного процесса.
По результатам эксперимента сформирована матрица данных размерностью примерно 250 записей на
150 переменных (всего 36 000 наблюдений).
Матрица содержит:
– данные опросов;
– результаты успеваемости;
– статистику сервера ДО (http://omsk.openet.ru/);
– статистику специализированного компьютерного класса.
Анализ проводился с использованием статистического пакета SPSS 10.5.
Наряду с показателями успеваемости, важнейшей характеристикой качества учебного процесса является
удовлетворенность потребителя образовательных услуг в соответствии с международными стандартами на
системы менеджмента качества серии ИСО 9000:2000 г. При этом удовлетворенность может иметь несколько
аспектов и, в данном случае, отражается в ответах на вопросы разработанной нами выходной анкеты:
– о целесообразности изучения дисциплины в сетевом режиме;
– оценка качества полученных знаний по сравнению с традиционным обучением;
– общая оценка результатов проведенного эксперимента;
– изменение желания использования ДОТ по сравнению с началом курса;
– и др.
Проведено обоснование и стандартными методами факторного анализа в SPSS получен комплексный
критерий удовлетворенности студента процессом внедрения ДОТ (F – «фактор удовлетворенности»),
измеряемый в шкале отношений в интервале от -3 до +3. Критерий удовлетворенности в матрице корреляции
всех факторов коррелирует с объединенным критерием успеваемости вслед за средним баллом по
предыдущей сессии, что свидетельствует о его валидности как критерия качества учебного процесса.
Среднее по потоку (группе) значение фактора F принято как количественный показатель успешности
внедрения ДОТ. Проведено ранжирование экспериментальных потоков по этому показателю и выделены
интервалы значений среднего фактора, соответствующие четырем случаям:
– весьма успешные потоки (F от 0.750 и выше);
– в целом успешные (F от 0 до 0.75);
– неуспешные (F от 0 до -0.75);
– крайне неуспешные (F менее -0.75).
Первый интервал соответствует случаю, когда квалифицированное большинство (более 75%) студентов
потока, отвечает положительно на каждый из вопросов-переменных, составляющих критерий F, 2-й – простое
большинство, третий – меньшинство и четвертый – квалифицированное меньшинство. Таким образом,
найдены количественные показатели и критерии успешности внедрения ДОТ для дисциплины-курса на
основе оценок студентов потока.
С помощью стандартных методов SPSS создана регрессионная модель «удовлетворенности студента».
Регрессионное уравнение для этой модели имеет следующий аналитический вид:
F = 0,496ОП + 0,243ОК + 0,154ТГ + 0.132МДО – 0,095, где
ОП – оценка работы преподавателя (частный фактор, полученный объединением нескольких вопросов
выходной анкеты);
ОК – оценка курса (то же);
ТГ – технологическая готовность студента (частный фактор, полученный объединением нескольких
вопросов входной анкеты);
МДО – мотивация студента к использованию ДО (то же).
Математическое значение оценок параметров регрессии заключается в том, что на их основе могут быть
вычислены суммарные вероятности для категорий (значений) зависимой переменной. Имея значения
независимых факторов, на основе построенной модели легко вычисляются вероятности категорий зависимой
переменной и, соответственно, ожидаемое ее значение. Тем самым модель обладает прогностическими
функциями. Коэффициент корреляции между вычисленной по регрессионному уравнению переменной
(прогнозируемая удовлетворенность) и значениями, полученными в эксперименте, составляет 0.683, что
близко к сильной корреляции. Значимость коэффициента максимальная.
Для реализации задач мониторинга дистанционного процесса необходимо периодически осуществлять
промежуточные опросы. Результаты промежуточного анкетирования с высокой степенью точности позволят
спрогнозировать окончательный результат (успешность внедрения ДОТ) и внести необходимые и
своевременные коррективы в учебный процесс.
Для составления новых анкет (вопросов и заданий для тестов) на основе данных предварительного теста
в SPSS существует специальная процедура, называемая анализом пригодности. При помощи разнообразных
критериев в результате такого анализа устанавливается, какие задания подходят для определенного теста, а
какие нет. В результате исключаются неподходящие задания, а оставшиеся включаются в итоговую форму
теста [2].
В качестве инструмента системы мониторинга разработана анкета, включающая всего 6 вопросов.
Коэффициент пригодности теста Alpha = 0.686 достаточно высок. Результаты и анализ ее применения в
весеннем семестре 2004/2005 г. будут представлены в докладе.
Литература
1. Тимкин С.Л. Некоторые аспекты обоснования и обеспечения качества сетевого образовательного
процесса // Вестник Воронежского государственного университета. Серия: Проблемы высшего образования. –
2004. - №2, июль-декабрь. - С.84-89.
2. Бююль А., Цефель П. SPSS: искусство обработки информации. Анализ статистических данных и
восстановление скрытых закономерностей. – СПб.: ООО «ДиаСофтЮП», 2002. – 608 с., с. 410-411.