Разработка методики оценки качества образовательных услуг
advertisement
Некоммерческая организация «Ассоциация московских вузов» ФГБОУ ВПО «Государственный университет по землеустройству» 55.9.2 Разработка методики оценки качества осуществляемых образовательных услуг Научно-информационный материал «Организация мониторинга удовлетворенности основных групп потребителей образовательных услуг, предоставляемых в Государственном университете по землеустройству» Состав научно-образовательного коллектива: 1 2 3 4 5 Барков С.К. Борисова М.В. Грачев И.А. Конокотин Н.Г. Серова Т.И. ассистент доцент профессор профессор ст.преподаватель Москва 2011 1 На сегодняшний день вопрос качества образовательных учреждений является всё более важным на рынке образовательных услуг. Процессы, связанные с системой менеджмента качества в вузе, становятся всё более объёмными и трудоемкими. Одним из самых трудоемких процессов, необходимых для обеспечения качества образовательного процесса, является мониторинг заинтересованных сторон. В большинстве образовательных учреждений мониторинг проводится с помощью анкет и рейтингов на бумажных носителях. Такой подход к организации мониторинга сопряжен со следующими проблемами: 1. После того, как процесс мониторинга начался, анкеты на бумажных носителях Вследствие недостаточно того, раздаются что участникам участники мотивированы или мониторинга. мониторинга не осознают подчас важность мониторинга, к менеджерам по качеству вуза возвращается намного меньше заполненных анкет. 2. Многие из участников мониторинга не ознакомлены с правилами заполнения анкет или рейтингов, невнимательно заполняют опросники, что приводит к тому, что большой процент опросников на бумажных носителях в итоге лиц вне непригодны к последующей обработке. 3. Существует достаточно большой круг образовательного учреждения, заинтересованных в высоком качестве его работы: родители студентов или абитуриентов, работодатели и другие. Проведение мониторинга их удовлетворенности с помощью анкет на бумажных носителях бывает очень затруднительно в связи с их удаленностью от вуза. 2 4. Ещё одной проблемой мониторинга на бумажных носителей является долгое время получения от исследуемых сторон заполненных опросников. Это особенно актуально, когда мониторинг проводится вне образовательного учреждения. 5. Самой важной проблемой является сложность обработки опросников для получения результатов мониторинга. Все собранные данные необходимо перенести в компьютер для построения диаграмм в удобном виде, а диаграммы впоследствии надо перенести в отчет по мониторингу. Эта работа, не требующая особой квалификации, является очень однообразной и трудоемкой, и может парализовать работу отдела по управлению качеством образования на длительный срок. 6. Почти что на всех значимчеловеческий этапах фактор, что мониторинга не позволяет весьма считать результаты мониторинга абсолютно достоверными. 7. Из-за суммарной долговременности процесса проведения мониторинга решения, принимаемые по результатам проведения мониторинга, не являются своевременными. Вследствие этого в Государственном университете по землеустройству было принято решение автоматизировать процессы, связанные с мониторингом. Так как в университете уже была разработана информационно-справочная система «АИС СМК ГУЗ» для поддержки деятельности отдела по качеству, основной задачей стало расширение функционала этой системы. Необходимо отметить, что одной из важнейших особенностей АИС является то, что эта система работает через веб-интерфейс. Таким образом, нет необходимости устанавливать дополнительное программное обеспечение на рабочие места пользователей. Система установлена на одном из серверов университета, а пользователи 3 получают к ней доступ через обычный веб-браузер (Internet Explorer, Mozilla Firefox, Opera, Crome или любой другой). Кроме того, это позволяет работать из любой точки нахождения исследуемого, где есть Интернет, что в итоге увеличивает мобильность сотрудников. Такой подход позволяет предоставить доступ к информации о деятельности университета в области менеджмента качества всем заинтересованным родителям, работодателям, деятельности. связанные сторонам с – партнерам Соответственно, проведением обучающимся, это по образовательной уменьшает мониторинга вне учреждения. Рисунок 1. Общий вид АИС ГУЗ 4 абитуриентам, затруднения, образовательного Для автоматизации процессов, связанных с проведением мониторингов, были разработаны новые модули системы. Опишем их подробно: 1 Модуль создания опросников При проведении любого мониторинга необходимо в первую очередь создать опросник, который будут заполнять участники мониторинга. На данный момент реализованы три вида опросников: анкета, рейтинг, рейтинг с подтверждающими документами (рейтинг, в котором необходимо ввести реквизиты документов, подтверждающих значение показателей). Рисунок 2. Модуль создания опросников В системе предусмотрено 6 типов вопросов: вопрос с выбором одного варианта ответа, вопрос с выбором нескольких вариантов ответа, вопрос в виде таблицы, ранжирование, ранжирование в виде таблицы, вопрос с ответом в виде пользовательского текста. Также разработан функционал для создания шаблона вопросов. Шаблон вопроса – это полностью настроенный вопрос без 5 текста вопроса. Использование шаблона позволяет организатором мониторинга при добавлении вопроса не вводить каждый раз варианты ответов и настройки вопроса, а ввести только текст вопроса, т.к. вся остальная информация уже есть в шаблоне. Внутри опросника можно сгруппировать вопросы по какомулибо признаку. Это помогает участникам мониторинга в восприятии опросника, а также может оказаться полезным при обработке информации. Для каждого опросника можно задать минимальное время заполнения. Это позволит отсеять из мониторинга недобросовестных участников, которые заполняют опросник невнимательно. 2 Модуль сбора информации в рамках мониторинга После того, как создан опросник, можно собирать информацию в рамках мониторинга. В АИС реализована гибкая система доступа к участию в мониторинге. На первом этапе создается процесс проведения мониторинга, указываются его временные рамки. На втором этапе, генерируются уникальные ключи доступа к этому процессу мониторинга («билеты», по аналогии с билетами в театр). Для каждого билета указывается число прохождений мониторинга по этому билету. Такая организация позволяет проводить мониторинги по одному и тому же опроснику и не путать между собой результаты. Кроме того, появляется возможность отслеживать динамику изменения показателей от мониторинга к мониторингу. После того, как «билеты» розданы организаторам и/или участникам мониторинга, начинается непосредственно сбор информации. 6 С учетом проблем, описанных ранее, было разработано удобное графическое представление для заполнения анкет. Разработанный интерфейс возвращает пользователей к вопросам, которые они оставили без ответа или на которые они ответили частично, а также запрещает пользователю нарушать условия заполнения анкеты. Например, если для конкретного вопроса с выбором нескольких вариантов ответа задано, что количество выбранных пользователем ответов не может быть больше 3-х, то система не позволит ввести участнику мониторинга 4 или более ответов. Заполнение анкеты не завершится до тех пор, пока пользователь не заполнит её полностью. Конечно, участник мониторинга может просто закрыть браузер, однако в таком случае полученные результаты хоть и сохранятся, но не будут влиять на результаты мониторинга. Кроме того, при таком подходе к сбору информации появилась возможность фиксировать время заполнения анкеты и отсеивать те из них, которые были заполнены слишком быстро, и, следовательно, невнимательно. Также необходимо пользовательский мониторинг интерфейс небольшой отметить, позволяет инструкцией по что разработанный сопроводить заполнению, любой памяткой участнику мониторинга, или любой другой информацией, которая покажется необходимой организаторам мониторинга. 7 Рисунок 3. Пользовательский интерфейс модуля сбора информации в рамках мониторинга 3 Модуль обработки собранной информации После того, как информация была собрана, необходимо обработать её и представить в удобном виде. Это очень трудоемкий процесс, занимающий большое количество времени, а из-за его однообразности резко возрастает риск появления человеческих ошибок. В итоге для того, чтобы получить один отчет, у менеджеров по качеству уходят недели. При этом полученный отчет содержит в себе результаты мониторинга для всех участников сразу, что часто не верно, так как слишком усреднено, и больший интерес представляют отчеты различных групп участников мониторинга. Для решения этой проблемы в АИС встроен модуль для генерации отчетов. Отчеты генерируются в формате Microsoft Word 2010. Перед генерацией отчетов необходимо задать условия генерации. Условия строятся на вопросах мониторинга. Существует два типа таких условий: выборка и разбиение. 8 Условие выборки выбирает из всех участников мониторинга тех, кто удовлетворяет этому условию. Например, из всех участников мониторинга студентов мы выбираем тех, которые учатся на юридическом факультете. Условия разбиения позволяют получить несколько отчетов сразу, разделив участников мониторинга по заданному вопросу. Например, мы указываем, что при генерации отчета по мониторингу студентов необходимо разделить участников мониторинга по курсу обучения, и в итоге получим 5 отчетов – отчет по мониторингу студентов первого курса, отчет по мониторингу студентов второго курса, и т.д. АИС позволяет задавать неограниченное количество условий обоих типов перед генерацией отчетов. Заданную группу условий можно сохранить, чтобы не вносить их каждый раз заново. Далее, у организаторов мониторинга есть возможность заказать отчет не по всему мониторингу, а по группе вопросов из него (про группировку вопросов см. выше в описании Модуля создания опросника). После того, как условия все заданы, начинается генерация отчетов. Даже для автоматизированной системы это долгий и трудный процесс, однако в любом случае это делается быстрее, чем это можно было бы сделать вручную. В отчете содержится статистическая информация по каждому из вопросов мониторинга, представленная в следующем виде: 1. Номер и текст вопроса. 2. Диаграмма для данного вопроса. 3. Сводная таблиц по ответам, в которой видно сколько человек выбрало тот или иной вариант ответа, и какой процент они составляют от общей массы заданной группы участников мониторинга. 9 4. Если вопрос был представлен в виде текстового поля, или же в нем присутствовал вариант «Другое» с возможностью заполнения, то все эти данные также будут представлены в виде отдельной таблицы. Рисунок 5. Пример страницы сгенерированного отчета 4 Организация мониторинга студентов ГУЗ с помощью АИС В мониторинге использовалась анкета, состоящая из 36 вопросов, в том числе 13 в виде таблиц (72 подвопроса). Таким 10 образом, в анкете было 36-13+72 = 95 вопросов. Для этой анкеты было установлено минимальное время прохождения, равняющееся 8ми минутам. Время, затраченное на занесение анкеты в АИС – 3 часа. После того, как ректор университета подписал распоряжение о проведении мониторинга студентов, всем факультетам было сообщено о сроках и месте проведения мониторинга. В итоге было составлено расписание, когда какая группа будет участвовать в мониторинге. По составленному расписанию группа студентов заполняла анкеты. При заполнении анкет присутствовал сотрудник университета, который разъяснял суть мониторинга, а также объяснял суть непонятных вопросов. Таким образом, за время проведения мониторинга были выяснены проблемные места в анкете и к следующему мониторингу анкета была скорректирована. Процесс сбора информации занял 4 дня, всего в мониторинге принял участие 718 человек. После проведения мониторинга были признаны годными 642 анкеты студентов. Основная причина отсеивания анкет – слишком быстрое время заполнения, что свидетельствует о невнимательном заполнении. После проведения мониторинга необходимо было сгенерировать отчеты. Для отчетов были выставлены два условия разбиения, и в конечном итоге было получено 30 отчетов. Данные отчеты генерировались в течение 97 минут. На обработку одного вопроса при 642 заполненных анкетах было потрачено 97/(30*95) = 0,03 минуты, то есть 2 секунды, что является очень хорошим результатом, особенно по сравнению с ручной обработкой, которая заняла бы ни одну неделю. Так как это было первое испытание программы с реальными данными, то генерация происходила не на основном сервере, а на 11 локальном персональном компьютере разработчиков системы, на случай появления ошибок. Мощность такого компьютера не сопоставима с мощностью сервера, на котором развернута АИС, однако обработка все равно прошла очень быстро. Таким образом, процесса можно проведения утверждать, что мониторинга автоматизация удовлетворенности заинтересованных сторон явилась очень важным шагом в развитии системы менеджмента качества Государственного университета по землеустройству. Многие проблемы, возникавшие при проведении мониторинга с помощью анкет на бумажных носителях, стали неактуальны. Одним из самых лучших достижений стало то, что при автоматизации проведения мониторинга самым длительным процессом стал процесс сбора информации, а не процесс её первичной обработки. Возможность предоставить руководству образовательного учреждения предварительный отчет по результатам мониторинга на следующий день после окончания его проведения позволяет говорить о том, что решения своевременными. В целом можно сказать, процесса позволила проведения поднять мониторинга работу по с будут что автоматизация помощью АИС СМК ГУЗ менеджменту образовательного учреждения на новый уровень. 12 руководства качества
