Аннотация к отчету по исполнению 2 этапа Государственного контракта №
advertisement
Аннотация к отчету по исполнению 2 этапа Государственного контракта № 12.Р20.11.0055 от 14 октября 2011 г. проекта «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования» в рамках мероприятия 10 «Создание условий для развития государственной и общественной оценки деятельности образовательных учреждений, общественно-профессиональной аккредитации образовательных программ», задача 3 «Развитие системы оценки качества образования и востребованности образовательных услуг» на 2011-2015 годы В рамках II этапа реализации проекта «Разработка и апробация модельной методологии рейтингования образовательных учреждений профессионального образования» были выполнены следующие виды работ: II.1 Апробация модельной методологии рейтингования образовательных учреждений профессионального образования, в том числе были осуществлены: II.1.1. Разработка методики и инструментария для проведения апробации методологии рейтингования образовательных учреждений профессионального образования Разработка методики и инструментария для проведения апробации модельной методологии рейтингования предусматривали проведение опросов методами анкетирования, полуструктурированных интервью и групповых дискуссий. Методика апробации предусматривает порядок проведения процедуры различными методами: метод анкетирования применяется для опроса вузов-участников апробации на предмет представления данных в соответствии с показателями, включенными в опросник; методы полуструктурированного интерью и групповой дискуссии были применены для получения качественных оценок разработанной методологии и подхода к оценке вузов на основе многомерного ранжирования от основных потребителей потребителями данных, представляемых в системах ранжирования (органы власти, ответственные за развитие образования, работодатели и кадровые агентства, разработчики отечественных статистических баз данных по российским вузам, а также руководство государственных и негосударственных вузов, ППС вузов, будущие абитуриенты и студенты, выбирающие вуз для продолжение обучения в России). В рамках мероприятии II.1.1. был разработан инструментарий для проведения: - акнетирования в вузах - полуструктурированных интервью и фокус-групп, в том числе с: - Руководством вузов (3 интервью) - Представителями органов управления образованиям (1 интервью) - Работодателями и кадровыми агентствами (5 интервью) - Представителем экспертного сообщества (1 интервью) - Абитуриентами и студентами (их родителями) (2 фокус группы) - Профессорско-преподавательским составом вузов (3 фокус группы) Для проведения запланированных опросов методами анкетирования, полуструктурированных интервью и групповых дискуссий разработаны методические памятки, комментарии и требования к проведению опросов для интервьюеров (в случае с интервью и фокус-группами) и самозаполнения (в случае с анкетированием). II.1.2. Апробация модельной методологии рейтингования образовательных учреждений профессионального образования Апробация модельной методологии рейтингования образовательных учреждений профессионального образования проходила в период с апреля по май 2012 года в соответствии с планом-графиком, предусмотренным техническим заданием. Участие в апробации приняло 103 российских вуза, что удовлетворяет требованиям технического задания проекта. 1 В рамках серии полуструктурированных интервью и фокус-групп было опрошено 40 респондентов в соответствии с характеристиками выборочной совокупности, определенными на этапе реализации мероприятии II.1.1. Данные, полученные методом анкетирования, прошли через процедуру верификации (проверки на предмет полноты и адекватности) и были подвергнуты математико-статистической обработке. В результате процедуры математикостатистической обработки данных были получены 18 типов ранжирования вузов, в том числе: 1. Ранжирование относительно функций высшего образования по типам вузов 2. Ранжирование вузов по функциям высшего образования с возможностью просмотра по категориям вузов 3. Ранжирование относительно функций высшего образования по всем вузам 4. Ранжирование относительно общей совокупности индикаторов с возможностью просмотра по типам вузов 5. Ранжирование относительно общей совокупности индикаторов по категориям вузов 6. Ранжирование относительно общей совокупности индикаторов по всем вузам 7. Рейтинг относительно функций высшего образования по категориям вузов 8. Рейтинг относительно функций высшего образования по типам вузов 9. Рейтинг относительно функций высшего образования по всем вузам 10. Рейтинг относительно общей совокупности индикаторов по типам вузов 11. Рейтинг относительно общей совокупности индикаторов по категориям вузов 12. Рейтинг относительно общей совокупности индикаторов по всем вузам 13. База данных с возможностью просмотра по типам вузов 14. База данных с возможностью просмотра по категориям вузов 15. База данных с возможностью просмотра по всем вузам 16. Ранжирование по индивидуальному запросу по типам вузов 17. Ранжирование по индивидуальному запросу по категориям вузов 18. Ранжирование по индивидуальному запросу по всем вузам Материалы интервью и фокус-групп были обработаны методами обработки качественных эмпирических данных. Анализ материалов интервью и фокус-групп осуществлялся по специально разработанной аналитической рамке, предусматривающей сравнение результатов, полученных в ходе опроса различных стейкхоледров. В результате обработки материалов качественных опросов, полученных методами полуструктурированных интервью и фокус-групп, были расшифрованы, полученные транскрипты прошли последующий анализ по специально разработанной аналитической рамке. Результаты качественного анализа будут опубликованы тексты II.1.3 Анализ результатов апробации Анализ результатов апробации осуществлялся в соответствии с типом полученных данных. Результаты анкетирования были проанализированы с помощью математикостатистических методов, в том числе: нормирования, агрегирования и рнажирования. С помощью метода статистической группировки данных для каждого из 7 типов ранжирований, рассчитанных для целей апробации, были получены три группы вузов, демонстрирующие высокие, средние и низкие значения по каждому из ранжирований. Группы лидеров были выделены внутри своих категорий и в общей выборке вузов, по отдельным направлениям (функциям) деятельности вузов внутри отдельных групп и в общей выборке, а также в рамках специального ранжирования в общей выборке и внутри отдельных категорий по 13 индикаторам глобальных рейтингов. К основным выводам по результатам анкетирования 103 вузов относятся: Лидерами среди 103 вузов по итогам общего ранжирования являются вузы категории «Национальные исследовательские университеты». Серьезную конкуренцию 2 лидерам могут составить вузы категорий «Федеральные университеты» и «МОН», а по отдельным направлениям некоторые вузы категории «Другие». Не все вузы, попавшие в группу верхних значений, являются лидерами по всем пяти направлениям: в каждой категории вузов есть свои лидеры по отдельным направлениям. Анализ верхней и средней группы по направлению «Трансфер знаний» показывает, что наравне с вузами категории «НИУ» в этот процесс активно включаются вузы всех категорий – «ФУ», «МОН» и «Другие». С течением времени данная сфера деятельности вузов сможет получить дальнейшее развитие и стать одним из конкурентных преимуществ. Тоже относится и к распределению вузов всех категорий по направлению «Взаимодействие с регионом». Наиболее значительная часть вузов от каждой категории концентрируется в средней группе. Несмотря на то, что сейчас и трансфер знаний, и взаимодействие вузов с регионами не рассматриваются большей частью вузов в качестве приоритетных (что отражено и в количестве использованных для оценки индикаторов), есть основания полагать, что с сохранением текущих тенденций в части модернизации российской системы высшего образования, их значение будет только усиливаться. Для адекватного представления достигнутых вузами результатов в части трансфера знаний и взаимодействия с регионом потребуется дальнейшая совместная работа с вузами участниками по расширению системы индикаторов оценки по данным направлениям. Апробация инструментария многомерной оценки деятельности российских вузов – важный результат процедуры апробации. Опыт комплексной многомерной оценки российских вузов показал, что ранжирования по направлениям позволяют раскрыть качественные характеристики выделенных групп вузов в каждой из категории, сделать выводы об их сильных и слабых сторонах по пяти основным направлениям работы, сравнить группы между собой, сравнить деятельность университетов внутри отдельных категорий. На основании многомерной оценки возможен качественный анализ преимуществ и недостатков развития каждого отдельного вуза и выработка на основе этого анализа обоснованных рекомендаций по укреплению потенциала российских вузов как внутри российской системы высшего образования, так и в глобальном пространстве высшего образования. Полученные результаты ранжирований вузов используются для доработки модельной методологии многомерного ранжирования российских вузов. II.2 Общественное обсуждение методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации в формате семинаров, конференции, а также организация консультаций с Международной группой экспертов (IREG) с целью аудита российской версии рейтингования вузов, в том числе были осуществлены: II.2.1. Подготовка и проведение семинаров с целью обсуждения методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации Для обсуждения методологии рейтингования образовательных учреждений профессионального образования было проведено два экспертных семинара, в том числе: - Семинар «Оценка эффективности деятельности вузов и их международное позиционирование» (Санкт-Петербург, февраль 2012 г.) Национальный фонд подготовки кадров представил в рамках семинара свой подход многомерного ранжирования российских вузов, разработанный в ответ на усиливающиеся требования, предъявляемые сегодня в отечественным вузам, как на национальном, так и международном уровне. В том числе были представлены результаты сравнительного анализа зарубежного опыта рейтингования вузов, отмечены их достоинства и недостатки, а также внесены предложения по использованию лучших зарубежных практик для построения национальной методологии рейтингования российских вузов. 3 - Семинар «Разработка методологии многомерного ранжирования российских университетов» (Москва, май 2012 г.) На семинаре были представлены предварительные результаты апробации разработанной модельной методологии многомерного ранжирования, общие результаты, достигнутые с начала реализации проекта, ключевые проблемы методологии и следующие шаги, которые предстоит выполнить до 2013 года. II.2.2. Подготовка и проведение конференции с целью обсуждения методологии рейтингования образовательных учреждений профессионального образования и результатов ее апробации Научно-практическая конференция «Перспективы применения модельной методологии ранжирования российских вузов», организованная Национальным фондом подготовки кадров, состоялась 24 сентября 2012 г. в Центре международной торговли в Москве. Конференция явилась важным этапом проекта и привлекла внимание профессионального и университетского сообщества, средств массовой информации и широкой общественности в целом. В мероприятии приняли участие 70 человек, среди которых были представители Министерства образования и науки РФ, ректора и проректора федеральных, национальных исследовательских университетов, государственных и негосударственных вузов, представители академического сообщества, СМИ и аккредитационных агентств России и Казахстана. В рамках конференции состоялось общественно-профессиональное обсуждение результатов апробации модельной методологии многомерного ранжирования российских вузов. Участники конференции высказали свои комментарии, замечания и рекомендации в отношении разработанного подхода к многомерной оценке деятельности российских вузов, выразили готовность дальнейшего сотрудничества и обсудили возможные пути доработки методологии. По мнению участников конференции, многомерная оценка вузов, представленная модельной методологией ранжирования, позволяет проводить сопоставительный анализ деятельности вузов по различным направлениям деятельности и вырабатывать на основе этого анализа обоснованные рекомендации по укреплению потенциала российских вузов как внутри российской системы высшего образования, так и в глобальном пространстве высшего образования. Участники конференции подтвердили, что методология ранжирования российских вузов может являться действенным инструментом оценки вузов, сравнения их между собой, бенчмаркинга и повышения конкурентоспособности. По итогам апробации и общественно-профессиональных консультаций проект модельной методологии многомерного ранжирования российских вузов, в частности инструментарий многомерного ранжирования, дорабатывается с учетом рекомендаций профессионального сообщества. Особенное внимание уделяется системе использованных индикаторов, а также методам статистического анализа данных. Представление заключительных результатов проекта состоится на международной конференции в апреле 2013 года. II.2.3. Разработка документации для аудита Международной группой экспертов (IREG) российской версии рейтингования вузов Обеспечить сопоставимость модельной методологии ранжирования российских вузов с подходами глобальных ранжирований и рейтингов вузов является одной из главных принципов разрабатываемой методологии. В ходе работы данный принцип был реализован в виде включения набора индикаторов международных подходов в национальную систему ранжирования с предварительной оценкой их релевантности для российских вузов и задачам развития отечественной высшей школы. На текущем этапе в предлагаемый проект системы ранжирования включены 12 международных показателей, которые, с одной стороны, призваны обеспечить сопоставимость результатов апробации с основными глобальными методологиями рейтингования вузов (ARWU, OS, THE), а, с 4 другой – выступить стимулами развития и интеграции в международное исследовательское пространство для российских вузов. Международное сотрудничество в рамках проекта осуществляется в виде продвижения разрабатываемого национального подхода на международных и отечественных экспертных площадках. Особое значение для разработчиков проекта имеет сотрудничество с представителями Международной экспертной группы по качеству ранжирований IREG. IREG является единственной международной организацией, оценивающей качество как национальных, так и глобальных систем ранжирований вузов. Эксперты IREG осуществляют консультирование российской команды исследователей, работающих над проектом, по вопросам качества разрабатываемой методологии. Подключение команды IREG к разработке национальной методологии ранжирования вузов – уникальный случай в международной практике, поскольку международная группа экспертов, прежде всего, призвана оценивать качество уже разработанных методологий ранжирования. На этапе разработки национальной методологии ранжирования вузов разработчики стремятся учесть требования качества, которые предъявляют международные эксперты к сложившимся системам оценки, для того чтобы предупредить возможные просчеты в методологии и обеспечить качество своей системы «на входе». Следует отметить, что получить знак качества IREG национальная методология сможет только по прошествии не менее двух лет активного существования. II.3. Доработка модельной методологии рейтингования образовательных учреждений профессионального образования на основании общественного обсуждения методологии рейтингования образовательных учреждений профессионального образования, в том числе была осуществлена: II.3.1. Доработка модельной методологии рейтингования образовательных учреждений профессионального образования на основании общественного обсуждения методологии рейтингования образовательных учреждений профессионального образования По итогам общественно-профессиональных обсуждения результатов апробации и проекта в целом эксперты сформулировали ряд рекомендаций по доработке модельной методологии многомерного ранжирования. Обобщая рекомендации, возможно выделить несколько направлений, в которых предстоит дорабатывать представляемую методологию, в том числе: 1. Корректировка системы индикаторов, в том числе перегруппировка и выделение ядра индикаторов для построения рейтинга вузов. 2. Вариативность методов построения ранжирований и рейтинга. 3. Разработка системы весовых коэффициентов для ядра индикаторов, применяемых для построения рейтинга российских вузов. 4. Разработка предложений для проведения качественных репутационных опросов студентов о качестве и условиях обучения в вузе и работодателей о качестве подготовки выпускников. 5. Продолжение работы по выработке наиболее релевантного подхода к классификации российских вузов при проведении многомерного ранжирования и построения рейтинга российских вузов. 6. Совершенствование формы представления результатов ранжирования и рейтинга, в том числе разработка предложений по созданию портала национальной системы многомерного ранжирования. 7. Продолжение работы по выработке индикаторов оценки, сопоставимых в международном масштабе, главным образом, для построения на основе БД многомерного ранжирования рейтинга российских вузов. 5 Данные направления работы частично решаются в настоящее время в рамках мероприятия настоящего проекта. Другие перспективные направления работ по созданию национальной системы многомерного ранжирования российских вузов будут решаться по мере появления дополнительных возможностей для их реализации. II.4. Разработка рекомендаций по применению модельной методологии рейтингования образовательных учреждений профессионального образования, в том числе была осуществлена: II.4.1. Разработка рекомендаций по применению модельной методологии рейтингования образовательных учреждений профессионального образования Методология многомерного ранжирования может быть использована для реализации национального подхода к оценке деятельности вузов, учитывающей многообразие национальной системы высшего образования и обеспечивающей всестороннюю оценку качества высшего образования в России. Методология должна совершенствоваться как инструмент оценки и сравнения вузов между собой, бенчмаркинга и повышения конкурентоспособности, планирования и стратегического развития российских вузов. Полученная система индикаторов должна формировать вектор развития системы высшего образования в России с учетом задачи обеспечения конкурентоспособности российских вузов в международном пространстве. Методология может быть использована как инструмент продвижения российских вузов в глобальное образовательное пространство на основе формирование доверия к объективности и надежности результатов ранжирования у российских и зарубежных пользователей. Методология может быть использована как инструмент продвижения российских вузов в глобальных рейтингах в результате включения индикаторов, сопоставимых с индикаторами зарубежных и глобальных рейтингов. Следующие практические шаги: Продолжить совершенствование методологии, в том числе, сокращение количества индикаторов за счет «входных» индикаторов, уточнение формулировок по отдельным индикаторам, уточнение весов направлений и индикаторов. Использовать результаты ранжирования как инструмент стратегического развития университетов, формируя для каждого вуза - участника индивидуальные профили с анализом сильных и слабых сторон, их места в системе по каждому направлению деятельности и по ключевым индикаторам. Доработанная методология должна пройти экспертную оценку на соответствие критериям Международной экспертной группы по ранжированию (IREG). Следует продолжить при поддержке Министерства образования и науки России работу по оценке деятельности вузов на основе методологии многомерного ранжирования в дальнейшем, определив периодичность сбора и обработки данных (раз в год). Рассмотреть возможность дополнения количественных оценок качества деятельности вузов качественными оценками на основе опросов преподавателей, студентов и работодателей. По итогам двух открытых публикаций результатов ранжирования провести аудит методологии на соответствие критериям Международной экспертной группы по ранжированию (IREG). Использовать инструментарий ранжирования российских вузов для создания региональной системы ранжирования вузов на пространстве Евразийского экономического сообщества и его партнеров (Армения, Молдова, Украина). Использовать инструментарий и опыт ранжирования российских вузов для создания в партнерстве с Международной экспертной группой по ранжированию (IREG) 6 международного рейтинга, выделив ядро индикаторов, релевантных для зарубежных и российских университетов, а также различных групп пользователей. Представить итоговые результаты проекта по разработке и апробации модельной методологии рейтингования образовательных учреждений профессионального образования на международной конференции в мае 2013 года. 7
