Российский подход к ранжированию ведущих университетов мира

Донецкая С.С. // ЭКО. – 2009. - № 8. – C. 137 – 150.
РОССИЙСКИЙ ПОДХОД К РАНЖИРОВАНИЮ ВЕДУЩИХ
УНИВЕРСИТЕТОВ МИРА
В феврале 2009 г. рейтинговое агентство «РейтОР» опубликовало
российский рейтинг ведущих университетов мира, который, по мнению
разработчиков, позволяет всесторонне оценить качество обучения в
университетах, а также лучше представить российские вузы в глобальном
образовательном пространстве.
Между тем российская методология ранжирования университетов
небезупречна. В чем слабости нового рейтинга? Чем отличается российский
подход к ранжированию вузов от зарубежного? На эти вопросы попытался
ответить автор статьи.
История создания российского рейтинга ведущих университетов мира
Первый рейтинг ведущих университетов мира был разработан в 2003 г.
Институтом высшего образования (Institute of Higher Education) Шанхайского
университета (Shanghai Jiao Tong University) для оценки уровня отставания
китайских университетов от ведущих вузов мира по качеству обучения и
масштабам научных исследований. В основу оценки положены следующие
показатели: важнейшие международные премии и награды; выдающиеся научные
деятели, работающие в важных областях исследований; статьи, опубликованные в
известных периодических изданиях и/или вошедшие в крупнейшие индексы
цитируемости 1 .
В основе рейтинга газеты «The Times» QS-THES (2004 г.) – мнение
академического сообщества и работодателей о вузе, индекс цитируемости
1
Международные подходы к ранжированию вузов и специальностей
http://www.reitor.ru/common/img/uploaded/content/Mirovoiy_opit1.doc
1
научных работ преподавателей, а также доли иностранных студентов и
преподавателей 2 .
В том же году появился испанский проект рейтинга сайтов университетов –
Wedometrics, основанный на концепции, что интернет=сайты лучше всего
отражают результаты научной и образовательной деятельности университетов.
Оценка
проводится
по
числу
страниц
сайта,
покрываемых
основными
поисковыми системами; количеству уникальных внешних ссылок и уникальных
файлов, размещенных на сайте и ссылок на сайт университета, полученных с
помощью поисковой системы Google Scholar 3 .
С помощью рейтинга Тайваньского Совета по оценкам и аккредитации в
сфере высшего образования (Higher Education Evaluation and Accreditation Council
Taiwan) (2007 г.) предполагалось получать сравнительную оценку научной
деятельности вузов на основе анализа цитирования научных публикаций 4 .
Поскольку первые рейтинги уже прошли апробацию, именно на них
международное университетское сообщество обращает больше внимания, и они
же являются предметом критики со стороны ведущих российских вузов.
Главный недостаток рейтингов, с точки зрения отечественных критиков, –
отсутствие в них российских университетов. Причин тому несколько 5 .
«По мнению идеологов нового рейтинга – из Московского госуниверситета
им. М.В. Ломоносова и независимого агентства
«РейтОР», существующие
рейтинги ведущих университетов мира не учитывают ключевую категорию —
качество образования. Именно поэтому позиции вузов России год от года
ухудшаются. Например, в шанхайском рейтинге МГУ не поднимался выше 66=го
места, а СПбГУ находится лишь в четвёртой сотне» 6 . Зарубежные рейтинговые
2
Ince Martin. Fine-tuning puts picture in much sharper focus // The Times Higher education Supplement. 2005.
October. 28. Р.6–7.
3
Российский рейтинг ведущих университетов мира. Брошюра АНО НРА «РейтОР». 2009. – 78 с.
4
Артюшина И.А., Шутилин В.А. Рейтинги вузов в России и мире // Высшее образование в России. 2009. №
2. С. 15– 8.
5
Как посчитать качество образования // Эксперт. 28.01.08
(http://www.reitor.ru/ru/news/agency_news/index.php?id19=341).
6
Мировой рейтинг вузов: российская версия (http://strf.ru/organization.aspx?CatalogId=221&d_no=14080).
2
методики
нацелены
преимущественно
на
оценку
исследовательской
деятельности, научных достижений университетов. Естественно, в этом случае
российские и экс=советские вузы, длительное время функционировавшие в
условиях жесткого разделения образования и науки, проигрывают в споре с
вузами развитых стран.
«В то же время для российских университетов, в отличие от западных
аналогов, именно предоставление качественного образования, соответствующего
государственным образовательным стандартам и потребностям рынка труда,
является сегодня основной задачей... Поэтому использование существующих
глобальных
рейтингов
для
оценки
конкурентоспособности
образования,
предоставляемого российскими университетами, может лишь косвенным образом
решить поставленную задачу» 7 .
Другими недостатками глобальных рейтингов, по мнению составителей
российского рейтинга, являются: «нечеткая содержательная интерпретация
рейтингов; использование ограниченного набора показателей; субъективность
подбора весовых коэффициентов показателей рейтинга и использование
ограниченного числа методов сбора данных для подсчета показателей по всем
исследуемым вузам, что существенным образом сказывается на наполняемости
этих показателей».
Рейтинг агентства «РейтОР» ведущих вузов мира (2008 г.), по мнению его
составителей, лишен указанных недостатков.
Попытаемся разобраться, так ли это. На примере российских вузов,
вышедших в зарубежные рейтинги, посмотрим, удалось ли им улучшить свои
позиции, как это обещали составители нового глобального рейтинга.
Источники информации для рейтинга агентства «РейтОР»
7
Презентация нового российского рейтинга на сайте «РейтОР»
(http://www.globaluniversitiesranking.org/index.php?option=com_content&view=article&id=47&Itemid=103).
3
По мнению составителей рейтинга, основной массив информации должен
быть получен из университетов. Поэтому осенью 2008 г. в адрес отобранных
вузов были разосланы письма с опросными листами.
Очевидно, что такой способ сбора информации имеет недостатки.
Во=первых, вузам не были отправлены инструкции с указанием, как
измерять показатели, запрашиваемые агентством. Следовательно, каждый вуз был
вправе измерить запрашиваемый показатель по своему усмотрению, что приводит
к
несопоставимости
статистических
данных
и
нарушает
требование
к
формированию статистической совокупности.
Во=вторых, рейтинговое агентство не оценивало достоверность собранной
из вузов информации (в описании методики построения рейтинга, к сожалению,
ничего об этом не сказано 8 ). А ведь многие вузы могли и приукрасить результаты
своей деятельности.
Поскольку часть ответов могла запоздать, организаторы проекта собирали
информацию о каждом университете обязательном участнике рейтинга из всех
доступных источников, в первую очередь, с сайтов университетов.
Судя по утверждению рейтингового агентства, они самостоятельно брали
необходимую им информацию с сайтов вузов. Какую именно информацию
брали, неизвестно. При большом количестве исследуемых вузов это опять
приводит к недостоверности собранной информации.
Кроме этого, на сайтах некоторых вузов размещена неполная информация
(например, из 12 классических университетов Сибирского федерального округа в
трех указаны только ведущие сотрудники). Неполная информация приводит к
искаженному расчету ряда анализируемых показателей.
«В случае отсутствия какой=либо информации о деятельности вузов
составители рейтинга пользовались:
– годовыми отчетами вузов;
8
Методика расчета нового глобального рейтинга мировых университетов
(http://www.globaluniversitiesranking.org/index.php?option=com_content&view=article&id=66&Itemid=107).
4
– данными национальных агентств, специализирующихся в сборе и
обработке образовательной статистики;
– данными рейтингов, в которых фигурируют оцениваемые университеты;
– записями наукометрической базы данных Scopus;
– данными поисковой системы Google».
К сожалению, в описании методики сбора информации ничего не сказано о
том, в каких случаях составители рейтинга прибегали к тому или иному
дополнительному источнику. Поэтому можно предположить, что отсутствие
данных восполнялось из любого дополнительного источника. Возможно, что для
разных вузов значения какого=либо показателя брались из разных источников.
Составители рейтинга, очевидно, сами решали, какую информацию следует
использовать
в
расчетах.
И
это
также
приводит
к
несопоставимости
статистических данных.
Показатели рейтинга агентства «РейтОР»
Основным недостатком зарубежных рейтингов, по мнению идеологов
российского
рейтинга
ведущих
вузов
мира,
является
отсутствие
среди
показателей рейтинга хотя бы одного, относящегося к оценке качества
образования.
Под качеством образования авторы методики расчета нового рейтинга
понимают
«комплексную характеристику, которая отражает общественное
признание вуза. Признания можно добиться за счёт качественной учебной и
научной деятельности, высокой квалификации преподавателей, востребованности
выпускников
на
рынке
труда
и
хорошего
материально=технического
обеспечения».
Обратимся к зарубежным рейтингам, опыт которых учитывался «РейтОР»,
и посмотрим, используются ли в них показатели качества образования. Как
видно из табл. 1, в шанхайском рейтинге пять показателей характеризуют
качество учебной, научной деятельностей и качество персонала (суммарный вес
5
показателей
– 90%). В
британском рейтинге QS-THES использованы три
показателя
общественного
признания
и
качества
научной
деятельности
(суммарный вес показателей – 70%). В испанском рейтинге Wedometrics также
имеется показатель качества научной деятельности преподавателей университета
(вес показателя – 12,5%).
Что касается оценки востребованности выпускников на рынке труда, то
составители зарубежных рейтингов ведущих университетов мира, очевидно, не
ставили перед собой такой цели ввиду невозможности подобной оценки в
планетарном
масштабе.
Поэтому
в
глобальных
рейтингах
отсутствуют
показатели, позволяющие оценить данную составляющую качества обучения.
Оценка
материально=технического
обеспечения
также
не
предусматривается зарубежными рейтингами, возможно, потому, что в конечном
итоге уровень материального обеспечения проявляется в научных результатах
деятельности университетов.
Таблица 1
Показатели качества образования, используемые в зарубежных
рейтингах
Показатель
качества
Общественное
признание
Рейтинг
Критерии оценки
Вес, %
Британский QS-THES
Мнение о вузе академического
сообщества
Мнение о вузе работодателей
Количество выпускников,
получивших Нобелевскую
премию или медаль Филдса
Число статей, опубликованных
в журналах «Nature and
Science» за последние 5 лет
40
Число статей, вошедших в
индексы научной
цитируемости SCIE и SSCI в
предыдущем году
20
Соотношение индекса
цитируемости и числа
сотрудников
20
Качество учебной
деятельности
Шанхайский
Качество научной
деятельности
Шанхайский
Британский QS-THES
10
10
20
6
Испанский Wedometrics
Квалификация
преподавателей
Шанхайский
Число размещенных на сайте
университета файлов,
содержащих результаты
научных работ
Количество преподавателей
вуза, имеющих Нобелевскую
премию или медаль Филдса
Количество часто цитируемых
преподавателейисследователей, работающих
в 21 предметной области
12,5
20
20
Таким образом, в каждый из зарубежных рейтингов введены показатели
качества образования, и следовательно, критика их со стороны идеологов
российского рейтинга является необоснованной.
По мнению российских идеологов, при оценке качества образования
обязательно должны быть учтены такие показатели, как востребованность
выпускников и уровень материально=технического обеспечения вузов.
Тем не менее эти показатели в российской методике отсутствуют. Почему?
По мнению агентства «РейтОР», «уровень востребованности выпускников
на рынке труда может быть оценен долей (вкладом) вуза в формирование элиты
государства через своих выпускников. В данном случае элита понимается в
достаточно
бизнес=элиты
широком
и
контексте:
академической
элиты
элиты».
государственного
Оценивать
управления,
востребованность
выпускников предполагалось с помощью сведений о «числе ныне живущих
выпускников университета, добившихся общественного признания: выдающихся
деятелей науки, культуры, бизнеса, политики, государственных чиновников,
администраторов территорий и крупных городов (с населением более 100 тыс.
чел.), крупных руководителей международных организаций (ООН, ЮНЕСКО и
др.)» 9 . Однако, поскольку далеко не все вузы обладали такой информацией,
данный показатель был упразднен.
9
Методика расчета нового глобального рейтинга мировых университетов.
7
Об уровне развития материально=технической базы вуза предполагалось
судить на основе данных об общей стоимости оборудования вуза, приравненной к
единому валютному эквиваленту. Но в конечном итоге (очевидно, по причине
отсутствия
информации)
показатель
оценивался
только
по
уровню
консолидированного бюджета, приведенного к общей численности обучающихся.
Еще одной особенностью рейтинга, по мнению агентства «РейтОР»,
«является
ориентация
на
множественность
показателей
по
каждой
характеристике, чтобы весовой коэффициент каждого из них был минимален.
Такой подход дает возможность избежать перекосов и добиться именно
комплексной оценки деятельности вузов».
С одной стороны понятно стремление агентства учесть все аспекты
деятельности университетов. Но есть, по меньшей мере, две причины сократить
исходное множество показателей: во=первых, чем меньше показателей, тем
проще процедура оценки; во=вторых, в любом рейтинге есть неинформативные
показатели (то есть применимые для незначительной части университетов или,
наоборот, одинаковые для всех университетов). Кстати, в зарубежных рейтингах
используется, в основном, пять–шесть критериев.
Какие же показатели использовало агентство «РейтОР», и удалось ли
избежать указанных недостатков?
Комплексную оценку вузов было предложено проводить по 15 показателям,
сгруппированным в шесть блоков деятельности университетов.
1. Образовательная деятельность:
– количество бакалавров, специалистов, магистров, аспирантов/докторантов вуза;
–
число реализуемых вузом образовательных программ
(бакалавриата,
специалиста, магистратуры, аспирантуры/докторантуры);
– величина приведенной численности контингента обучающихся на одного
преподавателя.
2. Научно=исследовательская деятельность:
8
– число патентов и свидетельств об открытиях, зарегистрированных
авторами вуза в 2001-2007 гг.;
−
производительность
−
индекс Хирша вуза.
вычислительного
центра
(суперкомпьютера)
вуза;
3. Профессиональная компетентность профессорско=преподавательского
состава:
−
число публикаций авторов вуза (статьи, монографии, научно-
методические пособия), вышедших в период с 2001 по 2007 гг.;
−
количество цитирований авторов вуза с 2001 г. по 2007 г.;
– число наград мирового уровня, полученных сотрудниками вуза в период с
2001 г. по 2007 г. (награды мирового уровня – Нобелевская премия, медаль
Филдса, премия Декарта, Абелевская премия, медаль имени М. В. Ломоносова
РАН).
4. Финансовое обеспечение: уровень консолидированного бюджета вуза в
2007 г. (млн дол.), приведенный к общей численности обучающихся.
5. Международная деятельность:
– членство вуза в международных академических сообществах;
– доля иностранных студентов в общей численности обучающихся.
6. Интернет=аудитория:
– web=продукция, созданная вузом в 2001-2007 гг.;
– популярность вуза в запросах поисковой системы Google в 2008 г.;
– значение Page Rank главной страницы сайта вуза на осень 2008 г.
С первого взгляда на данный перечень можно заметить, что по сравнению с
зарубежными рейтингами российский дополнен новыми показателями – это
число
патентов,
индекс
Хирша,
размер
финансирования
университета,
производительность вычислительного центра, членство вуза в международных
академических сообществах.
9
Некоторые
показатели
расширены.
Например,
при
анализе
профессиональной компетентности преподавателей учитываются не только
высокоцитируемые публикации, но также монографии и доморощенные
публикации в нерецензируемых изданиях.
Возможно, составители рейтинга не вполне понимают содержание
некоторых из предложенных показателей. Например, в блок «образовательная
деятельность» включены два дублирующих друг друга показателя: численность
обучающихся в целом и в расчете на одного преподавателя. Дублируют друг
друга также индекс цитирования, включенный в блок «профессиональная
компетентность преподавателей», и индекс Хирша – показатель научной
деятельности.
Индекс Хирша 10 – наукометрический показатель, основанный на измерении
индивидуальной цитируемости научных работ. По своей роли он близок к
индексу цитируемости, но, имея несравнимо более сложную методику расчета, не
так прозрачен, как индекс цитируемости. Очевидно, поэтому в зарубежных
рейтингах для оценки научной активности преподавателей университетов
используется только индекс цитируемости.
А был ли в действительности рассчитан индекс Хирша?
Для составления этого индекса необходимы данные о цитируемости каждой
научной публикации. Поскольку составители рейтинга не просили университеты
выслать
такую
информацию,
следовательно,
можно
предположить,
что
информация была собрана сотрудниками агентства. Однако произвести такой
учет по всем сотрудникам всех анализируемых университетов чрезвычайно
сложно (необходимо обработать точные пофамильные списки большого
количества
сотрудников).
произведенном
преподавателей
подсчете
Так
что
индекса
анализируемых
утверждение
Хирша
хотя
университетов
агентства
«РейтОР»
бы
большинства
не
для
о
представляется
убедительным.
10
Hirsch J. E. An Index to Quantify an Individual's Scientific Research Output". PNAS. 2005. Vol. 102 (46):
16569–16572.
1
Следует также заметить, что в рейтинг независимого агентства «РейтОР»
вошли как классические, так и технические и технологические университеты
(притом, что индекс цитируемости и индекс Хирша используются для оценки
научной активности исследователей, прежде всего, в области естественных наук).
Расчет данных показателей для преподавателей технических университетов
целесообразен, если помимо преподавательской деятельности они занимаются
научными исследованиями. Очевидно, что далеко не у всех преподавателей
российских технических университетов, представленных в рейтинге «РейтОР»,
есть такая возможность.
Далее составители рейтинга считают, что число патентов «прямо
характеризует исследовательский потенциал университета, силу существующих
научных школ». Но ведь по всему миру оценка научной деятельности проводится
с помощью анализа публикаций, но не патентов! Наличие патентов является
индикатором прикладных, а не академических исследований.
Еще один недостаток российского рейтинга – наличие блока показателей
«интернет=аудитория»: по данному блоку 70% анализируемых университетов
заняли
одинаковое
место.
Возможно,
данная
ситуация,
связана
не
с
используемыми показателями (которые успешно рассчитываются испанским
рейтингом), а обусловлена... непониманием сотрудниками агентства методики
расчета.
А процедура расчета показателей в методике получения рейтинга
действительно описана плохо, ничего не сказано о том, как проводился отбор
экспертов для нормирования показателей, как осуществлялось объединение
показателей
в
блоки
и
определялась
значимость
блоков.
Получается,
достоинство любого зарубежного рейтинга – прозрачность методики расчета
– в российском варианте глобального рейтинга полностью отсутствует 11 .
Результаты рейтинга агентства «РейтОР»
11
То же мнение высказал и В. Московкин в статье «От перемены мест…» (Поиск. . № 17 (1039) 2009. № 17
(1039). С. 14.
1
В рейтинге независимого агентства «РейтОР» приняли участие 430
университетов из различных стран, в том числе 69 российских вузов. В табл. 2
приведены 10 лучших российских университетов, а также показаны позиции
университетов, не вошедших в Топ-10, но упоминаемых в качестве лучших
российских университетов другими рейтингами. Итоговый ранг университетов
указан в графе 3, в графах 4–9 показаны места университетов по каждому блоку
показателей в отдельности.
Сравним эти результаты с известными зарубежными рейтингами.
В 2008 г. в щанхайском рейтинге в Топ-500 попали только два российских
вуза: Московский и Санкт=Петербургский государственные университеты
(соответственно, 70=е и 303-401=е места) 12 . В рейтинге газеты «The Times»
отмечены
пять
университетов
России:
Московский
(183=е
Санкт=Петербургский (224=е место), Новосибирский, Томский
место),
и Казанский
государственные университеты (места последних трех – с 400=го по 600=й 13 ). В
испанском рейтинге Wedometrics из 6000 университетов в Топ-1000 включены
Московский (186=е место), Санкт=Петербургский (927=е место) и Новосибирский
(949=е место) государственные университеты 14 .
Казалось бы, в новом российском рейтинге на первых местах должны быть
те университеты, которые упоминаются в зарубежных рейтингах, но этой чести
удостоены только Московский и Санкт=Петербургский. Томский университет
входит в Топ-20 лучших российских вузов, Казанский – в Топ-30, а
Новосибирский
и
того
хуже
–
только
в
Топ-40.
12
Академический рейтинг университетов мира (ARWU) – 2008
(http://www.ubo.ru/analysis/?cat=146&pub=1843).
13
QP- Top Universities (http://www.topuniversities.com).
14
World Universities’ ranking on the web (http://www.webometrics.info/top6000.asp?offset=0).
1
Таблица 2
Российские вузы в международном рейтинге «РейтОР»
№
п/п
1
1
2
3
4
5
6
7
8
9
10
13
21
32
Вуз
2
Московский государственный
университет имени М.В.Ломоносова
Московский государственный
технический университет имени
Н.Э.Баумана
Санкт=Петербургский
государственный университет
Санкт=Петербургский
государственный политехнический
университет
Московский инженерно=физический
институт (государственный
университет)
Московский физико=технический
институт (государственный
университет)
Российский университет дружбы
народов
Московский энергетический институт
(технический университет)
Московский государственный
институт международных отношений
(университет)
Кубанский государственный
университет
Томский государственный
университет
Казанский государственный
университет имени
В.И.Ульянова=Ленина
Новосибирский государственный
университет
Место в
рейтинге
Научно=исследов
ательская
деятельность
5
36
Профессиональна
я компетентность
преподавателей
6
7
Финансовое
обеспечение
Международная
деятельность
5
Образователь
ная
деятельность
4
1
7
95-104
163
91-131
55
3
349
58
284-288
341-342
132-430
84
34
320-322
46
238-246
228
132-430
115-117
68-69
423-427
51
358-371
159-162
132-430
133-134
70
333
53-54
349-357
231
132-430
176-178
166-168
320-322
57
349-357
276
132-430
262-266
91-93
401-407
373-379
333-348
25
132-430
272-273
308-309
364-366
56
333-348
338
132-430
291-292
103-107
423-427
380-430
253-264
58-59
132-430
314
26
380-382
373-379
372-386
409-410
132-430
321-322
142
327-329
347-350
349-357
270-273
132-430
344-346
99-100
346-347
341-344
333-348
382
132-430
362
339-342
344-345
357-359
333-348
261
132-430
3
Интернетаудитория
8
9
1
Некоторое несовершенство рейтинговой методики привело к тому, что
рейтинг известных в мире российских университетов понизился, но с другой
стороны, ранее неизвестные российские учебные заведения впервые были
открыты мировому образовательному сообществу.
По=видимому,
рейтинг ведущих университетов мира, составленного
агентством «РейтОР» в 2008 г., следует признать пробным исследованием,
требующим доработки. Но, в силу того, что каждый рейтинг составляется для
тех, кому неудобны уже существующие,
с большой уверенностью можно
утверждать, что методика расчета, составленная московским рейтинговым
агентством при участии «широкого круга экспертов в сфере высшего
образования», не претерпит существенных изменений.
1