Требования Рособразования по расчету показателей

Рейтинги университетов.
Что это? Зачем они?
Какие и сколько?
Ирина Разумова
Консорциум НЭИКОН
razumova@neicon.ru
Вятка, ВятГУ, октябрь 2009
Вятка, оетябрь 2009
Международные и национальные
рейтинги университетов как механизм
оценки научной деятельности:
альтернатива или дополнение
к индексам цитирования?
Ирина Разумова
Консорциум НЭИКОН
razumova@neicon.ru
Science Online в Крыму, июнь 2009
Вятка, оетябрь 2009
СИСТЕМА БИБЛИОМЕТРИЧЕСКИХ
ИНДИКАТОРОВ ВУЗОВ
Как внедрить и не навредить
Владимир Владимирович Писляков
к.ф.-м.н.
зам. директора по управлению электронными ресурсами
Библиотека ГУ-ВШЭ
http://library.hse.ru
pislyakov@hse.ru
SCIENCE ONLINE: электронные информационные ресурсы для науки и образования
Мармарис, 2009
Вятка, оетябрь 2009
А У ВАС СПРАШИВАЛИ
СРЕДНИЙ ИНДЕКС
ЦИТИРОВАНИЯ ?
Как правильно задать этот вопрос
и проанализировать ответы вузов
Владимир Владимирович Писляков
к.ф.-м.н.
зам. директора по управлению электронными ресурсами
Библиотека ГУ-ВШЭ
http://library.hse.ru
pislyakov@hse.ru
День SCIENCE ONLINE на Крымской конференции
Вятка,
оетябрь
2009
Судак,
2009
Почему вдруг? Письмо о ФОТ и
индикаторе, 17 октября 2009 г.
В связи с постановлением Правительства Российской Федерации
от 5 августа 2008 г. № 583 и требованиями Федерального
агентства по образованию по порядку и выполнения работ по
распределению централизованной части фонда оплаты труда
(далее - ФОТ), все университеты должны представлять
информацию по следующему индикатору
http://www.kpmo.ru/kpmo/info/nsotdocs.html
Вятка, оетябрь 2009
Зачем? Чтобы делить деньги.
Бегущая строка на сайте...
Внимание!!! Всем федеральным
учреждениям
необходимо заполнить данные,
необходимые для
распределения Рособразованием
централизованной части
ФОТ до 1 декабря 2008 г
Вятка, оетябрь 2009
Что нас спросили?
(письмо № 2527/12-16 от 17.11.2008)
• «Средний индекс цитирования у преподавателей
вуза» (п. 8)
• «Количество работающих в вузе профессоров,
находящихся на основной работе в другом вузе,
имеющих индекс цитирования, больший, чем в п. 8»
(п. 10)
Вятка, оетябрь 2009
Что мы переспросили?
• Основываясь на какие документы и пр. можно приводить
данные по п. 8 «Средний индекс цитирования у
преподавателей вуза» (и 10, соответственно).
Данные про индекс цитирования заполняются в том случае, если
имеются сведения о международном индексе (Шанхайский, Таймс)
• Что такое цитирования у преподавателей?
Данные про индекс цитирования заполняются в том случае, если
имеются сведения о международном индексе (Шанхайский, Таймс)
• Исчисляется ли средний индекс цитируемости
преподавателей вуза самим вузом или же необходимо за
основу взять соответствующую информационную базу, в
которой указаны наиболее цитируемые авторы. Какая эта
база?
Данные про индекс цитирования заполняются в том случае, если
имеются сведения о международном индексе (Шанхайский, Таймс)
• Средний индекс цитирования у преподавателей вуза: Как его
Указывать данные, только если есть сведения
рассчитать?
Вятка,
2009
прооетябрь
международный
ИЦ (шанхайский, Таймс)
А дальше определение забыто.
Кроме того появляется
упоминание о рейтингах…
«При расчёте индексов
цитирования необходимо
брать данные о
международных индексах
цитирования (Шанхайский,
Таймс). При их наличии.»
Вятка, оетябрь 2009
Полнейшая абракадабра.
Поэтому начнем еще раз…
 Что
же такое индикаторы,
индексы цитирования, и
рейтинги ?
Под индексом цитирования
понимается база данных…
Вятка, оетябрь 2009
Какие бывают базы....
Продовольственная
база – там лежит
продовольствие
Военная база –
там военные
Индексы цитирования: там лежат статьи и
цитаты на них. Российская база– РИНЦ,
международные: Web of Science, Scopus,
Google Scholar
Вятка, оетябрь 2009
Какую информацию можно
получить из этих баз, то есть,
индексов цитирования ?

Данные по публикационной активности

Данные по цитированию публикаций
Вятка, оетябрь 2009
На основании этих данных
расчитываются индикаторы
Индикаторы – это цифры. Они бывают разные
и используются, например, в:

Системе распределения ЦТ ФОТ
Национальных системах аттестации
университетов и НИИ

а также для

Определения рейтингов
Вятка, оетябрь 2009
…so much for that.
Что необходимо указать в методологии для
получения внятного библиометрического
индикатора?
• Базу данных, по которой ведется подсчет
• Тип(ы) публикаций, которые учитываются
• Временной промежуток-1: когда выходят
оцениваемые публикации
• Временной промежуток-2: на каком интервале
времени учитывается цитирование
оцениваемых публикаций
• Календарное время (месяц) предоставления
индикатора для отчета вуза
Вятка, оетябрь 2009
Отступление простое
о временных промежутках
Только годы и только
календарные!
(так устроены БД цитирования)
Вопрос М.В. Кузнецовой: «Данные по научной деятельности
предоставляются в Рособразование по календарному году.
Сведения по объемам НИР за указанный период можно,
конечно, вычленить, но ни одному официальному
документу они соответствовать не будут. Как быть?»
— «Все данные должны быть предоставлены
за отчетный период»
Вятка, оетябрь 2009
Отступление напрасное
о терминологии
Как называть показатель цитирования?
• индекс цитирования?
результат неверной кальки с английского: «citation index»
— это база данных, а не показатель; + почему суммарный,
валовой показатель стал «индексом»?
• в зависимости от того, что оцениваем:
— цитируемость (суммарная), число цитирований, число
ссылок;
— средняя цитируемость статьи, число ссылок на статью;
— импакт-фактор (для журналов).
Вятка, оетябрь 2009
Наше предложение
1. основной индикатор
• База данных: Web of Science (документы:
SCIE+SSCI, цитирования из всей базы)
• Тип(ы) публикаций: все, с дополнительным
выделением Article+Review+Proceedings Paper
• Сколько публикаций вышло за последние
5 лет (2004–2008)
• Сколько цитирований они получили за те же
самые 5 лет (2004–2008)
• Считать не ранее сентября следующего за
учитываемым интервалом года
Вятка, оетябрь 2009
Наше предложение
2. «оперативный» индикатор
• База данных: Web of Science (SCIE+SSCI)
• Тип(ы) публикаций: все, с дополнительным
выделением Article+Review+Proceedings Paper
• Сколько публикаций вышло за последний год
(2008)
• Средний («средневзвешенный») импактфактор журналов, в которых выходили эти
публикации (IF-2008)
• Считать не ранее июля следующего года
Вятка, оетябрь 2009
Самое сложное в анализе —
кроссдисциплинарное сопоставление
• Сравнение с цитируемостью на статью для
вузов той же дисциплинарной направленности
• Сравнение с цитируемостью, например, всех
российских ученых (желательно работающих
в той же отрасли)
• Для оперативного индикатора — сравнение со
средним (или медианным) импакт-фактором
журналов той же дисциплины
Вятка, оетябрь 2009
Письмо 2008 г. о распределении
ЦЧ ФОТ

Данные о количестве публикаций в Российских
изданиях учитывают только публикации в
ваковских изданиях.

Индикатор - количество цитирований
сотрудников вуза в двух международно
признанных индексах цитирования Science
Citation Index Expanded и Social Sciences Citation
Index, входящие в состав базы данных Web of
Science (WoS).
Вятка, оетябрь 2009
Письмо от 17 октября
2008 года и показатели
цитируемости ВУЗов.
Как их надо считать? …
Вятка, оетябрь 2009
Вопросы
•
Какие параметры (индикаторы) будем
определять ?
•
По какому источнику будем считать?
•
Какие публикации будем рассматривать ?
•
За какое время будем считать?
Вятка, оетябрь 2009
Ответы
•
Будем подсчитывать число статей, опубликованных в
ВУЗЕ и число цитат, полученных на эти статьи.
•
Индикаторы будем определять по данным базы Web
of Science (SCIE, SSCI).
•
Будем учитывать все публикации в журналах WoS и
полученные цитирования за 5 истекших лет.
Вятка, оетябрь 2009
Комментарии
число статей, опубликованных в ВУЗЕ за 5 истекших лет и
число цитат, полученных на эти статьи.
Внимание! Нельзя определять полное число статей за все годы и
отсортировать их по годам. В этом случае вы получите
данные о числе статей, появившихся в базе в таком-то году, а не
число опубликованных в этом году статей.
Нельзя получить данные о цитировании всех статей организации
и отсортировать цитаты по годам. Вы получите данные о
цитировании в таком-то году ВСЕХ статей организации. А надо
данные о цитировании статей, вышедших за 5 последних
истекших лет.
Вятка, оетябрь 2009
Комментарии
Индикаторы будем определять по данным базы Web
of Science (SCIE, SSCI).
Почему Web of Science ?
Потому, что так считают во всем мире.
Потому, что так просит Рособраз.
Внимание! Нельзя использовать данные из Скопуса,
если требуются данные по Web of Science.
Это разные базы с разными списками журналов. Причем
для многих издательств в Скопусе журналов
расписывается больше, но для некоторых МЕНЬШЕ
(AGU, MIT…)
Поэтому иногда индикаторы, расчитанные по Скопусу
будут ниже (ЮФУ, ФТИ им Иоффе…)
Вятка, оетябрь 2009
Организация
МГУ
Scopus,
все годы
2664
WoS,
20002009
2345
Ранг,
Scopus
1
Ранг,
WoS
1
ФТИ им Иоффе
1107
1760
2
2
СПБГУ
770
944
3
3
Институт общей физики РАН
482
618
4
3
Институт физики полупроводников СО РАН
599
554
3
3
Институт кристаллографии им. Шубникова РАН
397
468
4
4
Институт проблем химической физики РАН
558
463
3
4
Институт катализа им. Борескова СО РАН
499
449
4
4
Институт физики твердого тела РАН
448
405
4
4
Институт неорганической химии СО РАН
259
348
5
4
Институт химической физики РАН
409
344
4
4
ГОИ им. С.И. Вавилова
323
319
4
4
РНЦ "Курчатовский институт"
293
280
5
5
Институт физики металлов УрО РАН
346
277
4
5
ОИЯИ, Дубна
260
231
5
5
Институт физической химии им. Карпова (ГНЦ)
244
204
5
5
Физический институт им. П.Н. Лебедева РАН
Вятка, оетябрь 2009
209
454
4
5
Комментарии
Индикаторы будем определять за 5 истекших
календарных лет.
Почему 5 ?
Потому, что за год считать бессмысленно, количество
цитат будет практически равно 0.
Потому, что так считают в общепризнанной во всем мире
базе ESI.
Почему календарных, а не учебных?
Потому, что в WoS можно считать только по
календарным годам.
Почему истекших?
Потому, что некоторые статьи текущего года появятся в
базе в следующем году. Особенно это касается
статей из российских журналов.
Вятка, оетябрь 2009
Комментарии
TS=((CU=Russia OR CU=(Russian
Federation) OR CU=USSR)) and (ad= (St
PETERSBURG STATE UNIV) and
(ad=Petersburg OR ad =(198504 OR
199034))) AND PY=2004-2008
Databases=SCI-EXPANDED, SSCI
Timespan=All Years.
5137
Вятка, оетябрь 2009
Комментарии
More options Analyse Results Create Citation Report
Author(s): Perepelkin KE, Makarova RA, Dresvyanina EN, et
al.
Source: FIBRE CHEMISTRY Volume: 40 Issue: 5 Pages:
406-414 Published: SEP 2008 .
5137
Вятка, оетябрь 2009
Комментарии
More options Analyse Results Create Citation Report
Author(s): Perepelkin KE, Makarova RA, Dresvyanina EN, et
al.
Source: FIBRE CHEMISTRY Volume: 40 Issue: 5 Pages:
406-414 Published: SEP 2008 .
5137
Вятка, оетябрь 2009
Спасибо за внимание
Ирина Разумова
консорциум НЭИКОН
Санкт-Петербург
razumova@neicon.ru
www.neicon.ru
Вятка, оетябрь 2009