Эволюция системы показателей результативности мер государственной поддержки инноваций на примере
Задереев_оценка результативности научных организаций
-
Upload
egor-zadereev -
Category
Science
-
view
152 -
download
7
Transcript of Задереев_оценка результативности научных организаций
Опыт оценки результативности
деятельности научных организаций
на примере институтов
биологического профиля
Егор Задереев
к.б.н., ученый секретарь ИБФ СО РАН
Институт биофизики СО РАН, 660036,
Академгородок, Красноярск, [email protected]
Наукометрические
показатели
Наукометрические
показатели
Оценка результативности ученых, научных групп и
организаций
Динамика результативности
Сравнение результативности
разных субъектов научной
дятельности
Стимулирующий эффект
Ориентиры деятельности
для лиц
принимающих
решения
для ученых
Наукометрические
показатели
Количество и качество публикаций
Статьи в штуках (где?)
Импакт-фактор журнала
Число цитирований статьи
Библиометрия
Производные
индекс Хирша ученого
совокупный импакт-фактор
публикаций
индекс цитирования ученого
и.т.п.
Принятие решений в области финансирования или
оценки непосредственно научных исследований.
?
Надо знать матчасть!
МОН: Какой у
вашей организации
индекс цитирования
в Google Scholar?
Google: This service
is not appropriate to
calculate citation of
an organization.
0
50
100
150
200
250
1
11
21
31
41
51
61
71
81
91
101
111
12
1
131
141
151
16
1
171
181
191
201
21
1
221
231
241
25
1
261
Nature Index
Все российские организации
ФТИ им. А.Ф.Иоффе
МГУ
СПбГУ
МФТИ
НГУ
Курчатник Чем замечателен Парето?
1. Он не объясняет кто и почему.
2. Он намекает, что в хвосте все
одинаковые.
Число публикаций
в топ журналах
0.01
0.1
1
10
1001
11
21
31
41
51
61
71
81
91
101
111
121
131
141
151
16
1
171
181
191
201
211
221
23
1
241
251
261
Взвешенный подсчет
по числу соавторовПервые шесть лидеров не
меняются
На долю первых шести
организаций (2%) приходится
30% публикационной
активности.
Помни не только про числитель, но и
про знаменатель
Число
публикаций
Фракция Взвешенная
фракция
Место
2 0.29 0.29 134 МГТУ МИРЭА
(4000 студентов, 200
аспирантов, ??? сотрудников)
2 0.27 0.27 136 Институт биофизики СО РАН
(150 сотрудников, 80 научных
сотрудников, 10 аспирантов)
Оценка организаций/групп
начало 1990-ых
Институт биофизики СО РАН
одно из последних мест среди
институтов биологического
профиля в СО РАН
Выжить или быть расформированным!
Publish or perish!
Наукометрические показатели в качестве инструмента
стимулирования результативности научных
подразделений и ученых
Через 10 лет первые места в рейтинге СО РАН
среди институтов биологического
профиля.
Институт биофизики СО РАН
Число публикаций в Web of Science
Цель ФАНО к 2018 году
(публикаций/100 исследователей)
«Биологическую» премию за 2012 год получили д.б.н.
Михаил Гладышев, д.б.н. Надежда Сущик и к.б.н. Олеся
Махутова из Института биофизики СО РАН
(Красноярск).
Система внутреннего стимулирования и оценки
ученых и подразделений в ИБФ СО РАН
Что мы использовали в разные годы?
Количество опубликованных статей, монографий, тезисов;
Импакт-факторы журналов в которых публикуются статьи;
Цитируемость статей ученых;
Участие в конференциях;
Объем и количество выигранных грантов;
Патентная активность;
Подготовка аспирантов и докторантов;
и некоторые другие.
Различные веса для российских и иностранных
публикаций
Стимулирующие коэффициенты для молодых ученых
Показатель Отклик
«участие в
конференциях»
«приглашенные
доклады на
конференциях»
Все стали ездить на
конференции в соседний
город
У всех доклады стали
приглашенными
Где статьи, Зин?
«руководство
аспирантами»
Стали появляться
аспиранты даже «без
представления»
Увеличение значений
многих «показателей»
возможно без реального
увеличения научной
результативности
Оценка результативности
прикладных и поисковых
исследований - количество объектов
интеллектуальной собственности и
объем привлеченных средств.
Результат
Оценка результативности
фундаментальных исследований -
количество и качество научных
публикаций (которые можно оценить
по импакт-фактору журнала и
цитируемости статей).
Кадровые,
финансовые,
инфраструктурные
показатели –
потенциал
организации.
Реализация
потенциала –
статьи или
патенты/деньги.
Рейтинг – индивидуальный
Финансовый стимул –
индивидуальный
Рейтинг подразделения = сумма рейтингов
сотрудников/количество сотрудников.
На что влияет рейтинг подразделения –
инфраструктура, статус.
Среднемноголетний рейтинг – информация к
размышлению для руководства
Монографии/н.с.
Статьи в отечественных журналах/н.с.
Статьи в зарубежных журналах/н.с.
Импакт-фактор публикаций/н.с.
Гранты отечественные/н.с.
Гранты зарубежные/н.с.
Доля внешних поступлений (%)
Организация международных симпозиумов (шт.)
Сотрудники до 33 лет + аспиранты/н.с.
Гос.премии и премии РАН
Рейтинг СО РАН
Принятие решений:
Экспертные (содержательные) оценки
подразделений/организаций!
Формальные показатели:
Стимулирование (люди, группы, коллективы)
Мониторинг
Информация к размышлению
Референтные группы
Институт
Научные направления
Уникальность
Сам себе референтная группа?
Институт биохимии и физиологии
микроорганизмов РАН
Лаборатория
молекулярной
микробиологии
Институт экологии и
генетики микроорганизмов
УРО РАН
Лаборатория молекулярной,
экологической и прикладной
микробиологии в СПбГУ
Институт химической
биологии и
фундаментальной медицины
СО РАН
Институт
Лаборатория
Лаборатория
Лаборатория
Лаборатория
Лаборатория
«Nature публикует и гуманитариев» (тм)
Институт биофизики
СО РАН
Лидеры среднемноголетнего рейтинга
Лаборатория фотобиологии (мол.биол)
Лаборатория гидроэкологии (водная экология)
Разные или одна референтная
группа?
Структура и состав Президиума СО РАН
Объединенные ученые советы СО РАН
ОУС по математике и информатике
ОУС по физическим наукам
ОУС по нанотехнологиям и информационным
технологиям
ОУС по энергетике, машиностроению, механике
и процессам управления
ОУС по химическим наукам
ОУС по биологическим наукам
ОУС наук о Земле
ОУС по гуманитарным наукам
ОУС по экономическим наукам
Оценка результативности:
В первую очередь
стимулирующий эффект, и лишь
потом дамоклов меч.
Средняя за несколько лет
Референтные группы:
Большие, по крупным
направлениям наук
Показатели:
Небольшое число (не
производные, а «базовые
константы»)
Удельные