prof. Ing. Jiří Málek, DrSc. - Financování české vědy, Metodika hodnocení výsledků
-
Upload
spinup-univerzita-pardubice -
Category
Documents
-
view
255 -
download
2
description
Transcript of prof. Ing. Jiří Málek, DrSc. - Financování české vědy, Metodika hodnocení výsledků
Financování české v ědy,Metodika hodnocení výsledk ů
Jiří MálekRVVI, KHV
18.4.2013
FINANCOVÁNÍ
� Stručný nástin historie� Struktura státního rozpočtu� Financování projektů� Financování institucí� Aplikovaný vs. základní výzkum� Vývoj proporcí mezi AV a univerzitami� Souvislosti s metodikou hodnocení
3
Stručný vývoj od roku 1992
� Vznik GAČR� První RVV (15.říjen 1992 )� První VaV rozpočet 1993 (~ 1,5 mld. Kč)� Po rozdělení ČSR hodnocení AVČR - redukce� Další formy projektového financování
� IGA MZd, GAAV, program na podporu mladých týmů na VŠ, atd.
� Výzkumné záměry 1999-2003, 2005 – 2009 ...11� výhody a nevýhody� odlišný přístup v rámci VŠ a AVČR
� Zákon 130/2002 Sb.� zakotvení institucionálních výdajů
� Nespecifikovaný a specifický výzkum od roku 1997� zajímavý vývoj nejen z hlediska pojmosloví
Státní rozpočet VaVaI 2013
Rozpo čet 2013
13,02313,094
Účelové
Institucionální
Financování projektů 2013Účelové výdaje 2013
25%
19%
16%13%
9%
6%4% 3% 3% 2%
GAČR
TAČR
MPO
MŠMT
MŠMT_VŠ
MZ
MV
MK
MZe
MO
AVČR
Institucionální financování
Institucionální výdaje 2013
71%
10%
19%
RVO+VZ
Nákl. činnost
Ostatní
AVCR: 1,130 mld.GACR: 0,110 mld.TACR: 0,099 mld.Govt.: 0,033 mld.
Rovoj výzkumných organizací
Výdaje na RVO+VZ 2013
48%
32%
11%1%4%
MŠMT
AVČR
AVČR_nč
MZ
MPO
MZe
MO
MK
MV
Struktura RVO
11%
12%
15%
15%5%5%5%
17%
15%
Medical & Health Sci.
Biological Sci.
Chemical Sci.
Physics
Mathematics
Earth Sci.
Agri. Sci.
Technical Sci. & IT
Social Sci. & Humanities
Vývoj financování AV a univerzit2006 - 2013
2006 2008 2010 2012 2014
2,5
3,0
3,5
4,0
4,5
5,0
5,5
RV
O +
VZ
(m
ld. Kč)
Univerzity AVČR (včetně NČ )
rok
Celostátní vývoj po čtu publikacív impaktovaných časopisech
1980 1984 1988 1992 1996 2000 2004 2008 20122000
4000
6000
8000
10000
12000
14000
16000
18000
bodování
zákon130/2002
S lovensko ČR Č eskos lovensko
Pub
likac
e
rok
Vývoj v rámci institucí1980 - 2010
1980 1985 1990 1995 2000 2005 2010
2000
4000
6000
8000
10000
12000
14000
Impa
ktov
ané
publ
ikac
e
rok
CR & U niv Country CR & Acad Sci
Vývoj po čtu citací1980 - 2010
1 9 8 0 1 9 8 5 1 9 9 0 1 9 9 5 2 0 0 0 2 0 0 5 2 0 1 0
2 0 0 0 0
4 0 0 0 0
6 0 0 0 0
8 0 0 0 0
1 0 0 0 0 0 C o u n try C R & U n iv C R & A c a d S c i
ro k
Poč
et c
itací
Essential Science Indicators(THOMSON REUTERS)
� Kategorizuje citace na 9 mil. publikací zveřejněných za posledních 10 let v rámci časopisů indexovaných na Web of Science
� Tyto práce jsou rozděleny na 22 oborů (FIELDS) podle časopisů, kde jsou uveřejněny
� Jsou vybrány pouze nejvíce citované práce, jejichž autoři a instituce jsou seřazeny podle počtu získaných citací(ALL FIELDS)
Instituce v ČR (2000 – 2010)
# Institution Citation /paper
h-index
214 Acad. Sci.. 9,19 -
402 Charles Univ. 11,29 -
938 Masaryk Univ. 7,15 57
1446 Palacky Univ. 6,98 50
1590 Univ. S. Bohemia 7,68 46
1689 Inst. Chem. Technol. 5,82 44
1838 Czech. Tech. Univ. 4,40 50
2075 Univ. Pardubice 6,56 36
3601 Univ. W. Bohemia 4,60 25
HODNOCENÍ
� Lze hodnotit vědu ? Jak se hodnotí ve světě ?� Můžeme hodnotit produktivitu institucí ?� Legislativní rámec� Minulost a současnost Metodiky hodnocení� Proč potřebujeme změnu ?� V čem změna spočívá ?
16
Lze hodnotit v ědu ?
� Opravdovou vědu jen velmi obtížně� hodnotné výsledky se často ztrácejí v balastu� často nevyhovují zavedeným kategoriím� kvalita lidí se obvykle pozná až začnou chybět� rutina versus originalita
� Pokud však chceme alespoň trochu spravedlivě rozdělit peníze, tak hodnotit prostě musíme
17
Jak se hodnotí v ěda ve sv ětě
� Lesk a stíny světových žebříčků univerzit(US News &World Report, THES, Shanghai Jiao Tong)
� Lze podle těchto žebříčků financovat ?
� Britský „Research Assessment Excercise“
� Lombardiho projekt měření univerzitní výkonnosti v USA (výdaje, ocenění, PhD, PostD, SAT)
� Nesrovnatelnost měřítek a zvyklostí …
18
Publika ční produktivita institucí *
0 100 200 300 4000
5
10
15
20
25
AVCR
MIT
Harvard
Princeton
UK
Stanford
Duke
UCLA
ColumbiaYale
TUM
Oxford
Cornell
CSIC
2001 - 2005P
ublik
ace
/ AP
Roční dotace VaV / AP (tis. USD)
ČR
České okénko
0 2 0 0 4 0 0 6 0 0 8 0 0 1 0 0 0 1 2 0 00 ,0
0 ,5
1 ,0
1 ,5
2 ,0
2 ,5
3 ,0
3 ,5
U K
M U
V S C H T
U P
J C UU P A
C V U TM Z L U
V U T
C Z U
V S B -T U
V F U
Z C U
S U
U J E PU H KU T BT U L
A V C R
2 0 0 1 - 2 0 0 5
publ
ikac
e / A
P
D o ta c e V a V / A P ( tis . K č )
Technické VŠ
Šířeji zaměřené VŠ
Legislativní rámec (zákon 130/2002 Sb.)
� Zákon jasně říká, že návrh výdajů na institucionální podporu je členěn podle VO §5a (odst. 1, písm. a)
� Institucionální podporu poskytne následně poskytovatel výzkumné organizaci na základě zhodnocení jí dosažených výsledků
� Postup tohoto zhodnocení výsledků je pro výzkumnou organizaci zcela konkrétně předepsán dle §6 (odst. 2, písm. c)
Metodika hodnocení výsledků VO(prováděcí předpis vyplývající ze Zákona)
� Přípravu Metodiky a její předložení vládě zabezpečuje RVVI (§35, odst 2, písm. c)
� RVVI následně provádí též hodnocení výsledkůvýzkumných organizací podle platné Metodiky (§35, odst 2, písm. d)
� RVVI následně promítá výsledky hodnocení do návrhu výdajů státního rozpočtu na výzkum a vývoj a to konkrétně do výše institucionální podpory VO dle §5a, §6 (odst. 2, písm. c) a §7 (odst. 6)
Jak probíhalo hodnocení výsledk ů výzkumných organizací ?
� Od roku 2004 jsou ročně publikována bodová hodnocení VO na základě RIV dle postupu definovaného v Metodice hodnocení výsledků VO …
� V letech 2010 - 2011 probíhal v souladu se zákonem přechod ze systému výzkumných záměrů na systém každoročního průběžného hodnocení na základě Metodiky (vždy za 5 let)
� Rok 2012 byl již plně financován podle nového systému na základě Metodiky
� Rozpočet na letošní rok na úrovni poskytovatelů přihlíží pouze z 20% k Metodice. V příštím roce se zřejmě bude postupovat obdobně
K čemu slouží Metodika ?
� Metodika je vhodná pro rozdělení institucionální podpory mezi poskytovatele
� Už méně se hodí pro rozdělení podpory mezi VO v rámci poskytovatelů
� Je zcela nevhodná pro hodnocení malých výzkumných skupin a jednotlivců
Proč nová Metodika ?
� Je třeba respektovat Zákon a naplnit povinnosti RVVI dané §35
� Současná Metodika (2010-2012) je oprávněně kritizována pro některé zřejmé nedostatky
� Zřejmě nelze čekat na výsledky projektu IPN Metodika, které budou v implementovatelné podobě k dispozici nejdříve v roce 2016 (spíše však později)
� Je tedy asi vhodné připravit upravenou podobu současné Metodiky (M13), která bude platit po dobu přechodného období
Východiska
� Národní politika VaVaI (opatření A 3-1)
� IPN Audit VaVaI (závěrečná zpráva, bod 7)
� Dlouhodobé principy hodnocení VO (strategický materiál RVVI z roku 2010)
� Princip 1: Předpokládá se vznik velkého hodnocení, které bude výsledkem projektu IPN …„Do doby, než vznikne bude fungovat malé hodnocení, probíhající každoročně na základě sběru dat v IS VVI“
Základní principy M13
� Peer-review hodnocení výsledků ve společenských a humanitnich vědách
� Hodnocení kvality výsledků, které VO vyberou jako své nejlepší
� Aplikační výzkum bude hodnocen podle patentů a podílu VO na zdrojích získaných v grantových soutěžích
Pilíř I� Kombinace stávajícího systému hodnocení podle numerických
indikátorů s prvky peer-review
� Numerickými indikátory se budou hodnotit obory, ve kterých je tento způsob obecně uznávaný
� Peer-review bude hrát významnější roli v oborech (SHV), kde jako výsledky převažují knihy nebo časopisy, které nejsou zahrnuty ve světově akceptovaných databázích (subpilíř I)
� Bodová hodnota patentů se sníží: 100-50-20
� Pro vybrané obory je navrženo zařazení časopisů z databáze SCOPUS
� Metodika bude oddělena od přípravy SR
� Hodnocení bude probíhat v rámci oborových skupin, tak jako doposud
Oborové skupiny
1.Společenské a humanitní vědy A, B, C2.Technické vědy a informatika3.Matematické vědy4.Fyzikální vědy5.Chemické vědy6.Vědy o zemi7.Biologické vědy8.Zemědělské vědy A, B9.Lékařské vědy
Subpilíř I� Verifikace a hodnocení všech uplatněných výsledků v kategoriích
B, C a JREC ve struktuře panelů oborových skupin pro společenské, humanitní a umělecké vědy
� Splnění základních kritérií bude hodnoceno 5 (2), nesplnění -20 (-8) body
� Každý výsledek hodnotí 3 hodnotitelé v rámci odborných hodnotících a verifikačních panelů a rozřadí do 3 kategorií, číselná vyjádření se sčítají (3 – 9)
� Bodová hodnota se pohybuje v intervalu 5 (2) – 180 (40)
� Výsledné bodové hodnocení a slovní zdůvodnění se zveřejní v RIV
� Při ustavování (sub)panelů se bude přísně dbát na (i) vyloučení konfliktu zájmů, (ii) vysokou odbornost hodnotitelů v daném oboru, (iii) posouzení každého výsledku několika hodnotiteli, (iv) koordinaci uplatňování kritérií napříč (sub)panely, (v) transparentnost.
� Hodnocení bude rozložedno do 2 let. Logistika a procesy verifikací a hodnocení budou předem ověřeny (na již uplatněných výsledcích)
Pilíř II� Každá VO (univerzity po fakultách) vybere určitý počet libovolných
výsledků v RIV, které sama považuje za kvalitní (včetně oborové skupiny kde má být výsledek posuzován)
� Oborové skupiny budou stejné jako v pilíři I
� Bude určena kvóta pro počet výsledků vybraných danou VO k expertnímu posouzení, (např. jeden výsledek na každých 10 MKč instit. podpory)
� K danému výsledku VO dodá zdůvodnění, proč jej považuje za kvalitní (citace, komercionalizace, výrazné ovlivnění oboru, atd.).
� Výsledky budou posouzeny expertními panely v rámci oborových skupin napříč všemi VO a v každé skupině bude vybráno 20% nejlepších výsledků
� Budou stanovena pravidla pro míru příspěvku dané VO k danému výsledku (pokud půjde o výsledek více institucí)
� Tomuto indikátoru bude alokováno 10% z celkového počtu bodů, které se budou mezi VO přerozdělovat na základě expertního posouzení výsledků
� Určitý počet bodů bude přiznán VO, jejíž pracovníci v uplynulém pětiletém období uspěli v získání ERC grantu
Pilíř III� V rámci tohoto pilí ře je navržen postup ve dvou krocích. Nejprve budou
zohledn ěna bodová ohodnocení patent ů v rámci pilí ře I, které byly vykázány jednotlivými VO v daném roce
� V dalším kroku se množství bod ů přidělené patent ům odečte od celkového počtu bod ů alokované na výsledky aplikovaného VaV (15%) a tato z bylá část bodů se rozpo čítá mezi jednotlivé VO v pom ěru neinvesti čních náklad ů vyplacených VO na realizaci aplikovaného výzkumu z p rojekt ů TAČR, MPO, 7RP atd.
� Pro tento typ hodnocení nebude možné uplatnit fina nční náklady vyplývající z výzkumných zám ěrů, rozvojových projekt ů MŠMT, rozvojových projekt ů z fond ů EU (např. OPVK, VaVpI), nebo z infrastrukturních projekt ů výzkumu a vývoje
� Zavedení Pilí ře III. si vyžádá novelizaci na řízení vlády č. 397/2009 Sb., o informa čním systému VaVaI
� Zahrnutí smluvního výzkumu bude odloženo
Garanti jednotlivých pilířů (KHV)
� prof. Zdeněk Němeček, MFF UK (pilíř I.)
� prof. Tomáš Opatrný, PřF UP (pilíř II.)
� prof. Josef Psutka, FAV ZČU (pilíř III.)
Průběžné informování odborné ve řejnosti
� Česká konference rektor ů
� Předsednictvo Rady vysokých škol, komise� Děkani p řírodov ědeckých fakult� Děkani chemických fakult� Děkani filozofických fakult� Resorty: MŠMT, MPO (ostatní)� Vědecká rada GA ČR� Výzkumná rada TA ČR� Rekto ři um ěleckých vysokých škol� Vědecká rada AV ČR� Akademické fórum
Stanoviska k návrhu
� Podpora děkanů přírodovědeckých, technických a lékařských fakult
� Doporučení projektového týmu IPN Metodika nezavádět jiné změny než peer-review knih
� Záporné stanovisko Vědecké rady AVČR
� "... ČKR podporuje pokračování prací na přípravě metodiky hodnocení výsledků výzkumu, vývoje a inovací pro účely financování výzkumných institucí v přechodném období do případné aplikace výstupů IPN projektu Metodika„
� „Rada VŠ podporuje další práce na metodice hodnocení výsledků výzkumu 2013 a vyjadřuje přesvědčení, že tyto práce míří správným směrem„
Jak dál v p říštích 4 - 5 letech ?
� Podaří se přijmout navrženou M13 a odstranit nejvíce kritizované nedostatky současného systému hodnocení VO ?
� Nebo v přechodném období bude platit dále současná Metodika, která je prodlužována od roku 2010 ?