Kokybinis HSM darb vertinimas: pasaulio patirtis

Mokslo darb vertinimo sistemos: kokybinis vertinimasAlgis KrupaviiusHSM tyrim rysAKADEMINIS TYRIMASJam skiriamas valstybinis finansavimas Ilgas tyrimo laikotarpis Teorinis lygmuoTikslios metodologijos Nukreiptas hipotezSmalsusis (angl. curiosity-driven)Apraytas (pvz., monografijoje ar straipsnyje), recenzuotas, publikuotas (t.y. prieinamas skaitytojui)PROFESIONALUS TYRIMASUsakytas i valstybini lTrumpas tyrimo laikotarpisTaikomasis, Tyrimo metodai parenkami pragmatikaiTuri konkret udavinSprendia tam tikr problemPublikuotas (pvz., ataskaitoje)vertintas profesionalPatvirtintas/rekomenduotas naudoti (paprastai neatidliotinai) kaip veiksm planas

HSM sritys apima nuolat besikeiiani dalyk - moni mastymo, jausm, sitikinim, ini ir veiklos - tyrimus laike individ, organizacij ir sociumo lygmenyse; tiriami tokie dalykai, kaip:komunikacija, kalba ir kalbotyra, literatra, kinas, vaizduojamieji menai, skulptra, scenos menai, nacionalins, regionins, etnins, rasins ir klass ar kastos pagrindu susidariusios kultros bei subkultros, teologija, filosofija, etika, politika, ekonomika, istorija, sociologija, psichologija, archeologija, antropologija, vietimas, bibliotekininkyst, architektra, kratovaizdio dizainas, miest planavimo vieoji politika, vadyba, lyderyst, rinkodara ir t.t.Daniausiai pripastama, kad i konceptuali poliarizacija tikrovje neegzistuoja ir judant bet kuria kryptimi slankija skale (kaip parodyta emiau), skirtingoms tyrim prieigoms bding vertybi pusiausvyra kinta.Mokslinio recenzavimo samprataMokslinis recenzavimas (angl. peer review) yra tyrim rezultat ir/ar tyrim projekt kokybs periros sistema, kurioje ketinamus skelbti tyrim rezultatus ar ketinamus finansuoti tyrim projektus vertina nepriklausomi ekspertai (angl. peers) Mokslinis recenzavimas reikia, kad kiti atitinkamos moksl srities mokslininkai tyrimus vertina pagrstumo, reikmingumo bei originalumo ir aikumo poiriais Mokslinio recenzavimo procesasMokslini tyrim rankratis ar projektas pateikiamas atitinkamam leidiniui ar paramos fonduiRankrat ar projekt vertina ioriniai (daniausiai neapmokami) ekspertaiIoriniai ekspertai vertina (reitinguoja) ir teikia rekomendacij dl publikavimo ar paramosEkspertai vertinimus pateikia leidiniui ar paramos fonduiRankratis ar projektas priimamas arba atmetamasGali bti naudojamas vidinis ekspertinis vertinimas, po kurio krinys perduodamas ioriniam vertinimui arba atmetamasAutoriui gali bti leista atsakyti recenzent pastabasEkspert grups svarsto recenzent ivadasMokslinio recenzavimo naudojimo rys D. BritanijojeSprendiant, ar moksliniams tyrimams reikt skirti finansavim. Visos pagrindins finansavim skirianios institucijos (pvz., moksl tarybos, biomedicinins paramos organizacijos) naudoja mokslinio recenzavimo metod, kai sprendia, kuriuos projektus reikia finansuoti pirmiausia. Mokslinis recenzavimas pasitelkiamas ir vertinant jau finansuojam projekt eig. Sprendiant dl mokslini tyrim publikavimo moksliniuose urnaluose. Mokslinis recenzavimas naudojamas vertinti pateikto publikuoti mokslinio darbo kokyb bei reikmingum. Btent mokslinis recenzavimas lemia, kurios mokslins temos ir klausimai pateks viej erdv, kur visa tai bus publikuojama ir koki tak darys akademinei ir kitai visuomenei (kuo garsesnis mokslinis urnalas, tuo didesnio atgarsio gali susilaukti jame ispausdintas straipsnis). Vertinant universiteto padaliniuose atliekamus tyrimus. Mokslinis recenzavimas naudojamas kaip Tyrim vertinimo projekto (TVP-RAE), vertinanio universiteto padaliniuose atliekam mokslo darb kokyb, dalis. Atsivelgiant mokslinio recenzavimo rezultatus, universitet padaliniams skiriamos valstybs los. Be to, recenzuotasis mokslas vaidina vis didesn vaidmen formuojant politik ir priimant sprendimus Mokslinio recenzavimo bdaiVienpusis aklasis mokslinis recenzavimas (VAMR): tik recenzentas ino autoriaus tapatyb VAMR problemos: danai pripastamas aliku nauj idj, moter, jaun mokslinink, karjeros krypt pakeitusi autori ar mokslinink i maiau prestiini universitet ir/arba besivystani ali atvilgiais.Dvipusis aklasis mokslinis recenzavimas (DAMR): ir recenzentai, ir autoriai vieni kitiems lieka neinomi.DAMR sistema yra teisingesn ir turi tam tikr simbolini gali, jei projektai yra atmetami, skatina teisingum ir lygyb, kai priimami sprendimai dl mokslo finansavimo ir mokslo darb publikavimo. Atviras mokslinis recenzavimas (AMR): mokslo darbo autorius ino, kas yra recenzijos ar komentar autorius.AMR problemos: padeda ukirsti keli nesiningoms neigiamoms recenzijoms, kita vertus, neapsaugo nuo nesining tendencij recenzentai, ypa naujokai, bijodami atsakomj veiksm ateityje, gali jaustis prival teigiamai recenzuoti jau pripaint mokslinink ar institucij darb. Mokslins recenzijos funkcijosPateikti komentarus, leidianius leidinio redaktoriui sprsti, ar rankratis vertas publikuoti.Pateikti komentarus, leidianius agentrai sprsti, ar mokslinio darbo vykdymas vertas finansuoti.Pateikti pastab, kurios padt autoriui pateiktj veikal ar tyrim patobulinti.Papildomos mokslins recenzijos funkcijos:Sumainti publikuojamame veikale ar tyrime esani klaid kiek.Nustatyti vis publikuojam veikal ar tyrim kokybs lyg - tiek siektin, tiek ir real.Padti surasti tinkam bd upildyti ribot urnalo plot.

Mokslinio recenzavimo trkumaiRecenzent sprendimai nra viei. Dl to mokslinis recenzavimas kaip tyrim vertinimo bdas stokoja atvirumo.Recenzentai link naudotis tik keletu vertinimo kriterij ir paprastai daugiausia dmesio skiria mokslikumui.Recenzentai gali bti aliki dl asmenini motyv Sisteminio kokybinio mokslini tyrim vertinimo pavyzdiaiD. Britanija- TVP (Research Assessment Exercise)Kas vertinama? Originalus tyrimas, atliekamas tam, kad bt gauta nauj ini ir suformuotas naujas suvokimas. TVP istorija. TVP pradia laikomas Tyrim atrankos projektas (angl. Research Selectivity Exercise), kur 1986 m. organizavo Universitet grant komitetas. Kaip vertinta? Universitetai pateikia statistinius duomenis (skaitant darbuotoj ir student skaii) bei informacij apie kiekvieno aktyvaus tyrjo mokslin dirb (ne daugiau kaip keturi svarbiausi ir naujausi mokslininko vykdyti tyrimai). Pateiktieji duomenys buvo suskirstyti vadinamuosius vertinimo vienetus. Pastarieji danai atitiko akademinius padalinius, kuriuos ekspertai pagal kokyb suskirsto grupes.TVP nuo 1992 m.Tikslas- su kokybe susieta tyrim ir institucij finansavimo sistema 2008 met TVP:kiekvienas aktyviai dirbantis mokslininkas pateikia ne daugiau kaip keturis mokslinius darbus (daniausiai mokslini urnal straipsnius ar knygas), kuri vertinimas (drauge su tam tikrais statistiniais duomenimis ir kokybine informacija) nulems iki 50 % vertinimo rezultat. Vertinimo laikotarpis: nuo 2001m. sausio iki 2007m. gruodio 31 d. Vertinimo principai: teisingumas, vairov, lygyb, ekspertin perira, skaidrumas, neutralumas, efektyvumas etc. 67 vertinimo vienetai, atitinkantys pagrindines universitet disciplinas.Kiekvienos i t disciplin tyrim moksliniam recenzavimui bus sudaryta ekspert grup. Pastaroji nusprs, kok kokybs pjv reikt taikyti kiekvienai institucijai, pateikusiai vis vertinimo vienet mediag. 900 ekspert, suskirstyti 15 koordinuojani grupi ir 67 pogrupius.Ekspert sprendimais vliau remsis finansavim vykdanios institucijos, skirstydamos su kokybe susijusias las. Institucij kokybs vertinimas: tyrim samprataTyrimas Jungtins Karalysts tyrim vertinimo projekto tikslais suprantamas kaip originalus tyrinjimas, atliekamas gauti ini ir nauj suvokim. Jis apima darb, kuris yra tiesiogiai reikmingas verslo, pramons ir vieojo bei nevyriausybinio sektori poreikiams; mokslingumui; idj, vaizdini, pasirodym, artefakt, skaitant dizain, iklimui ir generavimui, kai jie veda naujas arba ymiai patobulintas valgas; ir esam eksperimentins pltros ini nauj ar ymiai pagerint mediag, prietais, produkt ir proces, skaitant naudojamus dizaine ir statybose, panaudojim. Tyrimas neapima rutininio mediag, sudtini dali ir proces, pavyzdiui skirt nacionalini standart laikymuisi, ibandym ir analizs. Tyrimai taip pat nra mokomosios mediagos krimas, jei jame nra originalaus tyrimo.[1]

[1] RAE 2008 Research Assessment Exercise: Guidance on submissions. June 2005, p. 47.Vertinam mokslo rezultat klasifikacija: JKRezultat tipasMetai(Ilgasis) pavadinimasaltinis (location)/ Trumpasis pavadinimasA Autorin (parayta) knygaIleidimo metaiKnygos pavadinimasN.d.B Redaguota knygaIleidimo metaiKnygos pavadinimasN.d.C Skyrius knygojeIleidimo metaiSkyriaus pavadinimasKnygos pavadinimasD Straipsnis urnaleN.d. (nra duomen)Straipsnio pavadinimasurnalo numeris / leidimasE praneimas konferencijojeN.d. Rezultato pavadinimasKonferencijos / jos mediagos pavadinimas F Patentas / paskelbtas patento panaudojimasN.d. Pavadinimas ir/arba trumpas apraymasPatento registracijos numerisG Programin rangaN.d. Programins rangos pavadinimasN.d.H Publikacija interneteN.d. Pavadinimas ir/arba trumpas apraymasN.d.I - PasirodymasN.d. Pavadinimas ir/arba trumpas apraymasPasirodymo vietaJ Muzikos krinysN.d. Pavadinimas ir/arba trumpas apraymasN.d.K Dizainas (dizaino darbas)N.d. Pavadinimas ir/arba trumpas apraymasN.d.L ArtefaktasN.d. Pavadinimas ir/arba trumpas apraymasVietaM ParodaN.d. Pavadinimas ir/arba trumpas apraymasParodos vietaN Tyrim ataskaita kitai institucijai (usienio institucijai)N.d. Pavadinimas ir/arba trumpas apraymasUsakanioji organizacijaO Konfidenciali ataskaita kitai institucijai (usienio institucijai)N.d.Pavadinimas ir/arba trumpas apraymasUsakanioji organizacijaP Prietaisai ir produktaiN.d.Pavadinimas ir/arba trumpas apraymasN.d.Q Skaitmenins arba vaizdins informavimo priemonsN.d.Pavadinimas ir/arba trumpas apraymasN.d.R Mokslinis leidinys (scholarly edition)Ileidimo metaiTrumpas apibdinimasMokslinio leidinio pavadinimasS Tyrim duomen rinkiniai arba bazsN.d.Pavadinimas ir/arba trumpas apraymasVietaT Kita prieinam rezultat formaN.d.Pavadinimas ir/arba trumpas apraymasVietaInstitucij kokybs vertinimas: principaiTeisingumas. Visi tyrim tipai ir visos tyrim rezultat formos vertinamos nealiku ir visiems lygiu pagrindu. Grupi nariai yra imokyti pritaikyti vertinimo procesus ir kriterijus, kurie leidia jiems pripainti ir traktuoti vis spektr taikomj, praktika paremt ir pamatini/strategini tyrim meistrikum, remiantis vienodu pagrindu, nesvarbu, kur is tyrimas bt atliktas. vairov. Paraikos, skirtos TVP, 2008 m. atspinds skirtingus auktos kokybs tyrimus, atliktus Jungtinje Karalystje auktojo mokslo sektoriuje. 2008 m. sukurtos TVP procedros, kurios bus pakankamai lanksios, kad skatint tyrim vairov. Atitinkamai ekspert grups buvo imokytos nustatyti tinkamus kriterijus, skirtus identifikuoti kokyb skirtingose tyrim ryse, nesuteikiant vienai riai daugiau svorio prie kit; taip pat kurti nuostat, kad bt pripainti skirtingi auktos kokybs tyrimo rodymai. Lygyb. Auktojo mokslo institucijos yra skatinamos pateikti visus j geriausi tyrj darbus, skaitant ir tuos, kuri mokslins produkcijos apimtis buvo ribota dl prieasi, kurias apima lygi galimybi gairs. Siekiant laikytis lygi galimybi kontrols statym, reikalaujama i auktojo mokslo institucij patvirtinimo, kad jos pareng ir dokumentuotai patvirtino tinkam vidin paraik rengimo ir darbuotoj parinkimo paraikoms kodeks. Ekspert perira yra svarbiausias TVP elementas. Pasitikjimas su disciplina susijusi ekspert recenzavimu. Kad is pasitikjimas bt ilaikytas, paskirtos ekspert grups, pastaruoju metu aktyviai dalyvavusios auktos kokybs tyrimuose. Nors ie ekspertai savo profesionaliems TVP paraik vertinimams naudos tinkamus kiekybinius indikatorius, ekspertinis recenzavimas vis tiek lieka pirmaeilis. Aikumas. Projektas siekia, kad visi raytiniai dokumentai ir teiginiai apie TVP bt aiks ir nuosekls. is principas apibria ir TVP komandos raytini instrukcij dokument, ir ekspert grups kriterij parengim.Nuoseklumas. vertinimai, atlikti TVP, turt bti nuosekls visose artimose srityse. Remiantis konsultacijomis dl pasilym 2008 m. TVP valdymui, vadovaujant kiekvieno i 15 pagrindini ekspert grupi vadov sudaryti giminingi pogrupiai, skirti vertinimo vienetams, pasiymintiems panaiais tyrimo poiriais. Pagrindins grups dirba su pogrupiais, jos siekia apibrti ir susitarti dl kriterij ir darbo metod, kurie gali bti pripainti tinkami vertinimui ir suteikt pagrind nuosekliems nagrinjimams. Pagrindins grups taip pat utikrins nuosekl kokybs standart taikym paraikoms suteiktiems kokybs pjviams.Tstinumas. TVP vystosi, remiantis ir mokantis i ankstesni TVP. Su kiekviena skminga vertinimo sistemos praktika turi bti siekiamas tstinumo ir pltros balansas. TVP gerinimas 2008 m. vyksta remiantis intensyviomis periromis ir konsultacijomis ir pirmiausia ten, kur nusprsta, kad reikia pastebim patobulinim, kurie atsipirkt, padengt j gyvendinimo kain. Patikimumas. Kaip parod atsiliepimai kokybinio vertinimo recenzavim ir finansuojani institucij tolesns konsultacijos dl TVP valdymo, esmin metodologija, pobdis ir procesai tai yra disciplina paremtas mokslinis recenzavimas, grindiamas akademiniais sprendimais yra patikimi tiems, kurie vertinami. Efektyvumas. TVP katai ir nata turi bti tokie, kad minimaliai bt manoma atlikti tinkam ir pateisinam proces. Atsivelgiant valstybines las, paskirstytas remiantis TVP reitingavimu, ankstesni TVP buvo labai rentabils (skaitant ir vertintas ilaidas auktojo mokslo institucijoms). Pavyzdiui, 1996 m. TVP Anglijoje katai sudar - 0,8 procent valstybinio tyrim finansavimo, kuris buvo paskirstytas atsivelgiant vertinimo rezultatus, verts. Neutralumas. TVP skirta imatuoti tyrim kokyb auktojo mokslo institucijose. Ji turt atlikti funkcij ir neikreipti veiklos, kuri matuojama, bei neturt skatinti ar trukdyti bet kurio tipo veiklai ar elgsenai kitokiai nei suteikianiai bendr stimul gerinti bendr tyrim kokyb. Skaidrumas. TVP patikimumas yra sustiprinamas sprendim primimo proceso skaidrumu. is principas yra svarbiausias finansuojani institucij darbe. Jis jau buvo pritaikytas kokybs vertinimo recenzavime ir tolimesnse finansuojani institucij konsultacijose. Sprendimai ir sprendim primimo procesas bus paaikinami atvirai. Kokybs lygi apibrimai4* standartasPagal originalum, reikmingum ir tikslum pasaulinio lygio tyrim kokyb3* standartasPagal originalum, reikmingum ir tikslum puiki tarptautinio lygio tyrim kokyb, bet stinga aukiausio lygio tobulumo 2* standartasPagal originalum, reikmingum ir tikslum tarptautiniu mastu pripainta tyrim kokyb 1* standartasPagal originalum, reikmingum ir tikslum nacionaliniu mastu pripainta kokyb Standartneatitinkantistyrimas (snt)Pagal originalum, reikmingum ir tikslum kokyb emesn nei pripastama nacionaliniu mastu arba pateiktas darbas neatitinka publikuoto ir vertinti tinkamo tyrimo apibrimo Kokybs pjvio pavyzdysVertinimo vienetas AVertinamas personalasI vertinti pateikt tyrim standartus atitinka (%) Keturi vaigdui (4*)standartas Trij vaigdui(3*)standartasDviejvaigdui(2*)standartasVienos vaigduts(1*)standartasStandart neatitinkantys tyrimai (snt)Universitetas X50152540155Universitetas Y2005404510* Lentelje pateikti neegzistuojani universitet duomenys, kurie neatskleidia tikr tiktin proporcij. Institucijos kokybs pjvis

Institucijos kokybs pjvio dmenysKokybs procentus nustato ekspert grups. Minimalus tyrim rezultat vertinimas - 50%. Tam, kad bt vertintas bendras tyrim kokybs pjvis, ekspert grup turi apsvarstyti visas sudedamsias institucijos paraikos dalis. Jos yra tokios: apie darbuotojus gauta informacija (I vertinimo etapas), tyrim rezultatai (II vertinimo etapas), duomenys apie studentus (III vertinimo etapas), tyrim pajamos (IV vertinimo etapas), tyrim aplinkos apraas,institucijos autoriteto akademiniame pasaulyje indikatoriai (V vertinimo etapas) Kas lemia kokybs pjv?Ataskaitas pateikusi darbuotoj skaiius, tyrim pajamos per capita, doktorant skaiius, publikacij prestiiniuose mokslo urnaluose ar prestiini leidykl ileist knyg kiekis gali paaikinti daugiau kaip 80 proc. reiting svyravim. TVP kritikaTVP atvilgiu egzistuoja dviej ri kritika: Vieni kritikai i esms nepritaria mokslini darb vertinimui kaip tokiam. Jie pabria, kad dl TVP atsiranda nenumatyt pasekmi, pavyzdiui, prasideda vadinamieji akademiniai aidimai, nebenorima dalyvauti kolektyviniuose tyrimuose ir usiimti dstymu, smukdomi regioniniai universitetai. Pvz., dl taisykli, pagal kurias buvo atsiskaitoma u auktj mokykl darbuotoj mokslin dirb, kuriasi futbolo stiliaus aidj rinka vadinamosioms mokslo vaigdms. TVP susiaurina tyrim veikl, kad i atitikt pramons poreikius, ir tvirtina tyrim priklausomyb nuo komercinio finansavimo. Kiti kritikai daugiau priekait reikia paiam vertinimo procesui ir jo metodologijai. Pvz., teigiamiems ekspert vertinimams turjo takos ir ne tik vieneto dydis ir universiteto naujumas, bet ir tai, kad dalyvavimas ekspert grupje taip pat turi teigiam poveik vertinamo vieneto reitingui. Katai. 1996 met TVP katai (skaitant alternatyviuosius) apytikriais skaiiavimais buvo nuo 27 iki 37 mln., nors nurodyta suma yra maesn u tikrj, visgi sudaro tik 0,8% l, paskirstyt pagal TVP Australijos kokybinio mokslo darb vertinimo patirtis2004 m. kurta Australijos Humanitarini moksl, men ir socialini moksl tarybaAustralijos tyrim vertinimo modelis nurodo tris veiksnius, kurie gali bti pritaikyti vertinant kiekvieno tyrim vieneto disciplinas ir temas. Tai tyrim kokyb, tyrim poveikis ir tyrim gebjimai:Kokyb. Tyrim kokyb geriausiai atsiskleidia per rodymais paremt argument ir su jais susijusi svarbiausi duomen mokslin recenzavim. Potencials tiek mokslo, tiek ir ne mokslo srii kokybs rodikliai gali bti palyginami.Poveikis. Skirtingai nei kit srii atvejais, pagrindiniai mokslini tyrim poveikio kitiems tyrjams ir visai visuomenei rodikliai yra ne tik vairs, bet ir specifiniai kiekvienai disciplinai. Jie turi bti inagrinti ekspert grupse, sudarytose i akademins visuomens atstov ir i valstybs finansuot tyrim vartotoj. Gebjimai. Jie rodo, kaip tyrim vienetas gals prisidti prie pasirengimo ateities tyrimams ir j tiksl, t.y., utikrinti Australijos tyrim gyvybingum ir vairov ateityje. veiksn, kaip ir poveik, turi vertinti ekspert ir tyrim vartotoj grups. Kokybinio tyrim vertinimo principai ir nuostatosStandartin bibliometrija nra tinkamas HSM tyrim vertinimo bdas, nes nevertina daugelio svarbi i srii rezultat.Geriausias tyrim vertinimo bdas yra mokslinis recenzavimas. Tyrim grups ir katedros yra tinkamiausi HSM srii tyrim vertinimo vienetai. Tyrim vertinimo modelis turi remtis atvejo analize ir rodymais pagrstais argumentais, apie kuri patikimum ir vert sprendia ekspertai.Vertinant tyrim vienet, turi bti nagrinjami trys komponentai: kokyb, poveikis ir gebjimai.Plaija prasme vis disciplin kokyb galt bti vertinama vienu veiksmingiausiu bdu, t.y. argumentuotu moksliniu recenzavimu. Australijos modelio specifikumasTyrim vienetas gali ir turi pasirinkti tinkamiausius savo tyrim kokybs, poveikio bei gebjim vertinimo bdus i keleto galim. Suteikiant galimyb rinktis, atsivelgiama skirtumus tarp disciplin. Ataskaita rekomenduoja galimiems vertinimo bdams tinkam (naudotin) rodikli sra. Rodiklius ne visada manoma (ar reikia) suskirstyti taip, kad paikt, kurie i j labiausiai atspindi kokyb, kurie poveik, o kurie (tam tikru mastu) gebjimus.Silydamas sau tinkamus tyrim vertinimo bdus, tyrim vienetas turi bti lankstus. Rengdamas vertinamos mediagos projekt, vertinimo vienetas gali (tam tikrose ribose) nusistatyti vis trij kategorij, t.y. kokybs, poveikio ir gebjim, svor:Kokyb: 4070%Poveikis: 2050%Gebjimai : 1030%Vertinimo vienetas, pasirinks minimalius kategorij svorius (t.y. kokyb 40%, poveikis - 20%, gebjimai - 10%), likusius 30% gali paskirstyti savo nuoira. Tokiu bdu vertinimo sistema gali bti lanksti ir prisitaikyti prie skirtingo specifini disciplin pobdio bei tyrim vieneto strategini plan.Isamus tyrim rezultat sraas laikomas svarbiu komponentu kontekstualizuojant vertinamus tyrimus ir pateikiant vairiapusik j vaizd. Taiau publikacij srao kontekste vertinamos ir tos, kurias pats autorius laiko geriausiomis. Ne akademini sluoksni ekspert traukimas vertinimo proces yra didel naujov tyrim vertinimo poiriu. Vertinimo procese atsiranda visikai naujas elementas, t.y. vartotojas. Tyrim gebjim vertinimo kriterijaiTyrim infrastruktra: ar yra tyrim infrastruktra ir vidin bei iorin parama tyrjams, ar jie yra susitelk komandas, grupes, centrus, laboratorijas, mokyklas, katedras, fakultetus, skyrius ar kitokius pasirinktus vertinimo vienetus;ini kultra: su ini infrastruktra susij (ir j veikiantys) mogikieji ir kitokie veiksniai. Dl j susiklosto ir yra palaikoma aktyvi tyrim aplinka (skaitant kritin tyrj mas ir mokslo laipsnio siekianius studentus, labai profesionalius i svetur atvykstanius akademinius darbuotojus, skmingus tyrim projektus, kurie finansuojami ir i grant, ir t.t.);Su iniomis susijs ugdymas: mokslo laipsnio siekiani student ir j darb vadov mokymas ir rmimas;ini strategija: paang orientuot tyrim gebjim (dabartini ir bsim) pltros aspektai, ypa svarbs tie i j, kurie atkreipia dmes btinyb vertinti atliktus tyrimus, ateities strategij ir veiklos planus.Italijos kokybinio vertinimo patirtis20032006 mokslo metais pirm kart vyko sistemikas tyrim kokybs vertinimas, kuriam vadovavo Tyrim vertinimo komitetas.Vertino 157 ekspertai (i j nemaai kompetenting usienio ekspert), o vertinamieji tyrim rezultatai (pateikta apie 18 500 paraik) buvo sugrupuoti pagal moksl sritis. Daugum i pateiktj tyrim rezultat sudar moksliniai straipsniai, knygos ir j skyriai.Italijos tyrim vertinimo sistema leidia keistis informacija naudojant telematines priemones. Dl to tyrim rezultatams vertinti pakako 150 ekspert ir 34 oficiali susitikim. Tyrim vertinimas Italijoje nebuvo suvokiamas kaip kontrol ar primetama valia, bet, prieingai kaip strategin galimyb ir btina priemon, padedanti: isiaikinti reali Italijos viet tarptautiniame mokslini tyrim kontekste, nustatyti pasikartojanias socioekonomines tyrim klaidas, isiaikinti mokslini tyrim sistemos stiprybes ir silpnsias vietas bei vertinti tam tikro laikotarpio paang.Vertinami vienetai: universitetai (valstybiniai ir kiti teisinti), vieosios tyrim staigos, Italijos nacionalin nauj technologij, energijos ir aplinkos agentra (ENEA), kiti tyrimus vykdantys viei ir privats subjektai, pageidaujantys bti vertinti ir sutar dl bsimo vertinimo.Italijos kokybinio vertinimo sandaraTyrim vertinimo komitetassudarytas i 7 Italijos vyriausybs paskirt ekspert;organizuoja vis vertinim;nustato (drauge su mokslins bendruomens pasilytais stebtojais) vertinimo grupi sudarymo kriterijus ir pasirenka j sudtines dalis;vertina mokslinio vertinimo komitet ataskaitas;vertina grupi ataskaitas;parengia galutin kiekvienos vertintos mokslo ir studij institucijos vertinimo ataskait;teikia silymus, kaip pagal vertinimo rezultatus reikt skirstyti las.Kompiuterizuotos vertinimo procedros Visikai kompiuterizuotas duomen perdavimas; j valdo 28 Italijos universitet sudarytas konsorciumas CINECA.Kompiuterizavus vertinimo procedras, Tyrim vertinimo komitetas gali usiimti nuolatine stebsena i viraus apai.Moksl srii vertinimo grups Grups sudarytos i 5-9 ekspert mokslinink, kuriuos parinko Tyrim vertinimo komitetas ir paskyr Ministras.Pasitelkusios kit (iors) ekspert, turi vertinti mokslo ir studij institucij (ar j padalini) pateiktus mokslini tyrim rezultatus.Rengia galutines vertinimo ataskaitas ir reitinguoja srities institucijas Vertinimo kriterijai: Italija, 2004- 2006KriterijaiIndikatoriai1) kokyb, svarba, originalumas, inovatyvumas, internacionalizacijaVertinimo grups atliekamas pasirinkt produkt privalum vertinimas2) produktyvumas Pasirinkt produkt nuosavybs laipsnisPasirinkti produktai x Pasirinkt produkt nuosavybs laipsnis/ETP tyrjai3) tarptautinis mobilumasETP tyrjai, kurie yra ivaiav usienio valstybes, + ETP usienieiai tyrjai, laikinai dirbantys struktroje/ETP tyrjai4) socialin-ekonomin taka: - valdymas - mokymaiCIVR atliekamas patent ir kit verting aspekt privalum vertinimas bei tyrim rezultat ir kompetencijos perdavimasDoktorantra, stipendijos, po doktorantros studijos / ETP tyrjai5) itekli pritraukimasBendros pajamos valstybs parama/bendros pajamos6) itekli (mogikj, finansini) valdymasETP tyrjai/ bendras personalasTechninis personalas/Administracinis personalasTyrim projekt finansavimas (ir/arba bendras finansavimas) / ETP tyrjaiPusiau kokybinis HSM darb vertinimas Lietuvoje, 2009m.I lygmens mokslo darbai laikomi tie aukiausio lygio mokslini tyrim ir eksperimentiniai darbai, kuriuos tokiais pripasta paios Institucijos ir kokybs poiriu vertina LMT ekspertai. Institucijos vertinimui teikiami I lygmens mokslo darbai negali viryti 15% vis teikiam mokslo darb kiekybins apimties. LMT atlieka ekspertin vis I lygmens mokslo darb vertinim, kiekvien mokslo darb vertindama pagal normin skal.Kokybiniai kriterijai, kuriuos rekomenduojama atsivelgti Institucijoms, savo mokslo darbus priskiriant I lygmeniui: problemikumas (formulavimas, paintin vert, reikmingumas, refleksija), aktualumas (lituanistinis, nacionalinis ar tarptautinis, visuomeninis ar kultrinis, fundamentalusis ar tarpdalykinis), turinio mokslinis pagrstumas (teorinis, empirinis, metodinis, sisteminis, atrankos, ivad, etc.), formos ypatybs (struktrikumas, stilingumas, sudtingumas), naujumas ir originalumas (problemos, teorinis, metodologinis, metodinis, empirinis, interpretacijos, analizs, ivad, apibendrinim etc.). Institucij mokslo darb galutin vertinim sudaro I ir II lygmen mokslo darb veriai (iki 10 bal u I ir iki 10 bal u II lygmens mokslo darbus). Skaiiuojant I lygmens mokslo darbus, kiekvienas Institucij vertinimui pateiktas vienetas LMT ekspert vertinamas 10 bal skalje; po to ivedamas vis Institucijos pateikt vienet veri vidurkis. Skaiiuojant II lygmens mokslo darbus, galutinis Institucijos surinkt tak skaiius perskaiiuojamas normin 10 bal vertinimo skal atsivelgiant Institucijos turim tos srities mokslo darbuotoj ir 1/3 dstytoj, tyrj bei meninink tyrj etat skaii Vietoj ivadVyriausybs stengiasi gauti kuo daugiau naudos i valstybs finansuojam mokslini tyrim. Vadinasi, tam, kad bt utikrintas tyrim efektyvumas ir tinkamai naudojamos jiems skiriamos los, tyrim rezultatus btina vertinti. Daugelis valstybi supranta HSM padties sudtingum; esama daugelio iniciatyv kurti teisingus ir skirtingus (nuo FBTM) rodiklius, ypa nestandartinius bibliometrinius rodiklius, kurie sietsi su ISI bazje nesaniais urnalais, knygomis ir j skyriais. Kadangi standartin kiekybini mat sistema HSM ir menams vertinti yra ir netinkama, ir neteisinga, verta atkreipti dmes naujo nestandartinio bibliometrinio vertinimo tarptautin patirt, kuri atskleidia nema potencial.

Tyrim rezultatai
Tyrim aplinka
Institucijos autoritetorodikliai
pvz., 70%
Bendrasis kokybs pjvis
pvz., 20%
pvz., 10%
Bendrasis kokybs pjvis susideda i vis galim pjvi, sudarom atsivelgiant tyrim rezultatus, tyrim kontekst ir vertinimo rodiklius.
(Minimumas 50%)
Kokybs lygis
Tyrim dalis (%)
(Minimumas 5%)
(Minimumas 5%)

4*3*2*1*snt2030152015

4*3*2*1*snt3025102015

4*3*2*1*snt1025401510