Lituanistikos duomenų bazė ir HSM darbų vertinimas

Prof. Rūta Marcinkevičienė

Lietuvos mokslo taryba

Humanitarinių ir socialinių mokslų komitetas

Plan

as

Mokslo vertinimas: objektai ir būdai

Kiekybinis ir kokybinis vertinimas

HSM vertinimo situacija

Lituanistikos DB Lietuvos HSM vertinimui

Mo

ks

lo v

erti

nim

as

– o

bje

kta

i ir

bū

da

i

• Kas yra vertinama– atskiri mokslininkai – leidiniai, institucijos, renginiai (knygos, žurnalai,

leidyklos, asociacijos, institutai, universitetai, konferencijos, mokslo programos, projektai, etc.)

• Kaip– Kiekybiškai (publikacijų skaičius, bibliometriniai

rodikliai t.y. autorių citavimo indeksai, žurnalų poveikio faktoriai)

– Kokybiškai, t.y. ekspertams vertinant publikacijų, projektų paraiškų tekstus

• Bibliografinis (publikavimo kanalų: leidyklų, žurnalų) vs bibliometrinis (citavimo indeksų ir poveikio faktorių) vertinimas

Ko

kyb

inio

ver

tin

imo

pri

valu

mai • Remiasi svarbiausiu – mokslo darbo

kokybės kriterijumi, jo atitikimu tyrimo tikslui

• Grindžiamas nešališku, konfidencialiu ir aiškiu ekspertiniu vertinimu

• Vertinami tekstai (publikacijų, paraiškų, ataskaitų), o ne kiekybiniai rodikliai (citatų skaičiai, reitingai)

Ko

kyb

inio

ver

tin

imo

trū

kum

ai

• Ekspertinis vertinimas brangus (JK mokslininkai per metus vertina 3 mln. valandų už 165 mln. svarų)

• Dėl asmeninių priežasčių ekspertai gali būti šališki, o jų vertinimai – perdėm subjektyvūs, stinga bendrų standartų

• Ekspertai linkę teikti pirmenybę populiarių sričių pripažintiems tyrėjams, ignoruoja inovatyvias dar nežinomų mokslininkų idėjas, kurioms patikrinti reikia laiko

Kie

kyb

inis

(b

iblio

met

rin

is)

ve

rtin

ima

s • Privalumai– Aiškumas ir objektyvumas – Palyginamumas ir bendri standartai (nors ir

negalima palyginti jaunų ir vyresnių tyrėjų, mažų ir didelių grupių ir biudžetų vadovų h-indekso

• Trūkumai– Mokslo poveikis suprantamas tik kaip citavimas– Vertinimai remiasi citatų skaičiais, kuriais gali būti

manipuliuojama (savicitavimas, rezultatų tiražavimas)

– Aukšti žurnalų poveikio faktoriai nebūtinai rodo juose skelbtų straipsnių vertingumą, o žemi – prastą publikacijų kokybę. Gerų ar prastų darbų galima rasti visur

HS

M v

erti

nim

o s

itu

acij

a

• Kiekybinio ir kokybinio vertinimo santykis su HSM ir GTM

• Siekis netaikyti GTM vertinimo standartų HSM– Didesnė HSM publikacijų žanrų (monografijos, redaguotos

knygos, švietėjiška literatūra) ir kalbų įvairovė – Publikavimas gimtąją kalba nacionaliniuose leidiniuose– Didesnė sričių, krypčių šakų, metodų įvairovė– Menkesnis tyrimų tarptautiškumas (SM tarptautiškesni už HM)– Skirtinga citavimo, bendraautorystės kultūra– Didesnė teksto, argumentacinės struktūros svarba

• Didėjantis poreikis suvienodinti mokslo vertinimą taikant HSM bibliometrinius metodus

– Įtraukiant HSM į egzistuojančias DB, nes dabar Web of Science ir SCOPUS silpna HSM aprėptis

– Kuriant naujas, specialias HSM DB kaip FRIDA Norvegijoje, VABB-SSH - Olandijoje, GESIS –Vokietijoje

– Kuriant naują bendrą Europos šalių HSM DB, be kita ko skirtą HSM vertinimui

Lit

ua

nis

tik

os

DB

Lie

tuv

os

HS

M v

ert

inim

ui

• Lituanistikos DB - kokybiškų dalies HSM darbų talpykla– Remiasi atskirų tekstų (2012 gale buvo

32.128 jų aprašai), o ne leidybos kanalų vertinimu, tačiau įtraukiami ir kai kurie žurnalai

– Apima bibliografinius publikacijų duomenis, santraukas (25.764 santraukų lietuvių kalba, 22.005 santraukų anglų kalba) ir ištisus tekstus (12.000 viso teksto dokumentų) , t.y. sudaro sąlygas kokybiniam ir kiekybiniam vertinimui (296.650 citavimo įrašų)

– Suteikia atvirąją prieigą prie tekstų

Teks

tų v

erti

nim

as p

roce

dū

ros

• Pirminė tekstų atranka• Tvarkomasis vertinimas (15 žurnalų)

pagal Ekspertų tarybos nustatytus kokybės kriterijus (90% anksčiau teigiamai įvertintų jų tekstų)

• Ekspertinis vertinimas (227 HSM ekspertai)– Po 2 vienam tekstui– Prieštaringai įvertinus kviečiamas trečias– Pildoma vertinimo anketa, rašomas

komentaras

Teks

tų v

erti

nim

o r

ezu

ltat

ai

• Per projekto laikotarpį numatyta įvertinti 20 tūkst. publikacijų, iš jų 15 tūkst. ekspertinio vertinimo būdu

• Šiame projekto etape teigiamai jau įvertinta per 16 tūkst. publikacijų, iš jų neigiamai – 2,6 tūkst., t.y. 16 %

• Praeituose projekto vykdymo etapuose iš beveik 20 tūkst. vertintų publikacijų bemaž 4 tūkst., t.y. 20 % įvertinta neigiamai

Teks

tų v

ertin

imas

rezu

ltata

i

Teks

tų v

ert

inim

o s

iste

mo

s t

ob

ulin

ima

s • Pirminės atrankos atveju (plėsti geografiją)

• Tvarkomojo vertinimo atveju (nuolat stebėti atskirų leidinių tekstų vertinimus ir plėsti neekspertuojamųjų leidinių sąrašą)

• Ekspertinio vertinimo atveju (nauja mokslo krypčių ir šakų klasifikavimo sistema, vertinamojo, ne referuojamojo pobūdžio komentarai, plagiato patikra, etc.)

Lit

uan

isti

kos

DB

plė

tro

s g

alim

ybės

• Apimti viso nepriklausomybės laikotarpio publikacijas, net tik po 2000 m.

• Plėsti objektą, įtraukti baltistiką, gal ir HSM, išlaikant lituanistikos autonomiją

• Tolydžio mažinti ekspertuojamųjų tekstų skaičių

• Kurti ir taikyti specialią HSM bibliometrijos metodiką

• Remtis DB vertinant Lietuvos HSM• Integruoti šią DB į kursimas tarptautines HSM

DB