Prezentácia_Jana Ilavská

Jana Ilavská

Univerzita Komenského v Bratislave

Ako hodnotiť humanitné a spoločenskovedné odbory na vysokých školách?

Bratislava, 18. máj 2011

EvaluEvaluácia publikačnej činnosti ácia publikačnej činnosti v humanitných a spoločenskovedných odborochv humanitných a spoločenskovedných odboroch

WoK ... SCOPUS WoK ... SCOPUS ... Google Scholar ...... Google Scholar ...

... ... lokálne databázylokálne databázy …… CREPČCREPČ …… ??????

Hodnotenie publikačnej činnostiHodnotenie publikačnej činnosti

kvantitatívne (bibliometrické a scientometrické kritériá: počet a typ publikácií, počet a typ citácií a pod.)

kvalitatívne (peer review)

Bibliometria, scientometriaBibliometria, scientometriaWeb of Knowledge, SCOPUSWeb of Knowledge, SCOPUS

PLUSY+ objektivita – medzinárodné dáta ťažko

ovplyvniteľné domácimi inštitúciami, výskumníkmi

+ ekonomické riešenie – šetrí HR, efektívnosť SW funkcií, použiteľné rozhranie

+ odbornosť – systém vytvorený bibliometrickými a informačnými profesionálmi

+ kvalita – systematický zber dáta, spoľahlivé aplikácie metrík, kvalitatívny výber časopisov evidovaných v rámci WoS, CCC i SCOPUS

+ možnosť relevantného medzinárodného porovnávania (rovnaké kritériá)

MÍNUSY− neúplné a nerovnomerné

zastúpenie jednotlivých vedných disciplín, jazykov, geografických oblastí

− absencia určitých typov publikácií

− klasifikácia časopisov podľa disciplín (edície, série),

− zmeny názvov časopisov, inštitúcií

− problematika menovcov, rôzne formy názvov a mien

− neúmerné, selektívne, negatívne a chybné citovanie, autocitácie

PLUSY+ objektivita – medzinárodné dáta ťažko

ovplyvniteľné domácimi inštitúciami, výskumníkmi

+ ekonomické riešenie – šetrí HR, efektívnosť SW funkcií, použiteľné rozhranie

+ odbornosť – systém vytvorený bibliometrickými a informačnými profesionálmi

+ kvalita – systematický zber dáta, spoľahlivé aplikácie metrík, kvalitatívny výber časopisov evidovaných v rámci WoS, CCC i SCOPUS

+ možnosť relevantného medzinárodného porovnávania (rovnaké kritériá)

MÍNUSY− neúplné a nerovnomerné

zastúpenie jednotlivých vedných disciplín, jazykov, geografických oblastí

− absencia určitých typov publikácií

− klasifikácia časopisov podľa disciplín (edície, série),

− zmeny názvov časopisov, inštitúcií

− problematika menovcov, rôzne formy názvov a mien

− neúmerné, selektívne, negatívne a chybné citovanie, autocitácie

Hodnotenie publikačnej činnostiHodnotenie publikačnej činnosti

1. najprv určiť ciele => potom zvoliť vhodné indikátory

Multidimenzionálna matrica hodnotenia výskumu (Moed, 2011)

Bibliometrické indikátoryBibliometrické indikátory

1. generácia – základné= počty publikácií/citácií

2. generácia – normalizované = počet publikácií/citácií normalizované na tvorivého pracovníka, vednú disciplínu a pod.

3. generácia - zohľadňuje celú publikačnú a citačnú sieť = EigenFactor, mapy/atlasy vedy

Bibliometria, scientometria Bibliometria, scientometria vs. vs.

humanitné a spoločenskovedné odbory (1)humanitné a spoločenskovedné odbory (1)

Potrebné zohľadniť špecifiká vednej disciplíny (pri hodnotení publikačných výstupov i citačnej analýze)

Problémové oblasti: slabšie zastúpenie HUM/SPOL v rámci WoK, SCOPUS



Potrebné zohľadniť špecifiká vednej disciplíny

(pri hodnotení publikačných výstupov i citačnej analýze)

Problémové oblasti: národne/regionálne orientovaný predmet výskumu jazyk

CCC – 16 “slovenských“ časopisov (+3) SOC/HUM - Organon F, Sociológia, Studia Psychologica, Historický časopis, Filozofia



Potrebné zohľadniť špecifiká vednej disciplíny

(pri hodnotení publikačných výstupov i citačnej analýze)

Problémové oblasti: širšia cieľová skupina rozdiely v publikačných modeloch, citačnom správaní rôzne publikačné kanály netextové výstupy (noty, video)

Google ScholarGoogle Scholar

akademická literatúra: články, knihy, abstrakty, záverečné práce

hodnotenie publikácií – váhovanie plných tetxov (podľa vydavateľstva, autora, citácií),

citácie z iných ako anglických publikácií: GS - 6,94%, WoS – 1,14%, SCOPUS – 0,70%

Lokálne databázy VŠLokálne databázy VŠ

Smernica č. 13/2008-R zo 16. októbra 2008 o bibliografickej registrácii a kategorizácii publikačnej činnosti, umeleckej činnosti a ohlasov

84 kategórií publikácií, 9 kategórií ohlasov

lokálne db - online prístup cez webové stránky akademických knižníc

veľká distribuovanosť, rôzne systémy/rozhrania

http://www.crepc.skhttp://www.crepc.sk

Prispôsobenie sa publikačného správaniaPrispôsobenie sa publikačného správania

riziko nadhodnocovania, fabulácie, plagiátorstva kvantita na úkor kvality zníženie rôznorodosti

publikačných výstupov

Vedecká monografia:Za vedeckú monografiu sa považujú pôvodné monotematické vedecké práce v rozsahu najmenej 3 AH...

- potreba peer review

PPotreba lokálneho indexu, databázy (1)otreba lokálneho indexu, databázy (1)

1. identifikácia zdrojových dokumentov (časopisov, zborníkov) a vydavateľstiev => vytvorenie autoritatívnej databázy [ISSN, ISBN]

2. posúdenie významu, kvality => nastavenie váh, úrovní [porovnateľná metrika]

3. hodnotenie (body), využitie

Potreba lokálneho indexu, databázy (2)Potreba lokálneho indexu, databázy (2)

hodnotenie publikačných kanálov (časopis, vydavateľstvo) - potrebné zohľadniť: jazyk, náklad, distribúcia

[Garantuje sa prístup relevantnej cieľovej skupiny k týmto publikáciám? Zahraničné publikácie v cudzom jazyku?]

peer-review proces alebo iné kvalitatívne hodnotenie miera zastúpenia autorov jednej inštitúcie

[komunikačný kanál s viac ako 2/3 autorov z jednej inštitúcie by mal mať nižšiu váhu, resp. by nemal byť vôbec braný do úvahy]

formálne kritériá [ISSN, ISBN]

Diferencované kritériá pre zaradenie publikácií do Diferencované kritériá pre zaradenie publikácií do vyššie hodnotenej úrovnevyššie hodnotenej úrovne

Návrh kategorizácie Návrh kategorizácie

1. karentované publikácie (WoK – Current Contents Connect) 2. publikácie (monografie, články, zborníky)

klasifikované podľa národného indexu, databázy:i. mienkotvorné, významné, zviditeľnené ii. ostatné

3. VŠ učebnice, skriptá 4. pozvané konferenčné príspevky 5. ostatné konferenčné príspevky 6. abstrakty 7. ostatné publikácie

Slovenský „Web of Knowledge“Slovenský „Web of Knowledge“

agregované/deduplikované dáta z VŠ komplexnosť - zahrnuté všetky publikačné výstupy VŚ transparentnosť, zrozumiteľnosť, otvorený prístup spolupráca, deľba zodpovednosti/kompetencií –

indikátory vytvorené/zvolené v spolupráci inštitúcií, riadiacich orgánov a odborníkov

viacnásobná využiteľnosť - CV, žiadosti o granty, evaluácie, výročné správy, bibliografie, atď.

prepojenie na úplné texty (inštitucionálne repozitáre?) systém – vlastný? TR/Elsevier? Invenio? Iný?

Ďakujem za pozornosť[email protected]

Prezentácia_Jana Ilavská

Documents

Transcript of Prezentácia_Jana Ilavská