Bibliometria w procedurach awansów naukowych
-
Upload
ewa-rozkosz -
Category
Education
-
view
413 -
download
0
Transcript of Bibliometria w procedurach awansów naukowych
Bibliometria w procedurach awansów naukowych
Ewa A. RozkoszDolnośląska Szkoła Wyższa
Akademia Wychowania Fizycznego we Wrocławiu, 19 lutego 2015 r.
Plan
1. Podstawa prawna awansów naukowych.
3. Wskaźniki bibliometryczne w awansach naukowych.
2. Kryteria oceny dorobku publikacyjnego.
4. Bibliometria jako dyscyplina vs. bibliometria stosowana (w awansach naukowych).
5. Wnioski.
1 Podstawa prawna awansów naukowych
habilitacja profesura
akty prawne (mające bezpośrednie zastosowanie w awansach naukowych)
komunikaty i interpretacje CK
akty prawne określające zasady oceny jednostek naukowych
regulacje wewnętrzne jednostek
ocena jednostek naukowych
ocena czasopism
ocena pracownika jednostki naukowej
ocena kandydata do stopnia/tytułu naukowego
Ocena nauki a ocena kandydata
Ustawa z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz stopniach i tytule w zakresie sztuki (ze zm.)
Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 11 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego
Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 3 października 2014 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodach doktorskich, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora
Rozporządzeniu Ministra Nauki i Szkolnictwa Wyższego z dnia 8 sierpnia 2011 r. w sprawie obszarów wiedzy, dziedzin nauki i sztuki oraz dyscyplin naukowych i artystycznych – wykaz dyscyplin
akty prawne (mające bezpośrednie zastosowanie w awansach naukowych)
Komunikat nr 4/2014 CK w sprawie formy dokumentowania wniosku o wszczęcie postępowania habilitacyjnego
Komunikat nr 2/2013 CK w sprawie wniosków o nadanie tytułu profesora (kserokopia dowodu osobistego)
Komunikat nr 3/2012 CK w sprawie sporządzania wykazu opublikowanych prac naukowych (…) oraz oświadczeń współautorów (wzór wykazu)
Komunikat nr 2/2012 CK dotyczący toku postępowania habilitacyjnego
Komunikat nr 6/2011 CK w sprawie sporządzania wniosku o przeprowadzenie postępowania habilitacyjnego oraz autoreferatu (wzór wniosku i autoreferatu)
Komunikat nr 5/2011 CK w sprawie formy dokumentowania wniosku o wszczęcie postępowania habilitacyjnego
Komunikat nr 4/2009 w sprawie analizy bibliometrycznej kandydatów do habilitacji i tytułu profesora (wzór formularza analizy)
komunikaty Centralnej Komisji ds. Stopni i Tytułów
2 Kryteria oceny dorobku publikacyjnego
Kryteria oceny w zakresie osiągnięć naukowo-badawczych w obszarze nauk przyrodniczych, nauk rolniczych, leśnych i weterynaryjnych oraz nauk medycznych, nauk o zdrowiu oraz nauk o kulturze fizycznej
Habilitacja – kryteria oceny
Kryteria oceny w zakresie osiągnięć naukowo-badawczych (wspólne dla wszystkich obszarów wiedzy)
Kryteria oceny w zakresie dorobku dydaktycznego i popularyzatorskiego oraz współpracy międzynarodowej habilitanta (wspólne dla wszystkich obszarów wiedzy)
autorstwo lub współautorstwo publikacji naukowych w czasopismach znajdujących się w bazie Journal Citation Reports;
udzielone patenty międzynarodowe lub krajowe;
wynalazki, wzory użytkowe i przemysłowe, które uzyskały ochronę i zostały wystawione na międzynarodowych lub krajowych wystawach lub targach
Rozporządzenie MNiSW z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego
Habilitacja – kryteria oceny specyficzne dla obszaru nauk
autorstwo lub współautorstwo monografii, publikacji naukowych w czasopismach międzynarodowych lub krajowych innych niż znajdujące się w bazach lub na liście, o których mowa w §3, dla danego obszaru wiedzy;
autorstwo lub współautorstwo odpowiednio dla danego obszaru: opracowań zbiorowych, katalogów, zbiorów, dokumentacji prac badawczych, ekspertyz, utworów i dzieł artystycznych;
sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania;
liczbę cytowań publikacji według bazy Web of Science (WoS);
Rozporządzenie MNiSW z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego
Habilitacja – kryteria oceny wspólne dla wszystkich obszarów wiedzy
indeks Hirscha opublikowanych publikacji według bazy Web of Science (WoS);
kierowanie międzynarodowymi lub krajowymi projektami badawczymi lub udział w takich projektach;
międzynarodowe lub krajowe nagrody za działalność odpowiednio naukową albo artystyczną;
wygłoszenie referatów na międzynarodowych lub krajowych konferencjach tematycznych krajowych wystawach lub targach
Rozporządzenie MNiSW z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego
Habilitacja – kryteria oceny wspólne dla wszystkich obszarów wiedzy
Komunikat nr 3/2012 CK w sprawie sporządzania wykazu opublikowanych prac naukowych (…) oraz oświadczeń współautorów
Wykaz dorobku habilitacyjnego – nauki przyrodnicze
Habilitacja – wzór wykazu osiągnięć naukowych
Publikacje w JCR
Sumaryczny Impact Factor
Liczba cytowań
Indeks Hirscha
Profesura – kryteria oceny
Kryteria oceny w zakresie osiągnięć i dorobku naukowego dla nauk ścisłych, nauk technicznych, nauk przyrodniczych, nauk rolniczych, leśnych i weterynaryjnych, nauk medycznych i nauk o zdrowiu oraz nauki o kulturze fizycznej
Kryteria oceny w zakresie osiągnięć i dorobku naukowego (wspólne dla wszystkich obszarów nauki)
wykaz autorskich publikacji naukowych w czasopismach krajowych i międzynarodowych;
wykaz autorskich monografii;
wykaz współautorskich publikacji naukowych i udział w opracowaniach zbiorowych;
członkostwo w redakcjach naukowych.
Rozporządzenie MNiSW z dnia 14 października 2014 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodzie doktorskim, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora
Profesura – kryteria oceny wspólne dla wszystkich obszarów wiedzy
dorobek technologiczny i współpraca z sektorem gospodarczym,
prawa własności przemysłowej lub prawa do ochrony wyhodowanych albo odkrytych i wyprowadzonych odmian roślin, uzyskane w kraju lub za granicą,
wdrożenia technologii, konstrukcji, procesów, rozwiązań oraz procedur,
ekspertyzy i inne opracowania wykonane na zamówienie instytucji publicznych lub przedsiębiorców,
udziały lub akcje objęte lub nabyte w spółkach w celu wdrożenia lub przygotowania do wdrożenia wyników badań
naukowych, prac rozwojowych lub know-how związanych z tymi wynikami,
udział w zespołach eksperckich i konkursowych;
Rozporządzenie MNiSW z dnia 14 października 2014 r. w sprawie szczegółowego trybu i warunków przeprowadzania czynności w przewodzie doktorskim, w postępowaniu habilitacyjnym oraz w postępowaniu o nadanie tytułu profesora
Profesura – kryteria oceny specyficzne dla obszaru nauk
A ponadto…
Habilitacja i profesura
Prezydium Centralnej Komisji, na wniosek Sekcji Nauk Medycznych, postanowiło zwrócić się do jednostek naukowych działających w dziedzinie nauk medycznych, farmaceutycznych oraz nauk o kulturze fizycznej, przeprowadzających postępowania o nadanie stopnia doktora habilitowanego albo tytułu profesora, o dołączanie do dokumentacji każdego postępowania szczegółowej analizy bibliometrycznej publikacji kandydata do habilitacji lub tytułu profesora (wg załączonego wzoru).
Komunikat nr 4/2009 w sprawie analizy bibliometrycznej kandydatów do habilitacji i tytułu profesora
Dlaczego w ankiecie jest wskaźnik Index Copernicus
Habilitacja i profesura
dot. oceny dorobku jednostek naukowych [Sic!]
Wśród pytań i odpowiedzi na stronie internetowej CK
Oświadczenie MNiSW w sprawie naruszania zasad dobrej praktyki naukowej przy stosowaniu bibliometrycznego wskaźnika impact factor do oceny dorobku jednostek naukowych:
http://www.ck.gov.pl/images/PDF/pytania/oswiadczenie.pdf
CK odsyła do oświadczenia MNiSW dot. oceny osiągnięć jednostek naukowych!
Habilitacja i profesura
(…) wiele czasopism naukowych z listy filadelfijskiej, oprócz wydawania kolejnych seryjnych numerów publikuje również suplementy zawierające in extenso materiały konferencyjne nadsyłane przez komitety organizacyjne i redakcyjne, z pełnym lub częściowym pominięciem obowiązujących w czasopiśmie rygorów peer review. W takich przypadkach stosowanie współczynnika IF czasopisma do konferencyjnego suplementu jest nieuprawnione.
(…) warunkiem koniecznym do uznawania dorobku publikowanego w takich suplementach musi być pewność, że w stosunku do niego stosowane są przez redakcje identyczne procedury peer review, jak wobec materiałów publikowanych w głównym czasopiśmie.
Oświadczenie MNiSW w sprawie naruszania zasad dobrej praktyki naukowej przy stosowaniu bibliometrycznego wskaźnika impact factor do oceny dorobku jednostek naukowych: http://www.ck.gov.pl/images/PDF/pytania/oswiadczenie.pdf
dot. oceny dorobku jednostek naukowych [Sic!]
Habilitacja i profesura
3 Wskaźniki bibliometryczne w awansach naukowych
Impact Factor
PROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA
Impact Factor
IF = Impact Factor
= współczynnik wpływu [czasopisma] = wskaźnik wpływu [czasopisma] = miara oddziaływania [czasopisma]
Wskaźnik bibliometryczny określający miarę oddziaływania czasopisma, obliczany corocznie przez Thomson Reuters (wcześniej przez: Institute of Scientific Information) na podstawie liczby cytowań odnotowanych w bazie Web of Science.
IF = y———————C + Cy-2 y-1
L + Ly-2 y-1
IF y – współczynnik wpływu czasopisma obliczony dla roku Y
C y-x– liczba cytowań wszystkich publikacji, jakie ukazały się w czasopiśmie, w latach Y-X odnotowanych w roku Y
L y-x– liczba publikacji naukowych, jakie ukazały się w czasopiśmie, w latach Y-X
Impact Factor
Uwaga
Wynik (IF) interpretowany jest w odniesieniu do wyników innych czasopism z tzw. grupy jednorodnej (dyscyplina naukowa).
Potrzeba zróżnicowania wynika z odmiennej kultury cytowań oraz tzw. czasu życia informacji (krótki czas życia informacji to szybko pojawiające się zainteresowanie artykułem wygasające po krótkim czasie, długi czas życia to często opóźniona reakcja na artykuł i dłuższa jego obecność w obiegu naukowym).
Impact Factor
IF określa miejsce
czasopisma na liście
rangowej tej samej
grupy czasopism
1 kwartyl Q1
2 kwartyl Q2
3 kwartyl Q3
4 kwartyl Q4
Najwyższy IF
Najniższy IF
Najwyższy IF w 2013 r.
PhysiologySport sciences
Physiological Reviews
IF = 29,041
Exercise Immunology Review
IF = 9,929<
Q1Q1
Impact Factor
Rehabilitation
Neurorehabilitation and Neural Repair
IF = 4,617
Q1
<
Zastosowania IF
analiza prowadzona w bibliotekach w celu selekcji do prenumeraty (coraz rzadziej, od momentu upowszechnienia się baz pełnotekstowych z pakietami czasopism)
pomoc autorom w wyborze miejsca publikowania
porównywanie czasopism z tej samej kategorii (grupy jednorodnej)
ocena dorobku autora (raczej nie na podstawie wartości IF, ale liczby artykułów w czasopismach z JCR oraz pozycji czasopisma w danej grupie jednorodnej, kwartyla)
Impact Factor
Sumaryczny Impact Factor
HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCH
PROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA
Sumaryczny Impact Factor
SIF (Sum IF, SumIF, Sum. IF) = Sumaryczny Impact Factor
Wskaźnik bibliometryczny określający jakość dorobku naukowego autora. Stanowi sumę wartości IF czasopism, w których autor opublikował artykuły naukowe (IF zgodne z rokiem publikacji).
SIF = IF + IF + … + IF
SIF – Sumaryczny Impact Factor autora
IF n – Impact Factor czasopisma, w którym opublikowano artykuł (zgodny z rokiem publikacji)
1 2 n
Sumaryczny Impact Factor. Uproszczony wzór
Sumaryczny Impact Factor
SIF odnajdujemy w publikacji Virgila Diodato: Dictionary of Bibliometrics (1994) jako jedno z podejść do obliczania Author Impact Factor.
SIF ≠ AIF (Author Impact Factor), nie jest tym samym, co tzw. nowy wskaźnik AIF, porównywany z indeksem H pod względem skuteczności w ocenie dorobku autora.
Podany wzór pochodzi z tekstu Raj Kumar Pan i Santo Fortunato: Author Impact Factor: tracking the dynamics of individual scientic impact (2014). DOI: 10.1038/srep04880
Sumaryczny Impact Factor
IF i SIF – trudne decyzje
IF publikacji nowych
Autor opublikował artykuł naukowy w 2014 r. Nie znamy IF czasopisma dla tego roku.
Rozwiązanie 1: Przyjmujemy ostatnią aktualną wartość IF (z 2013 r.)
Konsekwencje:
czasopismo może mieć dużo niższą wartość IF w kolejnym roku,
czasopismo może zostać usunięte z JCR,
negatywna ocena pracy jednostki zajmującej się dokumentacją dorobku (w momencie rejestracji pracy wpisywana jest aktualna wartość IF, która ulega zmianie w bazie wraz z pojawieniem się nowej edycji JCR).
Rozwiązanie 2: Przyjmujemy, iż brak obliczonego IF oznacza, iż IF=0
Konsekwencje:
krzywdzące dla autora, który ma znaczący, ale „świeży” dorobek.
IF a artykuły w suplementach i numerach specjalnych
Autor opublikował artykuł naukowy w suplemencie lub numerze specjalnym. Artykuł przeszedł standardową procedurę recenzowania.
Rozwiązanie 1: Uwzględniamy artykuł
Konsekwencje:
autor może zostać [niesłusznie] posądzony o nadużycie przez recenzentów / radę wydziału.
Rozwiązanie 2: Odrzucamy artykuł
Konsekwencje:
wartość dorobku autora zostaje zaniżona.
IF a artykuły w suplementach i numerach specjalnych
ale… z logiki tworzenia IF wynika, że „proceedings papers” uwzględniane w obliczaniu tego wskaźnika (indeksowane w Web of Science), są traktowane na równi z artykułami naukowymi opublikowanymi w regularnych zeszytach:
http://wokinfo.com/media/pdf/JCR_Elements2013data-2014.pdf
Wartość SIF a negatywna ocena dorobku
Sumaryczny Impact Factor autora wynosi 0.
Przyczyna 1: Autor zajmuje się tematyką w niskim stopniu reprezentowaną w czasopismach z IF.
Przyczyna 2: Dorobek autora jest lokalny.
Przyczyna 2: Autor jest humanistą.
Wartość SIF a negatywna ocena dorobku
Sumaryczny Impact Factor autora wynosi 0.
Uprzejmie informujemy, że żaden z przepisów (ani ustawowych, ani wykonawczych) nie określa progu wymaganego dla dorobku IF czy punktów MNiSW/KBN – tak więc nie można stwierdzić wprost, że brak takich punktów stanowi przesłankę do odrzucenia wniosku.
Odpowiedź Pani Marii Woźniak z Biura CK na pytanie: „Czy Sumaryczny Impact Factor = 0 dyskwalifikuje habilitanta, jako osobę niespełniającą kryteriów ujętych w Rozporządzeniu?”Korespondencja z dn. 10 czerwca 2013 r.
Co się dzieje, gdy wprowadzamy wartości progowe dla SIF w awansach naukowych (postępowanie habilitacyjne) na poziomie dziedziny…
Median IF w 2013 r.
PhysiologySport sciences
Median IF = 2,345Median IF = 1,425<
Impact Factor
Rehabilitation
Median IF = 1,412<
Sumaryczny Impact Factor
Wyobraźmy sobie, że wartość progrowa dla SIF=3, a kandydaci mają po dwie publikacje (z tego samego czasopisma):
PhysiologySport sciences
Median IF = 2,345Median IF = 1,425
Rehabilitation
Median IF = 1,412
Q1 lub Q2 (z wyższym IF) Q3
Q1 lub Q2 (z wyższym IF)
Liczba cytowań
HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCH
PROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA
Liczba cytowań
Liczba cytowań
Wskaźnik bibliometryczny określający jakość* dorobku naukowego autora. Ustalany na podstawie liczby cytowań wg bazy Web of Science.
* Pojęcie jakości odnoszę tutaj do interpretacji (jakościowej) wartości wskaźnika ilościowego.
Uwzględniane są wszystkie cytowania: artykułów, materiałów konferencyjnych, abstraktów konferencyjnych, listów do redakcji, recenzji itd.
Liczba cytowań
Liczba cytowań – Web of Science
Dane o cytowaniach na platformie Web
of Science
Dane o cytowaniach w bazie Web of Science Core
Collection
Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)
Pełne dane (uwzględnia również cytowania dla prac
niezaindeksowanych w WoS)
Podstawa obliczeń
Liczba cytowań – Web of Science
Dane o cytowaniach na platformie Web
of Science
Dane o cytowaniach w bazie Web of Science Core
Collection
Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)
Pełne dane (uwzględnia również cytowania dla prac
niezaindeksowanych w WoS)
Podstawa obliczeń
Najczęstsza interpretacja
Liczba cytowań – Web of Science
Dane o cytowaniach na platformie Web
of Science
Dane o cytowaniach w bazie Web of Science Core
Collection
Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)
Pełne dane (uwzględnia również cytowania dla prac
niezaindeksowanych w WoS)
Podstawa obliczeń
Najczęstsza interpretacja
A co z autocytowaniami?Brak rozstrzygnięć!
Indeks H
HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCH
Indeks H
Indeks H = Wskaźnik Hirscha = H-index
Wskaźnik bibliometryczny określający jakość dorobku naukowego autora. Ustalany na podstawie liczby n publikacji, z których każda była co najmniej n razy cytowana w obrębie bazy Web of Science.
Indeks H
4 x cytowane
1 x cytowane
5 x cytowane
4 x cytowane
indeks H = 3
Indeks H – Web of Science
Dane o cytowaniach na platformie Web
of Science
Dane o cytowaniach w bazie Web of Science Core
Collection
Dane oparte o wskaźniki bazowe (uwzględnia tylko cytowania dla prac zaindeksowanych w WoS)
Pełne dane (uwzględnia również cytowania dla prac
niezaindeksowanych w WoS)
Podstawa obliczeń
Publikacje naukowe w czasopismach znajdujących się w bazie Journal Citation Reports (JCR)
HABILITACJA – WYKAZ OSIĄGNIĘĆ NAUKOWYCHPROFESURA I HABILITACJA – ANALIZA BIBLIOMETRYCZNA
Publikacje naukowe w czasopismach JCR
Journal Citation Reports
Baza tworzona przez firmę Thomson Reuters (udostępniana za pośrednictwem platformy Web of Science), w której zamieszczone są listy czasopism generujących wskaźnik wpływu IF, obliczany na podstawie danych gromadzonych w bazach bibliometrycznych Sience Citation Index i Social Sciences Citation Index.
Publikacja naukowa = recenzowana?
Publikacje naukowe w czasopismach JCR – możliwe interpretacje
Artykuły naukowe publikowane w regularnych numerach czasopism z JCR
Artykuły naukowe publikowane w regularnych numerach czasopism z JCR oraz numerach specjalnych/suplementach, jeżeli redakcja potwierdziła,
że tekst został poddany standardowej procedurze oceny.
Teksty naukowe publikowane w czasopismach JCR (numerach
regularnych i specjalnych/suplementach) uwzględniane przy ustalaniu wartości
wskaźnika IF (ang. citable items). Nie uwzględniane teksty
niezaindeksowane w WoS.
Wg mnie
4 Bibliometria jako dyscyplina vs. bibliometria stosowana (w awansach naukowych)
Bibliometria – ustalenia naukowe
IF czasopisma określa jakość badań autora publikującego w nim.
SIF
IF jest miarą wpływu czasopisma, wartości IF nie powinny służyć do
oceny autorów.
Bibliometria stosowana
Wartość IF określa miejsce czasopisma na liście czasopism
o podobnym profilu.
Wartość IF porównywane są bezpośrednio.
Bibliometria – ustalenia naukowe
Niektóre uczelnie wprowadzają nienegocjowalne wartości progowe.
Indeks H
Indeks H określa jakość dorobku autora, ale należy przy tym
pamiętać, że istnieją autorzy o niskim H, z wybitnymi pracami.
Bibliometria stosowana
Istnieje związek między wielkością H a dyscypliną.
Indeks H jest miarą uniwersalną.
Bibliometria – ustalenia naukowe
Liczba cytowań zależy tylko od jakości dorobku.
Liczba cytowań
Autorzy zajmujący się gorącymi tematami (ang. hot topics) mają większe szanse na cytowania.
Bibliometria stosowana
Prace przeglądowe są statystycznie częściej cytowane niż prace
badawcze.
Przekonanie o tym, że częściej cytowane są prace wybitne.
5 Wnioski
1. Wskaźniki bibliometryczne wspomagają ocenę osiągnięć naukowych.
2. Tworzenie wartości progowych wskaźników bibliometrycznych dla całej dziedziny jest merytorycznie nieuzasadnione.
3. Tworzenie wartości progowych w obrębie dyscypliny a jeszcze lepiej subdyscypliny ma sens, o ile uwzględnia również (poprzez ocenę jakościową) odstępstwa wynikające ze specyficznego charakteru danego obszaru, którym zajmuje się kandydat (np. możliwości publikacyjne związane z historią sportu).
4. Używanie wskaźnika IF do oceny kandydata jest niezalecane przez Thomson Reuters.
5. Systemy do oceny dorobku naukowego muszą dostosowywać się do zmian w komunikacji naukowej, a nie odwrotnie.
Wnioski
W prezentacji wykorzystałam grafikę:
Mixed emotions / Søren Rajczyk. Licencja: Creative Commons Uznanie autorstwa (flickr.com)