CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________
-
Upload
benjamin-hyde -
Category
Documents
-
view
40 -
download
13
description
Transcript of CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________
![Page 1: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/1.jpg)
CIVRComitato di Indirizzo per la Valutazione della Ricerca
________________________________
Incontro CRUI del 12 aprile 2006, ore 15
Panel 11 Scienze storiche, filosofiche, pedagogiche e psicologiche
Prof. Evandro Agazzi
VTR 2001- 2003
![Page 2: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/2.jpg)
• Suggerire regole e procedure di riferimento per la valutazione del Sistema Nazionale della Ricerca.
• Migliorare il collegamento istituzionale tra risultati della valutazione e allocazione delle risorse.
• Avviare procedure sistematiche di raffronto.• Favorire la diffusione dei risultati della ricerca.• Assicurare trasparenza al processo.
Scopi e specificità del VTR
![Page 3: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/3.jpg)
CIVR
Strutture di ricerca
Panel di Area
GovernoStrutture di ricercaComunità scientifica
Giudizi
• D
ati
& in
form
azi
on
i•
Re
lazi
on
e N
UV
/CIV
Prodotti
Il processo
![Page 4: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/4.jpg)
Strutture partecipanti
Area 11Atenei 61
Enti pubblici di Ricerca 1
Istituzioni private di Ricerca 2
![Page 5: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/5.jpg)
1.1. Scienze matematiche e informatiche2. Scienze fisiche3. Scienze chimiche4. Scienze della terra5. Scienze biologiche6. Scienze mediche7. Scienze agrarie e veterinarie8. Ingegneria civile ed architettura9. Ingegneria industriale e dell’informazione10. Scienze dell’antichità, filologico-letterarie e storico-artistiche
11. Scienze storiche, filosofiche, psicologiche e pedagogiche12. Scienze giuridiche13. Scienze economiche e statistiche14. Scienze politiche e sociali
Aree
15 a Scienze e tecnologie per una società dell'informazione e della comunicazione15 b Scienze e tecnologie per la qualità e la sicurezza degli alimenti15 c Scienze e tecnologie dei nano/microsistemi15 d Scienze e tecnologie aerospaziali15 e Scienze e tecnologie per lo sviluppo e la governance sostenibili15 f Scienze e tecnologie per la valutazione e la valorizzazione dei beni culturali
![Page 6: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/6.jpg)
• Libri• Capitoli di libri• Articoli su riviste • Brevetti e risultati di valorizzazione applicativa• Progetti, composizioni, disegni e design• Performance, mostre ed esposizioni• Manufatti e opere d'arte
Prodotti selezionabili
![Page 7: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/7.jpg)
• Attività puramente editoriali• Testi o software di esclusivo interesse didattico• Abstract di conferenze• Prove e analisi di routine• Rapporti tecnici interni
Prodotti non selezionabili
![Page 8: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/8.jpg)
Selezione dei prodotti (1)
• Le strutture hanno selezionato in autonomia i prodotti da trasmettere ai Panel.
• Il numero complessivo di prodotti selezionati è stato fissato nel 50% del numero medio annuo dei ricercatori della Struttura (calcolato sul triennio), espressi in ETP.
• Non era obbligatorio presentare prodotti in ogni area o settore disciplinare della stessa.
• Le aree prive di prodotti sono state giudicate inattive. • L’area selezionata dipendeva dalla collocazione del prodotto
e non da quella degli autori.• Per ciascun prodotto è stata trasmessa una scheda
illustrativa, con l’allegato in pdf della pubblicazione.• In assenza di allegato, è stata richiesta alle Strutture copia
cartacea.
![Page 9: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/9.jpg)
Selezione dei prodotti (2)
• La singola Struttura poteva presentare ciascun prodotto selezionato in una sola Area;
• Strutture diverse potevano selezionare prodotti identici e presentarli anche in Aree diverse;
• ciascun prodotto selezionato, anche se presentato in Aree diverse, è stato sottoposto ad un unico iter valutativo, che ha coinvolto tutti i Panel interessati.
![Page 10: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/10.jpg)
Giudizio di merito sui prodotti
• Ogni prodotto è stato valutato da almeno due esperti esterni, per i seguenti criteri:– qualità – rilevanza – originalità/innovazione – internazionalizzazione – impatto economico-occupazionale, anche potenziale
(per i risultati di valorizzazione applicativa)
• Per ciascun criterio gli esperti hanno formulato un giudizio di merito descrittivo.
![Page 11: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/11.jpg)
• Qualità: posizionamento del prodotto rispetto all’eccellenza scientifica nella scala di valore condivisa dalla comunità scientifica internazionale. Il giudizio di merito è affidato ad esperti esterni indipendenti, che operano nel settore o in settori affini a quello di appartenenza del prodotto (peer review).
• Rilevanza: valore aggiunto per l’avanzamento della conoscenza nel settore e per la scienza in generale, nonché per i benefici sociali derivati, anche in termini di appropriatezza, efficacia, tempestività e durata delle ricadute. Integra il giudizio di qualità.
• Originalità/innovazione: contributo a nuove acquisizioni o all’avanzamento di conoscenze, nel settore di riferimento. Integra il giudizio di qualità.
Criteri (1)
![Page 12: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/12.jpg)
• Internazionalizzazione: posizionamento nello scenario internazionale, in termini di rilevanza, competitività, diffusione editoriale e apprezzamento della comunità scientifica, inclusa la collaborazione esplicita con ricercatori e gruppi di ricerca di altre nazioni.Integra il giudizio di qualità.
• Impatto: effetti sociali, economici e culturali, diretti e indiretti del prodotto.
Criteri (2)
![Page 13: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/13.jpg)
Esperti esterni
• Nel processo di valutazione, i Panel si sono avvalsi di esperti esterni, anche stranieri, scelti collegialmente dai Panel stessi;
• agli esperti esterni è stato affidato il compito di esprimere giudizi di merito sui prodotti selezionati dalle Strutture;
• agli esperti è stato garantito l’anonimato dei giudizi.
![Page 14: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/14.jpg)
• Ciascun esperto ha espresso su ogni prodotto un giudizio unico e complessivo, con attribuzione a quattro livelli di merito (in coerenza con il giudizio descrittivo): – eccellente – buono – accettabile – limitato
Livelli di merito dei prodotti (1)
![Page 15: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/15.jpg)
• Eccellente: la qualità del prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale.
• Buono: il prodotto si colloca nel segmento 60-80%.• Accettabile: il prodotto si colloca nel segmento
40-60%.• Limitato: il prodotto si colloca nel 40% inferiore.
Livelli di merito dei prodotti (2)
![Page 16: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/16.jpg)
Grado di proprietà dei prodotti
• È espresso dal rapporto tra:
N. autori affiliati alla Struttura/N. complessivo autori
• Sono state considerate anche le affiliazioni multiple.
• È stato determinato sia sul numero totale dei
prodotti presentati dalla Struttura, sia sui soli
prodotti giudicati eccellenti.
![Page 17: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/17.jpg)
Componenti del Panel 11
• AGAZZI EVANDRO (Presidente)• BEDESCHI GIUSEPPE • BERTI ENRICO • BUTERA FABRIZIO • CARAMAZZA ALFONSO • CARDINI FRANCO • CHIOSSO GIORGIO • DAZZI NINO • KING RUSSELL • PARLATO GIUSEPPE • SCABINI EUGENIA
![Page 18: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/18.jpg)
Sottogruppi del Panel 11
• CONSENSUS GROUP N.1: AGAZZI EVANDRO BEDESCHI GIUSEPPE BERTI ENRICO
• CONSENSUS GROUP N.2: BUTERA FABRIZIO CARAMAZZA ALFONSO DAZZI NINO SCABINI EUGENIA
• CONSENSUS GROUP N.3: CARDINI FRANCO CHIOSSO GIORGIO KING RUSSELL PARLATO GIUSEPPE
![Page 19: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/19.jpg)
Prodotti valutati nell’area
Area 11Prodotti presentati dalle Strutture 1.183
di cui:
12 presentati da 2 Strutture -6
Prodotti valutati dal Panel 1.177
![Page 20: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/20.jpg)
Esperti esterni coinvolti
Area 11Nazionalità Provenienza Num. esperti Num. valutazioni
Italiana Accademica 388 2.032
Italiana Non-accademica 37 163
Straniera Mista 45 161
Totali 470 2.356
![Page 21: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/21.jpg)
Prodotti valutati (1)
![Page 22: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/22.jpg)
Distribuzione per tipologia nelle diverse Aree
Prodotti valutati (2)
![Page 23: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/23.jpg)
Area 11Tipologia Numero %
Articolo su rivista 256 21.75
Capitolo di libro 205 17.42
Libro 702 59.64
Performance, mostra ed esposizione 5 0.42
Progetto, composizione, disegno e design 5 0.42
Risultato di valorizzazione applicativa 4 0.34
Totale 1.177 100
Tipologia dei prodotti (1)
![Page 24: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/24.jpg)
Area 11Tipologia prodotto numero valutati eccellente
ISI 173 79 (45.7%)
Altri (non-ISI, libri, etc.) 1.004 253 (25.2%)
Totale 1.177 332 (28.2%)
Tipologia dei prodotti (2)
![Page 25: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/25.jpg)
Riviste ricorrenti
Area 11 Scienze storiche, filosofiche, pedagogiche e psicologiche
0 2 4 6 8 10
CHILD DEVELOPMENT
COGNITIVE BRAIN RESEARCH
J OURNAL OF COGNITIVE NEUROSCIENCE
NATURE
NATURE NEUROSCIENCE
SLEEP
STUDI STORICI
BRAIN AND LANGUAGE
CEREBRAL CORTEX
J OF COMMUNITY & APPLIED SOCIAL PSYCHOLOGY
BRAIN
J OURNAL OF PERSONALITY AND SOCIAL PSYCHOLOGY
NEUROPSYCHOLOGIA
Riv
ista
numero
![Page 26: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/26.jpg)
Tipologia e qualità dei prodotti
Area 11 Scienze storiche, filosofiche, pedagogiche e psicologiche
0% 25% 50% 75% 100%
Articolo su rivista (256)
Capitolo di libro (205)
Libro (702)
Performance, mostra ed esposizione (5)
Progetto, composizione, disegno e design (5)
Risultato di valorizzazione applicativa (4)
Eccellente Buono Accettabile Limitato
![Page 27: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/27.jpg)
Tutte le Aree
Distribuzione per Lingua
![Page 28: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/28.jpg)
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Matematica
3. Chimica
6. Medicina
5. Biologia
15b. Qualità alimenti
15c. Nano e Micro Tec
7. Sc Agrarie - Veterinarie
2. Fisica
4. Geologia
9. Ing Industriale - Inform
15d. Sc Aerospaziali
15a. ICT
13. Economia - Statistica
15e. Sviluppo Sostenibile
8. Ing Civile - Arch
15f. Beni Culturali
14. Sc Politiche - Sociali
11. Sc Stor Filos Psic Ped
10. Sc Filol-Lett Stor-Art
12. Sc Giuridiche
ITALIANO INGLESE ALTRO
Nelle diverse Aree
Distribuzione per Lingua
![Page 29: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/29.jpg)
0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1
Totale
Prodotti eccellenti
15f. Beni Culturali
15e. Sviluppo
15d. Sc Aerospaziali
15c. Nano e Micro Tec
15b. Qualità Alimenti
15a ICT
14. Sc Politiche - Sociali
13. Economia -
12. Sc Giuridiche
11. Sc Stor Filos Psic
10. Sc Filol-Lett Stor-Art
9. Ing Industriale -
8. Ing Civile - Arch
7. Sc Agrarie -
6. Medicina
5. Biologia
4. Geologia
3. Chimica
2. Fisica
1. Matematica
Grado medio di Proprietà
![Page 30: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/30.jpg)
Grado di proprietà dei prodotti
Media ( ♦ ) e intervallo di variazione ( )
![Page 31: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/31.jpg)
5%
19%
46%
30%
1%
8%
39%
52%
Eccellente Buono Accettabile Lim itato
Prodotti presentati da: Una sola struttura Più strutture
Distribuzione dei giudizi (1)
17.329 prodotti di tutte le Aree
![Page 32: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/32.jpg)
Andamento complessivo per area0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
1. Matematica
2. Fisica
3. Chimica
4. Geologia
5. Biologia
6. Medicina
7. Sc Agrarie - Veterinarie
8. I ng Civile - Arch
9. I ng I ndustriale - I nform
10. Sc Filol-Lett Stor-Art
11. Sc Stor Filos Psic Ped
12. Sc Giuridiche
13. Economia - Statistica
14. Sc Politiche - Sociali
15a. I CT
15b. Qualità alimenti
15c. Nano e Micro Tec
15d. Sc Aerospaziali
15e. Sviluppo Sostenibile
15f. Beni Culturali
Eccellente Buono Accettabile Limitato
Distribuzione dei giudizi (2)
![Page 33: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/33.jpg)
Distribuzione dei giudizi (3)
Area 11 - 1177 prodotti
28%
47%
21%
4%
Eccellente Buono Accettabile Limitato
![Page 34: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/34.jpg)
Analisi divergenze giudizi
![Page 35: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/35.jpg)
Impact Factor dei prodotti
Media ( ♦ ) e intervallo di variazione ( )
![Page 36: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/36.jpg)
Impact Factor dei prodotti (2)
![Page 37: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/37.jpg)
Peso dei giudizi
Giudizio Significato Peso
EccellenteIl prodotto si colloca nel 20% superiore della scala di valore condivisa dalla comunità scientifica internazionale
1
Buono Il prodotto si colloca nel segmento 60%-80% 0.8
Accettabile Il prodotto si colloca nel segmento 40%-60% 0.6
Limitato Il prodotto si colloca nel 40% inferiore 0.2
La Valutazione delle Aree (1)
![Page 38: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/38.jpg)
Esprime il giudizio medio sui prodotti presentati da ogni singola Struttura nelle diverse Aree.
Si ottiene dividendo la somma dei giudizi pesati attribuiti ai singoli prodotti (prodotti pesati) per il numero totale di prodotti presentati.
Il rating
La Valutazione delle Aree (2)
![Page 39: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/39.jpg)
Sul sito http://vtr2006.cineca.it sono riportati per ogni singola Area:
La Valutazione delle Aree (3)
![Page 40: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/40.jpg)
La Valutazione delle Aree (4)
![Page 41: CIVR Comitato di Indirizzo per la Valutazione della Ricerca ________________________________](https://reader035.fdocument.pub/reader035/viewer/2022062720/56813484550346895d9b652e/html5/thumbnails/41.jpg)
La Valutazione delle Aree (5)