Valutazione delle Performance -...
Transcript of Valutazione delle Performance -...
![Page 1: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/1.jpg)
Valutazione delle Performance
Commissione «Piano Strategico»
![Page 2: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/2.jpg)
Impianto Generale
Ad ogni Dipartimento, viene riservata una quota aggiuntiva proporzionale alla dotazione standard Ad esempio, 10% in più
I Dipartimenti non sono in competizione tra di loro
La quota sarà assegnata, tutta o in parte, sulla base delle performance del Dipartimento su tre ambiti Didattica
Ricerca
Servizi e gestione amministrativa
Le performance sono valutate come miglioramento nel tempo rispetto «se stessi»
Non vi è alcun confronto diretto tra i Dipartimenti
![Page 3: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/3.jpg)
Indicatore di Performance
Le performance di ogni Dipartimento sono valutate rispetto tre aree di interesse strategico
![Page 4: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/4.jpg)
Indicatore di Performance
Le performance di ogni Dipartimento sono valutate rispetto tre aree di interesse strategico
Nel seguito vengono analizzate le aree della FORMAZIONE e della RICERCA
![Page 5: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/5.jpg)
FORMAZIONEIndicatori e Performance dei Dipartimenti
Commissione «Piano Strategico»
![Page 6: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/6.jpg)
Quali Indicatori?
Necessità di perseguire l’ottimizzazione degli indicatori già approvati dall’Ateneo nel contesto della Programmazione Triennale 2016-2018 (PRO3)
L’Ateneo si è già impegnato su di essi
La richiesta di finanziamento per specifici progetti di Ateneo è stata già sottoposta al MIUR
I dati relativi sono già monitorati sulla piattaforma ministeriale
Inoltre, è utile monitorare i restanti indicatori PRO3 e gli indicatori recentemente proposti dall’ANVUR nel decreto AVA 2.0
Gli indicatori AVA 2.0 sono comunque «vincolanti» ai fini dell’accreditamento delle sedi (visite in loco nel 2018)
Opportunità di selezionare, sin da ora, alcuni di questi indicatori
![Page 7: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/7.jpg)
Selezione degli Indicatori 2016/2017
Focus sugli indicatori PRO3 già approvati dall’Ateneo:
Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]
Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]
Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]
Focus su un ulteriore AVA 2.0
Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]
L’indicatore è rilevante nel contesto del FFO (costo standard)
![Page 8: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/8.jpg)
Monitoraggio
Valori disponibili con granularità di CdS:
Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]
Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]
![Page 9: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/9.jpg)
Monitoraggio
Valori disponibili con granularità di CdS:
Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]
Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]
Valori disponibili con granularità di Ateneo:
Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]
Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]
Per questi indicatori, si richiederanno al MIUR le medie di classe
![Page 10: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/10.jpg)
Indicatori per Anni Successivi
A decorrere dal 2018, dovranno essere selezionati tutti gli indicatori AVA 2.0 e riconducibili ad obiettivi definiti dall’Ateneo nel piano strategico
A decorrere dal 2019, dovranno essere selezionati tutti gli indicatori AVA 2.0
![Page 11: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/11.jpg)
Valutazione della Performance di un CdS
Sia V il valore iniziale dell’indicatore per un dato CdS (è un valore percentuale)
Sia M il valore medio nazionale (sui CdS della stessa classe di laurea)
Sia V’ il valore finale dell’indicatore CdS
Consideriamo una soglia (inferiore) S e un target T, che determinano le aree di «virtuosità» e di «criticità» del CdS
Assumiamo, per ora, che i valori S e T siano dati; vedremo successivamente come possano essere calcolate
L’obiettivo è valutare la performance P del CdS sull’indicatore P è un numero compreso tra 0 e 1
![Page 12: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/12.jpg)
Algoritmo di Calcolo di «P»
Sia V il valore iniziale dell’indicatore per un dato CdS (è un valore percentuale)
Sia M il valore medio nazionale (sui CdS della stessa classe di laurea)
Sia V’ il valore finale dell’indicatore CdS
Consideriamo una soglia (inferiore) S e un target T, che determinano le aree di «virtuosità» e di «criticità» del CdS
0%
100% Se V’ > T, allora la performance P del CdS è P=1 ≥
T
SSe V’ < S, allora la performance P del CdS è P=0 ≥
![Page 13: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/13.jpg)
Algoritmo di Calcolo di «P»
Sia V il valore iniziale dell’indicatore per un dato CdS (è un valore percentuale)
Sia M il valore medio nazionale (sui CdS della stessa classe di laurea)
Sia V’ il valore finale dell’indicatore CdS
Consideriamo una soglia (inferiore) S e un target T, che determinano le aree di «virtuosità» e di «criticità» del CdS
0%
100% Se V’ > T, allora la performance P del CdS è P=1 ≥
T
SSe V’ < S, allora la performance P del CdS è P=0 ≥
Negli altri casi, la performance P del CdS è proporzionale al
posizionamento all’interno della fascia, cioè P = V’− ST − S
![Page 14: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/14.jpg)
Come Definiamo il Target T?
Il target viene definito in modo parametrico rispetto il valore attuale dell’indicatore V e la media nazionale M
Consideriamo due casi distinti, in funzione del posizionamento rispetto la media nazionale M
CdS non virtuosi, cioè con V < M
CdS già virtuosi, cioè con V ≥ M
![Page 15: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/15.jpg)
Come Definiamo T? (Caso V < M)Caso del CdS non virtuoso
0%
100%
S
V
M
Il target T è fissato a V + 5% M + min {5%V, 5% (M-V)}
Viene richiesto un incremento «base» di 5% M Viene poi richiesto di migliorare di un 5% o in termini assoluti sulla propria
attuale performance V o in termini relativi rispetto la distanza dal valore medio M
Se V’ > T, allora la performance P del CdS è P=1 ≥
![Page 16: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/16.jpg)
Come Definiamo T? (Caso V < M)Caso del CdS non virtuoso
Il target T è fissato a V + 5% M + min {5%V, 5% (M-V)}
Viene richiesto un incremento «base» di 5% M Viene poi richiesto di migliorare di un 5% o in termini assoluti sulla propria
attuale performance V o in termini relativi rispetto la distanza dal valore medio M
5% V: In sostanza, se un CdS è molto sotto media, allora sarà chiamato a migliorare rispetto se stesso
5% (M-V): Se invece il CdS è già vicino alla media, allora gli sarà richiesto un miglioramento relativo per ridurre ulteriormente il gap
![Page 17: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/17.jpg)
Come Definiamo T? (Caso V ≥ M)Caso del CdS virtuoso
0%
100%
T
V
Il target T è fissato a V + 5% M - 𝜶% (V-M)
La definizione è strutturalmente simmetrica rispetto al caso del CdS non virtuoso
Se V’ > T, allora la performance P del CdS è P=1 ≥
M
![Page 18: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/18.jpg)
Come Definiamo T? (Caso V ≥ M)Caso del CdS virtuoso
Il target T è fissato a V + 5% M - 𝜶% (V-M)
Il valore di 𝜶 è fissato in modo che ai CdS con valutazione superiore a M+10%Msia richiesto come target di mantenere il proprio status
Per CdS con valutazione ancora superiore, sarà possibile anche raggiungere il target con un leggero deterioramento delle performance
In sostanza, in una scala da 1 a 10, con 6 come media, sarà tollerato un leggero peggioramento ai CdS con valutazione 8, 9, oppure 10
V T
4 4,40
5 5,35
6 6,30
7 6,80
8 7,30
9 7,80
10 8,30
![Page 19: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/19.jpg)
Come Definiamo S?
La soglia inferiore viene definita rispetto il target T, in modo da tenere costante la finestra di valutazione Dunque, S = T – 5% M
0%
100%
5% M
![Page 20: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/20.jpg)
Dinamica del Modello
Le costanti scelte nel modello (in particolare, gli incrementi del 5%) determinano dinamiche «lente» per il raggiungimento dei valori medi nazionali
Scelta ponderata in considerazione della prima applicazione del meccanismo
Necessità di valutare, negli anni successivi, una revisione del modello che induca dinamiche più veloci di convergenza verso le medie nazionali
0
0,2
0,4
0,6
0,8
1
1,2
1,4
0 10 20 30 40
CdS che raggiunge esattamente il target ogni anno
![Page 21: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/21.jpg)
Ribaltamento sui Dipartimenti
I criteri sono riferiti ai CdS e vanno ribaltati sui Dipartimenti
Per ogni Dipartimento e CdS j, sia Fj il seguente rapporto
Consideriamo un generico indicatore e siano P1, P2, … , Pn i valori delle performance degli n CdS dell’Ateneo su tale indicatore
Per ogni Dipartimento, la performance è la media pesata rispetto ai vari CdS (su cui è coinvolto):
Fj=Numero di CFU nel CdS j sotto la responsabilità del Dipartimento
Numero di CFU complessivi nel CdS j
F1 × P1 + F2 × P1 +⋯+ Fn × Pn
F1 + F2 +⋯+ Fn
Un Dipartimento è responsabile della copertura di una attività formativa se il CdS è incardinato in esso
o se ad esso è stata demandata la copertura a seguito di accordi bilaterali.
![Page 22: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/22.jpg)
Indicatore Complessivo
Consideriamo le performance di un Dipartimento sui quattro indicatori selezionati
Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]
Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]
Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]
Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]
O3.12
La performance complessiva è data da 0,4 × O3.12 + 0,5 × O3.7 + 0,1 × O3.6
O3.7
O3.6
50%
50%
100%
100%
![Page 23: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/23.jpg)
Peso Obiettivo 3.6
Consideriamo le performance di un Dipartimento sui quattro indicatori selezionati
Frazione CFU conseguiti all'estero da studenti regolari [mobilità all’estero, obiettivo 3.12]
Proporzione di CFU conseguiti all’estero da parte degli studenti per attività di studio o tirocinio curricolare rispetto al totale dei CFU previsti nell’anno solare [mobilità all’estero, obiettivo 3.12]
Proporzione di studenti che si iscrivono al II anno della stessa classe di laurea o laurea magistrale a ciclo unico (L, LMCU) avendo acquisito almeno 40 CFU in rapporto alla coorte di immatricolati nell'a.a. precedente [performance studenti, obiettivo 3.7]
Percentuale di laureati (L, LM, LMCU) entro un anno oltre la durata normale del corso [regolarità studenti, obiettivo 3.6]
O3.12
La performance complessiva è data da 0,4 × O3.12 + 0,5 × O3.7 + 0,1 × O3.6
O3.7
O3.6
50%
50%
100%
In prima applicazione, si considera un peso «piccolo», visti i limitati
margini di azioni dei CdS nel dispiegare azioni correttive i cui
effetti siano tangibili in un anno
Superato il periodo di transitorio, il peso dovrà essere rivisto
100%
![Page 24: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/24.jpg)
RICERCAIndicatori e Performance dei Dipartimenti
Commissione «Piano Strategico»
![Page 25: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/25.jpg)
Ricerca
L’attività di ricerca dei Dipartimenti viene valutata, su una finestra quadriennale, dal programma VQR Gli esiti della VQR sono stati usati in vari contesti, dalla ripartizione
del FFO alla assegnazione di risorse su piani straordinari
La VQR è però una fotografia statica
L’ultima è riferita al quadriennio 2011-2014
![Page 26: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/26.jpg)
Ricerca
L’attività di ricerca dei Dipartimenti viene valutata, su una finestra quadriennale, dal programma VQR Gli esiti della VQR sono stati usati in vari contesti, dalla ripartizione
del FFO alla assegnazione di risorse su piani straordinari
La VQR è però una fotografia statica
L’ultima è riferita al quadriennio 2011-2014
Nell’ottica di una politica di incentivazione alla qualità (fare meglio nella successiva edizione) è dunque fondamentale la definizione di un indicatore di performance del Dipartimento che «ragioni» sulla VQR, attualizzandola ad una finestra quadriennale che scorre di anno in anno
![Page 27: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/27.jpg)
Ricerca
Nell’ottica di una politica di incentivazione alla qualità (fare meglio nella successiva edizione) è dunque fondamentale la definizione di un indicatore di performance del Dipartimento che «ragioni» sulla VQR, attualizzandola ad una finestra quadriennale che scorre di anno in anno
Si utilizzerà lo stesso impianto descritto per i CdS: Ogni Dipartimento si confronta con se stesso La performance del Dipartimento non è valutata in termini «assoluti»
(per questo ci sarà la prossima VQR), ma in termini di «miglioramento» rispetto la propria posizione di partenza
![Page 28: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/28.jpg)
Ricerca: Pubblicazioni di Pregio
Ci si focalizza sulle pubblicazioni ritenute «potenzialmente eccellenti», cioè tali da ricevere una valutazione eccellente nella successiva VQR
L’utilizzo di scale più fini di valutazione appare di difficile implementazione
![Page 29: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/29.jpg)
Ricerca: Pubblicazioni di Pregio
Ci si focalizza sulle pubblicazioni ritenute «potenzialmente eccellenti», cioè tali da ricevere una valutazione eccellente nella successiva VQR
L’utilizzo di scale più fini di valutazione appare di difficile implementazione
Una pubblicazione è potenzialmente eccellente se, per i settori bibliometrici, è inclusa nel primo quartile rispetto un
qualunque indicatore di impatto o di prestigio
Si considerano i dati e le pubblicazioni censite su ISI e Scopus
Nel caso di classificazioni in più «subject categories», sarà scelta la migliore
per i settori non-bibliometrici, è inclusa nell’elenco delle riviste di fascia A per l’abilitazione Scientifica Nazionale (oppure VQR, in alcune aree), oppure è una monografia, oppure è un prodotto di ricerca comunque sottoposto ad una revisione tra pari
![Page 30: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/30.jpg)
Ricerca: Definizione dell’Indicatore
Ricordiamo che, nel bando VQR, ogni ricercatore R è valutato su due prodotti che devono essere attribuiti ad R in modo esclusivo
Per ogni ricercatore R di un dato Dipartimento
Vengono considerate le pubblicazioni di R potenzialmente eccellenti prodotte nell’ultimo quadriennio
Ogni pubblicazione viene pesata come segue:
Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo di 2 fissato per tale valore
Per i settori non-bibliometrici, le monografie «valgono doppio»
Inoltre, il meccanismo di attribuzione esclusivo viene simulato pesando ogni pubblicazione come:
1
Numero di autori UNICAL
![Page 31: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/31.jpg)
Ricerca: Definizione dell’Indicatore
Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti
Per ogni ricercatore R di un dato Dipartimento
Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2
L’indicatore che ci proponiamo di monitorare è il totale dei prodotti potenzialmente eccellenti nel Dipartimento
V = PE1 + PE2 +⋯+ PEm
m è il numero di ricercatori nel Dipartimento
![Page 32: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/32.jpg)
Media, Target e Soglia del Dipartimento
Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti
Per ogni ricercatore R di un dato Dipartimento
Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2
Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014
![Page 33: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/33.jpg)
Media, Target e Soglia del Dipartimento
Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti
Per ogni ricercatore R di un dato Dipartimento
Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2
Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014
Definiamo il valore medio di riferimento per il Dipartimento come
M =ME1 +⋯+ MEm
m è il numero di ricercatori nel Dipartimento
![Page 34: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/34.jpg)
Media, Target e Soglia del Dipartimento
Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti
Per ogni ricercatore R di un dato Dipartimento
Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2
Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014
Definiamo il valore medio di riferimento per il Dipartimento come
M =ME1 +⋯+ MEm
Definiamo il target come min { T , 𝐦× 2} , ove T è il valore calcolato in base all’approccio descritto per i CdS
m è il numero di ricercatori nel Dipartimento
![Page 35: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/35.jpg)
Media, Target e Soglia del Dipartimento
Ricordiamo che nel bando VQR, ogni ricercatore è valutato su due prodotti
Per ogni ricercatore R di un dato Dipartimento
Sia PER la somma pesata delle pubblicazioni di R, con un tetto massimo al valore fissato a 2
Sia MER il numero medio, a livello nazionale, di pubblicazioni eccellenti nel settore di afferenza del ricercatore R in base agli esiti della VQR 2011-2014
Definiamo il valore medio di riferimento per il Dipartimento come
M =ME1 +⋯+ MEm
Definiamo il target come min { T , 𝐦× 2} , ove T è il valore calcolato in base all’approccio descritto per i CdS
La soglia S è sempre T – 5%M
m è il numero di ricercatori nel Dipartimento
![Page 36: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/36.jpg)
Indicatore Complessivo della RICERCA
Il meccanismo sin qui descritto può essere ristretto ai neo-assunti nella finestra di interesse (ivi incuse le progressioni di carriera), per valutare le politiche di reclutamento
![Page 37: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/37.jpg)
Indicatore Complessivo della RICERCA
Il meccanismo sin qui descritto può essere ristretto ai neo-assunti nella finestra di interesse (ivi incuse le progressioni di carriera), per valutare le politiche di reclutamento
Dunque, ad ogni Dipartimento vengono associati due indicatori, da pesare opportunamente
A: VQR
B: VQR NEO-ASSUNTI
![Page 38: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/38.jpg)
Indicatore Complessivo della RICERCA
Il meccanismo sin qui descritto può essere ristretto ai neo-assunti nella finestra di interesse (ivi incuse le progressioni di carriera), per valutare le politiche di reclutamento
Dunque, ad ogni Dipartimento vengono associati due indicatori, da pesare opportunamente
A: VQR
B: VQR NEO-ASSUNTI
Il peso di B è 2 ×𝑁. 𝑛𝑒𝑜𝑎𝑠𝑠𝑢𝑛𝑡𝑖 𝑛𝑒𝑙 𝐷𝑖𝑝𝑎𝑟𝑡𝑖𝑚𝑒𝑛𝑡𝑜
𝑁. 𝑐𝑜𝑚𝑝𝑙𝑒𝑠𝑠𝑖𝑣𝑜 𝑑𝑜𝑐𝑒𝑛𝑡𝑖 𝑛𝑒𝑙 𝐷𝑖𝑝𝑎𝑟𝑡𝑖𝑚𝑒𝑛𝑡𝑜%
Intuitivamente, ogni neo-assunto «vale doppio»
Viene inoltre fissato un tetto massimo per B pari a 30%
Il peso di A sarà consequenziale, cioè A=100% - B
![Page 39: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/39.jpg)
Finestre Temporali
Nella prima applicazione, la finestra sarà triennale
2015-2016-2017
Le medie saranno scalate per ¾
A fine 2018, sarà invece considerata una finestra quadriennale
2015-2016-2017-2018
Dopo la prima applicazione, sarà comunque necessario un momento di riflessione per verificare l’efficacia complessiva dell’impianto
Ad esempio, possibilità di modificare la definizione di pubblicazione «potenzialmente eccellente»
![Page 40: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/40.jpg)
Performance del Dipartimento
Commissione «Piano Strategico»
![Page 41: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/41.jpg)
Indicatore di Performance
Ricordiamo che le performance di ogni Dipartimento è valutata rispetto tre aree di interesse strategico
Ad ognuna delle tre aree deve essere associato un peso, in modo da definire un indicatore di performance complessivo del Dipartimento
La percentuale per l’area dei servizi viene fissata al 10%
10%
![Page 42: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/42.jpg)
Indicatore di Performance
Ricordiamo che le performance di ogni Dipartimento è valutata rispetto tre aree di interesse strategico
Ad ognuna delle tre aree deve essere associato un peso, in modo da definire un indicatore di performance complessivo del Dipartimento
La percentuale per l’area dei servizi viene fissata al 10%
Su RICERCA e FORMAZIONE si definisce una percentuale minima del 25%
Ogni Dipartimento potrà liberamente allocare su queste due aree il restante 40%, scegliendo sulla base delle proprie politiche di qualità
25%
25%
10%
![Page 43: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/43.jpg)
Ulteriori Indicatori di AteneoNon Ribaltati sui Dipartimenti
Commissione «Piano Strategico»
![Page 44: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/44.jpg)
Elenco Indicatori
Indicatori PRO3
R+X dei collegi di Dottorato [ricerca]
Realizzazione di un progetto sperimentale di ateneo, anche dedicato ai soli docenti, orientato a favorire i risultati della formazione così come definiti dai Descrittori di Dublino e a sostenere l'apprendimento attivo dello studente [didattica]
Ulteriori Indicatori
Realizzazione di un progetto sperimentale di ateneo per stimolare la partecipazione a bandi competitivi per attività di ricerca e di trasferimento tecnologico [ricerca]
VQR di Ateneo [ricerca]
![Page 45: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/45.jpg)
Sintesi
Commissione «Piano Strategico»
![Page 46: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/46.jpg)
Obiettivi di Primo Livello
Indicatori per la Misurazione Descrizione NumeratoreDescrizione
DenominatoreFonte dei Dati
Struttura
Oggetto della
Rilevazione
Are
a st
rate
gica
Fo
rmaz
ion
e
3.6 Regolarità degli studi nel rispetto di una
rigorosa valutazione
Frazione degli iscritti puri al primo anno nell’a.a. t-(n+1) che
si laureano nell'anno t (L, LMCU, LM) ANVUR.IND6
laureati stabili
iscritti puri al primo anno nell’a.a. t-(n+1) che si laureano nell'anno t (L,
LMCU, LM)
iscritti puri al primo anno nell’a.a. t-(n+1) (L, LMCU, LM)
Anagrafe Nazionale Studenti
Dipartimento
3.7 Miglioramento delle performance
degli studenti
Frazione degli iscritti regolari al primo anno nell’a.a. t-1 che si
iscrivono al II anno dello stesso corso di laurea o laurea
magistrale a ciclo unico (L, LMCU) avendo acquisito
almeno 40 CFU (programmazione triennale 16-
18)
Iscritti al II anno nell'a.a. 2015/2016 nella stessa classe di
immatricolazione, con almeno 40 CFU sostenuti nell'a.a. 201412015
ed entro il 3111212015 nella medesima classe, sui corsi di laurea
di primo livello (L e LMCU). Sono esclusi gli iscritti che hanno
effettuato una rinuncia nell'a.a2015/16
Immatricolati (studenti iscritti per la prima volta al I
anno al sistema universitario -prima carriera) nella stessa
classe nell'a.a. 201412015 con l'esclusione delle rinunce
entro il 3111212015
Anagrafe Nazionale Studenti
Dipartimento
3.9 Potenziamento della qualità della didattica in ottica
studente
Realizzazione di un progetto sperimentale di ateneo, anche dedicato ai soli
docenti, orientato a favorire i risultati della formazione così come definiti dai Descrittori di
Dublino e a sostenere l'apprendimento attivo dello studente (programmazione
triennale 16-18)
Indicatore esplorativo di AteneoAteneo - Validazione
da parte del NdVAteneo
3.12 Incremento della mobilità all’estero degli
studenti
Proporzione di CFU conseguiti all'estero da parte degli
studenti per attività di studio o tirocinio curricolare rispetto al
totale dei CFU previsti nell'anno solare.
(programmazione triennale 16-18)
Numero di CFU conseguiti all'estero per attività di studio o
tirocinio in atenei stranieri o imprese straniere dal 1/1 al
31/12/2015 da studenti iscritti all'a.a. 2014/15. Sono considerati
solo gli iscritti ai corsi ex DM 270/2004
Numero di CFU conseguiti dal 1/1 al 31/12/2015 da studenti iscritti all'a.a.2014/15. Sono considerati solo gli iscritti ai
corsi ex DM 270/2004
Anagrafe Nazionale Studenti
Dipartimento
Proporzione di CFU conseguiti all'estero dagli studenti
regolari sul totale dei CFU conseguiti dagli studenti entro la durata normale del corso (*) (programmazione triennale 16-
18 - autovalutazione)
CFU conseguiti all'estero dagli iscritti regolari a.a. 2014/2015
nell'a.s. 2015
CFU conseguiti dagli iscritti regolari a.a. 2014/2015
nell'a.s. 2015
Anagrafe Nazionale Studenti
Dipartimento
![Page 47: Valutazione delle Performance - Unicalstatistiche.unical.it/wp-content/uploads/2017/03/Indicatori_Target... · Consideriamo le performance di un Dipartimento sui quattro indicatori](https://reader033.fdocument.pub/reader033/viewer/2022042316/5f05402c7e708231d41207f7/html5/thumbnails/47.jpg)
Obiettivi di Primo Livello
Indicatori per la Misurazione
Descrizione
Numeratore
Descrizione
DenominatoreFonte dei Dati
Struttura Oggetto
della RilevazioneA
rea
stra
tegi
ca R
ice
rca
1.1 Miglioramento della qualità e
produttività scientifica dei professori e dei
ricercatori
Risultati dell'ultima VQR disponibile a livello di
sede, di dipartimento e di SSD.
Valutazione media delle pubblicazioni (indicatore I) VQR 2011-2014 Ateneo
Produzione scientifica di pregio dei professori e
ricercatoriIndicatore esplorativo di Ateneo Sistema IRIS Dipartimento
Produzione scientifica di pregio dei neoassunti
Indicatore esplorativo di Ateneo Sistema IRIS Dipartimento
1.4 Capacità di intercettare fondi di
ricerca su bandi competitivi
Ammontare entrate (accertamenti) da progetti
competitivi per ricerca nell’anno t rapportate al
personale docente strutturato in forza
all’Ateneo nell’anno t
Indicatore esplorativo di Ateneo Ateneo Ateneo
1.9 Miglioramento della qualificazione
scientifica dei collegi di Dottorato
Indice di qualità media dei collegi di dottorato (R+X
medio di Ateneo); (programmazione triennale 16-18 -autovalutazione)
Somma indicatore A=(R+X) corsi accreditati nell'a.a. 2016/2017 (XXXII ciclo)
n. corsi accreditati a.a. 2016/2017 (XXXII
ciclo)
VQR 2004-2010 per il 2016. VQR 2011-2014 per
gli anni 2017 e 2018Ateneo