Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la...
-
Upload
bonifacio-fantini -
Category
Documents
-
view
217 -
download
0
Transcript of Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la...
![Page 1: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/1.jpg)
Monitoraggio e valutazione dei servizi formativi
2° modulo
La qualità dell’informazione e la predisposizione degli strumenti di rilevazione
Perugia, 9 – 11 settembre 2008
![Page 2: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/2.jpg)
Monitoraggio e valutazione dei servizi formativi
La qualità del prodotto e la qualità del processo
Perugia, 9 – 11 settembre 2008
![Page 3: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/3.jpg)
Caratteristiche generali dell’informazione statistica
Rilevanza Accuratezza Tempestività Accessibilità e trasparenza Confrontabilità Coerenza Completezza
![Page 4: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/4.jpg)
Caratteristiche generali dell’informazione statistica
Rilevanza Capacità dell’informazione di soddisfare le esigenze conoscitive. Tale caratteristica è strettamente collegata con gli obiettivi dell’indagine
Accuratezza Grado di corrispondenza tra la stima ottenuta dall’indagine e il vero (ma ignoto) valore della caratteristica di interesse
![Page 5: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/5.jpg)
Caratteristiche generali dell’informazione statistica
Tempestività Brevità dell’intervallo di tempo compreso tra il momento della diffusione dell’informazione prodotta e l’epoca di riferimento della stessa
Accessibilità e trasparenza Semplicità di reperire e acquisire l’informazione disponibile in relazione alle proprie finalità
![Page 6: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/6.jpg)
Caratteristiche generali dell’informazione statistica
Confrontabilità Possibilità di paragonare nel tempo e nello spazio le statistiche riguardanti il fenomeno di interesse
Coerenza Possibilità di combinare le inferenze semplici in induzioni più complesse
Completezza Capacità di integrazione dei singoli processi al fine di fornire un quadro informativo soddisfacente
![Page 7: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/7.jpg)
… in aggiunta
Tutela della riservatezza Garanzia dell’anonimato per i soggetti che hanno fornito informazioni utili all’indagine
![Page 8: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/8.jpg)
Caratteristiche generali delle procedure di acquisizione dell’informazione
Universalità e stabilità Praticabilità Verificabilità Parsimonia
![Page 9: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/9.jpg)
Caratteristiche generali delle procedure di acquisizione dell’informazione
Universalità e stabilità Quanto la procedura è compresa in modo omogeneo dagli interessati e per un tempo sufficientemente lungo
Praticabilità Grado di comparabilità delle procedure con il contesto legale e culturale entro il quale devono essere applicate e si riferisce anche all’esistenza di chiarimenti adeguati su come applicare le regole e come affrontare particolari problemi
![Page 10: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/10.jpg)
Caratteristiche generali delle procedure di acquisizione dell’informazione
Verificabilità Necessità che la procedura preveda anche le istruzioni volte a definire i metodi e gli strumenti e le informazioni che consentono di controllare la sua applicazione
Parsimonia Valutazione dell’impatto delle procedure sui costi dell’indagine
![Page 11: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/11.jpg)
… in aggiunta
Definizione di una serie di azioni di prevenzione, correzione e valutazione dell’errore relativamente alle varie fasi dell’indagine
Azioni preventive al fine di rendere meno probabile l’errore
Azioni di individuazione e correzione degli errori per risolvere incoerenze nelle informazioni raccolte prima dell’elaborazione o comunque della produzione statistica
Azioni finalizzate a quantificare il livello di errore
![Page 12: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/12.jpg)
Alcune azioni di controllo Il contatto delle unità di rilevazione e la
gestione della raccolta delle informazioni La tempistica e l’interazione fra gli Enti
preposti alla rilevazione Le campagne di sensibilizzazione dei
rispondenti La formazione del personale addetto alla
rilevazione La supervisione delle operazioni e il
recupero delle informazioni incomplete
![Page 13: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/13.jpg)
Monitoraggio e valutazione dei servizi formativi
La predisposizione degli strumenti
Perugia, 9 – 11 settembre 2008
![Page 14: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/14.jpg)
Una prima definizione
Strumento: arnese, attrezzo, apparecchio atto
all’esecuzione di determinate operazioni proprie di un’arte, di un mestiere o di una tecnica
ciò di cui ci si serve per ottenere qualcosa strumento di precisione: strumenti di
misura o di controllo che forniscono indicazioni più esatte di quelli di uso corrente
![Page 15: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/15.jpg)
La coerenza degli strumenti di acquisizione dati
Con la tipologia di monitoraggio/valutazione
Con l’oggetto del monitoraggio/ valutazione
Con la metodologia di rilevazione Con il piano di indagine
![Page 16: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/16.jpg)
Cosa monitoriamo/valutiamo
Un sistema di formazione/servizi L’attuazione di una norma Un progetto complesso Un corso di formazione …………………………….
![Page 17: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/17.jpg)
Qual è l’oggetto del monitoraggio/valutazione
Livelli di apprendimento Gradimento dei servizi Impatto Economicità dell’intervento Realizzazione delle attività ………………………..
![Page 18: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/18.jpg)
Quale metodologia di indagine
Relativamente: Alla tipologia di fonte (primaria,
secondaria) Alla tipologia di dati (qualitativi,
quantitativi) Alla tipologia di tecniche di rilevazione
(in presenza, a distanza guidata, a distanza libera, ecc.)
Al tempo della rilevazione
![Page 19: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/19.jpg)
L’elaborazione del piano di indagine
Progettazione Definizione del campione Raccolta dati Gestione organizzativa Registrazione dati Diffusione
![Page 20: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/20.jpg)
Esercitazione 1 Definizione di un piano di indagine
relativamente al progetto già esaminato durante il primo modulo di formazione.
In particolare individuare:
Azioni da sottoporre a monitoraggio Soggetti interessati Tempi di rilevazione Metodologia di rilevazione Tipologia di strumenti
![Page 21: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/21.jpg)
Le caratteristiche degli strumenti
Non strutturati (stimolo aperto/risposta aperta)
Semistrutturati (Stimolo chiuso/ risposta aperta)
Strutturati (stimolo chiuso/risposta chiusa)
![Page 22: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/22.jpg)
Alcuni accorgimenti generali
Chiedere una sola cosa alla volta Ricercare una sola informazione alla
volta Evitare domande lunghe e complesse Chiarire il contenuto dell’informazione
richiesta direttamente nel quesito Evitare l’uso di negazioni
![Page 23: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/23.jpg)
Alcuni accorgimenti generali Fare attenzione all’introduzione delle
“domande filtro” Organizzare i quesiti in sezioni tematiche Evitare questionari (interviste) troppo lunghi Essere certi di poter gestire le informazioni
acquisite Valutare l’opportunità della risposta “non so”
![Page 24: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/24.jpg)
Alcuni accorgimenti particolariDove ci sono risposte multiple: Costruire tutte le alternative di risposta con
la stessa struttura grammaticale e la stessa lunghezza
Le alternative di risposta devono essere tutte verosimili o plausibili tranne quella giusta che è assolutamente vera
Evitare risposte generiche o che escludono le altre (nessuna delle precedenti)
Valutare attentamente il numero di alternative, anche in relazione al numero di risposte da fornire
![Page 25: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/25.jpg)
Alcuni accorgimenti particolariNella fase di somministrazione: Presentare brevemente ma con cura le caratteristiche
della somministrazione Evitare particolari accentuazioni di frasi o risposte
nella fase di somministrazione (ad esempio nell’intervista in presenza)
Cercare di far ruotare le alternative di risposta soprattutto se queste sono molte (ad esempio nelle interviste telefoniche)
Fare particolare attenzione alla lunghezza dello strumento (soprattutto nelle interviste a distanza in cui non c’è controllo sull’intervistato)
![Page 26: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/26.jpg)
Alcuni accorgimenti particolari
L’uso delle scale (scala di Likert, differenziale semantico)
Porre attenzione sui gradi in cui la scala si articola
Valutare la possibilità di “forzare” una presa di posizione
![Page 27: Monitoraggio e valutazione dei servizi formativi 2° modulo La qualità dellinformazione e la predisposizione degli strumenti di rilevazione Perugia, 9 –](https://reader035.fdocument.pub/reader035/viewer/2022062418/5542eb4a497959361e8b5c57/html5/thumbnails/27.jpg)
Esercitazione 2
Predisporre uno o più strumenti per la valutazione di un modulo di formazione
In particolare considerare:
Aree da sottoporre a monitoraggio Soggetti interessati Indicatori Soglie