I passaggi della valutazione: finalità e scopo
-
Upload
viapadovami -
Category
Education
-
view
404 -
download
1
Transcript of I passaggi della valutazione: finalità e scopo
LA VALUTAZIONE DEL “PROGETTO
VIA PADOVA”
10 maggio 2012
Ugo De Ambrogio ([email protected]) e Carla
Dessi ([email protected] )
1
I PASSAGGI PRINCIPALI: IL DISEGNO DELLA
VALUTAZIONE
1. Individuazione della finalità della valutazione2. Identificazione dello scopo (la mission) dell’oggetto di
valutazione3. Identificazione delle dimensioni di valutazione4. Identificazione dei criteri4. Identificazione dei criteri5. Identificazione degli indicatori6. Identificazione degli strumenti e delle fonti informative7. Rilevazione sul campo.8. Analisi dei dati e delle informazioni raccolte 9. Valutazione vera e propria (espressione di un giudizio).10. Individuazione delle strategie di miglioramento11. Restituzione dei risultati della valutazione agli
stakeholder
2
1. LA FINALITÀ
Per finalità della valutazione si intende labuona ragione/interesse che induce avalutare un determinato progetto/esperienza/politica. Se pare ovvio chequesta sia definita, tuttavia in moltequesta sia definita, tuttavia in moltecircostanze si riscontrano differenze traquanto dichiarato nel prodottoprogettuale e quanto effettivamente agito,e anche come non sempre trovicondivisione fra gli attori.
3
o… per un miglioramento delle attività pubblicheo… per poter dimostrare che le risorse pubbliche utilizzate sonostate utilizzate beneo… per dimostrare che pubblico e privato possono essere nonantagonisti ma collaboratori su interessi comunio… per generare apprendimenti per il territorio
PERCHÉ VALUTARE IL “PROGETTO VIA
PADOVA?
o… per generare apprendimenti per il territorioo… per avere suggerimenti per continuare quanto iniziato dalTavolo (sostenibilità di quanto avviato dal progetto una voltaconclusi i finanziamenti)o… per capire noi attori del progetto come è effettivamenteandata (e portare a casa qualche gratificazione)o… per verificare se abbiamo valorizzato il capitale sociale delterritorioo… per poter fare un bilancio, sia in senso positivo cheguardando alle criticità affrontate
4
2. LO SCOPO O LA MISSION
Lo scopo precisa l’oggetto della valutazioneattraverso la declinazione dei problemi a cuisi propone di rispondere, i risultati attesi ele strategie messe in campo.le strategie messe in campo.
“Nel caso di servizi e politiche si tratta della mission, ovvero di
un paradigma di valore a carattere generale che orienta
l’attività e i comportamenti di una politica o servizio nel suo
complesso e di tutti i suoi attori”
5
LA MISSION DEL “PROGETTO VIA “PADOVA”
oMiglioramento della capacità di gestione dei conflittioConoscenza del capitale sociale attraverso il quale svelare lepotenzialità e realizzare coesione sociale e cittadinanza attiva
oGettare dei semi nei ragazzi della Zona 2 per offrire valoridiversi (da competizione a collaborazione, da delega acittadinanza attiva ecc.)
6
cittadinanza attiva ecc.)oRigenerare un tessuto urbano riattivando nodi affettivioTutelare gli elementi deboli e fragili di singoli o gruppi,lavorare insieme come investimento efficaceoMobilitare, valorizzare, partecipazione, coesione sociale perl’integrazione delle culture, dei saperi, delle diversità – risorsedel territoriooConsolidamento delle relazioni di rete fra i partner delprogetto
Si intendono gli elementi concettuali intorno ai quali focalizzare la ricerca valutativa, rappresentano gli aspetti essenziali su cui si
3. Le dimensioni
rappresentano gli aspetti essenziali su cui si intende esprimere un giudizio di valore… sono le scatole dentro cui guardare
7
1. LA COESIONE NELLA GOVERNANCE DEL
PROGETTO (dimensione interna, come
sono andati i processi di rete fra i
LE DIMENSIONI DI ANALISI DEL “PROGETTOVIA “PADOVA”
sono andati i processi di rete fra i
partner del progetto)
2. LA COESIONE NEL QUARTIERE (i
cambiamenti nelle relazioni sociali del
territorio) 8
4. I CRITERI
Dal greco kritērion: distinguere/giudicareSi intendono paradigmi di valore che orientano i valutatori nel formulare il giudizio, rappresentano ciò che è rilevante per orientare l’espressione del giudizio e gli elementi che determinano il successo del e gli elementi che determinano il successo del progetto
Rispondono alla domanda…“Il progetto avrà successo se…”
9
DIMENSIONE 1 – LA COESIONE
NELLA GOVERNANCE DEL PROGETTOCriteri, ovvero il
progetto può essere
considerato di
successo se si rileva
…
Elementi osservabili/ indicatori Fonti
informative
Strumenti
CONDIVISIONE TRA I PARTNER
Formulazione condivisa di azioni future
Scambio e circolarità delle informazioni
Presenza di un confronto sulle dinamiche giovanili di zona
Operatori FEI (coordinatori + operatori)
Questionario con domande chiuse e aperte
10
Rispetto dei compiti e degli impegni reciproci
Condivisione tra coordinatore e operatore
INTEGRAZIONE TRA I PARTNER
Superamento della frammentazione/sovrapposizione degli interventi dei vari partner
Modalità di raccordo/collaborazione (sia sul piano dei singoli, co-progettazione, realizzazione,modalità più efficaci…)
Creazione nuove modalità di raccordo/collaborazione
Prassi di lavoro “oliata” e condivisa
Superamento della delega
Gruppo eterogeneo(Cabina di regia)
Focus group
DIMENSIONE 1 – LA COESIONE
NELLA GOVERNANCE DEL PROGETTOCriteri, ovvero il progetto
può essere considerato di
successo se si rileva…
Elementi osservabili/ indicatori Fonti
informative
Strumenti
CONOSCENZA/APPRENDIMENTI NEI PARTNER
Capacità di lettura delle dinamiche inatto nel territorio
Riconoscimento delle risorse del territorio a cui attingere/contribuire
Gli operatori riusciranno ad avere uno sguardo ampio su tutto quello che è stato
Partner, operatori FEI
Questionario
11
sguardo ampio su tutto quello che è stato attivato
Possibilità di spendere gli apprendimentianche in altri contesti
INTEGRAZIONE CON LA RETE ESTERNA/RICADUTE ESTERNE
Aumento livello di conoscenza tra organizzazioni e operatori
Emersione soggetti pubblici con una funzione di regia sul territorio
Chi altri all’interno del Comune di Milano è al corrente del progetto? Quali informazioni possiedono?
Organizzazioni(partner + enti esterne che hanno incrociato il progetto), Consiglio di zona,Operatori del Comune
Check-list
Questionario
SODDISFAZIONE NEI PARTNER
OperatoriFruitoriTerritorio
OperatoriFruitoriTerritorio
Interviste/questionari
DIMENSIONE 2 – LA COESIONE NEL
QUARTIERECriteri, ovvero il
progetto può essere
considerato di
successo se si rileva
…
Elementi osservabili/ indicatori Fonti
informative
Strumenti
CONOSCENZA I cittadini coinvolti hanno un grado maggiore di conoscenza di altri cittadini, quartiere, risorse
Trasferimento di competenze e sensibilità sui temi della cittadinanza
Utenza/ associazioni?
Rappresentazioni grafiche della rete costruita
Questionari
12
temi della cittadinanza Questionari
ATTIVAZIONE Partecipazione ad attività/iniziative extra-progetto da parte delle associazioni del territorio
Incremento dei contatti e presentazione di richieste specifiche (ad esempio spazio comune,CAG per ragazzi adolescenti con disabilità)
I cittadini si mettono insieme superando la diversità di provenienza su interessi comuni nel territorio (problematiche/iniziative)
Nascita associazioni da gruppi informali
Attivazione strumenti di ascolto permanenti dei vari attori sociali (Istituzionalizzazione del Tavolo sulle dinamiche giovanili)
Operatori
Cabina di regia/Consigliodi zona
Interviste
DIMENSIONE 2 – LA COESIONE NEL
QUARTIERECriteri, ovvero il progetto
può essere considerato di
successo se si rileva …
Elementi osservabili/ indicatori Fonti
informative
Strumenti
PARTECIPAZIONE Partecipazione/contributo/progettualità condivisa con i giovani del territorio ad una formulazione condivisa dei loro bisogni
Operatori
RagazziUtenti in generale
Interviste (agli operatori, circa 15/20)
Questionari (ai ragazzi)
13
generale ragazzi)
VISIBILITA’ Conoscenza del progetto da parte del territorio
Tutti i materiali prodotti per la diffusione di informazioni
Check-list
QUALIFICAZIONE DEI LEGAMI SOCIALI
I cittadini non si sentono soli ma in una trama di relazioni che li sostengono (e che possono a loro volta far diventare sostenitori)
Sostanzialità (non strumentalità) delle relazioni di gruppo
Condivisione su che cosa si intende benecomune e come si può tutelare
Corresponsabilità condivisa tra istituzioni e cittadinanza
Leva civicaGruppi informaliCorsi di mediazione diffusi
Focus group
4. L’IDENTIFICAZIONE DEGLI INDICATORI
�Servono per misurare il grado di realizzazione dei criteri
�Consistono in elementi descrittivi della realtà la cui presenza o assenza oppure maggiore o minore rilevanza, sono in grado di evidenziare se, e in che misura, un criterio sia positivamente rappresentato.
14
Un indicatore può:� essere rappresentato da un rapporto numerico o comunque da un valore numerico (quantitativo)esprimersi tramite domande sull’esistenza o meno
4. L’IDENTIFICAZIONE DEGLI INDICATORI
� esprimersi tramite domande sull’esistenza o meno di un requisito del percorso assistenziale o di una precisa pratica organizzativa o di una competenza relazionale (qualitativo)
15
Per ciascuno dei criteri individuati dal disegno di valutazione il compito più impegnativo è successivamente quello di individuare uno/ più indicatori che meglio
4. L’IDENTIFICAZIONE DEGLI INDICATORI
individuare uno/ più indicatori che meglio sono in grado di renderli “intelligibili”
Gli indicatori intervengono dunque nell’aiutare il/i valutatore/i a meglio approfondire ed esplorare la conoscenza di ciò che si intende analizzare 16
QUALCHE DEFINIZIONE
“Un indicatore è qualcosa che dà informazioni su qualcos’altro” (A. Marradi, 1994)
“Per indicatore si intende una misura sintetica quantitativa, coincidente con una variabile composta da più variabili, in grado di fornire la rappresentazione di un fenomeno o di riassumerne l’andamento” (G. Vecchi, 2003)
17
RICORDANDO CHE…
Nella scelta degli indicatori si tende a circoscrivere l’ambito della rilevazione a ciò che è misurabile (o enumerabile), a ciò che è misurabile (o enumerabile), con una spesso netta propensione per la dimensione quantitativa rispetto a quella qualitativa
18
ATTENZIONE ALLA COMPARABILITÀ
L’indicatore è quell’aspetto del rigore metodologico della ricerca che permette la comparabilità e la replica
Livelli di comparazioni possibili
�Nel tempo Over-time
� Tra servizi/progetti Cross-section
� Con standard di riferimento19
� DOVE rilevo l’informazione chiesta dall’indicatore?� COME la rilevo?
6. L’identificazione degli strumenti e delle fonti informative
Anch’esso è un passaggio strettamente connessoalle
- caratteristiche dell’oggetto di valutazione - caratteristiche del contesto valutativo (indicatori e criteri scelti, risorse disponibili, competenza attori…)
20
DOVE
• Chi è l’attore più vicino all’informazione richiesta? Chi la possiede?possiede?
• Qual è l’attore a cui è possibilechiederlo? In termini di sostenibilità della valutazione stessa…
21
COMEL’approccio dei metodi misti:
- Pluralità di fonti
- Pluralità di tecniche di rilevazione
“Nella letteratura anglosassone si fa riferimento al mixed method come combinazione di tecniche e parte di un disegno di ricerca volto a produrre risultati più significativi (maggior estensione e intensione dei risultati)”
22
� Gli strumenti che vengono principalmente utilizzati nell’ambito della ricerca/valutazione e ai quali può essere utile fare riferimento nella valutazione di progetti, interventi e/o servizi:
5. L’IDENTIFICAZIONE DEGLI STRUMENTI
valutazione di progetti, interventi e/o servizi:
�Check list
�Questionari
�Focus group
� Interviste23
GLI STRUMENTI: “STRUTTURAZIONE” VS“PROFONDITÀ”
+_
Strutturazione
Profondità
Questionario
Check-list
_ +
Strutturazione
Profondità
Intervista
Focus group
24
LA CHECK LIST/GRIGLIA DI OSSERVAZIONE
A cosa serve Vantaggi Svantaggi
Ordinare informazioniper analisi secondarie di dati già disponibili (dati statistici, registri
presenze, verbali
riunioni, diari attività)
Strumento non intrusivo
Bassi costi di rilevazione
Consente una visione complessiva sull’output del progetto/intervento
Poco flessibile
Dati ottenibili limitati alle informazioni già esistenti, spesso ricostruite ex post oppure già codificate secondo
Per avere indicazioni generali, per lo più di tipo quantitativo, sugli output del progetto/intervento (cosa
è stato fatto, chi ha
intercettato)
Ad esempio:
n. incontri realizzati
n. partecipanti a iniziative
Attività realizzate rispetto alle
previste
del progetto/intervento
Tiene la memoria storica di quanto realizzato
già codificate secondo criteri prestabiliti
Le informazioni possono non essere complete
Può essere difficile reperire o accedere alla base dati
IL QUESTIONARIO - IN SINTESI -
A cosa serve Vantaggi Svantaggi
Raccogliere molte informazioni in tempi relativamente brevi
Effettuare analisi comparative
Discrezione e non intrusività (anonimato)
Estensività della rilevazione
Codifica della soggettività
Scarsa apertura all’inatteso/imprevisto
Raccogliere elementi di soggettività: impressioni, opinioni e giudizi su questioni definite
Ad esempio:
caratteristiche dei destinatari
(genere, età, provenienza)
giudizio sull’intervento fruito su
utilità/efficacia
Costi abbastanza contenuti della rilevazione
Semplificazione dell’analisi
Scarso controllo sulla adeguatezza della compilazione
Costi elevati nel caso di tecniche di campionamento
% di caduta delle restituzioni
L’INTERVISTA
A cosa serve Vantaggi Svantaggi
Rilevare informazioni di dettaglio Approfondire opinioni, giudizi, comportamentiVerificare ipotesi valutative
Ricchezza e profondità delle informazioni
Elevata flessibilità e adattabilità al contesto
Complessità della comparazione (esigenza di costruire classificazioni)
Elevata soggettività e
Ad esempio:
•verificare la conoscenza del
progetto nelle sue diverse
articolazioni
•conoscere le motivazioni che
spingono alla partecipazione ad
iniziative e correlare la
soddisfazione riscontrata alle
aspettative
Apertura ad esiti inattesi
non totale generalizzabilità delle informazioni
Onerosità della rilevazione (costi e tempo)
Complessità dell’analisi
Competenze nella conduzione
IL FOCUS GROUP
Il focus group consiste in una “tecnica di rilevazione basata sulla discussione tra un piccolo gruppo di persone, alla presenza di piccolo gruppo di persone, alla presenza di uno o più moderatori, focalizzata su un argomento che si vuole indagare in
profondità”
28
IL FOCUS GROUP
A cosa serve Vantaggi Svantaggi
Analizzare in profondità alcune questioni
Verificare ipotesi valutative
L’interazione tra più soggetti è in grado di:
- produrre più informazioni di quelle ottenibili da singole
Necessità di un moderatore con competenze per nella conduzione (gestione delle dinamiche di gruppo)
Mettere in luce motivazioni e cause
ottenibili da singole interviste- verificare il grado di condivisione di opinioni
Produzione di qualche economia rispetto alle interviste singole
gruppo)
Influenzamento tra i partecipanti
Diversità dei partecipanti (linguaggi, culture di provenienza, connessione con l’oggetto di valutazione)
Complessità dell’analisi
ESERCITAZIONE
30
o Per ciascuno dei criteri individuati completare con l’identificazione dei relativi elementi osservabili/ indicatori
ESERCITAZIONE IN SOTTOGRUPPI
(DIMENSIONE 1 + DIMENSIONE 2)
o Identificare quindi le fonti informative e ipotizzare quali possibili strumenti di rilevazione
31
ESERCITAZIONE IN SOTTOGRUPPI
Criterio Elementi osservabili/ indicatori Fonti informative Possibili
strumenti
32