La valutazione degli interventi di politica sociale: una introduzione

A.Vergani

Milano, 2010

La valutazione: che cosa è?

“C’è valutazione ogni qualvolta qualcuno chiede (a se stesso o ad un esterno) di giudicare un’azione

intenzionale (progettata, in corso di realizzazione o realizzata) a fronte di qualche criterio e sulla base

di informazioni pertinenti”

(Palumbo, 2001)

a) LA QUESTIONE DEL VALORE

b) RICERCA VALUTATIVA

Monitoraggio e valutazione (Stame, 1998

con modif.) Monitoraggio Valutazione

Informazione Giudizio eccetera

Attività di supporto diretto al management

Attività svolta per un committente interno o esterno (“domanda”)

Riguarda tendenzialmente tutti gli aspetti (misurabili) dell’azione

Riguarda una selezione di aspetti dell’azione (mirata)

Per ogni intervento/servizio Per una selezione di casi o a campione (mirata)

Viene realizzato con rilevazione regolari, come un flusso

Può essere fatta in diversi momenti o in uno solo

Misura lo scostamento da uno standard

“Giudica” in base a criteri espliciti e fornisce spiegazioni/interpretazioni a supporto dei

giudizi espressi

In generale

Perché si valuta Quando si valuta Che cosa si valuta (le specificità dei servizi

alla persona) Chi fa la valutazione Il disegno della ricerca valutativa Le “tecniche come protesi” La restituzione e l’uso della valutazione

Caso 1: la valutazione dell’assistenza domiciliare di anziani (Bezzi, 2004) Il contesto I problemi del valutatore Il primo approccio: la “doppia committenza” Il disegno della valutazione Il processo di valutazione (brainstorming,

SPO) Il prodotto del pdv: la mappa delle “priorità

del servizio” (uno strumento di valutazione ma anche di programmazione)

Caso 2: la valutazione del funzionamento di una rete di soggetti che interviene sulle fasce deboli della popolazione Il contesto Definizione della domanda di valutazione Individuazione di “oggetti” specifici di indagine

valutativa (“specifiche”, temi) Il disegno della valutazione (impostazione di metodo

e definizione delle tecniche e degli strumenti; organizzazione della valutazione; output attesi)

Realizzazione del processo di valutazione (visite, analisi di documenti, interviste, osservazione)

Elaborazione di un documento di valutazione, presentazione alla Committenza e validazione

Caso 3: la valutazione in itinere dei piani territoriali per l’infanzia e l’adolescenza ex l.285/1997 (De Ambrogio, 2004)

“Raccolta” della domanda di valutazione Costruzione partecipata dello strumento Somministrazione dello strumento Elaborazione dei risultati Restituzione dei risultati agli attori Valutazione partecipata e identificazione di

iniziative di miglioramento

Caso 4: un possibile percorso di valutazione dei risultati di un intervento sociale

1. Identificazione degli obiettivi (di ricaduta) dell'intervento (base-minima di partenza)

2. Individuazione degli ambiti di valutazione (con la guida di approcci e disegni/modelli)

3. Adozione di uno specifico disegno di valutazione (dal "classico disegno sperimentale" a disegni di altro tipo)

4. Ricostruzione del cambiamento (a livello individuale, organizzativo, eccetera) attribuibile all'intervento – attraverso l'applicazione del disegno di valutazione scelto -

5. Calcolo del beneficio economico (in termini di confronto tra costi e benefici) riconducibile alla realizzazione dell'intervento

Adatt. da Quinones e Toninandel, 2005

La caratteristiche del valutare Comparazione (valore “in relazione a….”,

incontro tra “domanda” e “offerta” valutativa, connessione con i “processi decisionali” e in generale di “cambiamento” (Lippi, 2007)

Ricostruire, comparare, “spiegare” “Disciplina” empirica (variabili empiricamente

osservabili: ricerca sociale applicata; paradigma lazarsfeldiano)

Contesto economico-sociale che esprime dei

bisogni

Contesto economico-sociale che esprime dei

bisogni

Contesto politico-istituzionaleche esprime delle

finalità

Contesto politico-istituzionaleche esprime delle

finalità

Obiettivi/Risultati attesi

Attori implicatiProcedureStrumenti

Attori implicatiProcedureStrumenti

Esiti Realizzazioni

Impatti

Eff

ica

cia

es

tern

a

Eff

ica

cia

in

tern

a

Eff

icie

nza

ma

na

ge

ria

leEff

icie

nza

is

titu

zio

na

le

Decisione/Programmazione

Implementazione

ValutazioneEffettiRisultati

Vincoli/RisorseVincoli/Risorse

Ril

ev

an

za

Co

ere

nza

Efficacia ed efficienza in valutazioneB

asat

o su

una

fig

ura

di M

auro

Pal

umbo

, Il p

roce

sso

di v

alut

azio

ne, F

ranc

o A

ngel

i, M

ilan

o 20

01.

Programma o intervento programmato

Programma o intervento programmato

Conclusione, o t0

Conclusione, o t0 della valutazione intermedia

esitirealizzazioni

effettirisultati

impatti

Eff

etti

att

esi

e d

esid

erat

i

Eff

etti

ausp

icat

i e

des

ider

ati esiti,

effetti,impatti

realizzazioni,risultati,impatti

Fattori Fattori intervenienti

Eff

etti

inat

tesi

Valutazioneorientata agli

obiettivi

Valutazioneorientata agli

obiettivi

Valutazionesvincolata

dagli obiettivi

Valutazionesvincolata

dagli obiettivi

Tipi di effetti di programmi e interventi

Effetti (risultati e impatti)

EFFETTO RILEVATO =

EFFETTI DELL’INTERVENTO (EFFETTO NETTO)

+EFFETTI DI ALTRI PROCESSI/FATTORI

(ESTERNI ALL’INTERVENTO: MODALITA’ DI SELEZIONE, MUTAMENTI NATURALI NEI GRUPPI-OBIETTIVO, MUTAMENTO DI CONDIZIONI

DI CONTESTO)+

EFFETTI DEL PROCESSO VALUTATIVO (ERRORI DI MISURAZIONE O DI RILEVAZIONE, AFFIDABILITA’ DELLE

METODOLOGIE E DEGLI STRUMENTI, VALIDITA’ DEGLI STRUMENTI, ERRORI NELLA SCELTA DELLE MISURE DI

RISULTATO)

Il processo di valutazione Le nove tappe (Bezzi, 2001 con modifiche mie)

1. Definizione del mandato2. Analisi dell’evaluando e formulazione delle domande valutative3. Accertamento delle risorse4. Individuazione di un possibile ‘modello valutativo’ di riferimento 5. ‘Esplorazione’ dettagliata dell’evaluando e delle sue

‘componenti’ oggetto di valutazione specifica 6. Stipulazione dei ‘valori valutativi’ (criteri) 7. Individuazione dell’apparato metodologico da impiegare e dei

relativi strumenti di supporto 8. Raccolta e analisi dei dati ed informazioni 9. Restituzione e utilizzo dei risultati della valutazione

Definizione del mandato

Mandato

Mandato = Perché me lo chiedi?• Chi chiede (quale ruolo esercita, che poteri, bisogni, interessi esprime…)?

• Chi altro è coinvolto (beneficiari, ‘vittime’, dipendenti, partner; clima generale, eventuali conflitti, …)?

• Quali gli obiettivi della valutazione (apprendere, negoziare, rendicontare, …)?

Problemi etici e deontologici

Orientamento epistemologico

Contesto Metodo

Analisi dell’evaluando e domande valutative

Decisore

Domande valutative = Cosa è importante analizzare?• Quale valutazione (ex ante, in itinere, …; di processo, di esito…; di efficacia di efficienza…)?

• Quali obiettivi ha l’evaluando?

• Quale ruolo ha la valutazione nel sostegno al management? Cosa serve al gestore dell’intervento?

Fonti informative

Impianto metodologico

Evaluando Metodo

Accertamento delle risorse

Risorse

Risorse = Cosa posso veramente fare?• Quali risorse economiche, di tempo, di risorse umane?

• Quali risorse simboliche (conferimento di autorità, riconoscimento di autorevolezza)?

• Quali risorse mandatarie (reale accesso alle fonti, capacità di attesa del mandante, disponibilità a rispettare e utilizzare i risultati, anche inattesi)?

Reale disegno della ricerca

Conferimento autorità

Risorse Metodo

Esplorazione dell’evaluando

Attori sociali

Spazio semantico = Cosa valutiamo, esattamente?• Cosa intendiamo quando parliamo di…?

• Cosa intendono loro quando voi dite…?

• Quali sono gli elementi strategici, costitutivi, di… (indicatori valutativi)?

Condivisione concetti

Attenzione epistemologica

Comprensione Metodo

Concetto 1

Dimensione 1 Dimensione 2 Dimensione 3

Sottodimensione 1 Sottodimensione 2

Indicatore 2

Indicatore 1

Indicatore 3

Indicatore 4

Indicatore 5

Indicatore 7Indicatore 6 Indicatore 8

Lo schema generale del paradigma lazarsfeldiano

Stipulazione dei valori valutativi

Decisore

Attori sociali

Valori valutativi = Da quale punto di vista valutare (= giudicare)?• Quali valori strategici, organizzativi, ecc. esprimono gli attori sociali? E l’utilizzatore?

• Cosa ‘vale’ di più? Da quale punto di vista?

• Quale ordine, quale logica, quali “regole”?

Esplicitazione valori

Negoziazione di ‘una’ logica

Valori Metodo

Dati

Raccolta e analisi dei dati

Bisogni, interessi,valori

Raccolta e analisi dati = Dove cerchiamo, come lo raccogliamo, cosa ne facciamo?• In quale ‘formato’ raccolgo le informazioni?

• Come le tratto (matrice dei dati, analisi ermeneutica)?

• Cosa ci faccio poi (restituzione ‘tecnica’; interpretazione negoziale; suggerimenti; …)?

Definizioni operative

Facevalidity

Metodo Utilizzo

Utilizzo dei risultati

Decisore

Contesto

Utilizzo = A cosa è servita la valutazione?• Il decisore (utilizzatore, sponsor) usa, userà, ha intenzione di far utilizzare i risultati della valutazione?

• Quale forma di restituzione è possibile/prevista a coloro che hanno contribuito anche indirettamente?

• E’ possibile una metavalutazione?

• I costi della valutazione sono giustificati?

Responsabilità del valutatore

Valore aggiunto

Utilizzo Mandato val.

Evaluando, modelli, regole e metodi: l’intreccio necessario per fare valutazione L’analisi del singolo evaluando sulla base di

un certo approccio di valutazione e utilizzando una o più regole (confronto con obiettivi, standard, dati storici; opinione di

….., ….. ) consente di attribuire all’evaluando (per i servizi: attraverso l’impiego di metodi/tecniche di natura prevalentemente qualitativa) un valore

(socialmente costruito e “riconosciuto”)

Le “regole” più comuni per fare valutazione (attribuire un valore) 1. Confrontare gli effetti dell’intervento con i suoi

obiettivi/finalità

2. Confrontare l’intervento (effetti e processo) con i bisogni (domanda, …..) della popolazione-obiettivo

3. “Assumere” la valutazione dell’intervento formulata dagli stakeholder oppure da esperti

Una lista di possibili “regole” (sono sottolineate quelle della diapositiva precedente)

I bisogni o i desideri/domanda della popolazione-target Le finalità e gli obiettivi del programma/progetto/intervento

Standard o requisiti di natura tecnico/professionale Pratiche consolidate (benchmarking)

Altri programmi/progetti/interventi analoghi Requisiti/vincoli di natura legale o normativa

Performance precedenti; dati storici Indicazioni definite dal responsabile del programma

Opinione di esperti Opinione/punto di vista degli attori formativi

Situazione esistente prima dell’intervento per la popolazione target Situazione in assenza del programma (controfattuale)

Teoria del programma (teoria dell’impatto e del processo) Costo (assoluto o relativo)

“E’ dalla ricerca sociale che sono stati derivati i modelli di valutazione” (Alkin, 2004)

Approccio/paradigma (assunzioni-base che guidano l’azione)

Metodologia (disegno complessivo associato ad un particolare insieme di assunti paradigmatici usati per condurre una ricerca)

Le famiglie di tecniche della ricerca sociale utilizzabili in valutazione (Bezzi, 2001)

Analisi di dati di secondo livello Interrogazione delle persone “comuni” Interrogazione di esperti Osservazione

Ricerca valutativa Esperimento

Non esperimento

Multicriteri

Criterio unico

[Manageriale]Ricerca sociale

Standard

Non standard

Dati di primo livello

Dati di secondo livello

Albero delle strategie di ricerca valutativa (Bezzi, 2008)

Ricerca valutativa

Esperimento

Non esperimento

Strategie miste

Criterio unico

Approccio manageriale

Ricerca sociale

Standard

Non standard

basate sull’interrogazione di individui (intervista) e sull’osservazione

basate sull’interrogazione di gruppi

Gruppi reali

Gruppi nominali

Basata sull’interrogazione standard di individui (survey)

Basata sull’analisi di relazioni tra variabili (bi-multi)

basata su documenti

Basata su fonti statistiche esistenti

Basata sull’analisi di indicatori socio-economici

prevalentemente economici di primo e secondo livello

prevalentemente misti di secondo livello

Strategie di ricerca Tipi di tecniche

Strategie e tecniche di ricerca valutativa nella logica del non-esperimento (adatt. da Bezzi, 2008)

Strategia Standard

Di secondo livelloDi primo livello

Strategia non Standard

Di secondo livello

Di primo livello

basate sull’interrogazione

di individui

basate sull’interrogazione

di gruppi

Gruppi reali

Gruppi nominali

Survey con questionario

Analisi Delphi Nominal Group Tech.

Focus group Brainstorming

Intervista biografica o in profondità

Valutaz. Tassonomica (testi scritti)

Analisi costi benefici, ROI

Classificazione delle tecniche: non-esperimento (Bezzi, 2008)

Classificazione delle tecniche: “esperimento” Centratura sugli effetti (di che cosa su cosa) Metodo ‘sperimentale’ classico

(randomizzato) Metodi non-sperimentali (‘differenza nelle

differenze’, ‘analisi di regressione’, ‘abbinamento statistico’, ‘discontinuità attorno ad una soglia’, ‘analisi delle serie storiche interrotte’, ‘rilevazione degli effetti percepiti dai beneficiari’)

La valutazione comparativa “per eccellenza” (Owen e Rogers, 1999)

“Richiede tradizionalmente l’uso di disegni di ricerca predefiniti con possibilmente l’impiego di un gruppo trattato e di uno di controllo, con il ricorso a test e ad altri dati quantitativi. … La determinazione di tutti gli impatti richiede

l’uso di metodi di tipo più esplorativo e il ricorso a evidenze di tipo qualitativo”

Approccio quantitativo e qualitativo (Shaw, 1999)

Approccio quantitativo (dati numerici, setting artificiale, centralità dei comportamenti,

adozione del modello scienze naturali, logica deduttiva, ricerca di “leggi”, realismo) vs qualitativo (“parole” come dati, setting

naturale, centralità del significato, rifiuto del modello delle scienze naturali, logica

induttiva, ricerca di pattern, idealismo)

Tre approcci (da Stame, 2001)

Positivista-sperimentale Pragmatista/

della qualità

Costruttivista

Riferimento

(pietra di paragone) Gli obiettivi Gli standard Ciò che gli attori coinvolti

definiscono come “successo”

Domande I risultati corrispondono agli obiettivi?

I risultati ed i processi corrispondono agli standard?

Che cosa è successo? E’ “buono”?

Teoria E’ possibile predefinire obiettivi e risultati che devono/possono

essere perseguiti

In ogni situazione esistono sempre degli standard con i

quali confrontarsi

La realtà è difficilmente prevedibile; gli effetti inattesi

sono importanti

Metodi Esperimenti e quasi esperimenti

La “logica del valutare” di Scriven, analisi multicriteri

Analisi comparativa, esplorazione, analisi

partecipata

Tecniche Indicatori, indici, analsii controfattuali

Analisi soddisfazione utenti, giudizio di esperti

Studi di caso, interviste, focus-group, osservazione

Utilizzo Strumentale alla decisione politica

Amministrazione e management del programma

Conoscitivo, empowerment

Problemi teorici “La scatola nera” del processo Che cosa la qualità? Come è costruito lo standard?

Da dove cominciare?

Autori Suchman, Campbell, Rossi e Freeman, Chen

Scriven, Wholey, Donabedian, New Public Management

Stake, Guba e Lincoln, Patton, Fetterman, Hirschman,

Tendler

L’approccio della Realistic Evaluation (Pawson e Tilley, 1997)

Effetti (regolarità)=meccanismo+contesto

“I programmi non sono cose che funzionano o non funzionano: semmai essi contengono certe idee

che funzionano per certi soggetti in certe situazioni”

La RE è un approccio che può essere realizzato con metodi e tecniche di tipo sia quantitativo sia

qualitativo

Per concludere

Necessità di un sistema di monitoraggio Priorità alla valutazione in corso d’opera

ovvero del processo di “traduzione in pratica di una ipotesi di intervento”

Utilizzo combinato di metodi quantitativi e qualitativi

Attenzione “al nuovo ed all’inatteso”

Inoltre ….

Dedicare tempo alla progettazione della valutazione

Ipotizzare operazioni valutative gestibili e sostenibili (livello organizzativo e delle risorse)

Predisporre le condizioni necessarie all’utilizzo degli esiti (e del processo) di valutazione