Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine...
Transcript of Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine...
![Page 1: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/1.jpg)
Sesiunea 4. Planificarea evaluării
![Page 2: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/2.jpg)
Planificarea procesului de evaluare
Cine solicită evaluarea?
Care este
structura evaluării?
Sau totuși cantitative?
Instrumente calitative?
Întrebările?
Cît timp avem?
Care sunt capacitățile?
Avem oare
suficienți bani?
Scopul?
Pe cine să implicăm în proces?
2
![Page 3: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/3.jpg)
Evaluările formative vs Evaluările sumative
Formative – evaluează procesul
Sumative – examinează efectele, sintetizează consecinţele
Cînd bucătarul gustă supa, evaluarea este formativă;
Cînd invitaţii gustă supa, aceasta este sumativă.
Robert Stakes
3
![Page 4: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/4.jpg)
Evaluarea formativă Urmărește să fortifice sau să îmbunătățească o
politică prin examinarea:
Implementării politicii
Contextului organizațional, structural și procedural
Identifică obstacolele în implementarea politicii
Este realizată, de regulă, pînă la finalizarea politicii
Utilă în special pentru administatorii politicii (“bucătar”)
Utilizată pentru politici cu obiective stabilite vag
4
![Page 5: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/5.jpg)
Analizează valoarea politicii, de regulă, la sfîrșitul perioadei de implementare a ei prin examinarea:
Relației cauză - efect
Schimbărilor survenite de-a lungul timpului
• Care este impactul politicii?
• Impactul scontat s-a produs datorită politicii sau nu?
• Utilizează analiza cost-beneficiu, analiza cost-eficacitate
Evaluarea sumativă
5
![Page 6: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/6.jpg)
Principalele abordări în cadrul evaluării
Modelul experimental
Cvasi-experimental
Non-experiment
6
![Page 7: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/7.jpg)
Modelul experimental “Standard de aur”
Grupurile de tratament şi de control selectate în mod aleatoriu
Validitate internă puternică
Controversat din punct de vedere etic
Scump
Dificil de implementat în evaluarea de politici
7
![Page 8: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/8.jpg)
Modelele cvasi-experimentale
Lipsa caracterului aleatoriu
Evaluatorul selectează grupurile de tratament și control cît mai aproape unul de celălalt
Deşi nu asigură o validitate internă foarte puternică, sunt mai uşor de implementat
8
![Page 9: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/9.jpg)
Principalele tipuri ale modelelor de evaluare
(cvasi-experimentale și non-experimentale)
… unul cîte unul,
începînd cu cel mai riguros model
9
![Page 10: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/10.jpg)
Specificarea simbolurilor tradiționale X = Intervenție (tratament) – ceea ce face politica
O = Observarea evenimentului – evaluarea preliminară (înainte de implementarea politicii), evaluarea intermediară, evaluarea finală (după implementarea politicii), post evaluare (la o anumită perioadă după implementarea politicii)
T (rîndul de sus): Grupul de tratament – participanții politicii
C (rîndul de jos): Grupul de control /comparație – non-participanții politicii
10
![Page 11: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/11.jpg)
Modelul 1 - longitudinal cu observații preliminară, intermediară, finală și
post asupra grupurilor de tratament și control
preliminară finală
Grupul de control / comparație
post
T1 X T2 X T3 T4
C1 C2 C3 C4
Grupul de tratament (participanții politicii)
intermediară
Cel mai apropiat de abordarea modelului experimental “ştiinţific”, politici noi 11
![Page 12: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/12.jpg)
Modelul 2 - cu observații preliminară și finală asupra grupurilor de tratament și control
preliminară finală
Grupul de control / comparație
T1 X T2
C1 C2
Grupul de tratament (participanții politicii) • Bun pentru explicarea
complexă a politicilor
• Dar este destul de scump
• Nu evaluează implementarea politicii
12
![Page 13: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/13.jpg)
Modelul 3 – longitudional trunchiat cu observații intermediară și finală asupra grupurilor de tratament și control
finală
Grupul de control / comparație
X T1 X T2
C1 C2
Grupul de tratament (participanții politicii)
intermediară
• Folosit cînd un buget adecvat este disponibil
• Evaluarea intermediară cu cel puțin 18 luni pînă la încheierea politicii
• Utilizat pentru justificarea sporirii finanțării
• Utilizat pentru politicile care încep lent
13
![Page 14: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/14.jpg)
Modelul 4 – cu observație preliminară asupra grupului de tratament și cu observație finală asupra grupurilor de tratament și control
preliminară finală
Grupul de control / comparație
T1 X T2
C
Grupul de tratament (participanții politicii)
• Poate fi utilizat dacă datele iniţiale au fost colectate
• În cazul necesității (dorinței) de extindere a politicii
• Nu putem afirma cu certitudine dacă impactul s-a produs datorită politicii sau nu
14
![Page 15: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/15.jpg)
Modelul 5 – cu observație finală asupra grupurilor de tratament și control
finală
Grupul de control / comparație
X T
C
Grupul de tratament (participanții politicii)
• Modelul funcţionează mai bine în comunităţi izolate, unde politica reprezintă singura intervenţie
• Deseori dispune de un buget adecvat pentru eşantioane vaste
• Pentru politicile bazate pe cele mai bune practici 15
![Page 16: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/16.jpg)
Modelul 6 – cu observații preliminară și finală asupra grupului de tratament
preliminară finală
T1 X T2
Grupul de tratament (participanții politicii)
• Poate fi eficient dacă scopul evaluări este înțelegerea procesului de implementare a politicii
16
![Page 17: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/17.jpg)
Modelul 7 – cu observație finală asupra grupului de tratament
finală
X T
Grupul de tratament (participanții proiectului)
• Foarte răspîndit, dar cel mai slab model din punct de vedere tehnic
• Utilizat cînd evaluatorul are foarte puțin timp şi buget
17
![Page 18: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/18.jpg)
Modelele non-experimentale
Lipsa caracterului aleatoriu (similar cu modelele cvasi-experimentale)
Lipsa grupurilor de control
Domină în cadrul evaluărilor formative
Uşor și relativ ieftin de implementat dar cu validitatea externă şi internă slabă
18
![Page 19: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/19.jpg)
Provocări în evaluare Evaluatorii nu sunt implicați decît la finalul politicii. Deseori,
elaboratorii proiectului de politică nu gîndesc “evaluativ” - evaluarea nu este planificată decît la finalul politicii
Indisponibilitatea datelor (inițiale, implementarea politicii, participanții)
Timp și resurse limitate pentru evaluare
Constrîngeri instituționale și politice (clienții au așteptări preliminare pentru constatările evaluării)
Majoritatea evaluărilor sunt realizate de către și pentru donatorii externi și rareori reflectă prioritățile factorilor interesați locali
Mulți factori interesați nu înțeleg evaluarea, nu au încredere în evaluare, sau chiar o percep ca o amenințare
19
![Page 20: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/20.jpg)
Cum punem în practică ?
20
![Page 21: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/21.jpg)
Cum punem în practică?
Identificăm factorii interesaţi și audența
Formulăm întrebările de evaluare (clientul, la modul ideal)
Alcătuim echipa de evaluare
Selectăm modelul de evaluare și reflectăm asupra strategiilor de adaptare
Stabilim mecanismele de management (comitetul de coordonare sau mecanismele existente)
21
![Page 22: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/22.jpg)
Echipa de evaluare
Trebuie creată în apoape toate cazurile
Aspecte ce trebuie luate în considerație:
Ce abilități, cunoștințe, experiență trebuie să posede echipa de evaluare?
Echipa trebuie formată din membri din exterior sau interior sau o combinație?
Cum pot fi factorii interesați implicați?
22
![Page 23: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/23.jpg)
Cine va efectua evaluarea?
Evaluarea internă Evaluarea externă
Puncte tari
Acces ușor la informație
Dispune de informația privind problemele programului
Abilități adecvate
Factorul obiectiv în ceea ce privește programul
Puncte slabe
Lipsa abilităților și timpului
Intervenția factorului subiectiv la evaluarea rezultatelor
Perceperea slabă a programului
Accesul limitat la informație
23
![Page 24: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/24.jpg)
Strategii de adaptare: În cazul în care nu aveţi destui bani
Modificaţi modelul de evaluare
Colectaţi numai datele cruciale
Căutaţi date secundare din surse sigure
Revizuiţi dimensiunea eşantionului şi metodele
Utilizaţi metode mai ieftine de colectare a datelor
24
![Page 25: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/25.jpg)
Strategii de adaptare : În cazul în care nu aveţi destul timp
Reduceţi eforturile pentru colectarea datelor – nu includeţi grupul de control
Reduceţi durata totală pentru colectarea datelor – angajaţi mai multe persoane
Clarificaţi care este nivelul de acurateţe solicitat pentru informaţiile esenţiale
Clarificaţi dacă clientul preferă să primească un scurt raport sumar la timp sau unul mai detaliat mai târziu
25
![Page 26: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/26.jpg)
Strategii de adaptare: În cazul în care nu aveţi destule date
Reconstruiţi datele iniţiale utilizând sursele existente şi informatorii cheie
Reconstruiţi grupul de control/comparaţie, dacă acest lucru este posibil şi necesar
Analizaţi informaţiile din grupurile mai greu accesibile utilizând observaţia, informatorii cheie şi eşantionarea bulgăre de zăpadă
26
![Page 27: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/27.jpg)
Planul de gestionare al evaluării
Descrierea activităţilor
Instituţia/ persoana responsabilă
Termenul limită
Resurse financiare necesare
Indicatorii/Produsul eforturilor comune
Aprobarea de către conducere (comitetul de coordonare)
27
![Page 28: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/28.jpg)
Termeni de referinţă (ToR)
Un document care de regulă descrie scopul unei activităţi sau cerinţe (proiect, evaluare)
ToR este utilizat pentru externalizarea evaluării sau a unei părţi a acesteia
Nivelul detaliilor ToR depinde de complexitatea evaluării
28
![Page 29: Sesiunea 4. Planificarea evaluării - cancelaria.gov.md · Planificarea procesului de evaluare Cine solicită evaluarea? Care este structura evaluării? Sau totuși cantitative? Instrumente](https://reader030.fdocument.pub/reader030/viewer/2022040113/5e0ad90e9c142e3fbb02ab97/html5/thumbnails/29.jpg)
Idei de reținut
Nu există modele de evaluare perfecte, care să fie complet obiective
Deciziile privind metodele, obiectivele studiului şi criteriile privind succesul implică subiectivismul uman
29