Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de...
Transcript of Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de...
![Page 1: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/1.jpg)
1
Avaluar l’impacte de les polítiques educatives: conceptes bàsics i aplicacions
Miquel Àngel Alegre, Ivàlua
Barcelona, 23 de setembre de 2016
![Page 2: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/2.jpg)
2
Quin és l’objectiu de l’avaluació d’impacte?
Impacte = Canvi en la realitat del problema exclusivament atribuïble a l’acció del programa
I això de què em
servirà?
![Page 3: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/3.jpg)
3
L’avaluació d’Èxit Estiu 2015: alguns resultats
![Page 4: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/4.jpg)
4
• En marxa des de 2013, a l’estiu de 2016:
48 instituts / 13 centres concertats de Barcelona; 2.000 alumnes
• Reforç escolar durant vacances estiu per a alumnes de 1r a 4t d’ESO amb matèries a recuperar al setembre
Activitats instructives: 2 hores diàries / tres setmanes (grups reduïts)
Activitats esportives (opcional): ídem
• Objectius: a) Evitar la repetició de curs; b) Millorar el rendiment i les taxes de graduació; c) Prevenir l’abandonament escolar
• Implementació: 1 amic@gran per cada 10 alumnes; coordinadors de centre i coordinadors de zona
El programa Èxit Estiu
![Page 5: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/5.jpg)
5
Resultats educatius dels participants
Taxa de recuperació total segons assignatures suspeses al juny (públics)
Èxit Estiu 2015: alguns resultats
![Page 6: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/6.jpg)
6
Resultats educatius dels participants
Mitjana d’assignatures recuperades segons assignatures suspeses al juny (públics)
Èxit Estiu 2015: alguns resultats
![Page 7: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/7.jpg)
7
Resultats educatius dels participants
Taxa de promoció/graduació segons assignatures suspeses al juny (públics)
Èxit Estiu 2015: alguns resultats
![Page 8: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/8.jpg)
8
Què ens diuen aquestes dades sobre l’impacte del programa?
RES
![Page 9: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/9.jpg)
9
L’aproximació “abans-després”
% d’alumnes d’ESO que repeteixen curs. Anys 2011 a 2015
Abans
Després
DiferènciaImpacte = 10 p.p.
El canvi és atribuïble al programa?
Manca ofertes laborals?
Canvisociodemogràfic?
Altres programes educatius?
Inici programa
Canvis en les pràctiquesavaluatives?
NO NECESSÀRIAMENT
![Page 10: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/10.jpg)
10
Manca ofertes laborals?
Canvisociodemogràfic?
Impacte = 5 p.p.
Inici programa
% d’alumnes d’ESO que repeteixen curs. Anys 2011 a 2015
En aquest cas, SÍ El canvi és atribuïble al programa?
“Contrafactual”
L’aproximació “abans-després”
Altres programes educatius?
Canvis en les pràctiquesavaluatives?
![Page 11: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/11.jpg)
11
El “grup de comparació”
% d’alumnes d’ESO que repeteixen curs. Alumnes participants vs. no participants (2015)
Diferènciesacadèmiques?
Com s’han escollitels participants?
Diferències en implicaciófamiliar?
Diferènciesmotivacionals?
DiferènciaImpacte = 10 p.p.
La diferència és atribuïble al programa?
Diferències socio-demogràfiques?
NO NECESSÀRIAMENT
![Page 12: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/12.jpg)
12
% d’alumnes d’ESO que repeteixen curs. Alumnes participants vs. no participants (2015)
Diferènciesacadèmiques?
Com s’han escollitels participants?
Diferències en implicaciófamiliar?
Diferènciesmotivacionals?
Impacte = 5 p.p.
La diferència és atribuïble al programa?
Diferències socio-demogràfiques?
En aquest cas, SÍ
“Contrafactual”
El “grup de comparació”
![Page 13: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/13.jpg)
13
“Contrafactual”
![Page 14: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/14.jpg)
14
Programa
≈
No programa
El “grup de comparació”
![Page 15: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/15.jpg)
15
Dissenys experimentals aleatorització (sorteig)
Entre individus, grups, territoris, etc.
Programa vs. no programa; entre diferents versions del programa; entrada progresiva al programa, etc.
Dissenys no experimentals
Quasi-experiments font de variació exògena
Matching bones BBDDs amb característiques observables
Dissenys / tècniques d’avaluació d’impacte
![Page 16: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/16.jpg)
16
Experiment Èxit Estiu: enviament SMS
SMS Sensibilització (5)(N=536)
SMS Informació (5)(N=538)
Famílies inscrites(N=1605)
Cap SMS (control)(N=531)
![Page 17: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/17.jpg)
17
Assignatures recuperades
Experiment Èxit Estiu: enviament SMS
![Page 18: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/18.jpg)
18
Recuperació completa
Experiment Èxit Estiu: enviament SMS
![Page 19: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/19.jpg)
19
Malauradament…
Ens fem poques preguntes d’impacte (no només en educació)!!
Per què?
![Page 20: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/20.jpg)
20
Per què no fem més avaluacions d’impacte?
• Per tradició i cultura política: més centrats en el procediment i en la “qualitat” que en el rendiment de les accions (efectivitat)
• Implica reconèixer ignorància. No sabem si allò que fem, en realitat, funciona, però el procés polític deixa poc marge al dubte
• Tampoc l’àmbit tècnic és fàcilment permeable al dubte, per excésde confiança en l’expertesa i experiència directa
• No hi ha cap incentiu, ni cap condicionament econòmic ni normatiu a deixar-se avaluar (en termes d’impacte)
• Tècnicament, no sempre és fàcil avaluar l’efectivitat de les accions. Calen dades i coneixements teòrico-metodològics
• Avaluar pot implicar innovar i experimentar – l’administració és un context “rígid”
![Page 21: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/21.jpg)
21
Què necessitem per endegar una avaluació d’impacte?
![Page 22: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/22.jpg)
22
• “Teoria del canvi” i preguntes d’impacte
• Bones mesures d’outcome (indicadors de resultat)
• Instruments i fonts d’informació per al seguimentd’indicadors
• Bona estratègia per a la definició de grups de comparació vàlids (“contrafactual”)
• Mostra suficient (n) de participants / no participants
• Un cert coneixement estadístic
• Ganes i atreviment!
Què necessitem per avaluar l’impacte?
![Page 23: Avaluar l’impate de les polítiques educatives: conceptes ... · Barcelona, 23 de setembre de 2016. 2 Quin és l’ojetiu de l’avaluaió d’impate? ... Èxit Estiu 2015: alguns](https://reader033.fdocument.pub/reader033/viewer/2022050306/5f6f092de2167909091cb557/html5/thumbnails/23.jpg)
23
Gràcies!