Évaluations d impact aleatoires

54
ÉVALUATIONS D IMPACT ALEATOIRES Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013

description

Évaluations d impact aleatoires. Vandana Sharma, MD, MPH Séminaire Handicap International, 4 décembre 2013. Sommaire. Le Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL) Qu'est-ce que l'évaluation ? Évaluations aléatoires Qu'est-ce que l'évaluation aléatoire ? - PowerPoint PPT Presentation

Transcript of Évaluations d impact aleatoires

Page 1: Évaluations  d impact  aleatoires

ÉVALUATIONS D IMPACT ALEATOIRESVandana Sharma, MD, MPHSéminaire Handicap International, 4 décembre 2013

Page 2: Évaluations  d impact  aleatoires

Sommaire• Le Laboratoire d'action contre la pauvreté Abdul Latif

Jameel (J-PAL)

• Qu'est-ce que l'évaluation ?

• Évaluations aléatoires• Qu'est-ce que l'évaluation aléatoire ?• Comment mener une évaluation aléatoire ?• Défis et difficultés

• Exemple 1 : éducation et VIH au Kenya

• Exemple 2 : agents de santé volontaires au Nigéria

Page 3: Évaluations  d impact  aleatoires

Laboratoire d'action contre la pauvreté Abdul Latif Jameel(J-PAL) : la science en pratique

• J-PAL est• Un centre fondé en 2003 au sein du département d'économie du MIT

(Massachussets Institute of Technology)• Un réseau de chercheurs autour du monde

• Dont la mission est de faire en sorte que le combat contre la pauvreté soit fondé sur des preuves scientifiques• Nous essayons en particulier de tirer des leçons des évaluations aléatoires

de programmes visant à réduire la pauvreté (au sens large)

• Que faisons-nous ?• Évaluations d'impact rigoureuses• Formations • Lobbying politique

Page 4: Évaluations  d impact  aleatoires

91 universitaires, 441 évaluations dans plus de 55 pays du monde entier

J-PAL - Réseau d'économistes menant des essais aléatoires contrôlés

Page 5: Évaluations  d impact  aleatoires

Qu'est-ce que l'évaluation ?• Une méthode systématique de collecte, analyse et

utilisation d'informations dans le but de répondre à des questions sur des politiques et des programmes

• Évaluation d'un processus : • La politique ou le programme a-t-il été mis en œuvre comme

prévu ?

• Évaluation de l'impact : • La politique ou le programme a-t-il changé les choses ?

Page 6: Évaluations  d impact  aleatoires

L'évaluation est essentielle• Les ressources sont limitées

• Peu de preuves tangibles de ce qui est le plus efficace

• De nombreuses décisions se prennent sur une intuition ou pour suivre une mode

• Des évaluations rigoureuses offrent de la fiabilité

Page 7: Évaluations  d impact  aleatoires

L'évaluation est utile• Aide les décideurs à mieux investir

• Améliore les programmes

• Identifie les bonnes pratiques

Page 8: Évaluations  d impact  aleatoires
Page 9: Évaluations  d impact  aleatoires

The Lancet, 13 février 2010

Page 10: Évaluations  d impact  aleatoires

Évaluations d'impact :•Les évaluations d'impact mesurent l'efficacité d'un programme en comparant les résultats de ceux qui y ont participé (individus, communautés, écoles, etc.) à ceux qui sont restés en dehors

•L'objectif est de mesurer l'impact déterminant d'un programme ou d'une intervention sur un résultat

• Exemples :• Dans quelle mesure la distribution gratuite de moustiquaires a-t-elle

diminué l'incidence du paludisme ?• Dans quelle mesure une campagne d'information sur le VIH a-t-elle

réduit les comportements sexuels à risque ?• Lequel de deux modèles de chaînes d'approvisionnement a-t-il été le

plus efficace pour éliminer les pénuries de médicaments ?

Page 11: Évaluations  d impact  aleatoires

Évaluations d'impact•Pour déterminer le lien de cause à effet entre l'intervention et le résultat, nous devons mesurer le contrefactuel

• Qu'est-ce qu’il serait arrivé aux participants s’ils n’avaient pas bénéficié du programme ?

Page 12: Évaluations  d impact  aleatoires

Impact : qu'est-ce que c'est ?

Temps

Résu

ltat p

rincip

al

Impact

Contrefactue

l

Intervention

Page 13: Évaluations  d impact  aleatoires

Impact : qu'est-ce que c'est ?

Temps

Résu

ltat p

rincip

al

Impact

InterventionContrefactue

l

Page 14: Évaluations  d impact  aleatoires

Impact : qu'est-ce que c'est ?

Impact =

• Au résultat au même moment précis si le programme n'avait pas été lancé (le « contrefactuel »)

• Le résultat quelques temps après le lancement du programme

comparé

Page 15: Évaluations  d impact  aleatoires

Évaluations d'impact• MAIS – Nous ne pouvons pas observer le même individu

avec et sans le programme au même moment précis !

• Comme le contrefactuel n'est pas observable, l'objectif principal de toutes les méthodes d'évaluation d'impact est de construire ou d'imiter le contrefactuel

• Il faut un groupe de comparaison adéquat• Des individus qui ressemblent beaucoup aux participants, mais qui

n'ont pas bénéficié du programme

• Techniques :• Avant/après• Utilisation des non-bénéficaires comme groupe témoin

Page 16: Évaluations  d impact  aleatoires

Avant/aprèsAvant introduction de moustiquaires

• 6 cas de paludisme en 6 mois

Après introduction de moustiquaires

• 2 cas de paludisme en 6 mois

Page 17: Évaluations  d impact  aleatoires

Avant/après• Le programme de moustiquaires a-t-il été efficace pour réduire l'incidence du paludisme ?

• D'autres facteurs auraient-ils pu provoquer la réduction observée ?

• Des variations saisonnières• Une hausse des revenus : les ménages investissent

dans d'autres mesures• D'autres programmes

Page 18: Évaluations  d impact  aleatoires

Avant/après• Important de contrôler avant et après

• Insuffisant de montrer l'impact du programme

• De trop nombreux facteurs évoluent au fil du temps

• Contrefactuel : qu'est-ce qui se serait passé en l'absence du projet, si le reste était pareil

Page 19: Évaluations  d impact  aleatoires

Participants vs non-participants• Comparer les bénéficiaires du programme avec

• des personnes qui n'étaient pas éligibles au programme• des personnes qui ont choisi de ne pas participer au programme

• Exemple : suite à la distribution de moustiquaires, comparer les ménages qui en ont bénéficié à d'autres qui n'en ont pas bénéficié

No Bednets Bednets0

50

100

150

200

250

Cas de paludisme

Impact des moustiquaires ?

Page 20: Évaluations  d impact  aleatoires

Participants vs non-participants• Quels autres facteurs pourraient entrer en compte ?

• Les personnes qui ont choisir de recevoir les moustiquaires peuvent être différents des autres

• Différences observables• Revenu• Éducation

• Différences non observables• Facteurs de risques• Autres mesures préventives

Page 21: Évaluations  d impact  aleatoires

Participants vs non-participants• Il est impossible de savoir dans quelle mesure la

différence est due aux moustiquaires

No Bednets Bednets0

50

100

150

200

250

Cas de paludisme

Impact des moustiquaires

Autres facteurs

Page 22: Évaluations  d impact  aleatoires

Participants vs non-participants• Les non bénéficiaires peuvent être très différents des

bénéficiaires• Les programmes ciblent souvent des zones spécifiques (par ex.

des zones plus pauvres, qui manquent de services spécifiques)• Les individus sont souvent présélectionnés pour participer au

programme• La décision de participer est souvent volontaire

• Ainsi, les non bénéficiaires sont souvent un mauvais groupe de comparaison, du fait de différences préexistantes (biais de sélection)

• Le biais de sélection disparaît en cas de randomisation

Page 23: Évaluations  d impact  aleatoires

LE MODÈLE EXPÉRIMENTAL ALÉATOIRE EST LA RÈGLE

D'OR

Page 24: Évaluations  d impact  aleatoires

Sélection aléatoire• Identifier un groupe assez important d'individus tous susceptibles de bénéficier d'un programme

• Affectez-les de manière aléatoire dans l'un des groupes suivants :

• le groupe expérimental : bénéficiera du programme • le groupe témoin : non autorisé à participer au programme (au

cours de la période d'évaluation)

• Pour la sélection aléatoire, il faut que les caractéristiques observables et non observables soient présentes de manière statistiquement identique dans les groupes expérimental et témoin.

Page 25: Évaluations  d impact  aleatoires

Sélection aléatoire• Comme les membres de ces groupes (expérimental et témoin) sont systématiquement identiques au début de l'essai,

• toute différence apparaissant entre eux peut être attribuée au programme (traitement) plutôt qu'à un autre facteur

• Bien conçues et menées, les expériences randomisées sont la méthode la plus crédible pour estimer l'impact d'un programme

Page 26: Évaluations  d impact  aleatoires

Sélection aléatoire• La randomisation ne fonctionne pas s'il y a seulement

deux individus ou groupes

Groupe ou individu expérimental Groupe ou individu témoin

• Par contre, les différences se résorbent si l'échantillon est vaste

Grandes différences entre

le groupe ou l'individu

expérimental et le groupe ou

l'individu témoin

En moyenne, même nombre de rouges et de bleus dans les

groupes expérimental et

témoin

Page 27: Évaluations  d impact  aleatoires

Peut-on randomiser ?

• Randomiser ne veut pas dire refuser à des gens de bénéficier du projet

• Généralement, la mise en place du projet est soumise à des contraintes pour permettre la randomisation

• La randomisation est la façon la plus juste de répartir le traitement

Page 28: Évaluations  d impact  aleatoires

Comment introduire le caractère aléatoire ?

• Organiser un tirage au sort

• Randomiser l'ordre d'introduction progressive du programme

• Encourager de manière aléatoire certains plus que d'autres

• Plusieurs traitements

Page 29: Évaluations  d impact  aleatoires

Introduction progressive d'un programme

• Randomiser l'ordre dans lequel les cliniques reçoivent le programme

• Puis comparer le groupe Jan 2014 au groupe Jan 2015 à la fin de la première année

Lancement dans 200 cliniquesLancement dans 400 autres

cliniques

Jan 2014 Jan 2015 Juil 2015

Page 30: Évaluations  d impact  aleatoires

Si plusieurs groupes doivent recevoir le programme

Très vulnérables Vulnérables Non vulnérables

•Exemple : un programme destiné aux enfants au Kenya• Les enfants très vulnérables (orphelins) doivent recevoir le programme• Randomiser parmi les enfants moins vulnérables

INSCRIRE

RANDOMISER

REFUSER

Page 31: Évaluations  d impact  aleatoires

Varier l'intensité et la nature du traitement

Intensité

• Randomiser entre les communautés

• Impact supplémentaire des relances par SMS

Nature

• Randomiser entre les communautés

• Quelle approche a le plus fort impact ?

Campagne d'informatio

n sur le VIH/sida

100 villages

Campagne d'informatio

n sur le VIH/sida +

relances par SMS

100 villages

Campagne d'informatio

n sur le VIH/sida (radio)

100 villages

Campagne d'informatio

n sur le VIH/sida

(journaux)

100 villages

Page 32: Évaluations  d impact  aleatoires

Unité de randomisation• À quel niveau dois-je randomiser ?

• Individu• Ménage• Clinique• Communauté

• Éléments à prendre en compte• Faisabilité politique de la randomisation au niveau individuel• Retombées entre les groupes• Capacité de mise en œuvre : une clinique administrant différents

traitements

Page 33: Évaluations  d impact  aleatoires

Unité de randomisationRandomisation individuelle

• 630 participants (315 personnes dans le groupe expérimental, 315 dans le groupe témoin)

Randomisation au niveau des cliniques

• 150 cliniques (75 dans le groupe expérimental, 75 dans le groupe témoin)

• 3000 personnesUnité plus grande = étude plus grande

Page 34: Évaluations  d impact  aleatoires

Avantages des évaluations aléatoires• Les résultats sont transparents et faciles à partager

• Difficiles à manipuler ou à contester

• Plus susceptibles d'être persuasives

Page 35: Évaluations  d impact  aleatoires

Limites• Ne peuvent pas toujours êtres utilisées (par ex. pour des

raisons politiques ou éthiques)

• Problèmes de validité interne : pouvoir, attrition, conformité, etc.

• Problèmes de validité externe : taille de l'échantillon, possibilité de généralisation des résultats à la population visée

• Ces mêmes problèmes se posent souvent pour la validité d'études non expérimentales

Page 36: Évaluations  d impact  aleatoires

EXEMPLE 1Évaluer les programmes pédagogiques sur le VIH mis en place dans les écoles

pour les jeunes Kényans

Page 37: Évaluations  d impact  aleatoires

Éducation et VIH/sida au Kenya• Esther Duflo, Pascaline Dupas, Michael Kremer, Vandana

Sharma

Page 38: Évaluations  d impact  aleatoires

Contexte : VIH/SIDA AU KENYA• Enquête sur les indicateurs du SIDA au Kenya

• Août - décembre 2007• 18 000 individus observés, âgés de 15 à 64 ans et provenant de

10 000 ménages de tout le Kenya

• AU TOTAL : 7,4 % des Kényans sont séropositifs

8,7 % des femmes sont séropositives5,6 % des hommes sont séropositifs

• Plus de 1,4 million de Kényans vivent avec le VIH/sidaProgramme national de lutte contre le SIDA et les IST, Ministère de la Santé, Kenya. Juillet 2008. Enquête 2007 sur les indicateurs du SIDA au Kenya : rapport préliminaire. Nairobi, Kenya.

Page 39: Évaluations  d impact  aleatoires

VIH/sida au Kenya

Page 40: Évaluations  d impact  aleatoires

Mesures de prévention contre le VIH dans les écoles

• L'éducation est considérée comme un « vaccin social » contre le VIH/sida

• Les enfants de 5 à 14 ans sont considérés comme une « lueur d'espoir », car :

• ils ont de faibles taux d'infection au VIH• leurs comportements sexuels ne sont pas encore établis, et

peuvent être plus facilement façonnés

• En Afrique, la plupart des enfants vont désormais à l'école primaire

• Les programmes de prévention contre le VIH dans les écoles sont peu coûteux, faciles à mettre en œuvre et à reproduire

• Il existe peu de preuves rigoureuses de l'efficacité de ces types de programmes

Page 41: Évaluations  d impact  aleatoires

Contexte - Plan d'étude• Entre 2003 et 2006, l'organisation à but non lucratif ICS a mis en place des

programmes de prévention contre le VIH dans 328 écoles primaires de l'ouest du Kenya

• Les écoles ont été tirées au sort pour recevoir une, deux ou aucune des interventions suivantes :

• Formation des enseignants dans le cadre du Programme éducatif national kényan sur le VIH/sida• Le programme national sur le VIH se concentre sur l'abstinence jusqu'au mariage

et ne comprend pas d'informations sur les préservatifs• Ce programme offre une formation continue à trois enseignants du second cycle

pour améliorer la mise en œuvre du programme

• Programme de distribution d'uniformes

• Deux uniformes distribués gratuitement à une cohorte d'élèves (filles et garçons), dans le but de les aider à rester plus longtemps à l'école (le deuxième uniforme est distribué 18 mois après le premier)

Page 42: Évaluations  d impact  aleatoires

Contexte - Plan d'étudeLieu de l'étude : districts de Butere, Mumias, Bungoma

Sud et Bungoma Est, dans la province OuestÉchantillon de l'étude : 19 000 jeunes (dont env. 50 % de

filles) inscrits en « Grade 6 » en 2003 (env. 13 ans)Modèle expérimental :

Page 43: Évaluations  d impact  aleatoires

Résultats• Formation des enseignants :

• Enseignants plus enclins à discuter du VIH en classe• Faible impact sur les connaissances, l'activité sexuelle

autodéclarée ou l'utilisation de préservatifs • Tolérance accrue vis-à-vis des personnes séropositives• Aucun effet sur les taux de grossesse 3 et 5 ans après

Page 44: Évaluations  d impact  aleatoires
Page 45: Évaluations  d impact  aleatoires

Résultats• Programme des uniformes :

• Réduction du taux de décrochage scolaire (de 17 % chez les garçons et 14 % chez les filles)

• Réduction du taux de grossesse chez les adolescentes :• de 14,4 % à 10,6 % trois ans après• de 30,7% à 26,1% cinq ans après

Page 46: Évaluations  d impact  aleatoires
Page 47: Évaluations  d impact  aleatoires

VIH/sida et éducation dans l'ouest du Kenya : une étude de suivi des biomarqueurs

• Objectif : étudier l'impact de la formation des enseignants et des programmes d'uniformes sur la transmission réelle d'IST et du VIH

• Les données autodéclarées sont souvent peu fiables, particulièrement en ce qui concerne les comportements sexuels

• L'évolution des connaissances ou des mentalités ne se traduit pas forcément par des changements de comportements durables

Page 48: Évaluations  d impact  aleatoires

Plan d'étude• Une enquête transversale pour mesurer la prévalence du HSV-2 et les conséquences sur le comportement a été soumise à des sujets entre février 2009 et mars 2011• six à huit ans après les interventions• Remarque : n'a pas la puissance statistique nécessaire

pour estimer l'impact sur le VIH

Page 49: Évaluations  d impact  aleatoires

328 écoles de l'ouest du Kenya

Formation des enseignants

Uniformesgratuits Groupe témoin

CAPPrév. du HSV-2

CAPPrév. du HSV-2

CAPPrév. du HSV-2

Sélection aléatoire

Suivi en2009-2010

Programmes offerts en 2003

CAP = connaissances, attitudes et pratiques

Page 50: Évaluations  d impact  aleatoires

Résultats IInfection au HSV-2 sept ans après l'intervention

Femmes Hommes

Positives au HSV-2 Positifs au HSV-2Programme des uniformes 1,099   1,1 Intervalle de confiance (95 %) (0,846 - 1,427)   (0,828 - 1,461) Valeur P 0,48   0,511

Formation des enseignants 1,041   0,966 Intervalle de confiance (95 %) (0,810 - 1,336)   (0,716 - 1,303) Valeur P 0,755   0,82

Les deux 0,802*   0,866 Intervalle de confiance (95 %) (0,619 - 1,040)   (0,642 - 1,167) Valeur P 0,096   0,345

Échantillon observé 5509   6300Moyenne du groupe témoin 0,118   0,074

Page 51: Évaluations  d impact  aleatoires

Resultats II Mariage et maternité sept ans après l'intervention

Femmes HommesA déjà été

mariéeA déjà été enceinte

A déjà été marié

A déjà eu un enfant

Programme des uniformes 0,810* 0,843   1,063 0,966 Intervalle de confiance (95 %) (0,645 - 1,016) (0,681 - 1,045)   (0,818 - 1,380) (0,747 - 1,251) Valeur P 0,068 0,119   0,648 0,796

Formation des enseignants 1,119 1,114   0,995 1,045 Intervalle de confiance (95 %) (0,901 - 1,389) (0,889 - 1,396)   (0,766 - 1,292) (0,818 - 1,335) Valeur P 0,309 0,349   0,968 0,724

Les deux 0,95 0,965   1,062 1,03 Intervalle de confiance (95 %) (0,761 - 1,187) (0,772 - 1,205)   (0,829 - 1,361) (0,822 - 1,291) Valeur P 0,653 0,751   0,632 0,796

Échantillon observé 5715 5719   6590 6594Moyenne du groupe témoin 0,391 0,493   0,186 0,214

Page 52: Évaluations  d impact  aleatoires

• Utilise des poids d'échantillonnage (ceux échantillonnés pendant IT ont une pondération plus élevée)

• Pondéré en fonction de l'âge au départ, couches de randomisation (emplacement de l'école, répartition par sexe et performance au départ), date de l'enquête ou de la prise de sang

Page 53: Évaluations  d impact  aleatoires

ConclusionLa subvention éducative (uniformes gratuits) est efficace

pour réduire les taux de mariage et de grossesse chez les adolescents, mais n'est pas suffisante pour réduire la transmission du HSV-2

Le programme national sur le VIH, axé sur l'abstinence jusqu'au mariage, semble inefficace pour réduire la transmission du HSV-2

Les deux programmes, mis en œuvre conjointement, semblent réduire la transmission du HSV-2

Page 54: Évaluations  d impact  aleatoires

MerciVandana Sharma, MD, MPH

Laboratoire d'action contre la pauvreté Abdul Latif Jameel (J-PAL)

Massachusetts Institute of [email protected]

http://www.povertyactionlab.org/fr