1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en...
-
Upload
laurentin-papin -
Category
Documents
-
view
103 -
download
0
Transcript of 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en...
![Page 1: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/1.jpg)
1
MASTERECONOMIE ET GESTION
Mention« Études du Développement »
Expertise économique en politiques et projets de
développement
02 novembre 2010
Evaluation des politiques environnementales Séance 4 : Stratégie et outils d’évaluation d’une politique publique
Institut d’Étude du Développement Économique et Social
![Page 2: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/2.jpg)
2
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
![Page 3: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/3.jpg)
3L’essence de la démarche méthodologique
« porter un jugement de valeur argumenté par des données ad hoc et des critères explicites »
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
structurer observer analyser juger
![Page 4: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/4.jpg)
4Exemple de démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
structurer observer analyser juger
fréquentation
exposition
questionnaire échantillon
élèvesbénéficiaires
extrapolation
et analyse de
données
comparaison
bénéficiaires/
non bénéficiaires
![Page 5: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/5.jpg)
5Contenu de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
Structurer
Questions
Critères
Indicateurs
Observer
Données
Instruments
Collecte
Analyser
Croisements
Estimation
Interprétation
Juger
/ Critères
/ Normes
Pondération
![Page 6: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/6.jpg)
6Des outils pour chaque étape de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
outils de
structuration
outils d’
observation
outils d’
analyse
outils de
jugement
Boîte à outils des sciences
humaines, sociales, économiques …
![Page 7: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/7.jpg)
7
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
![Page 8: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/8.jpg)
8La stratégie d’évaluation
Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique
Stratégie
ciblée Faisceau
d’indices
![Page 9: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/9.jpg)
9Les points de contrôle d’une bonne stratégie d’évaluation
Rigueur
€
Robustesse
FaisabilitéCoût
Stratégie
![Page 10: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/10.jpg)
10
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
![Page 11: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/11.jpg)
11Articuler le quantitatif et le qualitatif
Quantifier
Mesurer
Largeur
Valider
Qualifier
Comprendre
Profondeur
Explorer
![Page 12: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/12.jpg)
12
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
![Page 13: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/13.jpg)
13Référentiel d’évaluationQuestions Critères Indicateurs
DescripteursIndices
SourcesOutils
Les résultats obtenus suite à
la formation Evaluation
sont-ils satisfaisants ?
-Fréquentation - nombre formations- nombre participants-caractéristiques participants
- fichier participants
- Satisfaction - niveau de réponse aux attentes- niveau de satisfaction des
participants- qualité de perception par le service
Evaluation
- fiches évaluation à chaud
- debriefing service Evaluation
- Partage - création d’un vocabulaire commun- constitution d’un réseau
- enquête participants dispositifs
- Utilisation - traces des concepts dans les documents du Conseil régional
- fréquence de mention des concepts en réunion
- optimisation du dispositif de tableaux de bord
- entretiens évaluation à froid
- analyse documentaire
![Page 14: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/14.jpg)
14
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
![Page 15: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/15.jpg)
15Des outils pour chaque étape de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
outils de
structuration
outils d’
observation
outils d’
analyse
outils de
jugement
Boîte à outils des sciences
humaines, sociales, économiques …
![Page 16: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/16.jpg)
16
Des outils à choisir
outils de
structuration
outils d’
observation
outils d’
analyse
outils de
jugement
Boîte à outils des sciences
humaines, sociales, économiques …
Complexité : un public / plusieurs publicsCompétences : technicité / savoir faireAcceptabilité : classique / innovantCoût : limité / élevé
![Page 17: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/17.jpg)
17
Outils de structuration
des critères
explicites
Structurer
Questions
Critères
Indicateurs
Analyse de texteSWOTCadre logiqueMatrice d’impactsDiagramme logique d’impactsTypologies ….
![Page 18: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/18.jpg)
18
Réalisation 4
Réalisation 5
Réalisation 2
Réalisation 1
Réalisation 3
Réalisation 6
Impactglobal 1
Impactglobal 2
Résultat immédiat 3
Résultat immédiat 4
Résultat immédiat 2
Résultat immédiat 1
Impactintermédiaire 1
Impactintermédiaire 3
Impactintermédiaire 2
Zoom sur un outil : le diagramme logique des impacts escomptés
![Page 19: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/19.jpg)
19Zoom sur un outil : la typologie
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
x
x
x x
x
x
xx
famille A
famille B
famille C
famille D
famille E
étude de cas A1
étude de cas E1
étude de cas D2
étude de cas B1
étude de cas B2
étude de cas A2
étude de cas C2étude de cas C1
étude de cas D1étude de cas C3
![Page 20: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/20.jpg)
20
Outils d’observation
des
données
ad hoc
Observer
Données
Instruments
Collecte
Entretiens individuelsFocus groupesQuestionnairesOutils statistiquesOutils de notationEtudes de cas….
![Page 21: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/21.jpg)
21
Zoom sur un outil : le focus groupe
Toucher la diversité des individus Descendre en profondeur Comprendre les interactions collectives Valider par croisement
Sélection
Focus groupe 1
Focus groupe 1
Focus groupe 1
Focus groupe 1
Restitution
![Page 22: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/22.jpg)
22Zoom sur un outil : le questionnaire par internet
Décliner les critères en un ensemble de questions Rendre l’ensemble ergonomique Toucher l’ensemble de la population Relancer Exploiter automatiquement
Préparation Test Administration Exploitation
![Page 23: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/23.jpg)
23
Outils d’analyse
une
argumentation
Analyser
Croisements
Estimation
Interprétation
Analyses statistiquesGroupes de comparaison non expérimentauxEtudes de cas….
![Page 24: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/24.jpg)
24Zoom sur un outil : l’étude de cas
Observer sous divers angles Descendre en profondeur Comprendre la théorie d’action Illustrer un type de comportement
Préparation
Documents
Entretiens
Observations
Réunions
Rédaction
![Page 25: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/25.jpg)
25Zoom sur un outil : les groupes de comparaison non expérimentaux
Groupe de
bénéficiaires
Groupe
non éligibles
Groupe
Éligibles non
demandeurs
Groupe
Eligibles non
acceptés
Groupe
Bénéficiaires
avant
![Page 26: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/26.jpg)
26
Outils de jugement
un
jugement
de valeur
Juger
/ Critères
/ Normes
Pondération
Analyse multi-critèresAnalyse coût-avantagesAnalyse coût-efficacitéGroupes de comparaison
expérimentaux Panel d’expertsBenchmarking….
![Page 27: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/27.jpg)
27Zoom sur un outil : le panel d’experts
Discussion autour de différents points de vue Discussion autour de différents angles de vue Recherche d’un consensus sur les analyses effectuées
Identification Constitution Alimentation Réunion(s)
![Page 28: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/28.jpg)
28Zoom sur un outil : le benchmarking
Recherche de situations comparables, mais pas forcément homogènes
Identification de la meilleure pratique Comparaison
Recherche Mise à plat Comparaison
![Page 29: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/29.jpg)
29
La stratégie d’évaluation d’une politique publique La démarche méthodologique en évaluation Le choix d’une stratégie d’évaluation Approche quantitative et approche qualitative Le référentiel d’évaluation Les outils d’évaluation L’évaluation participative
![Page 30: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/30.jpg)
30De quoi parle-t-on ?
Évaluation participative ?
Évaluation pluraliste ?
Évaluation citoyenne ?
![Page 31: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/31.jpg)
31L’évaluation participative
Participer = prendre part …
Qui prend part ? Agents publics ? Acteurs socio-éco ? Société civile ? Citoyens ?
Un concept qui s’oppose à évaluation experte
![Page 32: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/32.jpg)
32L’évaluation pluraliste
Introduit par P.Viveret en 1989 Commande de M.Rocard
Porté par la Charte de la Société Française d’Evaluation (2006)
Permet la confrontation de points de vue entre les responsables de la politique évaluée les parties prenantes : experts, partenaires, groupes
d’intérêt, bénéficiaires
Permet un jugement d’évaluation co-produit par une pluralité d’acteurs sur la base de critères pré-établis
![Page 33: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/33.jpg)
33L’évaluation citoyenne
Avec participation de citoyens « ordinaires »
Va au-delà de la simple collecte d’informations auprès de citoyens Acte élémentaire d’évaluation
Suppose une implication des citoyens dans le processus d’évaluation : Décision Pilotage Jugement
![Page 34: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/34.jpg)
34
Les participants potentiels à l’évaluation
Contribuables Habitants
Décideurs Opérateurs
Acteurs
Décideurs Opérateurs
Bénéficiaires
Citoyens
![Page 35: 1 MASTER ECONOMIE ET GESTION Mention « Études du Développement » Expertise économique en politiques et projets de développement 02 novembre 2010 Evaluation.](https://reader036.fdocument.pub/reader036/viewer/2022070309/551d9da7497959293b8d8b83/html5/thumbnails/35.jpg)
35
Participer et contribuer
Contribuables Habitants
Bénéficiaires
Citoyens
L’évaluation suppose
toujours la collecte
d’informations auprès des
bénéficiaires
L’évaluation envisage parfois
l’implication des
bénéficiaires dans le
processus