Post on 04-Apr-2015
1
MASTERECONOMIE ET GESTION
Mention« Études du Développement »
Expertise économique en politiques et projets de
développement
29 octobre 2010
Evaluation des politiques environnementales Séance 3 : Déroulement du processus d’évaluation des politiques publiques
Institut d’Étude du Développement Économique et Social
2
Sommaire
Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation
3
Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation
4
Chaîne de déploiement d’une politique
Impacts
Réalisations
Résultats
Besoins / Problèmes / Enjeux
Ressources humaines, Financières, techniques …
Objectifs stratégiques
Objectifsopérationnels
Objectifsspécifiques
5
Les registres d’évaluation
Impacts
Réalisations
Résultats
Besoins / Problèmes / Enjeux
Ressources
Objectifs
pertinence
cohérenceinterne
utilité
efficience
efficacité
cohérence
externe
6
Evaluation et indicateurs
Taux d’insertion
des apprentis + z%
Nombre apprentis
+ x%
Taux réussite
apprentissage + y%
Les indicateurs mesurent un changement
L’évaluation porte un jugement de valeur sur le lien entre le
programme et le changement
programme contexte
?
7Contenu de la démarche méthodologique
des critères
explicites
des
données
ad hoc
une
argumentation
un
jugement
de valeur
Structurer
Questions
Critères
Indicateurs
Observer
Données
Instruments
Collecte
Analyser
Croisements
Estimation
Interprétation
Juger
/ Critères
/ Normes
Pondération
8Suivi permanent d’indicateurs
Besoins
Objectifs
Ressources
Indicateurs d’évaluation
Impacts
Résult.
Réalis.Indicateurs
suivi / pilotage
Indicateurs de contexte
9
Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation
10Vision globale du processus d’évaluation
Décision Commande Evaluation Propositions Décision
mandat
cahier
des
charges
offre marché
rapport
recom-
manda-
tions
délibé-
ration
Elus Instance Evaluateur Instance Elus
faisabilité
11
Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation
Utilisation des évaluations de politiques publiques Les différentes formes d’utilisation Utilisation managériale : de l’évaluation à la conception Utilisation démocratique : l’alimentation du débat public Utilisation pluraliste : la résolution collective de problèmes Utilisation opérationnelle ; l’amélioration du système de suivi-évaluation
12La décision d’évaluer
Décision
Obligation
Questionnement
Alerte
13La place des indicateurs dans le déclenchement d’une évaluation
Évaluation
Indicateurs d’évaluation
Alerte Alimentation Enrichissement
14L’auteur de la décision
Décision
Elu
Direction Partenaires
15La formalisation de la décision : le mandat
Une lettre de mission :
Qui définit le champ de l'évaluation
Qui marque les questions prioritaires
Qui précise le dispositif d'évaluation
Un engagement
Portage politique
Une commande
À une instance d’évaluation
16
L’analyse de la faisabilité d’une évaluation
Les conditions opérationnelles : quelles retombées escomptées ?
Les conditions techniques : quelle information disponible ?
Les conditions politiques :
quelle capacité
d’action ?
Les conditions institutionnelles :
quelles possibilités de
participation des acteurs ?
17Le choix entre évaluation externe ou interne
évaluateurChargé d’
évaluation
spécialiste
méthode
spécialiste
secteur
18L’instance d’évaluation
Définit le cahier des charges de l’évaluation
Sélectionne l’évaluateur
Pilote l’évaluation
Valide l’évaluation
Porte le jugement
Propose les recommandations
19La composition de l’instance d’évaluation
Gestionnaires
Opérateurs
Experts
Personnalités
Elus
Financeurs
Bénéficiaires
Société
20Les caractéristiques d’une instance d’évaluation efficace
En termes de composition : Un bon effectif Une diversité de membres Un président et un opérationnel
En termes de fonctionnement : Des réunions au bon moment Des réunions préparées
En termes de portée : Un jugement mieux argumenté Un jugement mieux partagé Des propositions plus adaptées Une évaluation plus appropriée
21Un cahier des charges ciblé
Cahier des charges
« évaluez la politique
de formation
………………. »
Cahier des charges
« répondez aux
questions d’évaluation
suivantes ………… »
22Les rubriques d’un cahier des charges
Le contexte global
L’objet à évaluer
Les raisons de l’évaluation
Les questions de l’évaluation
Les éléments d’information disponibles
Les éléments de méthode
Le calendrier
Le budget
Le pilotage
Les critères d’attribution
23Le processus de marché public
Commande
cahier
des
charges
offre marché
Instance
Procédure ouverte ou restreinte ?
Passage devant un jury ?
24
Le choix de l’équipe d’évaluateurs
Profil :
Spécialiste méthode ?
Spécialiste secteur ?
Contenu :
rigueur
méthodologique
Coût :
Prix global
Prix de journée
25L’attention portée à la stratégie d’évaluation
Démarche par laquelle : des « éléments de preuve » vont être produits pour porter le jugement de valeur sur la politique
Stratégie
ciblée Faisceau
d’indices
26Les points de contrôle d’une bonne stratégie d’évaluation
Rigueur
€
Robustesse
FaisabilitéCoût
Stratégie
27Appréciation du coût d’une évaluation
Le rapport Coût évaluation / Coût programme Un rapport non linéaire De 0,01% à 40% ?
Le nombre de jours d’intervenants 20 à 200 jours ?
Les différences selon les prestataires Consultants Bureaux d’études Laboratoires Associations
28
Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation
29
Le suivi de l’évaluation
structuration observation analyse jugement
Réunion
instance
Réunion
instanceRéunion
instance
Réunion
instance
Réunion
instance
30Les rapports d’évaluation
Le rapport de cadrage de l’évaluation Le référentiel de l’évaluation Le bilan de la politique
Le(s) rapport(s) intermédiaires(s) Les résultats intermédiaires
Le rapport final Note de synthèse Résultats de l’évaluation Réponses aux questions d’évaluation Recommandations
Les annexes
31Constats, conclusions et recommandations
Résultat Définition Exemple
Constat Eléments observésLe taux d’insertion des personnes formées est de x%
ConclusionJugement porté sur les éléments observés
Le taux d’insertion des personnes formées est inférieur aux autres régions
Recommandation
Proposition visant à remédier à un problème mis en avant dans une conclusion
Modifier la formation pour y intégrer un module plus en phase avec les besoins du secteur
32L’interaction pour produire les recommandations
Instanced’évaluation
Instanced’évaluation
Pertinence
Rigueur
Innovation
Cohérence
Faisabilité
33Les différents types de recommandations
Type Portée Outils
Orientations Cadrage global
Scénarios
Recommandations stratégiques
Remise en cause de l’objectif
Théorie d’action
Logique d’impact
Recommandations opérationnelles
Mise en œuvre de l’objectif
Recommandations de contenuRecommandations de processus
34La communication de / sur l’évaluation
- Rapport provisoire- Rapport définitif- Rapport partiel- Rapport non public- Synthèse - Article- Conférence de presse- Réunion- …
- Elus- Gestionnaires- Société civile- Medias- Population- …
Communiquer quoi et comment ?
A qui ?
35
Déroulement du processus d’évaluation Rappels Vision globale du processus d’évaluation Décision et commande d’évaluation Réalisation et résultats de l’évaluation Qualité de l’évaluation
36Les critères de qualité d'une évaluation
La satisfaction des demandes La pertinence du champ
L'adéquation de la méthodologie La fiabilité des données La solidité de l'analyse
La robustesse des résultats L’impartialité des conclusions
L’utilité des recommandations La clarté des comptes-rendus
37Les facteurs de la qualité
Clarté du
cahier des charges
Qualité
Compétences et performance de
l’équipe d’évaluation
Interaction avec l’instance
Organisation du processus
38Les tendances des nouveaux processus d’évaluation
Cahier des charges
Réalisationconclusions
recommandations
Diffusion
Pratique ancienneMandat
Réalisationconclusions
Diffusion
Pratique nouvelle
recommandations
Etude faisabilitéCahier des charges