évaluation en promotion de la santé
-
Upload
aymery-constant -
Category
Education
-
view
203 -
download
2
Transcript of évaluation en promotion de la santé
![Page 1: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/1.jpg)
Evaluer en promotion de la santé
Aymery Constant
Maitre de conférences
EHESP
![Page 2: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/2.jpg)
Prevention et promotion de la santé
Début XX°: Bond de l’espérance de vie, bien avant les
progrès de la médecine
Aujourd’hui encore, la plupart des causes de mortalité
prématurées sont évitables
Les actions de promotion de santé et de prévention
sont donc pertinentes pour…
….augmenter l’espérance de vie en bonne
santé, le bien-être, la productivité, et éviter blessures, et
maladies…
EHESP
2
![Page 3: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/3.jpg)
Quelques exemples…
![Page 4: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/4.jpg)
EHESP
4
![Page 5: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/5.jpg)
EHESP
5
![Page 6: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/6.jpg)
EHESP
6
![Page 7: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/7.jpg)
EHESP
7
![Page 8: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/8.jpg)
EHESP
8
Un très bon slogan, très bien mémorisé (1984)
….mais quel effet sur la consommation
d’alcool?
![Page 9: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/9.jpg)
EHESP
9
Susciter la peur
![Page 10: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/10.jpg)
EHESP
10
Susciter la peur
![Page 11: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/11.jpg)
Quelle logique sous tend ces actions?
EHESP
11
![Page 12: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/12.jpg)
Une logique de slogan
Pendant des décennies, les actions de promotion de la
santé et de prévention ont été assimilées à des
campagnes publicitaires
Peu ou pas d’évaluation; évaluation sous forme
d’enquêtes de satisfaction; de mémorisation des
messages; de « taux de pénétration » des
campagnes d’information…etc .
Effet « plafond » de ce type de campagne atteint
EHESP
12
![Page 13: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/13.jpg)
EHESP
13
+
Les couples hétérosexuels
monogames stables (et à
haut revenus, visiblement)
sont-ils la cible prioritaire
pour les campagnes
d’information sur le
préservatif ?
Ratage de cible
![Page 14: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/14.jpg)
EHESP
14
Potentiel d’identification: nul
![Page 15: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/15.jpg)
EHESP
15
Ratage de communication sur les déterminants
(la honte à ceux qui ont des difficultés)
![Page 16: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/16.jpg)
Quelles sont les points communs de
ces campagnes d’information ?
EHESP
16
![Page 17: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/17.jpg)
Situation en France
Des indicateurs inquiétants…mais réversibles !
• Un des taux de mortalité prématuré les plus élevés d’Europe de
l’Ouest
• Taux de suicide le plus élevé d’Europe de l’Ouest
• Espérance de vie en bonne santé inférieure aux pays voisins
• Consommation d’alcool très élevée
• Consommation d’alcool et de cannabis la plus élevée chez les
adolescents en Europe
• Consommation de psychotropes la plus élevée au monde
Seule l’entrée des pays de l’est dans Union Européenne a
permis à la France de « descendre » dans les classements
EHESP
17
![Page 18: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/18.jpg)
Les principes fondamentaux de l’évaluation
![Page 19: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/19.jpg)
19
L’efficacité, un mot tabou en prévention et promotion de la santé ?
![Page 20: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/20.jpg)
20
Urbanisation
croissante
Pauvreté
grandissante Vieillissement
Des populations
dépendance
Détérioration de
l'environnement
Erosion de la volonté
générale d'aide
Exigences
des beneficiaires
Restrictions
budgetaires Actions de santé
Scepticisme des
commanditaires
Extension
modèle
anglo-saxon (et évaluation)
Incertitudes
institutionnelles Déficits liés aux dépenses de santé
Raisons pour des actions efficaces
![Page 21: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/21.jpg)
21
Et du point de vue de l’usager ?
![Page 22: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/22.jpg)
EHESP
22
Les bénéfices de l’évaluation
![Page 23: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/23.jpg)
23
t1
Conception
etc...
t3
Conception
Planification
Réalisation
Evaluation
Conception
Planification
Réalisation
Evaluation
t2
Le cycle de fonctionnement d'une organisation qui apprend à partir de ses expériences
![Page 24: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/24.jpg)
24
Inconvénients de l’évaluation?
![Page 25: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/25.jpg)
Les étapes de la démarche d’évaluation
![Page 26: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/26.jpg)
EHESP
26
![Page 27: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/27.jpg)
27
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Activités Prévues
Pop cible prévue
Planification
![Page 28: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/28.jpg)
28
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Ressources Effectives
Pop cible effective
Actions Effectives
Objectifs atteints Autres effets
Actions Prévues
Pop cible prévue
Planification Réalisation
![Page 29: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/29.jpg)
29
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Activités Prévues
Pop cible prévue
Evaluation du projet et de sa planification
Validité du diagnostic initial
Pertinence des objectifs et de la
conception des actions
Pertinence du choix de la pop cible
Pertinence de la planification
Organisation
Faisabilité
Etude des coûts
Etc…
![Page 30: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/30.jpg)
30
Ressources Effectives
Pop cible effective
Actions Effectives
Objectifs atteints Autres effets
Evaluation de la Mise en oeuvre
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Activités Prévues
Pop cible prévue
![Page 31: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/31.jpg)
31
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Ressources Effectives
Activités Effectives
Objectifs atteints Autres effets
Activités Prévues
Pop cible prévue
Pop cible effective
Evaluation de processus
Evaluation des résultats
![Page 32: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/32.jpg)
32
Le "moment" d'une évaluation
Diagnostic
Planification
Démarrage
Réalisation (Phase 1)
Réalisation (Phase 2)
....
Fin du projet
Poursuite des effets
Les
moments de
la vie d'un projet, d'un programme
ou d'une politique
Etudes de faisabilité (évaluation ex-ante)
Evaluation en cours
Evaluation à mi-parcours
Evaluation finale
Evaluation retrospective
Les
moments
de
l'évaluation
![Page 33: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/33.jpg)
33
Selon les "moments" de l'évaluation, les buts diffèrent
Avant Pendant À la fin Avant et après
Vérifier la
conception
et la
planification
Améliorer
la mise en
œuvre
Rendre des
comptes
Déterminer
l’impact
Programme
Début
![Page 34: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/34.jpg)
L’évaluation n’a de sens que…
- Si elle a été planifiée et conçue en même temps que le projet
(le projet est lui-même conçu en intégrant l’évaluation)
- Si elle a débuté avant l’action, continue pendant l’action et se
poursuit après
- Si l’action est évaluable (les indicateurs de qualité du projet,
de processus et de résultat sont collectés et disponibles)
EHESP
34
![Page 35: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/35.jpg)
EHESP
35
Wholey (1970) a proposé quatre conditions préalables à
l’évaluation:
1. La logique d’intervention est claire, connue et partagée de
tous;
2. Les relations causales et la logique de l’intervention sont
plausibles (fondement théorique) et les activités planifiées
devraient permettre d’atteindre les effets attendus (elles ont
déjà fait leurs preuves);
3. Les données nécessaires pour réaliser l’évaluation sont
disponibles ou accessibles (collecte planifiée dans le
projet)
4. L’utilité de réaliser l’évaluation est reconnue par les
utilisateurs potentiels des résultats (peut aider à la mise en
œuvre et à améliorer les effets de l’action).
![Page 36: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/36.jpg)
Utile
Les qualités d'une évaluation
![Page 37: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/37.jpg)
Crédible
Utile
Pertinente Accessible (digne de confiance)
Les qualités d'une évaluation
![Page 38: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/38.jpg)
Crédible
Qualité et transparence des méthodes employées, compétence des évaluateurs
Utile
Pertinente
Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique
Accessible
Qualité des mesures et des relations causales établies
Caractère reproductible des conclusions (un autre évaluateur
aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations
(digne de confiance)
Les qualités d'une évaluation
![Page 39: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/39.jpg)
Crédible
Utile
Pertinente
Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique
Accessible (digne de confiance)
Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes
Les qualités d'une évaluation
![Page 40: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/40.jpg)
Crédible
Utile
Pertinente
Communication des résultats
Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements
Accessible
,
(digne de confiance)
Qualité du rapport : organisation, taille, style (clarté, concision)
Les qualités d'une évaluation
![Page 41: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/41.jpg)
Quelles compétences pour un évaluateur ?
![Page 42: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/42.jpg)
Questions évaluatives
• Savoir quelles questions poser aux différentes
étapes du projet/action (avant, pendant, après)
• Savoir comment y répondre (méthodes, outils..)
• Analyser les étapes du projet/action en fonction
de ces éléments
• Utiliser ces informations pour émettre des
recommandations en vue d’améliorer l’action
EHESP
42
![Page 43: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/43.jpg)
À la fin de l’action
• Qu’est ce qui a fonctionné comme prévu ?
• Qu’est ce qui n’a pas fonctionné comme prévu et
pourquoi ?
• Les résultats sont-ils conformes aux prévisions?
• Quels événements imprévus et pourquoi ?
• Utiliser ces informations pour émettre des
recommandations en vue d’améliorer l’action
EHESP
43
![Page 44: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/44.jpg)
44
Diagnostic
Objectifs - généraux
- spécifiques
Ressources Prévues
Ressources Effectives
Activités Effectives
Objectifs atteints Autres effets ?
Activités Prévues
Pop cible prévue
Pop cible effective
![Page 45: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/45.jpg)
45
Diagnostic Exemple:
L’analyse de la situation est-elle pertinente,
claire, fondées sur les données
épidémiologiques disponibles et actualisées ?
![Page 46: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/46.jpg)
46
Objectifs - généraux
- spécifiques
Exemple:
Les objectifs sont-ils clairs; quantifiables;
réalistes; pertinents au regards de la
situation et des actions en promotion de la
santé ?
![Page 47: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/47.jpg)
47
Activités Prévues
Pop cible prévue
Exemple:
Les activités prévues sont-elles efficaces
pour atteindre les objectifs ? Sont-elles
adaptées à la population-cible ?
![Page 48: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/48.jpg)
48
Ressources Prévues
Ressources Effectives
Exemple:
Les ressources effectives correspondent
elles aux ressources prévues? Sont-elles
attribuées selon le plan initial ?
![Page 49: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/49.jpg)
49
Activités Effectives
Pop cible effective
Exemple:
Les actions se sont-elles déroulées
comme prévu ? Les participants
ont-ils été satisfaits ?
![Page 50: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/50.jpg)
50
Activités Effectives
Objectifs atteints Autres effets ?
Pop cible effective
Exemple:
A –on observé un changement chez
les participants ?
Ce changement correspond t-il aux
objectifs ?
![Page 51: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/51.jpg)
Approche systématique: le Preffi 2.0
![Page 52: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/52.jpg)
EHESP
52
![Page 53: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/53.jpg)
L’approche systématique
Une approche systématique implique des étapes menant à des
choix.
Permet d’établir des décisions conscientes, et réfléchies
aboutissant à un projet cohérent et basé sur le bon sens.
Une approche systématique est particulièrement importante pour
faire les choix théoriques les plus justes.
En même temps, ces derniers sont limités par des contraintes
pratiques telles que le financement, le recrutement et le temps.
Ces ressources et la manière de les prendre en compte
influencent de manière importante le succès d'un programme.
EHESP
53
![Page 54: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/54.jpg)
Avantages
Une approche systématique augmente les chances de succès en
permettant d’éviter certaines erreurs (Kok, 1992) comme :
• Traiter un problème inexistant, mettre en place une action de
grande envergure pour un problème exceptionnel ou touchant un
groupe spécifique qui fait déjà l’objet d’interventions adaptées
(mauvaise analyse du problème)
• Se concentrer sur des comportements ou des facteurs
environnementaux dont la relation avec le problème est
incertaine. (mauvaise analyse des déterminants)
• Concevoir l'intervention à partir d’une analyse incorrecte des
motivations du comportement. Par exemple, on suppose
souvent à tort que la connaissance par le public des effets
dangereux sur la santé d’une pratique suffit pour changer ce
comportement ;
EHESP
54
![Page 55: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/55.jpg)
Permet d’éviter de…
• Concevoir une action inadéquate. Par exemple, diffuser un
dépliant sur un programme d'échange de seringues pour des
toxicomanes alors que les seringues nécessaires ne seront
disponibles que six mois plus tard (mauvaise analyse de la mise en
œuvre)
• Concevoir une action dont l'introduction (à grande échelle)
s'expose à une résistance. Citons l'exemple de la brochure
hollandaise sur le sida prévue pour les enfants scolarisés et
rejetée par les écoles de confession chrétienne (mauvaise
analyse de la population-cible)
EHESP
55
![Page 56: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/56.jpg)
Avantages du Preffi
• Permettre de se lancer dans un processus d’évaluation à
toutes les étapes de l’action, même sans disposer d’une
expérience de 20 ans (avantage de l’outil didactique)
• Produire des évaluations structurées et standardisées,
facilement lisibles pour des non spécialistes;
• Permettre de comparer différentes évaluations d’une même
action (convergence inter-évaluateurs); ou de plusieurs
actions différentes
EHESP
56
![Page 57: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/57.jpg)
Limites
• Structure pouvant paraitre rigide et peu adaptable;
items/questions non pertinentes
• Fournit des lignes directrices qui peuvent et doivent être
modifiées en fonction de la situation, des problèmes
rencontrés, des évaluateurs etc.
• Les échanges avec les acteurs de l’action et de
l’évaluation doivent être le plus fréquent possibles, sur
la base des informations fournies par cet outil
• Guide la réflexion individuelle et collective, mais ne la
remplace pas
EHESP
57
![Page 58: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/58.jpg)
58
Des objets de taille variable
Action/mesure
Action/mesure
Projet Projet
Programme
Politique
Action/mesure
Action/mesure
Action/mesure
Action/mesure
Projets, programmes, politiques
L'évaluation porte sur des objets de taille variable
![Page 59: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/59.jpg)
EHESP
59
Dimensions évaluées dans le Preffi
![Page 60: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/60.jpg)
EHESP
60
Projet centré sur l’élaboration de stratégies politiques
de santé
Evaluation en fonction de l’objet à analyser
![Page 61: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/61.jpg)
EHESP
61
Projet de mise en œuvre
Evaluation en fonction de l’objet à analyser
![Page 62: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/62.jpg)
EHESP
62
Projet communautaire
Evaluation en fonction de l’objet à analyser
![Page 63: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/63.jpg)
EHESP
63
Projet de diagnostic
Evaluation en fonction de l’objet à analyser
![Page 64: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/64.jpg)
EHESP
64
Evaluation de processus et de résultats
Evaluation en fonction de l’objet à analyser
![Page 65: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/65.jpg)
65
Evaluation d’un programme/action de
santé
Approximativement nous retenons :
- 10% de ce que nous lisons
- 20% de ce que nous entendons
- 30% de ce que nous voyons
- 50% de ce que nous voyons et entendons
- 80% de ce que nous disons
- 90% de ce que nous mettons en pratique
Exercice : conduire les différentes étapes d’un
processus d’évaluation à l’aide d’un outil standardisé
![Page 66: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/66.jpg)
Le diagnostic a t-il été correctement effectué ?
Question évaluative 1
![Page 67: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/67.jpg)
Diagnostic: Evaluer le problème
Un projet pertinent doit cibler un problème de santé ayant des
conséquences significative sur la santé des gens (espérance de
vie, qualité de vie, espérance de vie en bonne santé, bien être..)
Différent aspects sont à prendre en compte:
Incidence / prévalence, mortalité prématurée
fardeau de la maladie / qualité de vie,
expérience et signification de la maladie
Déterminants (biologiques, sociaux, psychologiques, comportementaux…)
Spécificité géographique ou temporelle
Cout de la Prise en charge
Coût humain; cout financier; cout en terme de productivité, de
développement
Année de vie perdues (DALYS)
EHESP
67
![Page 68: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/68.jpg)
68
Où chercher les données?
Sources possibles
L’OMS (http://www.who.int/publications/fr/)
Le Bulletin Epidémiologique Hebdomadaire (http://www.invs.sante.fr/beh/)
L’OCDE (http://www.oecd.org/fr/statistiques/)
L’Union Européenne
(http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home)
L‘INSERM (http://www.inserm.fr/thematiques/sante-publique/rapports-
publies)
Les organismes spécialisés comme l’OFDT ou l’ONISR
(http://www.securite-routiere.gouv.fr/medias-
outils/documentation/bibliographie)
(http://www.ofdt.fr/ofdtdev/live/publi.html)
![Page 69: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/69.jpg)
Principales causes de décès en 2009
Hommes Femmes Total
en effectif en % en effectif en % en effectif en %
Maladies
infectieuses et
parasitaires (1)
5 268 2 5 531 2 10 799 2
Tumeurs 93 134 34 66 310 25 159 444 30
Tumeurs du larynx,
trachée, bronches
et poumon
23 453 9 7 429 3 30 882 6
Tumeurs du côlon 6 530 2 5 990 2 12 520 2
Tumeurs du rectum
et de l’anus 2 482 1 2 040 1 4 522 1
Tumeurs du sein 200 ns 11 588 4 11 788 2
Troubles mentaux
et du
comportement
7 482 3 10 059 4 17 541 3
Maladie de
l’appareil
circulatoire
66 833 25 77 510 29 144 343 27
Maladies
cérébrovasculaires 13 266 5 18 720 7 31 986 6
Cardiopathies
ischémiques 20 774 8 15 765 6 36 539 7
Maladies de
l’appareil
respiratoire
17 654 6 16 207 6 33 861 6
Maladies de
l’appareil digestif 12 543 5 10 888 4 23 431 4
Causes externes 22 620 8 14 748 6 37 368 7
Accidents de
transport 3 262 1 1 044 ns 4 306 1
Suicides 7 739 3 2 725 1 10 464 2
Autres causes 45 697 17 60 277 23 105 974 20
Total 272 253 100 263 113 100 535 366
![Page 70: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/70.jpg)
![Page 71: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/71.jpg)
Diagnostic: Evaluer le contexte
Un projet pertinent doit prendre en compte le contexte local
Le contexte regroupe plusieurs aspects : géographique, social, culturel,
environnemental, historique, politique, conduites….législatif,
réglementaire.
l’ancrage dans un territoire et dans une problématique locale sont
des caractéristiques intrinsèques des actions de santé.
Le diagnostic va permettre d’analyser la situation sur le territoire,
il est recommandé d’associer des acteurs locaux à cette phase de
diagnostic afin d’élargir le champ des points de vues, de vérifier la
pertinence de notre démarche et d’impliquer le plus grand nombre de
personnes possible dans le dialogue territorial.
EHESP
71
![Page 72: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/72.jpg)
EHESP
72
Questions possibles
Est-ce que nous avons identifié dans quelle zone géographique se déroule notre
projet ?
• Dans quel type d’environnement (urbain, rural, semi-rural, cité…) ?
• En quoi peut-on s’appuyer sur les ressources locales ?
• Est-ce que nous avons réalisé un diagnostic de départ ? Quelles habitudes,
attitudes des participants envers la santé ?
• Quelle connaissance des participants de leur santé, des problèmes de santé ?
• Est-ce qu’il y a une politique de santé sur le territoire ?
• Est-ce que notre projet est ancré sur le territoire ?
Est-il construit à partir d’une problématique locale ?
• Est-ce que notre projet est relié à des problématiques globales ?
• Est-ce que notre discours est approprié à ce que peuvent observer les
participants par eux-mêmes?
• Est-ce que notre projet respecte les réglementations
en vigueur ?
![Page 73: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/73.jpg)
Diagnostic: Evaluer le public
EHESP
73
Le projet doit partir d’un repérage des besoins et caractéristiques
du public-cible
L’implication des participants est un des aspects fondamentaux de
toute actions de santé, c’est pourquoi la prise en compte de leurs
caractéristiques est un critère de qualité.
l’âge des participants, leur effectif, leurs caractéristiques sociales et
culturelles, leurs capacités, leur culture, leurs acquis, leurs
représentations…
Enjeux
Repérer au préalable les caractéristiques des futurs participants
pour élaborer une action de santé appropriée et favorisant leur
implication.
![Page 74: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/74.jpg)
EHESP
74
Questions possibles
Est-ce que nous avons pris en compte l’âge des participants ? Leurs
capacités ? Leur niveau de connaissances ? Leurs motivations ? Leur
effectif ? Leurs « caractéristiques » sociales et culturelles ?
• Quelles sont les capacités cognitives, psychiques et de mobilité des
participants ?
• Est-ce que le projet tel qu’il est pensé correspond au rythme de vie des
participants ?
• Est-ce que notre projet s’est construit à partir des besoins ou envies des
participants ?
• Est-ce que la problématique les concerne réellement ?
• Est-ce que les participants sont associés à l’élaboration du projet ?
• Est-ce que nous avons défini la place, le rôle des participants dans le
projet ?
![Page 75: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/75.jpg)
Les Objectifs ont-ils clairement été définis ?
Question évaluative 2
![Page 76: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/76.jpg)
76
Les objectifs
La première question est de savoir pourquoi on veut mettre
en place une action de santé, c'est-à-dire à quelle fin on
veut mener une évaluation => les objectifs
Ceux-ci doivent être réalistes, précis et quantifiables
L’objectif prioritaire demeure le même: Améliorer la santé
(au sens large du terme) des usagers
![Page 77: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/77.jpg)
Les objectifs
Objectif général
Enoncé, en termes plus ou moins et précis, de ce vers quoi tend
l’action de santé. Cet énoncé, qui définit les résultats de l‘action,
représente l'orientation générale d'un programme. (L'objectif
général constitue un premier degré de précision du but dont il
découle.)
Exemples
Améliorer les comportements de santé chez les étudiants en première
année
Diminuer la mortalité routière chez les jeunes adultes
Augmenter l’activité physique chez des salariés sédentaires en entreprise
EHESP
77
![Page 78: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/78.jpg)
Objectif spécifique
Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un
objectif général en autant d'énoncés nécessaires pour que
quatre exigences soient satisfaites:
• Décrit un changement attendu chez les bénéficiaires
• Univoque: précis et une seule signification. Pas d’expressions nébuleuses ou
sujettes à une interprétation libre. L'objectif doit exprimer clairement le résultat à
atteindre (éventuellement de manière chiffrée)
• Résultat, comportement…observable ou mesurable: décrire un résultat
spécifique. Et non pas une catégorie de comportements comme le suggèrent les
mots "comprendre« , « sensibiliser », "savoir". Ainsi, des objectifs comme "voir la
valeur de la nutrition" ou « comprendre l’importance de la santé » ne sont pas
spécifiques.
• Précise les conditions dans lequel le résultat sera observé: chez qui, à
quel moment, à quel endroit etc.
EHESP
78
Les objectifs
![Page 79: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/79.jpg)
• Exemples d’objectifs spécifiques
• Diminuer de 10% le nombre de cigarettes consommées chez les
étudiants en première année au cours des six prochains mois
• Augmenter le nombre de fruits frais consommés au sein des
foyers participants au cours des deux prochains mois
• Réduire de 20% le nombre d’accidents de la route chez les jeunes
du département au cours de l’année prochaine.
• Augmenter le taux de connaissance sur le repérage des patients à
risque suicidaire chez les médecins généralistes du réseau ville-
hôpital à l’issue de la formation (pas de donnée de départ)
NB: les termes favoriser, faciliter, sensibiliser, promouvoir etc. sont à
éviter autant que possible pour les objectifs spécifiques
EHESP
79
Les objectifs
![Page 80: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/80.jpg)
La Pertinence des objectifs
EHESP
80
La pertinence est un critère qui interroge le rapport entre les
objectifs définis et les finalités de l’action.
Enjeux
Il est important de bien évaluer la pertinence des objectifs de l’action
lors de l’élaboration du projet car elle est à la base d’un projet réussi.
Si les objectifs ne sont pas pertinents et clairs,
1) L’action sera hasardeuse
2) Il sera impossible de définir des indicateurs
3) … ni de faire une évaluation
4) …ni de connaitre les effets de l’action
![Page 81: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/81.jpg)
EHESP
81
![Page 82: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/82.jpg)
EHESP
82
![Page 83: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/83.jpg)
EHESP
83
![Page 84: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/84.jpg)
La Pertinence des objectifs
EHESP
84
Quelle est la population visée ?
Sera-t-il possible de mesurer ces indicateurs ?
Quel est le contexte dans lequel ces objectifs seraient mesurables ?
La population générale
Non, trop compliqué
Etudes cliniques hospitalières, utilisation de « seuils » cliniques
Quel conclusion ?
Ne pas confondre promotion de la santé et soins médicaux
![Page 85: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/85.jpg)
EHESP
85
![Page 86: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/86.jpg)
EHESP
86
Questions possibles:
Est-ce que le projet possède des objectifs précis?
Est-ce que le projet possède des objectifs réalistes ?
Est-ce que le projet possède des objectifs pertinents ?
Pour les actions ciblant les individus
• Est-ce que nous avons identifié des objectifs en termes de conduite ?
Est-ce que nous avons identifié des objectifs en termes de savoir ?
• Est-ce que nous avons identifié des objectifs en termes de savoir-faire ?
• Est-ce que nous avons identifié des objectifs en termes de savoir-être ?
• Est-ce que nous avons identifié des objectifs en termes de ressentis ?
Pour les actions ciblant les organisations
• Est-ce que nous avons identifié des objectifs de gouvernance ?
Est-ce que nous avons identifié des objectifs de mise en œuvre ?
• Est-ce que les activités que nous allons mettre en œuvre peuvent nous permettre
d’atteindre nos objectifs ?
![Page 87: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/87.jpg)
87
Exercice sur document
Cernez les éléments suivants :
But du projet
Porteur de projet
Public cible
Objectifs général
Objectifs spécifiques
Évaluation à l’aide du Preffi et des éléments discutés en cours
![Page 88: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/88.jpg)
Sur quelles bases a été sélectionnée l’intervention?
Question évaluative 3
![Page 89: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/89.jpg)
La sélection de l’intervention
EHESP
89
Il est important pour la réalisation du projet, que l’intervention
sélection ait démontré son efficacité sur le problème de santé
par ailleurs.
Certains critères de sélection sont à examiner:
Universalité : une intervention ayant montré des effets positifs dans
une région du monde doit pouvoir être transposée dans un pays
similaire (US= France= Allemagne=…)
Reproductibilité : Toute action de santé rigoureuse doit être
reproductible à l’identique (la procédure est décrite dans la
publication: matériel, population, calendrier…)
Efficacité: ses effets ont été quantifié précisément au cours d’une
procédure d’évaluation rigoureuse (recherche)
![Page 90: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/90.jpg)
Sélectionner une intervention
La stratégie à adopter doit être sélectionnée en fonction de sa
faisabilité; de son efficacité à réduire le problème; de sa
pertinence par rapport au terrain; de son coût; du rapport
cout/bénéfice…
Des preuves scientifiques existent dans la littérature sur ces
paramètres (evidence-based)
Cette sélection va déterminer les besoins logistiques, financiers,
intellectuel etc…nécessaires à l’intervention
![Page 91: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/91.jpg)
![Page 92: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/92.jpg)
Sélectionner une intervention
Un rapport de 1979 du ministère américain de la santé estimait à:
50% la fraction de mortalité prématurée attribuables aux comportements
contre 20% pour les facteurs environnementaux,
20% pour les facteurs biologiques individuels
et 10% pour les insuffisances dans la prise en charge.
Des estimations similaires ont été mises en évidence au niveau international
![Page 93: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/93.jpg)
Types d’interventions possibles…
Education du public: médias locaux ou nationaux, prévention par les
pairs…
Education précoce: intervention auprès des enfants (écoliers…)
Formation/sensibilisation des professionnels de la santé: médecins,
infirmières scolaires, travailleurs sociaux….
Programmes communautaires: par ex Gatekeepers (« sentinelles »)
Interventions Législatives: obligation d’adopter un comportement de
sécurité, interdiction des comportements à risque, restrictions…
Modifications environnementales: barrière de sécurité, alarmes,
constructions adaptées à la prévention; pistes cyclables; nudges
![Page 94: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/94.jpg)
Les 7 étapes de la promotion de la santé
fondée sur les preuves
EHESP
94
![Page 95: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/95.jpg)
EHESP
95
Synthèses de la littérature
![Page 96: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/96.jpg)
EHESP
96
![Page 97: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/97.jpg)
EHESP
97
![Page 98: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/98.jpg)
EHESP
98
Rapports institutionnels
![Page 99: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/99.jpg)
EHESP
99
![Page 100: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/100.jpg)
EHESP
100
![Page 101: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/101.jpg)
EHESP
101
Rapports d’experts terrain et recherche
![Page 102: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/102.jpg)
EHESP
102
Rapports d’experts terrain et recherche
![Page 103: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/103.jpg)
La sélection de l’intervention
EHESP
103
L’utilisation des données probantes est la meilleure
manière de sélectionner une intervention qui a des
chances d’être efficace
Permet de sélectionner l’intervention la plus pertinente en
l’état actuel des connaissances et jusqu’à preuve du
contraire (approche scientifique)
En revanche, il n’existe aucune garantie de résultat
quant à cette efficacité (et donc à l’atteinte des
objectifs) dans le contexte local d’intervention
D’autres paramètres sont à l’œuvre (contextuels,
environnementaux, mise en œuvre, adaptation à la
population-cible, au territoire etc.)
![Page 104: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/104.jpg)
104
Exercice sur document
Cernez les éléments suivants :
Action ou intervention prévue
Déterminant sur lequel elle est sensée agir
Modalités de sélection (pourquoi elle plutôt qu’un autre)
Modalités de mise en œuvre
Adaptation au public-cible
Évaluation à l’aide du Preffi et des éléments discutés en cours
![Page 105: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/105.jpg)
La mise en œuvre correspond t-elle aux prévisions ?
Question évaluative 4
![Page 106: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/106.jpg)
106
Des
moyens
sont mobilisés
(intrants)
… pour
réaliser des
activités..
… dont les
produits
Cet enchaînement repose sur une
suite de relations logiques (si...
alors) dites "de cause à effet"
et un
impact sur
la santé
…doivent
produire des
résultats…
Évaluation
Suivi et évaluation de la chaîne des étapes d'une action
![Page 107: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/107.jpg)
107
Moyens
humains,
matériels,
financiers
Activités :
construire,
former,
organiser,
soigner,
écrire, ...
personnel
formé,
procédures
mises en
place,
matériels
conçus textes
de loi
préparés
Baisse des
conduites
à risque,
Recours aux
soins,
Détection
précoce
Conduites
améliorées,
Diminution des
maladies;
Mortalité
prématurée
réduite,
Dépendance
diminuée
Intrants Activités Produits Résultats Impact
Des
moyens
sont mobilisés
(intrants)
… pour
réaliser des
activités...
dont les
produits..
.
doivent
produire
des
résultats..
.
et un
impact sur
la santé
La structure logique d'un projet ou d'un programme
NB: l’impact à long terme (cancer; maladies chroniques..)
n’est ni mesurable ni pertinent pour les actions de PPS locales
![Page 108: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/108.jpg)
EHESP
108
![Page 109: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/109.jpg)
EHESP
109
![Page 110: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/110.jpg)
110
Evaluation de processus
Un processus continu de collecte et d'analyse
d'informations pour apprécier comment un
projet (un programme, une action, ou une
politique) est mis en œuvre, en comparant les
performances effectives avec les performances
attendues
![Page 111: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/111.jpg)
111
1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement
Analyse documentaire
Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension
Comment répondre à cette question ?
Analyse documentaire, lecture des dossiers d'archive
Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité
Exemple de question :
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
![Page 112: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/112.jpg)
112
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais
Etablissement d'un chronogramme rétrospectif
Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions
Construction de l'argumentaire
C'est la démarche que je me propose de suivre pour répondre à cette question
![Page 113: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/113.jpg)
113
Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments
Techniques
- Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion
Outils/instruments - Guides d'entretien - Chronogrammes
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
![Page 114: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/114.jpg)
Quels dispositifs d’évaluation ont été prévus ?
Question évaluative 5
![Page 115: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/115.jpg)
115
L’évaluation de processus et de résultats sont des démarches distinctes mais complémentaires
Evaluation de processus
Mesure continue du rendement
Utile au pilotage
Evaluation de résultat
Mesure des effets
![Page 116: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/116.jpg)
EHESP
116
Processus/résultats
![Page 117: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/117.jpg)
117
Evaluation de résultat
Une mesure, aussi systématique et objective
que possible, des résultats d'un projet, d'un
programme ou d'une politique, en vue de
déterminer sa pertinence, et sa cohérence,
l'efficience de sa mise en œuvre, son efficacité
et son impact ainsi que la pérennité des effets
obtenus
![Page 118: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/118.jpg)
118
Comment s'assurer que l'impact est dû au programme ?
Les questions auxquelles il faut répondre :
– Est-ce que le programme « capitaine de soirée » a fait diminuer le nombre d’accidents de la route dans le secteur, ou bien ces accidents auraient-ils diminué de toute façon ?
– Est-ce que la fourniture de brochures a contribué à l'amélioration du port du casque à vélo ou bien est-ce que cette amélioration est due à d'autres facteurs ?
– Est-ce que le l’action éducative a amélioré le niveau de connaissances ou bien cela est-il dû à d'autres causes ?
![Page 119: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/119.jpg)
119
Deux problèmes sont à résoudre :
1) Dans quelle mesure peut-on identifier un effet (la
conduite à risque diminue, ...)
2) Dans quelle mesure cet effet est-il attribuable à
l’action (et non pas à une autre cause).
Pour tenter de répondre, du mieux possible, à ces deux
questions, des méthodes qui sont spécifiques à
l'évaluation sont utilisées
Méthodes d'évaluation de résultats
![Page 120: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/120.jpg)
120
Comment les résultats ont-ils été analysés?
Question évaluative 6
![Page 121: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/121.jpg)
121
Question clé de l'évaluateur :
Que ce serait-il passé pour les bénéficiaires si l’action n'avait pas eu lieu ?
Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles
Méthodes d'évaluation de résultats
![Page 122: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/122.jpg)
122
Temps
Programme Bénéficiaires
30
10
17
Niv
eau d
es
connais
sance
s Étude écologique: Avant - après
Score: Niveau des connaissances sur les aliments sains et ceux à éviter
![Page 123: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/123.jpg)
123
Temps
Programme Bénéficiaires
30
10
17
Niv
eau d
es
connais
sance
s Avant - après
![Page 124: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/124.jpg)
124
Temps
Programme Bénéficiaires
30
10
17
Niv
eau d
es
connais
sance
s Avant - après
Tendance temporelle
sans le programme
Tendance temporelle
avec le programme effet
![Page 125: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/125.jpg)
EHESP
125
Étude écologique: Avant - après
![Page 126: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/126.jpg)
EHESP
126
Étude écologique: Avant - après
![Page 127: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/127.jpg)
EHESP
127
![Page 128: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/128.jpg)
128
Causes possibles
Groupes observés
Résultats de l'observation (effets)
Toutes les autres
influences
Le projet ou
la politique
Groupe
de contrôle
Groupe
expérimental
Résultats au niveau du groupe
de contrôle Résultats au niveau du
groupe expérimental
Résultats nets (attribuables
au projet ou à la politique)
L’expérimentation idéale (mais peu réaliste)
![Page 129: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/129.jpg)
129
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
![Page 130: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/130.jpg)
130
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
Le niveau de connaissances est resté
inchangé, la programme n’a eu
aucun effet
![Page 131: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/131.jpg)
131
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
Le niveau des connaissances a
augmenté, mais pas grâce au
programme !
![Page 132: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/132.jpg)
132
Temps
Programme
Bénéficiaires (tous bac + 5)
30
Groupe de contrôle (tous sans diplomes)
10
17
Niv
eau d
es
connais
sance
s Etude contrôlée
Quel part de l’effet est lié au
programme ?
![Page 133: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/133.jpg)
133
En pratique, les études randomisées sont réservées à la
recherche et ne peuvent pas être utilisées dans les
actions de terrain (éthique, faisabilité…)
MAIS
Il est toujours possible de comparer les indicateurs de
santé (si disponibles) entre l’endroit (territoire,
établissement, population..) où l’action a eu lieu et un
endroit similaire où se posent les même problèmes de
santé (comparaison ici-ailleurs)
Ex: mesure l’absenteisme des élèves dans le lycée où
l’action de prévention de la grippe a eu lieu vs. le lycée
voisin
Méthodes d'évaluation de résultat
![Page 134: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/134.jpg)
134
Temps
Programme Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niv
eau d
es
connais
sance
s Etude transversalle
Objectif atteint, mais
impossible d’estimer
l’influence du programme
Les scores étaient peut-être
identiques avant le
programme
![Page 135: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/135.jpg)
135
Temps
Programme
30
10
17
Niv
eau d
es
connais
sance
s Etude cas-témoin
Cas: bon niveau
témoin: faible
niveau
% qui a suivi
l’action
% qui a suivi
l’action
![Page 136: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/136.jpg)
EHESP
136
Estimation de l’effet
Groupes % réponses
correctes
signification
Intervention 41% P<0.05
Témoin 11%
Groupes % réponses
correctes
signification
Intervention 13% P>0.05
Témoin 11%
![Page 137: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/137.jpg)
EHESP
137
Estimation de l’effet
Groupe Odd Ratio IC [95%]
Intervention 4.3 [ 2.7 – 5.9]
Témoin (ref) 1
Groupe Odd Ratio IC [95%]
Intervention 4.3 [ 0.5 – 5.9]
Témoin (ref) 1
![Page 138: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/138.jpg)
Sélection de la procédure
EHESP
138
Hiérarchie des preuves quantitatives: indique les types d'études qui
sont les plus fiables, c'est-à-dire qui comportent le moins de biais.
Aucune étude sur des humains et conçue par des humains ne
pourra jamais être totalement exempte de biais, mais plus vous
descendez dans la hiérarchie, plus il y a de risques
Examens systématiques d'essais contrôlés randomisés
Essais contrôlés randomisés
Examens systématiques d'essais non randomisés ou d'études de cohorte
Études de cohorte
Études cas-témoin
Séries de cas
Rapports de cas
Idées, éditoriaux, opinions
Recherche sur les animaux
![Page 139: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/139.jpg)
Types d’étude
Validité
Coût
*Etude de cas
*Etude écologique
*Étude tranversalle
*Cas-controle
*Cohorte
*Étude randomisée
![Page 140: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/140.jpg)
Types d’étude
EHESP
140
Définition Intérêt Limite Etude transversale Enquête établissant au même
moment l’état de santé et la
présence de facteurs de risque
Aisée à mettre en œuvre.
Résultats rapidement
disponibles.
Permet d’estimer la
prévalence (fréquence)
d’une exposition / d’un état
de santé
Faible niveau de preuve
quant au caractère causal
des associations
identifiées.
Etude cas-témoins Comparaison de cas (ex :
personnes ayant chuté) à des
témoins (n’ayant pas chuté) et
comparaison de leurs expositions
passées à des facteurs de risque
(ex : prise de médicament)
Relativement aisée à
mettre en œuvre
Résultats rapidement
disponibles, y compris
pour des affections rares
Niveau de preuve
supérieur à celui des
études transversales
Sujette à divers biais
pouvant entraîner des
résultats erronés
(caractère rétrospectif,
biais de mémoire…)
Etude de cohorte Suivi prospectif de personnes
exposées (ex : prenant un
médicament) à des personnes non-
exposées et comparaison de la
fréquence d’apparition du
phénomène (ex : chute)
Permet de mesurer
l’incidence
Permet d’étudier les effets
d’expositions rares
Niveau de preuve
supérieur à celui des
enquêtes cas-témoins
Coûteuse, longue
Difficulté à assurer le suivi
des participants sur le long
terme.
Non-exempte de biais
![Page 141: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/141.jpg)
141
Comment ont été constuit les indicateurs ?
Question évaluative
![Page 142: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/142.jpg)
Indicateurs
Hiérarchie des objectifs
Définition claire et précise d'un objectif
Indicateur objectivement vérifiable
Clarification des résultats attendus
Quel niveau sera jugé satisfaisant: • quantité • qualité • temps
Moyens de vérification
Source et type de preuve nécessaires pour établir l'état de l'indicateur
Le travail sur les
indicateurs
oblige à préciser
et clarifier les
objectifs
La disponibilité
de données
valides et fiables
limite l'utilité
d'un indicateur
Définition des indicateurs de résultats
La logique
horizontale
Planification
![Page 143: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/143.jpg)
143
Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation)
Avoir des indicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet :
- Montre comment le succès sera reconnu
- Oblige à clarifier ce qu'on entend par objectif
- Fournit une base objective pour l'évaluation
![Page 144: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/144.jpg)
144
Techniques, outils, instruments ...
Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation:
• Entretiens
• Groupes de discussion (focus group)
• Recherche documentaire
• Revue des dossiers d'archive
• Enquête par questionnaire
• Etude de cas
• Tests de connaissances ou d'aptitudes
• Enquête d'opinion
• Analyse de contenu
• ...
![Page 145: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/145.jpg)
Entretiens en groupe
individuels
Questionnaires
Auto questionnaire
Hétéro questionnaire
Focus group
par la
personne
par un
tiers
Grille d’entretien
Observation
directe
indirecte documentaire
analyse
conversationnelle
Grille d’observation
![Page 146: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/146.jpg)
L’observation
Il existe différentes procédures d’observation :
l’observation systématique
– grille d’observation standardisée utilisée de manière
systématique
– Pas d’implication personnelle
– Degré de réactivité des sujets
l’observation participante
– Implication active
– Degré de participation variable
– Grille d’observation
l’observation libre
– Pas de grille (à éviter pour les évaluations)
![Page 147: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/147.jpg)
Les grilles d’observation
- Construites à la fois à partir d’un modèle théorique et
à partir de l’observation de comportements
_ Exemple d’une grille d’observation : grille
d’observation des enseignants
1 2 3 4 5
Terne, triste Sait stimuler
Effacé Séduisant
Peu sûr de lui Confiant
Désorganisé Méthodique
![Page 148: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/148.jpg)
EHESP
148
![Page 149: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/149.jpg)
EHESP
149
![Page 150: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/150.jpg)
EHESP
150
Si pertinent:
Grille d’observation
validée
scientifiquement
![Page 151: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/151.jpg)
Avantages de l’observation
Les observations permettent d’appréhender une réalité vécue, plutôt que d’en obtenir une représentation éventuellement déformée au travers des représentations que les gens s’en font
Limites
• Très couteux en temps, énergie, préparation,…
• L’observation doit avoir lieu dans un endroit et une
période de temps définis et bornés
• Dans toute procédure d’observation, les personnes
observées ont tendance à modifier leur
comportement
![Page 152: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/152.jpg)
L’entretien
Méthode de recueil d’informations qui consiste en des entretiens oraux individuels avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des perceptions
Les questions peuvent être :
ouvertes
semi-ouvertes
fermées
![Page 153: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/153.jpg)
EHESP
153
![Page 154: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/154.jpg)
EHESP
154
Sécurité de l’Information Hospitalière
![Page 155: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/155.jpg)
EHESP
155
![Page 156: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/156.jpg)
EHESP
156
Projet « suricates »
Abdel Baba-Moussa et Catalin Nache, Santé Publique 4/2010 (Vol. 22), p. 449-459.
![Page 157: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/157.jpg)
structuré Semi-structuré Libre
Discours qui suit l’ordre
des questions posées
Discours « par paquets »,
dont l’ordre peut être plus
ou moins déterminé
Discours continu
Questions préparées à
l’avance et posées dans
un ordre bien précis
Information partielle et
raccourcie
Quelques points de
repère pour l’interviewer
Information de bonne
qualité, orientée vers le
but poursuivi
Aucune question
préparée à l’avance
Information de très bonne
qualité, mais pas
nécessairement
pertinente
Information recueillie
rapidement ou très
rapidement
Information recueillie dans
un laps de temps
raisonnable
Durée de recueil
d’informations non
prévisible
Les différents types d’entretiens
![Page 158: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/158.jpg)
La préparation
Préciser les questions générales et spécifiques
Faire une première rédaction des questions
Organiser la séquence des questions
Adapter le processus de l’interview aux objectifs visés
(transitions entre thèmes)
Préparer l’introduction et les conclusions
Préparer le système de notation des réponses
Tester le protocole de l’entretien
![Page 159: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/159.jpg)
Avantages
• un plus haut pourcentage de réponses peut être obtenu
• les personnes réellement sélectionnées peuvent être atteintes
• tout type de population peut être atteint
• on est mieux informé sur les caractéristiques de ceux qui ne répondent pas
• les réponses sont spontanées
• les réponses sont nuancées
• Permet d’explorer le ressenti, les sentiments, les impressions, les opinions, les attitudes
• L’enquête peut porter sur des sujets plus délicats et personnels
![Page 160: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/160.jpg)
Inconvénients
• L’apprentissage est indispensable pour bien
manipuler la technique de l’entretien semi-directif.
• C’est un outil qui demande du temps (temps
d’entretien, temps de dépouillement, temps
d’analyse)
• Méthode très coûteuse
• Réactivité maximale
• L’enregistrement papier des réponses peut être
difficile
• L’attitude de l’interviewer peut affecter la validité des
réponses
![Page 161: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/161.jpg)
EHESP
161
Entretien de groupe composé de personnes concernées par une
politique de santé ou une intervention.
Obtenir des informations relatives à leurs opinions, attitudes et
expériences ou attentes vis-à-vis de cette politique ou de cette
intervention.
Utilisée en évaluation de projets ou de programmes, en particulier
pour les études de terrain auprès des bénéficiaires et des acteurs
intermédiaires.
Focus group
![Page 162: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/162.jpg)
EHESP
162
Usages du Focus group
![Page 163: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/163.jpg)
EHESP
163
• Recueillir rapidement des informations et des points de vue.
• Permet à la fois l’expression et l’explication des différences de
points de vue, et l’approfondissement de leurs opinions
contradictoires.
• Restitution à l’échelle locale: se concentre sur les observations
et les premières conclusions des analyses de terrain conduites
par les évaluateurs.
• Peut être organisé pour recueillir les réactions des acteurs
cibles de l’intervention, ainsi que leurs sensibilités à un
problème donné.
• L’objectif est de déceler les lignes de clivages dans un groupe
Focus group
![Page 164: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/164.jpg)
EHESP
164
Le focus group est le seul outil à la disposition de l’évaluateur à la
fois d’analyse et de confrontation de l’information.
Permet de mieux comprendre l’attitude des participants, leur
compréhension et leur perception d’une intervention
Permet d’obtenir une variété de points de vue et de perceptions
stimulés par l’interaction.
Chaque participant est mis en position de justifier en permanence
ce qu’il affirme.
Focus group
![Page 165: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/165.jpg)
Exemple
Au cours d’un focus group rassemblant les représentants de
diverses associations d’aide aux toxicomanes IV et des
acteurs de prévention
Le terme « prévention » a été rejeté d’emblée par les
associations, car considéré comme « moralisateur » vis-à-vis des
usagers. Ces associations préfèrent le terme « réduction des
risque » qui n’impliquent pas l’arrêt de la toxicomanie mais la
réduction des risques liés à la pratique (VIH, VHC)
Différence de vocabulaire lié à l’histoire (prévention du sida;
engagement politique et social) et à l’idéologie (perception relative
à la stigmatisation) des parties prenantes, etc..
EHESP
165
![Page 166: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/166.jpg)
EHESP
166
Avant de décider d’organiser un focus group, l’évaluateur doit
cerner la problématique de l’évaluation et en dégager une
thématique à laquelle l’outil pourra répondre.
Ressources allouées:
temps, moyens
Acteurs impliqués:
terrain, planification,
budget, analyse…
Objectif:
Approfondissement ou
confrontation
![Page 167: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/167.jpg)
EHESP
167
• Très utile pour collecter des infos auprès de groupes
de bénéficiaires, notamment pour analyser l’impact
perçu par ses derniers.
• Et des participants, pour identifier ce qui pourrait être
amélioré
• La dynamique de groupe incite les participants à
approfondir, expliciter et justifier leurs prises de
position.
• Les coûts de mise en œuvre peuvent être limités.
• Gain de temps.
• Intérêt exploratoire de la méthode
Avantages
![Page 168: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/168.jpg)
EHESP
168
• Informations qualitatives, difficile à recueillir (verbatim) et
à analyser (analyse de contenu);
• Aucune portée universelle ou quantifiable
• Organisation du focus group peut être complexe du point
de vue logistique : identification de groupes de
bénéficiaires, distances à gérer, mobilisation de
compétences nationales et locales.
• L’expression publique peut être limitée par des freins
d’ordre politique et sociaux, ou relevant de la composition
du groupe.
Limites
![Page 169: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/169.jpg)
Définition du questionnaire
Un outil méthodologique
Composé d’une série de questions s’enchaînant de manière structurée
Permet la collecte méthodique d’informations dans le cadre d’une enquête, de façon directe ou par l’intermédiaire d’un enquêteur
Vise la vérification d’hypothèses (y compris questions évaluatives)
Permet d’obtenir des renseignements quantitatifs et/ou qualitatifs, précis et exploitables, souvent présentés sous forme de tableaux ou graphiques
Présenté sous forme papier ou électronique.
![Page 170: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/170.jpg)
EHESP
170
1: Une partie présentation/instruction destinée aux enquêteurs: Titre de
l'enquête, présentation de l'organisme, présentation de la raison de
l'enquête, le plan sommaire du questionnaire, un consentement éclairé ( à
faire signer)
2: Des questions relatives aux caractéristiques individuelles : Age, sexe, état
matrimonial, enfants, niveau d'études, etc.
3: Des questions de comportement : Fait quoi ?, où ?, quand ?, etc. (échelle
de fréquence et d’intensité)
4: Des questions d'opinion/attitudes.croyances : Que pensez- vous de ?,
donner votre avis sur.
5: Des questions de motif : pour quelles raisons ?
Structure du questionnaire
![Page 171: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/171.jpg)
Définition de l’objectif de l’enquête
Objet: problème étudié
Tabagisme chez les jeunes adultes
Objectif: hypothèse à vérifier
Modification des opinions et conduites tabagiques avant et après l’intervention
La formulation se fera sous forme de phrase rédigée.
Ex: Enquête auprès des jeunes adultes: elle vise à estimer les conduites tabagiques avant et après l’intervention préventive
![Page 172: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/172.jpg)
Délimitation de la population
Selon l’objectif
Selon l’importance de la population
Selon les moyens disponibles
On pourra réaliser l’enquête auprès de toute la
population ou auprès d’un échantillon.
Plus l’effectif est important, mieux c’est
L’échantillon se devra d’être représentatif.
![Page 173: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/173.jpg)
Les questions filtres
Une première question permet de « filtrer » la
population interrogée
Est-vous fumeur (se) ?
□ oui □ non
Selon la réponse donnée, la personne devra répondre
à d’autres questions pour préciser encore
Si oui, quelle est votre consommation journalière ?
□ 1-4 cig./jour □ 5-10 cig/jour □ 11 – 20 cig/jour
□ plus de 20 cig/jour
![Page 174: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/174.jpg)
Les questions fermées
Elles collectent des faits précis
Plusieurs types de questions selon les modalités de réponses:
Une seule réponse est possible
- questions à choix binaire
ex: Sexe: □ masculin □ féminin
- questions à choix multiples
ex: Situation familiale: □ célibataire
□ marié(e)
□ divorcé(e)
□ pacsé(e) ou concubinage
□ veuf(ve)
- réponses à situer sur une échelle
ex: Situez votre santé perçue sur une échelle graduée:
Mauvaise □ 1 □ 2 □ 3 □ 4 Bonne
![Page 175: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/175.jpg)
Les questions fermées
Plusieurs réponses possibles
- Réponses à choisir dans une liste:
ex: par quels moyens vous informez vous sur les questions de santé?
□ médecin généraliste
□ médecin spécialiste
□ internet
□ télévision
□ journaux
□ brochures
□ autres
lesquels:………………..
![Page 176: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/176.jpg)
Les questions fermées
- Réponses à ordonner (classement hiérarchique)
ex: même exemple que le précédent, mais en précisant:
Numérotez de 1 à 10 selon votre ordre de préférence.
![Page 177: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/177.jpg)
Les questions fermées
- Les échelles de satisfaction, et de degré d’accord
Que pensez-vous de l’interdiction de fumer dans les bars ?
Très satisfait
Plutôt satisfait Plutôt insatisfait Très insatisfait
4 3 2 1
Interdire de fumer dans les bars est une bonne chose…
Pas du tout
d’accord
Pas d’accord D’accord Tout à fait
d’accord
1 2 3 4
![Page 178: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/178.jpg)
Les questions fermées
- Les échelles de fréquence et d’intensité
A quelle fréquence fumez-vous lors des soirées entre amis?
Toujours
souvent Parfois Jamais
4 3 2 1
Combien de cigarettes fumez vous lors d’une soirée entre amis
1 – 5 cig.
6- 10 cig. 11 – 15 cig. 16 ou + cig.
1 2 3 4
![Page 179: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/179.jpg)
Les questions fermées
- Les échelles de croyances/ connaissances
Fumer du cannabis est moins dangereux que fumer du tabac
Totalement faux Plutôt faux Plutôt vrai Totalement vrai
1 2 3 4
Possibilité d’utiliser des échelle en 5 points (Lickert), ou en 7
points.
Mais un nombre de modalité pair évite la réponse médiane,
utilisée par les répondant pour ne pas « s’engager »
![Page 180: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/180.jpg)
Echelle visuelle Analogique
Fumer du cannabis est moins dangereux que fumer du tabac
Pas du tout d’accord Tout à fait d’accord
![Page 181: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/181.jpg)
Les questions fermées
Avantages des questions fermées
Elles permettent des réponses aisées et rapides
Elles sont faciles à dépouiller
Les résultats sont directement quantifiables
![Page 182: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/182.jpg)
Les questions ouvertes
Question ouverte d’opinion: ex: Quelle est votre position par rapport à l’interdiction de
fumer dans les lieux publics ?
Question ouverte de fait: ex: quels sont les bénéfices que vous tirez de votre tabagie ?
Question ouverte numérique: ex: Quelle est votre moyenne de consommation tabagique
par jour?
![Page 183: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/183.jpg)
Avantages des questions ouvertes:
Elles permettent réellement le recueil d’opinions et
de suggestions
La personne enquêtée a le libre choix de la
réponse
Elles permettent des réponses personnalisées
Elles permettent une approche exploratoire (mise
en évidence d’informations non connues jusque-là)
![Page 184: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/184.jpg)
Les questions de fait et d’opinion
Les questions de fait:
Elles concernent des faits précis:
Fumez-vous ?
Combien de cigarettes fumez-vous par jour ?
Les questions d’opinion:
Elles concernent les avis personnels, les jugements:
Pourquoi fumez-vous ?
□ par habitude □ par imitation □ par ennui….
Que pensez-vous de l’interdiction de fumer dans les restaurants ?
![Page 185: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/185.jpg)
La formulation des questions
La forme interrogative directe:
Que pensez-vous de… Combien de …
La forme indirecte:
Nommez… Citez… Classez ….
La forme affirmative:
Vous avez obtenu le baccalauréat en _ _ _ _
Vous êtes demandeur d’emploi
![Page 186: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/186.jpg)
Conseils pour la formulation des
questions:
Ce qui est recommandé
- demander un seul fait ou opinion par question
- utiliser un vocabulaire simple et précis
- formuler clairement
- prévoir éventuellement une question ouverte
- prévoir toujours:
□ autre choix
Lequel ?...................
![Page 187: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/187.jpg)
- les questions utilisant une négation:
Ne pensez-vous pas que…..?
- les questions qui induisent les réponses:
Pensez-vous que la vente du tabac devrait être interdite aux mineurs ?
- les questions qui risquent d’entraîner des réactions de rejet ou de gêne:
Lors des élections présidentielles, pour quel candidat allez-vous voter ?
ou des réactions de conformisme:
Le problème de l’insécurité est-il un phénomène important aujourd’hui ?
- les choix trop limités dans les questions à choix multiples
Ajouter Autres choix ? Lesquels ?
Ce qui est à éviter
![Page 188: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/188.jpg)
Mise en forme
Regrouper les questions de même type (socio-démographiques;
habitudes; conduites…)
Eventuellement, mettre un titre à ces rubriques
ex: Identification – Logement – Famille – Loisirs….
Séparer les rubriques par un espace
Placer au début les questions d’identification
Placer les questions difficiles ou délicates entre des questions
simples, ou les placer à la fin
Limiter le nombre de questions afin de ne pas décourager la
personne enquêtée: 25 à 30 questions au maximum.
![Page 189: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/189.jpg)
Présentation définitive
Facile à lire
Facile à remplir
Facile à dépouiller
![Page 190: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/190.jpg)
EHESP
190
• Simple à mettre en œuvre et à remplir par un
grand nombre de participants
• Donne des résultats directement exploitables
(scores, %)
• Analyse et inférence statistique possible
(différences entre groupes ..)
• Gain de temps.
• Résultats comparables dans le temps
Avantages
![Page 191: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/191.jpg)
EHESP
191
• Demande beaucoup de temps et de rigueur pour la
conception en amont
• Aucune marge de manœuvre une fois les premières
passations effectuées (impossible de le modifier a
posteriori)
• Aucun intérêt en terme d’analyse exploratoire
• Donne des résultats faussés si défaut de conception
Limites
![Page 192: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/192.jpg)
192
Techniques, outils, instruments ...
Pour approfondir, il existe de nombreux manuels,
guides, etc... sur les thèmes suivants :
- Collecte des données
- Entrevues, groupes de discussion
- Observations directes, études de cas
- Etudes de cohortes, suivi longitudinal
- Analyse des données
- ...
![Page 193: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/193.jpg)
193
Techniques, outils, instruments ...
Un très grand nombre d’outils (questionnaires, grilles
d’entretien etc..) construits et validés par les chercheurs
sont disponibles sur internet ou auprès des organismes
institutionnels (OMS, INPES, etc..)
Ils produisent des indicateurs clairs sur les dimensions
complexes (conduites, attitudes, croyances, normes,
représentations…) de la plupart des problèmes de santé (tabac,
alcool, addiction, sédentarité, nutrition…)
Construire un outil de mesure complexe est donc pour la plupart des acteurs de terrain: - Une perte de temps - Une perte d’énergie et de moyens - Avec, au final, un outil qui sera peu pertinent
![Page 194: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/194.jpg)
194
Exercice sur document
Cernez les éléments suivants :
Procédure d’évaluation prévue
- Pour analyser le processus
- Pour analyser les résultats
Outils utilisés (questionnaires, grilles…)
Mesures répétées avant-après
Personnes en charge de l’évaluation
Conclusions sur le processus et les résultats ?
Évaluation à l’aide du Preffi et des éléments discutés en cours
![Page 195: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/195.jpg)
Critères de Qualité du rapport
Question évaluative
![Page 196: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/196.jpg)
196
Rapport
Thèmes à inclure dans le rapport (projet) :
– Description schématique du programme à évaluer avec
identification des parties prenantes
– Les questions d’évaluations – les problèmes posés
– La méthode, les outils
– Les résultats attendus
– La démarche et le plan de travail
– Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises)
– Le calendrier
CONCIS
![Page 197: évaluation en promotion de la santé](https://reader034.fdocument.pub/reader034/viewer/2022042615/55b8eae8bb61ebd0528b46d2/html5/thumbnails/197.jpg)
197
Rapport
Thèmes à inclure dans le rapport d’évaluation :
– Description schématique du programme avec identification
des parties prenantes
– Les questions d’évaluations – les problèmes posés
– La méthode, les outils, les indicateurs utilisés
– Les résultats obtenus pour chaque objectif
– Les effets non attendus (positifs et négatifs)
– Une comparaison entre mise en ouvre prévue et effective
– Conclusions et améliorations prévues (sur la base des résultats)
CONCIS