Faculté de médecine Bureau d’évaluation
description
Transcript of Faculté de médecine Bureau d’évaluation
![Page 1: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/1.jpg)
Faculté de médecineBureau d’évaluation
Consolider nos pratiques
en évaluation des apprentissages
Est-ce que la docimologie
peut nous aider ?
Serge Normand, M.A.
Mars 2008
![Page 4: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/4.jpg)
Évaluationdes
apprentissages
Évaluationde
l’enseignement
Évaluationdes
programmes
Domaines de l’évaluation en éducation
Agrément
![Page 5: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/5.jpg)
Finalités d’un systèmed’évaluation des apprentissages
Faculté
Certifiercompétences
Mesurerles progrès
Responsable
Évaluationcertificativ
e
Évaluationcertificativ
e
Évaluation
formative
Évaluation
formative
![Page 6: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/6.jpg)
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
ExamensTravauxObservationsetc.
Approche :- relative- absolue
Qualifier la réussiteSeuil de passage
Certification
![Page 9: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/9.jpg)
Performanceof Tasks
Doing the right thing
Doing the thing right
The right person doing it
Dundee - Three Circle Model
Référence : Harden, R.M. et al., An introduction to outcome-based education. Med Teacher 1999;21(1):7-14
![Page 12: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/12.jpg)
Évaluer la compétence professionnellePyramide de Miller
FaitDoes
DémontreShows How
Sait commentKnows How
SaitKnows
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
SavoirCognition
ComportementBehaviour
![Page 14: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/14.jpg)
Évaluer la compétence professionnelleTypes d’instruments
Fait
Démontre
Sait comment
Sait
Source : Miller GE. The assessment of clinical kills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.
Épreuves factuelles :QCM, Ex. écrit, oral …
Épreuves à contenus cliniques :QCM, Q. dév., Ex. oral …
Performance in vitro :ECOS, Ex. PS. …
Performance in vivo :PS. incognito, Vidéo, DossiersPortfolio …
![Page 16: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/16.jpg)
Évaluation
Sait comment
Sait
Fait
Démontre
Évaluer les apprentissagesCe que nous
faisonsle plus !
![Page 17: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/17.jpg)
Évaluation
Sait comment
Sait Fait
Démontre
Évaluer les apprentissages Ce que nous devrions
fairele plus !
![Page 18: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/18.jpg)
Instruments d’évaluationCurriculum de Dundee
Fait
Démontre
Sait comment
Sait
Source : DAVIS, M.H. OSCE: the Dundee experience, Medical Teacher; 2003; 25(3): 255-261
Portfolio
ECOS
QCM-RQROC
QCMQ. dév.
![Page 19: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/19.jpg)
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Approche :- relative- absolue
![Page 21: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/21.jpg)
Interpréter les résultats
Approche
Relative Absolue
Compareravec d’autres
sujets
Compareravec descritères
Évaluationnormative
Évaluationcritériée
![Page 22: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/22.jpg)
Le processus de l’évaluation
Décider
Juger
Interpréter
Mesurer
Évaluer
Qualifier la réussiteSeuil de passage
![Page 23: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/23.jpg)
Établir des normes de réussite Setting Performance Standards
C o m p é t e n c e s
Niveauacceptable
![Page 24: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/24.jpg)
Déterminer la note de passage
Sources d’information
Données recueillies Jugement d’experts
Distributiondes
résultats
Caractéristiquesdes
questions
“Examinee centered” “Test centered”
![Page 25: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/25.jpg)
Déterminer la note de passage( selon la méthode de Ebel )
Diffi culté
Pertinence Facile Moyenne Diffi cile
+ + + +(80%)
14(70%)
4(60%)
2
+ + +(70%)
9(60%)
12(50%)
7
+ +(60%)
4(50%)
13(40%)
5
+(50%)
1(40%)
1(30%)
0
Nombre de questions : 72
SAP : 61 %
![Page 26: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/26.jpg)
Déterminer la note de passage( selon la méthode Hofstee )
0%
5%
10%
15%
20%
25%
30%
35%
40%
45%
50%
55%
60%
65%
70%
75%
80%
85%
90%
95%
100%
30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80
Scores
Ta
ux
d'é
ch
ec
Kmax Note de passage maximum 60Kmin Note de passage minimum 50Fmax % maximum d'échecs 30%Fmin % minimum d'échecs 10%
![Page 28: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/28.jpg)
Validité
Fidélité Faisabilité
Efficacité Acceptabilité
Repèrespour apprécierles instruments
d’évaluation
van der Vleuten, CPM, The assessment of professional competence: developments, research and practical implications.Adv health Sci Educ 1996;1:41-67.
![Page 29: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/29.jpg)
• Pertinence• Pertinence• Pertinence• Pertinence
par rapport à la matière enseignéedu type de compétences mesuréesde la formulation des questionsde la notation
Quels sont les défauts de nos examens ?
Réponses des étudiants :
![Page 30: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/30.jpg)
Quels sont les critères pour apprécier nos examens ?
Réponses des docimologues :
Validité
Fidélité
Commodité
Objet
Mesures
RésultatsProtocole
![Page 31: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/31.jpg)
• Mieux planifier l’évaluation• Varier les instruments de mesure• Respecter certaines règles docimologiques• Fixer des critères de performance
Améliorer nos pratique en évaluation ?
Quelques pistes de solution:
![Page 33: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/33.jpg)
Domaines de comportements observables(pour mesurer des objectifs d’apprentissage)
Cognitif
Savoir
Connaissances
Affectif
Savoir être
Attitudes
Psychomoteur
Savoir faire
Habiletés
![Page 34: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/34.jpg)
Taxonomie simplifiée(pour mesurer des objectifs d’apprentissage)
Connaissance
Mémoriser
Compréhensi
on
Interpréter
Application
Solutionner
![Page 35: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/35.jpg)
Tableau de spécification
Connaissance Compréhension Application Nombre de
Objectifs Mémoriser Interpréter Solutionner questions
Notions 10% 45% 45% 100%
Décrire le devenir du médicament 40% 2.4 10.8 10.8 24.0
Calculer les paramètres pharmacocinétique spécifiques d'un principe actif à partir des données d'un patient
30% 1.8 8.1 8.1 18.0
Calculer les changements importants des paramètres pharmacocinétiques induits par la maladie ou un processus pathologique
2.5% 0.2 0.7 0.7 1.5
Utiliser les paramètres pharmacocinétiques pour calculer une posologie
25% 1.5 6.8 6.8 15.0
Intégrer les connaissances de bases de pharmacocinétiques avec les autres disciplines pharmaceutiques
2.5% 0.2 0.7 0.7 1.5
Nombre de questions 100% 6.0 27.0 27.0 60
Source : [email protected]
![Page 37: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/37.jpg)
Basic science matrix
Molecular / Single organ / Whole person / Community
cellular organ system family
Organization &
structure
Maintenance &
homeostasis
Defense against
disease & injury
Mechanisms of
and response to
disease & injury
Therapies &
interventions
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
![Page 38: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/38.jpg)
Clinical medicine matrix - Clinical approaches to health & disease
Preventive / Acute Emergency Chronic Behavioral
developmental family
Fetus / Neonates
Children
Adolescents
Adults
Elders
Knowledge Base
Référence : SMITH, Stephen R. and R. Dollase, Planning, implementing and evaluating a competency-based curriculum, AMEE Education Guide 14, Outcome-based Education, Center for Medical Education University of Dundee, 1999
![Page 39: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/39.jpg)
Exercice 1
Préparer une ébauche de tableau de spécificationpour une épreuve écrite dans votre discipline :
1. Importance relative des « chapitres »2. Niveaux taxonomiques
• Mémoriser• Interpréter• Solutionner
![Page 40: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/40.jpg)
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
Normes recommandées pour la rédaction de questions de type QCM et QROC
1
![Page 41: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/41.jpg)
Docimologie
Faculté de médecine – Bureau d’évaluationAtelier de formation pédagogique
L’analyse d’itemsune technique docimologiquepour valider des questions d’examen
2
![Page 45: Faculté de médecine Bureau d’évaluation](https://reader035.fdocument.pub/reader035/viewer/2022062304/56814312550346895daf6408/html5/thumbnails/45.jpg)
Diaporama
Documentation
http://www.medbev.umontreal.ca/docimo/[email protected]
Merci de votre attention !