Tijdschrift voor Medisch Onderwijs, juni 2010 | Vol. 29, nr. 3, Suppl. 3, p. 73-102

VoorwoordDeze Richtlijn in het kader van het InVIVO-project is geschreven door drs. Mar-jan Govaerts, namens het kernteam InVIVO van de OOR Zuid-Oost Nederland(OOR-ZON), met medewerking van dr. ErikDriessen, dr. Bas Verhoeven, prof. dr. Ceesvan der Vleuten (vakgroep Onderwijsont-wikkeling en Onderwijsresearch, Faculty ofHealth, Medicine and Life Sciences, Univer-siteit Maastricht) en van dr. Hein Brackel(voorzitter), drs. Jeroen van Hoorn, drs.Rafli van de Laar, dr. Jacques Maas, en prof.dr. Guid Oei (kernteam In VIVO OOR-ZON,werkgroep Toetsing).

De overige leden van het kernteam InVIVO OOR-ZON, dr. Jamiu Busari (voor-zitter), prof. dr. Gerard Essed, drs. Florienten Cate, dr. Twan Mulder, drs. Mark Ot-tink en dr. Frans Roumen, zijn hierbij ge-consulteerd.

Status van de RichtlijnDe Richtlijn is gebaseerd op literatuuron-derzoek, best practices en ervaringen van deauteurs en heeft een adviserend karakter.

Deze Richtlijn dient te zijner tijd te wor-den herzien op basis van aanvullend on-derzoek, ervaringen van gebruikers van deRichtlijn en op basis van bredere ervaringmet de implementatie van de herziene op-leidingsplannen medisch-specialistischevervolgopleidingen. Naar verwachting zaleen eerste herziening-update van deRichtlijn twee jaar na grootschalige im-plementatie plaatsvinden.

InleidingGedurende de opleiding maken artsen inopleiding tot medisch specialist (aios) enhun opleiders gebruik van een portfolio omhet leerproces van de aios te volgen, waarnodig bij te sturen en te beoordelen. Toets-resultaten vormen een essentieel onderdeelvan de informatie in dit portfolio. De Richt-lijn “Interpretatie en gebruik van toetsre-sultaten in het portfolio” geeft een samen-vattend overzicht van aandachtspunten bijinterpretatie en gebruik van toetsresultatenin de opleiding tot medisch specialist.

Doel van de RichtlijnDe Richtlijn is een hulpmiddel voor aiosen opleiders bij de interpretatie en ge-bruik van toetsresultaten gedurende deopleiding tot medisch specialist en be -vat een aantal praktische handvatten en stappenplannen voor het gebruik van de toetsresultaten in begeleidingsgesprekken(voortgangs- en beoordelingsgesprekken).Hierbij wordt niet alleen aandacht be-steed aan de functie(s) die toetsresultatenkunnen vervullen bij het opleiden van aiosmaar ook aan kwaliteitseisen die aan toets-resultaten en toetssystemen gesteld moe-ten worden ten behoeve van geloofwaar-dige en verdedigbare besluitvorming. DeRichtlijn bevat daarmee informatie die ookvoor andere doelgroepen relevant kan zijn:leden van opleidingsteams, opleidingsma-nagement, beleidsmakers en medewer-kers kwaliteitszorg.

Voor aios en opleider (-teams) staan in deRichtlijn de belangrijkste aandachtspunten

Richtlijn interpretatie en gebruik van toetsresultatenin het portfolio

M.J.B. Govaerts, E. Driessen, B. Verhoeven, C.P.M. van der Vleuten, H. Brackel, J. van Hoorn, R. van de Laar, J. Maas, S.G. Oei

S75 In VIVO Richtlijn

bij het gebruik van toetsresultaten (werk-plekbeoordelingen) in voortgangs- en be-oordelingsgesprekken beschreven. Aan dehand van de geschetste criteria kan eeninschatting gemaakt worden van de kwali-teit en bruikbaarheid van toetsresultaten,en kan de zorgvuldigheid in besluitvor-ming getoetst worden.

Voor opleiders en opleiderteams wordendaarnaast een aantal richtlijnen gegevenvoor de inrichting van de toetsing op dewerkplek en voor de procedures ten be-hoeve van besluitvorming.

Voor opleidingsmanagers en kwa li teits zorg -me de wer kers, tenslotte, staan in de Richtlijnde belangrijkste randvoorwaarden voor eengoed toetssysteem. De Richtlijn is daar-mee te gebruiken als basis voor een in-terne visitatie naar de kwaliteit van hettoetssysteem op een afdeling c.q. binneneen instelling.

LeeswijzerDe Richtlijn “Interpretatie en gebruik vantoetsresultaten in het portfolio” bestaat uit

twee onderdelen. Het eerste deel van deRichtlijn is bedoeld voor toepassing in dedagelijkse opleidingspraktijk. Een aantalbelangrijke uitgangspunten en aandachts-punten bij toetsing wordt hierin samenge-vat. Het tweede deel bevat de uitwerkingen onderbouwing van de Richtlijn, opbasis van theoretische inzichten en prak-tijkervaringen in verschillende contexten,waaronder het medisch opleidingsconti-nuüm. Dit deel wordt afgesloten met eenaantal kaders en stappenplannen die eenoverzicht geven van de aandachtspuntenen randvoorwaarden bij toetsing in de me-disch-specialistische vervolgopleiding.

Toetsing in de medisch-specialistischevervolgopleiding

Toetsing tijdens de medisch-specialisti-sche vervolgopleiding kan gedefinieerdworden als ‘systematische en structureleevaluatie van het functioneren van de aiosvoor formatieve en/of summatieve doel-einden’ (zie Figuur 1). De belangrijkstefunctie van toetsen is het sturen van het

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

In VIVO RichtlijnS76

Figuur 1. Het proces van toetsing zoals zichtbaar gemaakt in het portfolio.

Informatie-verzameling Waardering

PORTFOLIO

Beslissing• Observaties• Simulaties• 360-FB• Kennistoetsen• Vaardigheidstoetsen• …

• Feedback• Score• Ontwikkelingsgericht • POP • Remediëring• Kwalificerend • Bekwaamheids- verklaring • Certificering

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

leren en het stimuleren van de competen-tieontwikkeling van de aios, door het ver-schaffen van feedback, en het vaststellenvan sterke kanten en verbeterpunten inhet functioneren (formatieve functie vantoetsen; ontwikkelingsgericht). Deze for-matieve functie van toetsing is belangrijkbij alle vormen van toetsing in de vervolg-opleiding, maar vooral bij werkplekbeoor-delingen staat de ontwikkelingsgerichtefunctie centraal. Concrete, specifieke enfrequente feedback op het functioneren in de praktijk stelt de aios in staat ge -richt actie te ondernemen om de kwaliteitvan handelen te verbeteren. Documenta-tie van de feedback in het portfolio – in devorm van bijvoorbeeld Korte Praktijkbe-oordelingen (KPB), Objective StructuredAssessment of Technical Skills (OSATS) of360 graden feedback – stelt aios en oplei-ders in staat het leerproces te monitorenen te sturen.

Toetsresultaten in het portfolio vormendaarnaast ook bewijsmateriaal dat ge-bruikt kan worden bij het onderbouwenvan beslissingen over bekwaamheid envoortgang in de opleiding (summatievefunctie van toetsen; kwalificerend). Docu-mentatie van feedback en evaluatie vanperformance is dan essentieel bij het tij-dig signaleren van aios die in aanmerkingdienen te komen voor extra begeleiding ofremediëring.

Toetsing tijdens de medisch-specialisti-sche vervolgopleidingen is dus gericht ophet zichtbaar maken van het functionerenvan de aios, gerelateerd aan de doelstel-lingen van de opleiding. De doelstellin -gen voor de opleiding als geheel en voor de verschillende opleidingsfasen zijn be-schreven in het opleidingsplan, opgestelddoor de betreffende wetenschappelijkevereniging, en uitgewerkt in het regionaalopleidingsplan. De opleidingsdoelstellin-gen hebben zowel betrekking op alge-mene competenties (CanMEDS) als op

specialisme-gebonden competenties (ofbekwaamheden, geordend in thema’s).

Toetsen van competentiesIn het algemeen geldt dat betrouwbare envalide uitspraken over competenties alleenmogelijk zijn op basis van gevarieerde infor-matie, afkomstig van verschillende informa-tiebronnen (verschillende toetsinstrumen-ten, verschillende beoordelaars). Er zijnbinnen de medisch-specialistische vervolg-opleiding vele toetsmethoden en -instru-menten beschikbaar (zie Tabel 1). Elk vande instrumenten levert specifieke informatieover deelaspecten van het professionele han -delen van de aios, vaak gekoppeld aan meer-dere competentiedomeinen.

(Frequente) beoordelingen van het func-tioneren op de werkplek (het ‘DOES-niveau’van Miller) en expertoordelen van de ledenvan het opleiderteam zijn essentieel voorhet beoordelen van competenties in de me-disch-specialistische vervolgopleiding. Re-levante informatie over het functionerenvan een aios in een bepaald competentie -domein wordt echter ook verschaft doorkennistoetsen, simulatietoetsen, weten-schap pelijke activiteiten, gevolgde scholingen cursuscertificaten, en registratie vanpraktijkervaringen (logboek).

Richtlijnen en minimumeisen voor toet-sing van professionele competenties zijnbeschreven in de (regionale) opleidings-plannen. Uit onderzoek blijkt dat voor hetnemen van betrouwbare beslissingen veeltoetstijd noodzakelijk is. Voor kennistoet-sen (KNOWS HOW) geldt bijvoorbeelddat 2-3 uur toetstijd vereist is voor hetkunnen doen van betrouwbare uitspra-ken; voor het SHOWS HOW-niveau is ge-middeld 3-4 uur toetstijd noodzakelijk (opjaarbasis, eventueel verspreid in de tijd afte nemen). Voor het DOES-niveau geldenvergelijkbare richtlijnen. Concreet bete-kent dit dat een aios voor het DOES-ni-veau op jaarbasis bijvoorbeeld acht KPB’s,

S77 In VIVO Richtlijn

enkele praktijkopdrachten of -besprekin-gen en een 360 graden feedbackrappor-tage in zijn/haar portfolio opneemt.

Beslissingen over bekwaamheid respec-tievelijk certificering worden dus altijd ge-nomen op basis van geaggregeerde infor-matie over het functioneren van de aios,verzameld over een langere tijdsperiodeen afkomstig van verschillende informa-tiebronnen. Eén enkele beoordeling (werk-plekbeoordeling c.q. toetsresultaat) magnooit de enige en unieke basis vormen voorhet nemen van summatieve beslissingen!Het proces van informatieaggregatie enbesluitvorming is vergelijkbaar met de be-sluitvorming bij gezondheidsklachten vanpatiënten: één enkel symptoom of signaalis onvoldoende om beleid te kunnen uit-stippelen. Definitief beleid wordt pas vast-gesteld na zorgvuldige selectie, ordeningen interpretatie van relevante gegevens uitverschillende informatiebronnen in hetpatiëntendossier (zoals anamnese, licha-melijk onderzoek, laboratoriumonderzoeken ander aanvullend onderzoek), zonodigna consultatie van collega’s.

Interpretatie en gebruik van toetsre-sultaten in begeleidingsgesprekken

Het gebruik van het portfolio, hetzij bijhet coachen of sturen van het leerproces,hetzij bij het nemen van beslissingen overvoortgang en bekwaamheid, verondersteltdat de in het portfolio verzamelde infor-matie een representatief beeld geeft vanhet feitelijke functioneren van de aios inde opleiding. Toetsresultaten vormen eendeel van de relevante informatie. Prescrip -tieve richtlijnen voor wat betreft nood-zakelijke aantallen en typen beoordelin-gen voor het nemen van beslissingen c.q.doen van uitspraken zijn niet beschikbaar.Dit hangt sterk af van het competentie -domein of de taak waarover we uitspra-ken willen doen, maar ook van het indivi-duele leertraject van de aios. Afhankelijkvan de wijze waarop de aios functioneerten afhankelijk van het risico dat verbon-den is aan de te beoordelen activiteiten,kan behoefte bestaan aan meer of minder(formele) beoordelingsmomenten. Patiënt -veiligheid is daarbij een belangrijk crite-rium. Beslissingen vragen daarom steedsom een verstandige interpretatie van deinformatie in het portfolio, gegeven de

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

In VIVO RichtlijnS78

Tabel 1. Overzicht van toetsmethoden en –instrumenten naar Miller-niveau.

Miller-niveau Toetsmethoden / -instrumenten

DOES KPB, 360 graden feedback; OSATS, opdrachtverslagen (bijvoorbeeld CAT, PICO), ver-slaglegging, brieven, statusnabespreking, onaangekondigde simulatiepatiënten, praktijkaudits, voorschrijfgedrag, patiëntuitkomsten

SHOWS HOW Stationstoetsen, simulatietoetsen, toetsen met Standardized Patients

KNOWS HOW Casusgebonden schriftelijke toetsen (Multiple choice, essays, key-feature, etc.), monde-linge examens gericht op klinische toepassing

KNOWS Schriftelijke toetsen (Multiple choice, essays, key-feature, etc.), mondelinge examens gericht op feitenkennis

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

actuele opleidingssituatie van de aios ende eisen in het opleidingsplan.

Bij interpretatie en gebruik van toetsre-sultaten is een aantal aandachtspuntenvan belang:• Maak samenvattende overzichten: Om

het leren van de aios te coachen en te sturen is het noodzakelijk inzicht tehebben in sterke kanten en in mo gelijkeverbeterpunten in het functioneren, bijvoorbeeld op basis van sa men vat -tende overzichten per com pe ten tie -domein (algemeen en/of specialisme-gebonden). Elektronische portfoliosys-temen kunnen hierbij ondersteunendoor het genereren van overzichtsrap-portages, al dan niet uitgesplitst naar(deel)competenties en opleidingsthe-ma’s. Vooral de geschreven (narratieve)feedback geeft concrete handvattenvoor gerichte sturing van het leerpro-ces. Gemiddeld behaalde scores heb-ben vooral een signaleringsfunctie.

• Check scores en feedback die afwijkenvan de trend: Op basis van één enkelewerkplekbeoordeling wordt specifiekeinformatie verkregen over het functio-neren op dat moment, ten aanzien vanéén specifieke taak of patiëntenpro-bleem (bijvoorbeeld jong kind metbuikklachten) in één specifieke situ-atie (bijvoorbeeld poli, afdeling, SEH).Feedback en behaalde scores op se-parate (werkplek)beoordelingen (metname uitschieters naar boven en bene-den) kunnen daarmee een gedetail-leerde indicatie geven van specifiekebekwaamheden en aandachtspuntenin het functioneren. Discrepanties tus-sen zelfoordelen en oordelen van an-deren (bijvoorbeeld in de 360 gradenfeedback) kunnen een belangrijk hulp-middel zijn bij het stimuleren van reflectie.

• Baseer beslissingen uitsluitend op geag-gregeerde en gevarieerde informatie: Uit-

spraken over competenties zijn nietmogelijk op basis van één enkele toetsof toetsinstrument. Geen enkele toetsof toetsinstrument voldoet aan allekwaliteitseisen wat betreft betrouw-baarheid en validiteit. Uitspraken overcompetenties zijn daarom bij voorkeurgebaseerd op een variatie aan toets -resultaten, afkomstig van verschil-lende instrumenten en bronnen. In hetportfolio dienen in elk geval beoorde-lingen op het ‘DOES’-niveau (Miller)aanwezig te zijn, met een zekere regel-maat en gespreid in de tijd afgenomen.Let daarnaast op variatie in werkplek-beoordelingen: is er sprake van vol-doende variatie in patiëntproblema-tiek? Voldoende variatie in beoorde-lingssituaties? Voldoende variatie inbeoordelaars? In het algemeen geldtdat veel beoordelingen noodzakelijkzijn om te kunnen komen tot betrouw-bare uitspraken over het functionerenin een bepaald (competentie)domein.Voor werkplekbeoordelingen die geba-seerd zijn op individuele patiëntcasus(bijvoorbeeld KPB, OSATS) geldt dat6-11 beoordelingen noodzakelijk zijnom te komen tot betrouwbare oorde-len. Wat betreft het aantal beoorde-laars geldt ten aanzien van werkplek-beoordelingen dat 6-10 beoordelaarsnodig zijn om van betrouwbare oorde-len te kunnen spreken (grotere aantallenals het gaat om patiëntoordelen!).

• Geschreven (narratieve) feedback is be-langrijker dan scores: Bij de interpreta-tie van toetsresultaten, en in het bij-zonder van werkplekbeoordelingen,zijn behaalde scores minder informa-tief dan geschreven feedback. Inter-pretatie van scores kan lastig zijn als er gebruik gemaakt wordt van uit-eenlopende toetsinstrumenten metverschillende scoringsmodellen. Daar-naast is er vaak sprake van milde oor-

S79 In VIVO Richtlijn

delen (score-inflatie) en kunnen be-oordelaars van elkaar verschillen watbetreft de manier waarop toetsinstru-menten gebruikt worden (verschillenin gehanteerde referentiekaders, crite-ria, e.d.). Het is daarom belangrijk datgoede afspraken gemaakt worden inopleiderteams over het gebruik van in-strumenten.

• Trianguleer de informatie: Toetsresulta-ten zijn niet de enige bron van informa-tie. Trianguleer de verkregen informatie,dat wil zeggen: vergelijk toetsresultatenmet elkaar en met andere informatie-bronnen, waaronder het expertoordeelvan het opleiderteam. Wijst alle infor-matie in dezelfde richting? Is er (duide-lijk) sprake van groei? Bij twijfel of bijniet consistente informatie moet aan-vullende informatie verzameld worden(in de vorm van werkplekbeoordelingen,observaties, of anderszins).

• Neem beslissingen op basis van verde-digbare standaarden: In opleidingsplan-nen worden minimumeisen (absolutestandaarden) beschreven waaraan aiosop verschillende momenten in de op-leiding dienen te voldoen. Er is echternog maar beperkt evidence-based in-formatie beschikbaar over leertrajec-ten van aios in de medisch-specialisti-sche vervolgopleidingen, zeker als hetgaat om de algemene competenties.Daarom wordt aanbevolen om scoresen competentieontwikkeling van de in-dividuele aios steeds te vergelijken metdie van een adequaat gekozen referen-tiegroep, bijvoorbeeld aios uit dezelfdeopleidingsregio in een zelfde fase vanopleiding. Ook hierbij kan ondersteu-ning geboden worden door elektroni-sche portfoliosystemen. Maak in iedergeval in het opleiderteam goede af-spraken over te hanteren criteria enstandaarden (organiseer consensusbe-sprekingen).

• Motiveer en documenteer beslissingen:Maak duidelijke afspraken over besluit-vormingsprocedures. Pas proceduresaan aan de zwaarte van de beslissing:gebruik meerdere beoordelaars en con-sensusprocedures als beslissingen lastigen zwaarwegend zijn. Neem beslissin-gen over de voortgang in de opleidingals team. Geef de aios, waar mogelijk,een stem in de besluitvorming. Motiveeren documenteer summatieve beslissin-gen (bekwaamverklaringen, voortgangs-beslissingen).

RandvoorwaardenBeschreven gebruik van toetsen, waarbijtoetsresultaten zowel gebruikt worden omhet leerproces te sturen als om beslissin-gen te onderbouwen, vereist een veiligeomgeving voor alle betrokkenen. Maakduidelijke afspraken met alle betrokkenen(aios en stafleden) over de wijze waaroptoetsing en begeleiding plaatsvinden; hel-derheid over wederzijdse verwachtingen,criteria, standaarden en procedures draagtbij aan een veilig leerklimaat. Veiligheidneemt toe naarmate evaluatie en docu-mentatie van functioneren meer ingebedworden in dagelijkse werkroutines. Draagals opleiderteam gezamenlijk verantwoor-delijkheid voor de kwaliteit van toetsing.Zorg – waar nodig – voor professionalise-ring van staf en aios.

Voorbeelden van een geaggregeerderapportage over een aios

In de onderstaande drie figuren zijn en-kele voorbeelden afgebeeld van aggregatievan toetsresultaten uit aios-portfolio’s.Elektronische portfoliosystemen kunnenondersteunen bij het maken van derge-lijke samenvattende overzichten. De voor-beelden in de Figuren 2, 3 en 4 zijn af-komstig van MMTSS/ePASS (ontwikkeldin OOR Zuid-Oost Nederland).

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

In VIVO RichtlijnS80

Richtlijn gebruik van toetsresultaten in het portfolio | M.J.B. Govaerts et al.

S81 In VIVO Richtlijn

Figuur 2. Overzicht van toetsmomenten over een periode van enkele maanden en van behaalde scores voor hetcompetentiedomein ‘Communicatie’, per toetsmoment.

Figuur 4. Gemiddeld behaalde scores per CanMEDS domein, berekend over alle toetsinstrumenten, voor ver-schillende fasen (semesters) in de opleiding.

Figuur 3. Gemiddeld behaalde scores per CanMEDS domein in één semester, berekend over alle toetsinstru-menten, en bijbehorend overzicht van narratieve feedback op beoordelingsformulieren. Individueelbehaalde scores worden vergeleken met gemiddeld behaalde scores van een referentiegroep (aios inhet zelfde opleidingscohort).

Overzichtbeoordelingen

KPB poli algemeenReferaat…KPB slecht nieuws360-graden feedback…KPB poli algemeen…

Datum

2008-03-182008-03-29

2008-05-192008-06-06

2006-06-26

ScoreCommunicatie

4,5 4,2

3,0 4,0

4,501-03-08

16-03-0831-03-08

15-04-0830-04-08

15-05-0830-05-08 29-06-08

14-07-0829-07-08

14-06-08

5

3

1

Deze AIOS functioneert goed wat betreft:

– Betrouwbaar en collegiaal

– Deze AIOS neemt veel eigen initiatief, werkt heel

zelfstandig en is duidelijk

– Zeer prettig in de omgang, ook naar patiënten toe.

Hoor vaak positief commentaar.

– Medisch-technisch heel goed op niveau.

Wordt een prima collega!

– Zeer duidelijke uitleg en instructies.

De belangrijkste verbeterpunten/leerdoelen voor deze AIOS zijn:

– Poli loopt nog wel eens uit.

Probeer wat efficiënter te werken.

– Tempo mag soms nog iets hoger.

– Loop jezelf niet voorbij. Probeer vaker nee te zeggen,

of te delegeren.

– LP vaker oefenen.

Medisch handelen (20)

Communicatie (20)

Samenwerking (19)

Kennis en wetenschap (19) Maatschappelijk handelen (18)

Professionaliteit (20)

Cohort

Individueel

Organisatie (20)

5

4

3

2

1

Medisch handelen

Communicatie

Samenwerking

Kennis & wetenschap

Maatschappelijk handelen

Organisatie

Professionaliteit

sem. 1-2 sem. 2-2 sem. 3-1