Post on 11-Jan-2017
Beoordelen is mensenwerk
Mogelijkheden van gezamenlijke protocollen voor afstuderen in het hboAmersfoort19 juni 2014
Dr. Daan AndriessenLector Methodologie van Praktijkgericht OnderzoekHogeschool Utrecht
Agenda
1. Aanleiding Expertgroep Protocol2. Model voor examinering in het hbo3. Mogelijkheden tot protocoleren4. Protocol Verbeteren en Verantwoorden van
afstuderen in het HBO
Motie Beertema (27/3/2012)
n De Kamer, verzoekt de regering, per opleiding of cluster van opleidingen samen met het bedrijfsleven of betrokken werkveld kernvakken te laten vaststellen, landelijke eindtermen te bepalen voor de kenniscomponent van deze kernvakken en die te examineren via landelijke toetsing die onafhankelijk wordt geborgd,
n en gaat over tot de orde van de dag.
Vreemde Ogen Dwingen (mei 2012)
n Voordelen landelijk examen wegen niet op tegen nadelenn Overgenomen aanbevelingen:
1. Externe validering van toetsen via pilots met gemeenschappelijk toetsen
2. Externe validering via certificering van examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE).
3. Duurzame kennisuitwisseling4. Externe validering van eindwerkstukken door een
gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken.
Opdracht Expertgroep Protocol
n “Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”
Samenstelling Expertgroep Protocol
•Daan Andriessen (voorzitter) Hogeschool Utrecht
•Petra Manders (secretaris) Saxion
•Dan Greve Hogeschool Utrecht
•Peter Hermans Cito / Artez
•Linda Jakobs Hogeschool Arnhem Nijmegen
•Lucie te Lintelo Hogeschool van Amsterdam
•Karin Neijenhuis Hogeschool Rotterdam
•Gerard Straetmans Cito / Saxion
2. Model voor examinering in het hbo
Afstuderen in het hbo is veel meer dan het schrijven van een werkstuk
Afstudeerprogramma
Prestatie(s)
moet blijken uitBeroepsbekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen
Prestaties in het hbo zijn beroepsproducten
1. Advies
2. Ontwerp
3. Eindproduct
4. Handeling
5. Onderzoek
Mogelijke oplossing of een
plan
Verbeelding van een eindproduct
Fysiek of digitale uitwerking van een ontwerp
Professioneel gedrag naar
cliënt of publiek
Antwoorden en conclusies
• Organisatie advies
• Pedagogisch advies
• Financieel advies
• Bouwontwerp• Bestemmingsplan
• Ondernemingsplan
• Schilderij• ICT applicatie• Apparaat• Film• Journalistiek tekst
• Les geven• Voorstelling geven
• Hulp verlenen• Verplegen• Therapie geven• Leiding geven• Ondernemen
• Archeologisch rapport
• Laboratorium rapport
• Forensisch rapport
(Naar Losse, 2012)
Afstudeerprogramma
Beroeps-opdracht (en)
leiden totPrestatie(s)
moet blijken uitBeroepsbekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen
Beroepsopdrachten in het hbo zijn zoveel mogelijk:
n Authentiek:n Authentieke taakn Authentieke omstandigheden
n Representatief:n Complexiteit (cognitief en context)n Zelfstandigheid
Afstudeerprogramma
Beroeps-opdracht (en)
leiden totPrestatie(s)
moet blijken uit
Examinatoren
beoordeeld door
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen
Examinator is deskundig
n Examinator is deskundig op:n De te beoordelen bekwaamheidn Het beoordelingsproces
n Beoordelen is mensenwerk!
Afstudeerprogramma
Beroeps-opdracht (en)
leiden totPrestatie(s)
moet blijken uit
Examinatoren
beoordeeld door
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Beoordelingsmodel(len)
Prestatiecriteria en beoordelings-
schalen
geoperationaliseerd in
helpen de
Principes van afstuderen
Beoordelingsmodel ondersteunt de examinator
n Beoordelingsmodel helpt bij beoordelen van:n Kwaliteit beroepsproductn Kwaliteit verantwoordingsverslagn Kwaliteit van het proces
n Beoordelingsmodel bevat:n Prestatiecriterian Beoordelingsschalenn Beslisregels
n Beoordelingsmodel is:n Validen Inzichtelijkn En draagt bij aan betrouwbaarheid beoordeling
Afstudeerprogramma
Beroeps-opdracht (en)
leiden totPrestatie(s)
moet blijken uit
leidt
tot c
onclu
sie ov
er
Examinatoren
beoordeeld door
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Beoordelingsmodel(len)
Prestatiecriteria en beoordelings-
schalen
geoperationaliseerd in
helpen de
Principes van afstuderen
Beslissings-procedure(s)
bepalen scores
Vier niveaus in hbo
n Niveau 1: Alle opleidingen van alle instellingen;n Niveau 2: Alle opleidingen met hetzelfde
opleidingprofiel / CROHO-nummer van alle instellingen;
n Niveau 3: Beperkt aantal opleidingen met hetzelfde opleidingprofiel / CROHO-nummer die onderwijsinhoudelijk overeenkomen;
n Niveau 4: Binnen één instelling.
Mogelijk en wenselijkNiveau 1: landelijk
Weln Gestandaardiseerde
wijze van verslaglegging over het afstudeer-programma als geheel
n Betekenis en minimumeisen Onderzoekend Vermogen
Nietn Eén beoordelingsmodel
voor afstudeerprestaties
Mogelijk en wenselijkNiveau 2: per CROHO
Weln Body of knowledge &
skills Onderzoekend Vermogen
n Gezamenlijk reviewen van de afstudeer-programma’s
Nietn Eén beoordelingsmodel
voor afstudeerprestaties (tenzij de opleidingen dezelfde eindkwalificaties én afstudeerprogramma hebben)
Mogelijk en wenselijkNiveau 3: groep verwante opleidingen
Weln Gezamenlijke invulling
van (delen van) het afstuderen
n Gezamenlijk beoordelingsmodel per afstudeerprestatie
n Inzetten van waarnemers en examinatoren
n Gezamenlijk reviewen van afstudeer-programma’s
Niet
Mogelijk en wenselijkNiveau 4: binnen één hogeschool
Weln Reviewen van
afstudeerprogramma’s door collega’s of het werkveld
Nietn Gezamenlijk
beoordelingsmodel per afstudeerprestatie
4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO
Protocol als middel voor systematische kwaliteitszorg en externe validering van afstuderen
Doel van het protocol
n Opleidingen in het hbo helpen samen werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3/16 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn.
1. Duidelijkheid scheppen over terminologie en inrichting van het afstuderen.
2. Een kader scheppen voor gezamenlijk leren en verbeteren.
3. Een kader scheppen voor borging en verantwoording.
Opzet van het protocol
n Een opsomming van 12 vragen over het afstudeer-programma waar een opleiding een goed antwoord op moet hebben om een goede beoordelings- en beslissingskwaliteit in het afstuderen te garanderen.
n In een verantwoording van het afstudeerprogramma beschrijft en verantwoordt de opleiding de antwoorden.
n Vragen zijn afgeleid vann Standaard 1 en standaard 3/16 van de NVAO en
de relatie tussen beiden Theorie over toetsenn Eis van onderzoekend vermogen
Inhoud van het protocol (1)
n Eindkwalificaties1. Weerspiegelen de eindkwalificaties van de
opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau?
2. Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties?
3. Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?
Inhoud van het protocol (2)
n Beroepsopdrachten4. Zijn de beroepsopdrachten die studenten
uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties?
5. Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?
Inhoud van het protocol (3)n Beoordeling
6. Waarborgt de opleiding dat elke examinator bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen?
7. Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren?
8. Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren?
9. Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?
Inhoud van het protocol (4)
n Randvoorwaarden10. Zorgt de opleiding ervoor dat het
afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden?
n Verantwoording en ontwikkeling kwaliteit11. Geeft de opleiding invulling aan het ‘vreemde
ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen?
12. Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?