Workshop Formatief toetsen in het onderwijs
26 Maart 2013
Rubrics
Carel Burghout
Rubrics
Rubrics en assessment• Wat zijn rubrics? • Waarom rubrics?• Rubrics gebruiken voor formatieve
doeleinden (assessment for learning)• Rubrics gebruiken voor summative
doeleinden (beoordeling)• Hoe maak je een rubric?• Voorbeelden van effecten rubrics bij M
Ed Engels• Wat mag ik eventueel als bekend
veronderstellen?
WAT IS EEN RUBRIC?Een rubric maakt gebruik van precieze criteria om prestaties te evalueren of te beoordelen. Analytische rubrics hebben meestal een vaste vorm: verticaal: een overzicht van criteria waaraan de prestatie moet voldoenhorizontaal: een aantal (meestal vier) niveaus van beheersing (van zeer zwak tot uitstekend, van beginner tot expert)DIT SOORT RUBRICS LAAT JE KIJKEN NAAR AFZONDERLIJKE DELEN DIE SAMEN HET GEHEEL VORMEN
HOLISTISCHE RUBRICHOLISTISCHE RUBRICS ANALYSEREN HET WERK ALS EEN GEHEEL. GEBRUIK VAN ANALYTISCH OF HOLISTISCH HANGT AF VAN JE DOEL.MEESTAL MEER GERICHT OP HET (EIND) PRODUCT DAN OP HET PROCES
Waarom Rubrics?• Assessment for Learning and Assessment
of Learning werken in elkaars verlengde met hetzelfde instrument
• Belang aangeduid door Hattie and Timperley van feedback, feed up and feed forward
• Transparantie, objectiviteit en betrouwbaarheid beter geborgd voor ‘the untestable’
• Navraag bij studenten en in het veld wekt de indruk dat rubrics in het voortgezet onderwijs al meer zijn ingeburgerd dan aan onze lerarenopleiding
Rubrics en Assessment for Learning
Geeft de docenten vooraf een raamwerk voor beoordeling en doelen om met studenten te bespreken (feed up)Raamwerk is ook geschikt om oordelen aan leren te koppelen (feedback)Docent kan student vertellen welk niveau van beheersing is behaald en naar welk niveau gestreefd moet worden ,de ‘gap’ (feed forward)
Rubrics en Assessment for LearningDuidelijke criteria and leerdoelen
stellen studenten in staat om zelf de rubric te hanteren (individueel of met peers) en zonodig verbeteringen aan te brengen Instrument om sterkten en zwakten duidelijk te verwoorden Rubrics samen met studenten ontwikkelen kan motiveren en zorgen voor een kritische houding ten opzichte van het te leveren werk
Rubrics en beoordelen Transparantie: je gebruikt het zelfde instrument voor beoordeling dat je voor feedback hebt gebruikt Geeft houvast bij meerdere beoordelaars Student is van meet af aan bekend met criteria en gewenst niveau Student kan medeverantwoordelijk gemaakt worden voor criteria Gewicht dat aan de verschillende criteria gegeven wordt zonodig inzichtelijk gemaakt
(scoring rubric)
Stappenplan maken rubric :1. Benoem leerdoelen en waarneembare
criteria die wilt zien (en eventueel kenmerken die je niet wilt zien) Dit wordt je linkerkolom
2. Brainstorm kenmerken voor elk criterium en zoek uit hoe je voor elk criterium niveaus zou kunnen beschrijven
3. Formuleer precieze descriptoren voor het laagste en
voor het hoogste niveau4. Schrijf descriptoren voor de overgebleven
niveaus5. Bespreek de rubric (collega , studenten) om
vast te stellen of alles helder is beschreven 6. (Tijdens de cursus) Verzamel bewijzen van
werk op elk van de niveaus om later te gebruiken als ijkpunten7. Evalueer. Herzie de rubric indien nodig
Eerste opzet: alleen criteria /Feature Excellent Good Sufficient InsufficientDesign, inviting Elicits reader response, fun to do
Both general enough and specific enough
Focus: related set of themes, inci- dents,symbols, etc
Scaffolding: help and stretching to ZPD
What it potentially shows the teacher
Easy to mark, easy to rate?
Transferable and / or to be tweaked?
Rubric deels gevuldFeature Excellent Good Sufficient InsufficientDesign, inviting Elicits reader response, fun to do
Attractive design draws in attention with relevant images /layout
No or few appeals made to senses by design, or chaotic
Both general enough and specific enough
Chosen approach and topic(s) relate well to theme(s) of the novel
Could relate to various novels, or covers just one chapter / incident
Focus: related set of themes, incidents,symbols, etc
Relevant focus, sustained throughout. Clearly related items.
A list of questions with insufficient or no focus
Scaffolding: help and stretching to ZPD
Well thought-out series of steps take learner to higher understanding
No apparent scaffolding or scaffolding set too low or too high
What it potentially shows the teacher
Shows enjoyment and experience of the book leading to new / deeper learning
Shows memorizing, no new or deeper learning made visible
Easy to mark, easy to rate?
WS makes clear what is expected and what will count
Many (sub)questions, no clear weight given to items, too open
De complete rubric
Maak een rubric• Maak een rubric op basis van het
sjabloon in de hand-outs samen met de persoon / de personen naast je.
• Volg het stappenplan in de hand-out of op het scherm
• Focus van de rubric is om een workshop sessie als deze te beoordelen
• Je kunt ook als je criteria etc. bij de hand hebt werken aan een rubric op maat voor een eigen cursus
Effecten introductie rubric bij Academic
WritingStudenten verplicht om hun werk eerst te ijken aan de rubric, eventueel verbeteren en dan pas inleveren
Eerste effect: minder benauwdheid omtrent het schrijven en minder vragen over hoe het werk beoordeeld werd
Later effect: beter ingeleverd werk met veel meer aandacht voor de feedback en grotere inspanningen om het werk te structureren
Rubric Arthur & Chappius, aangepast C. Burghout
Rubric Writing na twee jaar• Hoge acceptatie en waardering als
instrument voor assessment• Ingevoerd in eigen lespraktijk van
studenten• Moeilijk aan te geven waar rubric
kwaliteit heeft verbeterd, genoemd: ‘diepgang’
• Rubric helpt feedback te verwerken, zet aan tot nadenken over wat belangrijk is
• Na drie jaar ‘vanzelfsprekend’
Rubric Poetry File 2012• Groep met ervaring rubric writing gevraagd om rubric te maken voor cursus poëzie (zie hand-outs)
• Rubric gebruikt voor samenstelling dossier met daarin een keuze van gedichten om te didactiseren
• Input relevante doelen uit kennisbasis en studiegids
• Rubric samengesteld in les met groep n.a.v. input van drie studenten en feedback van de groep
• Groep kan al op goed niveau meepraten over rubrics
• Studenten: samenstelling dossier en feedback peers
• Docent: feedback en uiteindelijk oordeel
Poetry file rubric 2012-2013• Helderheid criteria geen probleem (respons 12 van de 20 in groep)
• Indeling rubric wel probleem. Oude opzet werkt wel voor selectie, niet voor het didactiseren• Vaag taalgebruik, zoals ‘other sources’ waarmee literatuurstudies en essays werden bedoeld• Wens om cijferindicatie aan de kolommen toe te voegen Respons verwerkt in nieuwe opzet
met aangepaste formulering (zie hand-outs)
Effect tot nu toeStudenten gaan bewuster om met feedbackStudenten zijn bewuster van het belang van transparante, objectieve en betrouwbare beoordeling
Studenten vertrouwd met criteria, ‘rubric literate’, in staat om rubric te verbeteren Meedenken, meewerken aan ontwerpen motiveert.
Bronnen en vindplaatsen
Rubrics maken met internet tools:RubiStarRecipes4SuccessRubric MachineTeachnology
Rubrics toegelicht:http://webdidactiek.kennisnet.nl/webactiviteiten/web-basedtoetsen/rubricshttp://www.leermiddelenvo.nl/subpage/rubricshttp://www.platformdigitaaltoetsen.nl/?p=909
Top Related