Toetsvragen Maken En Digitaal Toetsen Ubvu
-
Upload
wilma-van-den-brink -
Category
Documents
-
view
2.270 -
download
0
description
Transcript of Toetsvragen Maken En Digitaal Toetsen Ubvu
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Itembanking en Digitaal Toetsen Informatievaardigheden
Silvester Draaijer
Onderwijscentrum VU
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Wat is toetsen?
• In de praktijk van het WO …• Summatief Toetsen
– = Tentamineren – = Eindoordeel – = ‘Civiel Effect’
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Wat is toetsen?
• Klassieke wetenschap vanuit de Psychologie en veel toegepast bij Medicijnen, Economische wetenschappen etc.– Toetsontwikkeling is rationeel proces– Toets- en vraaganalyse wordt statistisch
benaderd
• Belangrijkst: validiteit en betrouwbaarheid
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Wat is toetsen
• Alles onder controle• Individuele prestatie (fraude
tegengaan)• Groepen in één keer toetsen• Voldoende aantal vragen en
respondenten
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Wat is toetsen
• Formatief Toetsen – Toetsen om te leren– Diagnostisch toetsen
•Vaststellen van niveau en lacunes in kennis (bijv. instaptoetsen)
– Oefentoetsen (oefententamens)•Leren en voorbereiden op een eindtoets
(qua vorm, vraagstelling e.d.)
– Courseware– Games
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Formatief-Summatief schaal
zelf groepje Deelcijfer Eindcijfer
Voorwaarde
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Een digitale toets
1. Voorbereiding cursus2. Start cursus
1. Voorbereiding college 12. College 13. Verwerking college 1
1. Afsluitende toets2. Nabespreking cursus
1. Voorbereiding college 22. College 23. Verwerking college 2
1. Voorbereiding college n2. College n3. Verwerking college n
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Digitale Toets - Interactie pad A
1. Start toets
1. Vraag 12. Vraag 23. Vraag 34. Vraag n
1. Afsluiten toets2. Feedback per vraag3. Cijfer/diagnose op toets
Score Voldoende
Score Onvoldoende
klaar
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Digitale Toets - Interactiepad B
1. Start toets 1. Vraag 12. Feedback 1
1. Afsluiten toets2. Cijfer/diagnose op toets
1. Vraag 2 (op basis antwoord vraag 12. Feedback 2
1. Vraag 3 (op basis antwoord vraag 22. Feedback 3 klaar
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Interactiepad C
• Casusvragen• In combinatie met Interactiepad A
en/of B
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Wat is toetsen
• Formatief Toetsen – Toetsen om te leren– Motiveren– Feedback
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Motiveren – intrinsieke motivatie• Zelftoetsing – intrinsieke motivatie (Keller 1983):
– Aandacht. Zorg ervoor dat de opdracht de aandacht van de lerenden zal trekken door onverwachte en spannende elementen.
– Relevantie. Zorg ervoor dat de relevantie van de oefening voor de lerende duidelijk is. Geef een interessante context weer waar de lerende zich mee kan identificeren.
– Vertrouwen. Zorg ervoor dat complexiteit en het niveau van oefeningen niet te laag en niet te hoog is zodat studenten vertrouwen krijgen in hun eigen kunnen.
– Bevrediging. Als oefeningen zijn afgerond dienen lerenden feedback te krijgen die hen stimuleert om verder te gaan.
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Feedback
• Toets– Zak/slaag– Procent goed/fout– Cijfer– Studie-advies
• Vraag– Goed/fout– Goede alternatief– Omschrijving goede alternatief– Argumentatie goede alternatief– Aanwijzing voor oplossing– Studeeraanwijzing
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Prestatiedrempel – extrinsieke motivatie
• Geef pas feedback nadat zeker is dat de lerende een oprechte poging heeft gewaagd om een antwoord te formuleren, bijvoorbeeld door een prestatiedrempel op te werpen
– Temporiseren aanbieden vervolgvraag• Vervolgvragen ‘verlaat’ aanbieden als een fout antwoord is gegeven• Vervolgtoetsen ‘verlaat’ aan te bieden als een toets slecht gemaakt is (bijv. een dag
tussen pogingen inlassen)– Temporiseren feedback
• Pas feedback te geven als het antwoord goed is. Dus vraag kan meerdere keren beantwoord worden.
• Pas feedback geven als alle vragen zijn beantwoord• Pas feedback geven als 80 procent van de antwoorden van een toets correct is. Dus
toets kan herhaaldelijk worden gestart– Randomiseren
• Telkens andere vragen uit een vragenbank te trekken• Andere antwoordopties tonen• Telkens varianten van dezelfde soort vraag stellen
– In de feedback niet het juiste antwoord te vermelden maar de student aanwijzingen te geven om het juiste antwoord zelf te vinden
– Summativeren• Score telt deels mee voor eindresultaat cursus• Een voldoende score is voorwaardelijk voor verdere deelname aan cursus of geldig laten
zijn van cijfer
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Voorbeelden
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Questionmark Perception
• Waarom QMP voor de VU?– Blackboard enigszins beperkt– Respondus voldoet ook niet aan de eisen en
richt zich op andere functionaliteit
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Questionmark Perception
• Waarom QMP voor de VU?– T.o.v. Blackboard nodig:
• Goede statistische verwerking van resultaten Itembanken op grotere schaal (> 1000 items)
• Performance onder grote belasting• Meer mogelijkheden om aan te bieden en
geavanceerde vraagtypen (o.a. voice, animaties, meerdere uitkomsten afvangen )
• Betere mogelijkheid voor sprongen in toetsen en conditionele uitslagen en roostering
• Mogelijkheid voor eigen templates (tbv uiterlijk van de toets)
• Beveiligd toetsen met QMsecure Browser mogelijk
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Questionmark Perception
• Waarom QMP voor de VU?– Internationale standaard
(UK, VS, DigiUni, UTwente, div. Hogescholen, CITO, Windesheim - continuïteit leverancier gewaarborgd, uitwisseling met andere systemen via QTI)
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Questionmark Perception
• Eigenschappen:– Gemaakt voor specialisten– Steile leercurve– Complexe structuur en autorisatie
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
AU
TE
UR
S P
C’S Authoring
s e rve r
P oortwa chte r/Ond VU
P roductie(a fna me )
s e rve r
Com m unic a tie
Technische structuur QMP
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Uitwisseling van toetsvragen
• Via Respondus kunnen toetsvragen van het ene naar het andere systeem gebracht worden
• QMP heeft ook eigen Blackboard converter
• Uitwisselingsstandaard: QTI(Question and Test Interoperability Standard)
B la c kboa rd
R e s pondus
Que s tionma rkQTI-be s ta nd QTI-be s ta nd
B la ckboa rd Conve rte r via qma rk we bs ite
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
B la c kboa rd Que s tionma rk
LDAP
Toe ts re s ulta a t
S tude ntg e g e ve nsS tude ntg e g e ve ns
Uitwisseling van toetsresultaten en studentgegevens
• Toekomst:– In Bb 7 zullen tzt QMP toetsresultaten
verschijnen in het Bb-gradebook– Tzt single sign-on
Onderwijscentrum VUWEET WAT ONDERWIJS WAARD IS
14 aug 2008
Stand van zaken
• Onderwijscentrum VU heeft zware productieserver (~150 inlog in 3 sec mogelijk)
• Onderwijscentrum heeft ondersteuning beschikbaar (~ 1FTE totaal)
• Bijna concernsysteem technisch, functioneel en applicatiebeheer naar UC-IT
• Steeds meer faculteiten die participeren