Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor...
-
Upload
barbara-gerritsen -
Category
Documents
-
view
213 -
download
0
Transcript of Uitwisseling Instaptoetsen: Enkele methodologische beschouwingen Rianne Janssen Centrum voor...
1
UitwisselingInstaptoetsen:
Enkele methodologische beschouwingen
Rianne JanssenCentrum voor Onderwijseffectiviteit en –Evaluatie
Onderzoeksgroep Kwantitatieve Psychologie
School of Education
2
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
3
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
4
doelstellingen opgaven
• Vraag naar doelstelling is vraag naar beoogde validiteit
5
criteriumvaliditeit inhoudsvaliditeit begripsvaliditeit Doel voorspellen Beheersing inhoudsdomein Meten van bepaald
begrip Selectie van items
In principe vrij - Toetsmatrijs! - random steekproef
Afleiden uit theorie
Empirische evidentie
r(test, criterium) argumentatief items: factoranalyse test: Verband met andere metingen
Opmerkingen - Gelijktijdige en predictive validiteit - kwaliteit meting criterium - niet steeds toepasbaar
Bepaling inhoudelijk universum
Interpretatie bij negatieve bevindingen
Samenvatting validiteit
Inhoudsvaliditeit
• Bepaling inhoudelijk ‘universum’– Eventueel consensusgroep experten
• Stel toetsmatrijs op= ‘blauwdruk’ van de toets
= ‘een expliciete formulering van verlangens’• In principe ‘random’ steekproef items uit
elke cel• Argumentatieve validiteit
6
COGNITIEF ONDERZOEKS-VAARDIG-
HEDENKENNEN
BEGRIJPEN
TOEPASSEN
BASIS VAN HET LEVEN 3b 1 2a/b3a/b
2b3b20
132122
MENSELIJK LICHAAM Bouw/werking 8 9a/b/c12a
8 9a/b/c12a
20 23
Voortplanting en seksualiteit
45c/d6a/b 7
5a/b/c/d6a/b7 21
5d20
Gezondheidszorg 10a/b/c1112b
10a/b/c1112b21
20
NATUUR RONDOM ONS Organismen 14a15a/b
1314a15a/b
1320
Ecosysteem 16 14b16171821
14b16172120
Milieuzorg 19 1921
192021
Welke deeldom
einen?
Welke verwerkingsniveaus?
In welke
verh
ouding?
Construeer items
• Open versus gesloten vraagvorm
• Pilootafname voor eerste kwaliteitscheck
• Beoordeling door experten
8
9
Open vraagvorm
• Categorisatie antwoorden– Categorisatiesysteem– Interbeoordelaarsbetrouw-
baarheid
• Productieve (taal)vaardigheid
• Hogere cognitieve vaardigheden (begrip, inzicht, evaluatie, creativiteit)?– “Face validity” of ook empirisch
onderbouwd?
Gesloten vraagvorm
• Snelle en objectieve verwerking (QMP!)
• Meer vragen mogelijk– Hogere betrouwbaarheid en
(inhouds)validiteit (cf eerste en tweede set vragen Nederlands)
• Probleem van raden
• Eenvoudige cognitieve vaardigheden (kennis, herkenning)?
1. Empirisch onderzoek bewijst tegendeel, mits goede itemconstructie
2. MKV vaak betere predictoren dan open vragen.
10
Detailopmerking: toeschrijving
• Engels: ‘matching’• Keuzes zijn niet onafhankelijk :
– Hoe meer zekere combinaties, hoe groter kans op correct antwoord bij raden
– Eventueel een rij langer dan andere rij
Maak de juiste vijf combinaties:
Bloedcirculatie
Erfelijkheid
Evolutie
Hondsdolheid
Psychiatrie
Pasteur
Freud
Mendel
Darwin
Harvey
11
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
• Achterliggend model (Meskauskas, 1997)?– State-view:
• ‘alles of niets’ beheersing (bv. basisspelling)
• Items uitwisselbaar (cf. Ned. : random keuze vragen)
• Domeinproportie (cf. Ned: FB student)
– Trait-view: • gradaties van beheersing (vb. Frans: ERK)
• Items verschillen in moeilijkheidsgraad (vb. WISTIL)
• Meetschaal!
12
meetschaalopgaven
• State-view: – ‘alles of niets’ beheersing– Items
• Afkomstig uit domein• In principe uitwisselbaar
– domeinproportie
13
meetschaalopgaven
• Trait-view: – gradaties van beheersing– Items verschillen in moeilijkheidsgraad– Meetschaal!
14
meetschaalopgaven
15
MEETSCHAAL
OPGAVEN
moeilijkheidsgraad
LEERLINGEN
vaardigheid
beheersing in termen van kansen
Eventueel rekening houdend met raadkans
16
Voordelen meetschaal
• Interpretatie:– Vergelijking positie student met positie opgaven
• Onderzoek naar band met itemkenmerken– Bv. wiskunde:
• ingeschat beheersingsniveau (eenvoudig, gemiddeld, moeilijk)
– stERK• Band met ERK-niveau
• Verschillende toetsen en vergelijkbaar resultaat– Gegeven een meetschaal
(geen verschil “item based” en standaard toets)
– Bij opmaken van een meetschaal
1 2 3 4 5 6 7
Basis van het leven X X X X 2600
Bouw en werking X X X X 2600
Seksualiteit en voortplanting X X X X 260
0
Gezondheidszorg X X X X 2600
Organismen X X X X 2600
Ecosysteem X X X X 2600
Milieuzorg X X X X 2600
N 650 650 650 650 650 650 650 4550
Afnamedesign peiling biologie
IRT alternative to equating
• given common items: possibility of constructing a common measurement scale
instaptoets
uitstaptoets
• Achterliggend model
• Kalibratieonderzoek– Afname bij grote steekproef studenten
• Vooraf, maar ook tijdens implementatie
– Prijs voor IRT-model • Vuistregel: 500 studenten per item
19
meetschaalopgaven
20
Procedure toetsontwikkeling
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context
21
cesuurbepaling
• Terecht: – geen normgerichte cesuur
• Wel: – criteriumgerichte cesuur
• Oordeel experten afhankelijk van meetmodel– ‘alles-of-niets’ model
• Oordeel van toelaatbare foutenmarge (bv. Ned: 25%)
– Gradueel model• Plaatsing cesuur op meetschaal
TOETSNORM
Deze opgaven moeten de leerlingen nog niet beheersen
Deze opgaven moeten de leerlingen beheersen
Behalen eindterm
Behalen eindterm nog niet
23
Besluit
doelstellingen opgaven meetschaal toetsnorm
(onderwijskundige) context