Gemeenschappelijke infrastructuur

digitaal toetsen Hoger Onderwijs

Dé Onderwijsdagen 14 november 2012

Esther Arrindell en Chris Tils

• Plaatje computertentamenzaal

Technische infra-

structuur

Expertiseontwik-keling

Tender-projecten

25 projecten

€ 8,9 Miljoen

38 Instellingen

Programma Toetsing en Toetsgestuurd Leren

De vraag van vandaag!

Hoe kunnen we een gemeenschappelijke infrastructuur voor digitaal toetsen ontwikkelen

voor het hoger onderwijs?

… waarmee instellingen samen kunnen werken aan maken en afnemen van toetsen?

… maar waaraan ze individueel ook wat hebben?

De gemeenschappelijke infra van nu…

Instelling 3

QMP en zelfbouw

Instelling 4

Maple TA

Instelling 2

Test Vision

Instelling 1

QMP

Wat heb je (samen) nodig?

• Itembank, om items in op te slaan

• Auteursomgeving, om items te maken en te gebruiken

• Toetsafspeler, om de toets af te spelen

• Analysetool, om feedback over de (kwaliteit van) items en toets te genereren

• Toegang en beveiliging

Gemeenschappelijke infra TTL:waar te beginnen?

“De projecten uit pijler 1 en 2 leveren … input voor de specificaties voor de technische

infrastructuur”

Programmaplan Toetsing en toetsgestuurd lerenSubsidieaanvraag ICT impuls, maart 2010

ONBETWIST

ONBETWIST

• ONBETWIST maakt een itembank met wiskunde-opgaven

• Samen met 5 partnerinstellingen

• De instellingen hebben verschillende toetsapplicaties,

• Waardoor opgaven ‘overgetypt’ moeten worden, ze zijn niet uitwisselbaar tussen de applicaties…

Toetsbank bedrijfsadministratie en bedrijfseconomie (BaBe)

Toetsbank bedrijfsadministratie en bedrijfseconomie (BaBe)

• Babe maakt een itembank met opgaven voor studenten in het economische domein in het HBO, mogelijk ook bruikbaar in MBO en universiteiten

• Samen met 6 partnerinstellingen

• Er moet nog worden voorzien in een organisatie of instelling die de itembank straks gaat hosten, of een organisatie die de itembank bestuurt, of zorgt voor de exploitatie…

Voortgangstoetsing in doorstroming MBO-HBO

• Ontwikkelt (formatieve) voortgangstoetsen Nederlands voor doorstroming van MBO onderwijsassistent naar HBO leraar basisonderwijs

• Samen met 3 partners

• Gaat om instellingen waarvoor het opbouwen van een toetsinfrastructuur om gezamenlijk te toetsen een zware belasting betekent…

Leerstation Zorg

• Leerstation Zorg (LSZ) is een samenwerkingsverband van 17 HBO-instellingen

• LSZ voert een aantal SURF-projecten uit, bijvoorbeeld toetsen met de BoKS, bv het invoeren van beschikbare toetsen HBO-V

• LSZ zou graag een stap verder zetten met summatief (high stake) toetsen en dat stelt andere eisen aan de beveiliging…

V-Quest: toetsing in beeld (3D)

V-Quest: toetsing in beeld (3D)

• Radiologen willen steeds meer toetsen met 3D beelden (multidimensionaal), door ontwikkelingen in het vak

• Het project richt zich onder andere op psychometrische kwaliteit en validiteit van de opgaven in 3D

• Kunnen we tegelijkertijd dezelfde toets afnemen in verschillende instellingen….

Visie op gemeenschappelijke infra

Besluit (mei 2012)

1. Creëer een faciliteit om toetsbanken van de projecten uit pijler 1 technisch en organisatorisch te hosten bij SURF.

2. Maak een gemeenschappelijke auteursomgeving waarvan projecten uit pijler 1 gebruik kunnen maken

3. Start een aantal experimenten met een hogeronderwijscloud toetsen, gericht op de projecten die nu worstelen met de uitwisselbaarheid van toetsitems.

4. Zorg voor een onderliggende businesscase en bijbehorend businessmodel

QTI 2.1

afname

applicatie

Hosting Itembanken &

Experiment Cloud AfnameExperiment Cloud Afname

Leerstation

Zorg

Summatief

Toetsen

Aansluiting

MBO - HBO

Itembank

ONBE-

TWIST

Itembank

BA-BE

QTI 2.1

Radio-

diagnostiek

VQuest

Instelling 1

Toets-

afname

applicatie

Tools

Minitender

Digitaal Toetsen

Toets-

afname

applicatie

Toets-

afname

applicatie

Instelling 2 Instelling 3 Instelling n

Op

en

sta

nd

aa

rd Q

TI

2.1

1

23

Haalbaarheidsstudies (tm mrt 2013)

1. Levering van toetssoftware via SURFmarket(toetssoftware, antiplagiaat, etc)

2. Experimenten met toetsafname in de cloud, via SURFconext

3. Pilots (Proof of concept) van werkende itembanken, gecombineerd met een auteursomgeving op zowel techniek als organisatie

Spoor 1Tools en software via SURFmarket

Resultaat

• Instellingen kunnen hun toets(gerelateerde) software afnemen via SURFmarket via federatieve inlog (SURFconext)

Maart 2013 Go no Go, realisatie vanaf nu

Spoor 23 Experimenten (LSZ, MBO-HBO, Radiologie)

Resultaat

• Toetsafname (summatief) via SURFconext

• Groepen van ca 40 studenten

• Bij 3-5 instellingen bij voorkeur tegelijkertijd

• Onderzoek naar beveiliging (o.a. hacker)

• Aandacht voor schaalbaarheid

Januari 2013 Go no Go, realisatie najaar 2013

Spoor 3Pilots gehoste itembank (BABE, ONBETWIST)

• Deelresultaten

– Ingerichte Itembank met gemetadateerde items

– werkende auteursomgeving die is gebruikt voor bv. 100 nieuwe items

– Organisatiemodel(len) voor besturing itembank

– Exploitatiemodel voor exploitatie itembank

– Eén afgenomen toets (via SURFconext)

Maart 2013 Go no Go, realisatie in jaar daarna

QTI 2.1

afname

applicatie

Hosting Itembanken &

Experiment Cloud AfnameExperiment Cloud Afname

Leerstation

Zorg

Summatief

Toetsen

Aansluiting

MBO - HBO

Itembank

ONBE-

TWIST

Itembank

BA-BE

QTI 2.1

Radio-

diagnostiek

VQuest

Instelling 1

Toets-

afname

applicatie

Tools

Minitender

Digitaal Toetsen

Toets-

afname

applicatie

Toets-

afname

applicatie

Instelling 2 Instelling 3 Instelling n

Op

en

sta

nd

aa

rd Q

TI

2.1

Wat is er straks klaar?

• 10-20 instellingen hebben ervaring opgedaan met gezamenlijk maken en afnemen van toetsen

• Voor 2 domeinen is een pilot gedaan met het opbouwen van een itembank en auteursomgeving, inclusief bijbehorende pilot van organisatie en exploitatie

• Instellingen kunnen via SURFconext / market toets(gerelateerde) software gebruiken als dienst, en bij voorkeur betalen op basis van pay per use(r)

Wat komt daarna?

• Vragen en discussie!

Contactgegevens

Chris Tils

Projectmanager gemeenschappelijke infra Toetsing en Toetsgestuurd Leren

tils@surf.nl & @Chris_Tils

Esther Arrindell

Programmamanager Toetsing en Toetsgestuurd Leren

arrindell@surf.nl & @soulesther