Post on 07-Jul-2015
description
Datorbaserad tentamen
och säker onlinetenta
Mats Brenner, IKT-pedagog – Learning Center på
Högskolebiblioteket i Gävle.
2014-11-26
Tendens och riktning är
interaktivitet och mobilitet
OER WebinarMOOC
E-assessment & Badge
E-portfolio & e-CV
Förmedlande Dialog &
Interaktiviet
På plats
Active learning
Classroom (ALC)
Mobilt
Hyflex learning
Blended learning
Video & Podcast
Aktiva kontor
Öppen dataOpen Access
Digital Tentamen – projekt inom SUNET
Inkubator under 2015
Samverkan via SUNET Inbubator om Digital Tentamen.
Målet:
Att under 2015, skapa en grund för tekniska lösningar som kan
användas som startvärde av lärosäten som skall införa digital
tentamen.
Bakgrund:
Många lärosäten är i startgroparna med att införa eller närmare
undersöka digital tentamen t.ex. digitala salstentor. Projektet
kommer arbeta i nära samarbete med de lärosäten i Sverige som har
påbörjat ett arbete med digital tentamen, samt kommer även ta
tillvara erfarenheter som gjorts i bl.a. övriga norden.
Projektledningsuppdrag Digital tentamen:
Mats Brenner, Högskolan i Gävle
Digital Tentamen – Saker att fundera över…Salstentor med dator
Salstent i datasal
Salstenta med egen dator (BYOD)… trad. tentasalar
Vad skall funka online och offline
Programvara med USB
Programvara som måste installeras
Webbaserad programvara
Skall fungera både på Campus och Distans
Enkelt lägga in frågorna och antal frågetyper
Skall klara olika filer och representationsformer
Enkelt att göra bedömningen
Enkelt meddela prestation, feedback/återkoppling och betyg
System som kan prata med LMS, LADOK et cetera (internoperabilitet)
Lagring, rutiner
Arkivering, rutiner (e-arkivering, tentamen är myndighetsutövning)
Kursupplägg och examinationskriterier…
När gör man valideringstest, ett quiz, en dugga, en onlinetenta?
Bild: Nick8jun, Wikimedia Commons
Bedömningsmallar (Rubrics)
Rättvis och likvärdig bedömning
vid examination, anonym tenta
eller anonym kollegial bedömning
och betygsättning. Anonym
examination eller ”anonyma
tentor”
(Bologna s k kurskrav)
Använder man Bloom´s eller
SOLO-taxonomi…
Kompetens om examinationsformer
Examinationsformer vanliga och
mindre vanliga
REF: http://www.provainfact.se/publish/examination/9127-Examinationsformer___vanliga_och_mindre_vanliga/index.html#/9126
Nätbaserade
examinations-
former –kopplade till
lärverktyg
(i lärplattform)
eller
webbkonferens-
verktyg
Stöd för examination - LoA
Utöver att fastställa att någon uppfyller lärandemålen,
behöver man också diskutera hur säker man är i den bedömningen.
Level of Assurance (LoA).
De två utmaningarna:
1. Säkerställa vem som det är som examineras
2. Personen kan det som är lärandemålen för kursen
Vem det är? Kan säkerställas via identitetshandlingar och
via nätet via inloggning t ex digitala legitimationer.
Men det finns flera metoder & verktyg för detta som inte alla känner till…
Problematiken- LoA
Skilja på LoA för känna igen personen och LoA för uppfyllande av kursmål.
Level of Assurance (LoA). Idealet: Hög LoA för både individen och lärandemål.
Exempel:
Låg LoA för inlämnaren men hög LoA för uppfyllande av kursmål.
Man vet inte vem det är man examinerar, men har ett gott
underlag för ge omdöme. Problem även vid grupparbete då
t ex en wiki är bättre använda, än 2-3 sidor wordfil (utan prestationshistorik).
Hög LoA för inlämnaren med låg LoA för uppfyllande av kursmål.
Man vet vem det är, men har t ex bara underlag från ett mycket begränsat
onlinetest för lärandemålet. Bättre då om man kan jmf individen utöver
denna tentamen med andra inlämningsuppgifter, laborationer och hur
Individen kommenterat andra inlämningar.
REF: Kap 7, boken Mer om nätbaserad utbildning – fördjupning och exempel (2001)
Kombinera synkront och asynkront- för högre LoA
Representationsform Synkront (nu/online) Asynkront
Text Textdokument, wiki
eller diskussionsforum
Bild/graf/tabell Skapa ett t ex ett
fiskbensdiagram på
whiteboard med
aspekter
Skapa en Mindmap
Ljud Muntlig examination Göra en Podcast
Film/video E-möte/Webinar Skärminspelning med
ljud
Representationsformer, multimodalt, gestalningsformer…
Indentifiera individen- för högre LoA
• I Sverige är examination myndighetsutövning
• Identitetskontroll
• Identifieringsgrad
• Höga identifieringsgraden
• Kamera (t ex webbkonf.system eller anpassande verktyg)
• Inloggnings med koder
• Säkra utskick av koder
• Sociala medier kan stöda
• Lämna in även andra representationsformer
• Lämna in både synkront och asynkront
• Frågan om studenter skall övervakas
• Avgöra vem som har gjort vad, problem vid
grupp- och projektarbeten
Funktion, frågetyperna och
representationsformerna styr Hur kan Du styra onlinetestet via tid, datum, tillgänglighet vid avklarad aktivitet (nivå,
datum, poäng eller procent etc. Kan du randomisera frågorna? Förbjuda s k backtracking? Hämta ut testbanker på olika villkor, lägga metadata, svårighetsnivåer?
Lärplattform med 17 frågetyper i onlinetestfunktionen?
Finns s k objektanalys i systemet – d v s se vilka frågor som är svaga/ej får många rätt svar.
Finns peer assessment i lärplattformen?
Finns t ex wiki med prestationshistorik vem som producerat vad i grupparbete -gruppinlämningar?
Hanterar diskussionsforum bedömning/betygsättning av diskussiontrådar, diskussionsinlägg och anonyma inlägg.
Finns möjlighet till inspelning av muntliga/video-inlägg/presentationer direkt i lärplattformen för enkel bedömning.
Kan man delegera bedömning så det är flera lärare som examinerar anonymt.
Körs plagiatkontroll samtidigt med inlämnad dokumentfil/text eller är det en separat arbetsprocess
• FiftySneakers.com http://www.fiftysneakers.com (helt webbaserat, kostnadsfri) –
och ett kollaborativ verktyg
• Webbaserat system som är open source för onlinetest/quiz som heter Onyx med god
standard: https://www.bps-system.de/cms/en/products/onyx-testsuite/
• Respondus, skapa test offline och exportera samt importera
http://respondus.com/products/respondus/index.shtml
• Tao Testing, Open Source, god standard http://www.taotesting.com/
• Svenska uppstickaren: DigiExam (…ingen IMS-standard)
• Danska WISEFlow (I Danmark har man tagit bort papperstentor)
• Norska Inspera Assessment
• Flera redan etablerade finns förstås som t ex QuestionMarks…
• Du har förmodligen ett Test/Quiz-verktyg i din lärplattform (LMS)
• iSpring Solutions går integrera med LMS och ha på egen dator.
http://www.ispringsolutions.com
• Google Docs för onlinetests/quiz, så kan du använda http://www.flubaroo.com/
hanterar resultatsammanställningar m m.
• Du kan även lägga in dina frågor i YouTube-filmer/videos och med Mozilla Popcorn
Maker så kan du editera och lägga till frågor eller hänvisningar direkt i videos och
till ljudfiler.
Frågeverktyg - för onlinetest och quiz
Lock Down Browser och Monitor, www.respondus.com
Safe Exam Browser (SEB) http://www.safeexambrowser.org/about_overview_en.html
Netop , Secure Remote Control & Classroom management http://www.netop.com/ eller
Netcontrol2 http://www.netcontrol2.com/
LanSchool, Monitor student software http://www.lanschool.com/ (även Lite free softeware
licence)
SMART Sync classroom management
http://smarttech.com/Solutions/Education+Solutions/Products+for+education/Software/SMART
+Sync
DyKnow Monitor http://www.dyknow.com/educational-software-products/classroom-
management/monitor/
Nueber UserMonitor http://www.neuber.com/usermonitor/
AB Tutor http://www.abtutor.com/
Säker onlinetenta på campus och distans - verktygFrysa studentens skärm så den inte kan göra annat än testet… och
övervaka/monitor (stödja proctor)…
Jmf mellan olika system för Digital Tentamen…
Ett påbörjat arbete…
Empiriska studier (tester)
även gjorda hos GU, på Island
och många är ju även i drift
sedan flera år…
HiG använder LMS Blackboard
och har även använt
Respondus för import…
”Datorbaserad tentamen
Tidigare i rapporten (s. 74) har datorbaserad tentamen definierats
som prov där frågorna görs tillgängliga för studenterna via Internet
och studenterna redovisar sina svar via Internet eller via e-post.
Det är uppenbart att denna examinationsform är beroende av att de
tekniska förutsättningarna fungerar. I övrigt torde de
rättssäkerhetsfrågor som kan uppkomma vara desamma som för
examinationsformer som inte är datorbaserade. Myndigheten för
Sveriges nätuniversitet publicerade 2005 en rapport där
rättssäkerheten vid nätburen examination diskuterades (rapport
Nätburen examination, 2005 nr 5). En av slutsatserna i rapporten
var att ”rättssäkerheten vid nätburen examination inte skiljer sig
från examination på campus.” ” (sid 89)
Rapport 2008:36 R från HSV: Rättssäker examination
Rapport 2013 från DU - Målanpassad och säker
examination
Resultat från webbenkät, Nitus Teknikgrupp 2011 –
Framtidens tentor
Enkät: Från UU till ITHU-lärosäten - Webbenkät om
tentasystem (hur genomförs duggor/prov/onlinetentor)
Rapport från Nätuniversitetet 2005: Nätburen
examination
Rapport 2008:36 R från HSV: Rättssäker examination –
Andra omarbetade upplagan
Rapport från Linneuniversitetet Dnr: FAK 2011/632: Med
kvalitet i fokus – en rättsäker examination. En
vägledning till dig som examinator på grundnivå och
avancerad nivå
Rapporter och webbenkäter – liten översikt
Onlinetenta – problematik…• Att autenticering sker – att vi som
myndighetsutövare av examination vet att
student är den uppger sig vara vid
examinationstillfället.
• Att studenten har en ”låst” datorskärm och
inte kan surfa runt på webben eller
kommunicera t ex med mobiltelefon eller chatt
på den dator där onlinetentan skall utföras.
Det är bara onlinetentan med frågor som skall
synas/användas.
• Att tentavärd (proctor/övervakning) sker på ett
lämpligt sätt - så studenten inte kan fuska,
med information ifrån fusklappar et cetera.
Onlinetenta – problematik…
Att lokalerna är lämpliga för onlinetenta, utformning/bordsplacering och att eventuell stör-utrustning för mobil kommunikation kan ske.
Lokaler som är ”certifierade” för onlinetenta med ”rätt” utrustning.
Framförallt tänker vi IKT-pedagoger oss mer Aktiva lärosalar än ”tentasalar som är digitaliserade”. D v s högsta möjliga säkerhet, att WiFi fungerar – att studenterna kommer åt stödmaterial de får har med sig för att göra onlinetentan, e-böcker et cetera. Anpassning för funktionsnedsatta, hörslinga, lärverktyg.
Tenta med ljud – alternativ och verktyg
För den som behöver stöd för ljudrepresentation vid examinations-
processen eller tentamentillfället – finns flera alternativ. Skillnaden är
mellan att få stöd med verktyg som har koppling till t ex Internet
(online) mot att bara få stöd med verktyg som används helt offline –
det är en säkerhetsfråga som måste hanteras från fall till fall vid
examinationstillfället.
Flera av verktygen ovan är även
bra för läraren (inte bara
studenten), för att
förmedla/distribuera och
förstärka sitt budskap och sin
information –
instruktioner, läsanvisningar,
frågor, ge feedback etc. Inte bara
till studenter som har funktions-
nedsättning typ dyslexi. Om
studenterna får information och
budskapet förstärkt med flera
olika representationstyper så
minskar sannolikheten för
missförstånd, och budskapet
tydliggörs därmed (jmf lärstilar
eller ta till sig audivisuell
information etc).
Onlinetenta – problematik…
• Att rutiner finns när tekniska eller handhavande-fel sker kring hantering av onlinetentan på dator eller programvaran i lärplattformen.
• Att internutbildning sker av tentavärdar i hur onlinetenta skall gå till.
• Att beställningsrutiner för schemaläggning av lämplig lokal är anpassade för onlinetenta.
• Att information om beställd lokal och tillfället samt hur onlinetentan skall genomföras kommuniceras till IT-avdelning och Learning Center för IT-stöd.
Onlinetenta – problematik.
• Studenter med funktionshinder – skall ha likvärdig
möjlighet utföra onlinetenta.
• Att det finns möjlighet till anonym digital/t tenta och
testförfarande och till detta även anonymt examinations-
förfarande med anonym (kollegial) bedömning.
• Vad som skall arkiveras och lagras måste tydligöras –
speciellt på myndigheter
• Ofta ingen standard typ IMS QTI 2.1
• Kan testverktyg / lärplattformen leverera en Badge
Checklistor för skapa frågetyper
Behöver du snabba tips & råd hur du väljer frågetyper när du skapa ditt onlinetest eller quizfrågor, gå till Computor Assisted Assessment Centre.
10 Golden Rules for Writing Multiple Choice Questionshttp://www.carnet.hr/referalni/obrazovni/en/spzit/theory/mcqwrite
10 Rules for Writing Multiple Choice Questionshttp://theelearningcoach.com/elearning_design/rules-for-multiple-choice-questions/
Designing Multiple-choice Questions https://uwaterloo.ca/centre-for-teaching-excellence/teaching-resources/teaching-tips/developing-assignments/assignment-design/designing-multiple-choice-questions
Techniques for Writing Multiple-Choice Items that Demand CriticalThinkinghttp://tep.uoregon.edu/resources/assessment/multiplechoicequestions/sometechniques.html
Standards, e-portfolio och för
validering/reell kompetens
• Standard för test IMS QTI 2.1 – metadatastandard och interoperabilitet –import och export av data/frågor/tester (IMS Question & Test Interoperability™
Specification)IMS Question Test and Interoperability (QTI) v2.1 Spezifikation http://www.imsglobal.org/question/
• Standard för e-portfolio: IMS Portfolio Standards http://www.imsglobal.org/ep/ - innehållet och interoperabilitet)
• UNIQUE Learning Badges - diplom/prestations- och kompetenskvitto http://www.learningbadges.eu/
• Meritförteckning med EuroPass på nätet och europeiskt färdighetspass. Mer innehåll men mer svårbedömd https://europass.cedefop.europa.eu/sv/home
• YouthPass https://www.youthpass.eu/en/youthpass/ (volontärarbete)
Kontaktadresser:
Mats Brenner
Högskolan i Gävle – Learning Center
Högskolebiblioteket i Gävle
mats.brenner@hig.se
Tfn: 026-64 82 18, 070-350 02 33
TACK!