Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap
description
Transcript of Bjørn Erik Rasch: Karaktersetting: Erfaringer og undersøkelser fra statsvitenskap
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Bjørn Erik Rasch:Bjørn Erik Rasch:
Karaktersetting: Karaktersetting: Erfaringer og undersøkelser fra Erfaringer og undersøkelser fra
statsvitenskapstatsvitenskap
1. Karaktersetting på masteroppgaver V-20072. En eller to sensorer? Et eksperiment
Nasjonal karaktersamlingNasjonal karaktersamling i regi av UHRs utdanningsutvalg og i regi av UHRs utdanningsutvalg og analysegruppe, Høgskolen i Oslo, 28. oktober 2008analysegruppe, Høgskolen i Oslo, 28. oktober 2008
UNIVERSITETETI OSLO
Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)Masteroppgaver fra 6 studieprogrammerTilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Utfordring: Svært gode karakterer på visse programmer
Masteroppgaver i statsvitenskap 2006
UNIVERSITETETI OSLO
Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)Masteroppgaver fra 6 studieprogrammerTilfeldig valg av 11 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
UNIVERSITETETI OSLO
Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)2 masteroppgaver fra hvert studieprogramTilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
Tilfeldig utvalg av 11 oppgaver fra fem universiteter med karakter B
UNIVERSITETETI OSLO
Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)2 masteroppgaver fra hvert studieprogramTilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
Hvordan ”sensorene” (flertallet) vurderte de 11 oppgavene som hadde fått B
3
7
1
UNIVERSITETETI OSLO
Institutt for statsvitenskapNasjonal kommisjon for vurdering av Nasjonal kommisjon for vurdering av karaktersetting på masteroppgaver i karaktersetting på masteroppgaver i statsvitenskapstatsvitenskap
Nasjonalt fagråd (statsvitenskap) utformet eget opplegg: 7 medlemmer (fra hele landet)2 masteroppgaver fra hvert studieprogramTilfeldig valg av 10 masteroppgaver fra alle som fikk B våren 2007Medlemmene satte karakterer individuelt og begrunnet dem skriftligInnstilling om masterprogrammer og -oppgaver tidligere (25.09.07)
Utfordring: Svært gode karakterer på visse programmerKonklusjon av gjennomgangen: Betydelig variasjon i kvaliteten på B-masteroppgavene som ble vurdert og ikke ubetydelige forskjeller i ”sensorenes” vurderinger
Hvordan de 7 ”sensorenes” stemmer ved vurderingen av de 11 oppgavene fordelte seg (prosent)
3
7
1
UNIVERSITETETI OSLO
Institutt for statsvitenskapDEL 2: Videreføring i form av et sensoreksperimentDEL 2: Videreføring i form av et sensoreksperiment
Institusjon og studiepoeng A B C D1. UiT 60 - - 4 12. Sampol 60 - 1 5 -3. Offadm 60 - - 6 14. Offadm 60 - 1 4 -5. NTNU 45 1 5 - -6. NTNU 45 - 4 2 -8. UiO 30 - - 6 -9. UiO 30 1 6 - -10. UiA 40 - - 3 211. Offadm 60 - - 3 4
→ 40 sensorer bedømmer samme besvarelse på et innføringsemne på bachelor i statsvitenskap
→ Formål å belyse spredning i vurderinger og sider ved interaksjonen i eksamenskommisjoner med to sensorer
Detaljert oversikt over sensorenes vurderinger
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Sensoreksperiment:Sensoreksperiment: To hypoteserTo hypoteser
HYPOTESE 1. Det er liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.
Bjørn Erik Rasch og Sara Kristine Eriksen (2008): ”En eller to sensorer? Et eksperiment.” Arbeidsnotat. Institutt for statsvitenskap, UiO.
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Sherif, Muzafer (1937). “An Experimental Approach to Sherif, Muzafer (1937). “An Experimental Approach to the Study of Attitudes”, the Study of Attitudes”, SociometrySociometry 1: 90-98. 1: 90-98.
Hypotese 2: Teoretisk grunnlag……
UNIVERSITETETI OSLO
Institutt for statsvitenskapAsch, Solomon E. (1952). Social psychology. Englewood Cliffs, NJ: Prentice-Hall.
YouTube.comYouTube.com Conformity Video Clip ”Asch’s Conformity Experiment” http://www.youtube.com/watch?v=DKivdMAgdeA
Hvilken av strekene A, B eller C er like lang som denne?
UNIVERSITETETI OSLO
Institutt for statsvitenskap
HypoteserHypoteserHYPOTESE 1. Det er
liten spredning i karaktersettingen mellom ulike sensorer med spesialkompetanse på et fagområde eller innenfor en underdisiplin.
HYPOTESE 2. Det første karakterinnspillet fra en sensor i en eksamenskommisjon påvirker i seg selv hvilket forslag den andre sensoren fremmer, og dermed indirekte karakterfastsettelsen.
Jeg foreslår en B.
UNIVERSITETETI OSLO
Institutt for statsvitenskapMetode (eksperimentelt design)Metode (eksperimentelt design)
Gruppe AKontrollgruppe
Gruppe BEksperimentgruppe
SnittkarakterSpredning
Medsensor: Foreslår ”for god” karakter
Høyere snittkarakterLavere spredning
Uavhengig variabel Avhengige variable
Informasjon NormeringSosial press
→ Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage)
Medsensors beskjed: ”─Jeg synes ikke det var så lett å vurdere oppgaven, men har til slutt endt opp med å sette karakteren B.”
UNIVERSITETETI OSLO
Institutt for statsvitenskapResultater: KarakterResultater: Karakterfordelingfordeling for eksperimentgruppe for eksperimentgruppe (B) og kontrollgruppe (A)(B) og kontrollgruppe (A)
→ Besvarelsen til vurdering hadde fått D (D-en ble opprettholdt etter klage)
AA EEDDCCBB
UNIVERSITETETI OSLO
Institutt for statsvitenskapDeskriptiv statistikk for de Deskriptiv statistikk for de to sensorgruppeneto sensorgruppene
Min Maks Gj.snitt Std Antall
Gruppe A 1 (E) 4 (B) 2,47 (D) 0,90 N=19
Gruppe B 2 (D) 4 (B) 3,27 (C) 0,67 N=18
Avvik(t-verdi)
0,80 (3,04)
Størst spredning : Gruppe A
DD er modus, median og gjennomsnitt i gruppe A
CC er modus, median og gjennomsnitt i gruppe B
UNIVERSITETETI OSLO
Institutt for statsvitenskapForskjeller i gjennomsnittskarakter for Forskjeller i gjennomsnittskarakter for ulike grupper av sensorerulike grupper av sensorer
Sensorenes ekspertise og erfaring har betydning
Feilvurderinger som en sensor gjør blir ikke nødvendigvis rettet opp
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Trenger bedre forståelse av Trenger bedre forståelse av karaktersetting som fenomen (både karaktersetting som fenomen (både individuelle og strukturelle mekanismer)individuelle og strukturelle mekanismer)
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Trenger bedre forståelse av Trenger bedre forståelse av karaktersetting som fenomen (både karaktersetting som fenomen (både individuelle og strukturelle mekanismer)individuelle og strukturelle mekanismer)
Hvis enhetlig bruk av karakterskalaen er Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretterønskelig, må virkemidler velges deretter
UNIVERSITETETI OSLO
Institutt for statsvitenskap
Trenger bedre forståelse av Trenger bedre forståelse av karaktersetting som fenomen (både karaktersetting som fenomen (både individuelle og strukturelle mekanismer)individuelle og strukturelle mekanismer)
Hvis enhetlig bruk av karakterskalaen er Hvis enhetlig bruk av karakterskalaen er ønskelig, må virkemidler velges deretterønskelig, må virkemidler velges deretter
Må ta et skritt tilbake og spørre: Hva er Må ta et skritt tilbake og spørre: Hva er grunnlaget for karaktersettingen?grunnlaget for karaktersettingen?