Juurakko-Paavola: Yo-kielikokeiden tulokset verrattuna LOPSiin
Transcript of Juurakko-Paavola: Yo-kielikokeiden tulokset verrattuna LOPSiin
ylioppilastutkinto.fi digabi.fi
Mitä ylioppilastutkinto kertoo
lukiolaisten kielitaidon tasosta
- ylioppilastutkinnon
kielikokeiden tulokset
verrattuna LOPSiin
Taina Juurakko-Paavola & Sauli Takala
30.11.2013
Taustaa ja tavoitteet
Tuloksia
Johtopäätöksiä
Esityksen rakenne
● OKM:n erillisrahoitus v. 2012
● Jatkona Kielivaliokunnan tekemälle määrätietoiselle kehittämis- ja
laadunvarmistustyölle
● Tavoitteet
1) laadunvarmistus: varmistaa että kielikokeet vastaavat Lukion
OPSissa kullekin oppimäärälle esitettyjä tavoitetaitotasokuvauksia
2) yo-arvosanojen kansainvälisen vertailtavuuden edistäminen:
tulosten vertaaminen Eurooppalaisen viitekehyksen
taitotasokuvauksiin (=EVK, CEFR)
3) taustatiedon antaminen lukion ops-työhön
Taustaa ja tavoitteet
Taitotasojen määrittämisen taustamateriaalit
● Eurooppalainen viitekehys (=EVK 2003, Common European
Framework of Reference for Languages=CEFR 2001)
● Lukion opetussuunnitelman perusteiden taitotasokuvaukset
(2003)
● Manual for Relating Language examinations to the CEFR
(2009) (Council of Europe)
Taustaa
A B
C
A1 A2
B1
B2
C1
C2
Alle A1
EVK-asteikolla
voidaan tehdä monia
tasoerotteluja
A1.1
A1.2
A2.2
A2.1
B1.1
B1.2
B2.1
B2.2
C1.1
C1.2
C2.1
C2.2
Lukion oppimäärät ja tavoitetasot
Taitotasojen asettaminen (1)
● Lähtöoletus on, että kokeen/tutkinnon tulee olla korkealaatuinen: reliaabeli
ja validi. Tämä lähtökriteeri ei aiheuta ongelmia.
● Yhdistetään asiantuntijoiden arviot tehtävien edellyttämästä taitotasosta
empiiriseen tietoon niiden vaikeustasosta/taitotasosta.
● Asiantuntijoiden on tunnettava eurooppalaiseen viitekehyksen ja
opetussuunnitelman taitotasomääritelmät ja osattava tulkita tasoja riittävän
tarkasti.
● Varmistetaan, että asiantuntijoiden kyky arvioida tehtävät on hyvä, jotta
saadaan näyttöä, kuinka hyvin taitotasojen asettamisen keskeinen edellytys
täytetään.
Taitotasojen asettaminen (2)
● Käytetään lukuisista mahdollisista metodeista sellaista, joka soveltuu hyvin aineistoon ja josta on hyviä kokemuksia aikaisemmista hankkeista (pitkä englanti v. 2001 ja keskipitkä ruotsi v. 2004).
● Analysoidaan aineisto tilastollisesti ja määritellään taitotasorajat.
● Tarkistetaan, kuinka kokeen tehtävät (osiot ja kirjoitussuoritukset) sijoittuvat taitotasoille.
● Tarkastellaan tämän perusteella, miten kokeet vastaavat opetussuunnitelmassa asetettuja tavoitetasoja (kokeiden vaikeustason sopivuus).
● Tarkastellaan ylioppilaskokeen pisterajoja suhteessa taitotasorajoihin.
● Pohditaan mahdollisia jatkotoimenpiteitä.
Taitotasojen asettamisen vaihe 1a
Kielivaliokunnan ja sensoreiden tekemää työtä
1 a) Perehtyminen viitekehyksen taitotasoihin:
● Etukäteistehtävänä tutustua tiettyihin taitotasokuvauksiin
● Kuvausten läpikäyminen yksi kuvaus kerrallaan
● Oikeiden taitotasojen näyttäminen
● Keskustelu tuloksista
Tulokset osoittavat, että arvioijat olivat perehtyneet hyvin
taitotasoihin
Arvioija Kuullun
ymmärtä-
minen
Luetun
ymmärtä-
minen
Kirjoitta-
minen
Kielioppi Sanasto
.980 .983 .970 .960 .983
.964 .983 .979 .976 1.00
.929 .923 .965 .942 .940
.864 .912 .990 .960 .973
.922 .869 .957 .899 .969
.941 .895 .905 .946 .909
.936 .941 .974 1.00 .982
.944 .842 .990 1.00 .812
.957 .852 .928 .875 .983
Englanti: Sensoreiden kuvainten arvioinnnit verrattuna viitekehyksen tasoihin; korrelaatio (samansuuntaisuus; tarkka vastavuus alhaisempi mutta varsin hyvä; +/1 yksi taso)
Osataito Täysi yksimielisyys Taitotasojen
vaihteluväli
Yhden tason
poikkeaminen +/-
Kuullun ymmärtä-
minen (12
väittämää)
60, 58, 85, 43,
88, 80, 70, 58,
70, 53, 60
2-4
100, 93, 98, 100, 98,
100, 98, 100, 98, 95,
93, 100,100
Luetun
ymmärtäminen (12
väittämää)
81, 67, 70, 91,
37, 51, 67, 58,
58, 58, 49, 28
2-4
81, 95, 91, 88, 88, 97,
88, 81, 77, 91, 100
Kirjoittaminen (10
väittämää) 53, 46, 51, 53,
63, 63, 88, 59,
80, 78
2- 5 78, 93, 98, 90, 90, 90,
100, 95, 95, 100
Kielioppi (10
väittämää) 52, 73, 73, 64,
93, 73, 25, 64,
75, 68
2-3 89, 86, 100, 100,
100, 100, 100, 100,
100, 100
Sanasto (10
väittämää) 93, 75, 34, 70,
91, 48, 84, 95,
73, 93
2-4 100, 100, 93, 100,
98, 91, 98, 100, 91,
100
Deskriptoreiden arviointien tarkkuus ( %)
Taitotasojen asettamisen vaihe 1b
Kielivaliokunnan ja sensoreiden tekemää työtä
1b) Tekstien ja tehtävien/Kirjoitussuoritusten arviointi
viitekehysten taitotasokuvausten avulla
● Jokainen teksti ja tehtävä/osio arvioitiin erikseen
● Kirjoitussuoritukset suoraan viitekehyksen taitotasokuvausten avulla ja
YTL-pisteasteikolla
Taitotasojen asettamisen vaihe 2
Taitotasojen asettamiseen perehtyneiden asiantuntijoiden ja
aktuaarin tekemä työ
● Vaiheessa 1 tuotetun datan syöttäminen
● Valmiina olevan datan hyödyntäminen (esim. osioiden
ratkaisuprosentit)
● Tilastolliset ajot ja testit
Koodi
Osio
-
tyyp
pi
Ma
x
pist
.
Pai-
no
Ratk
. %
Arv_
k-arvo
Arv_
media
ani
Arv_
moodi
Keski-
virhe Viitek.
taso
Ops
_tas
ot
KY1 MV 1 1 54,7 9,96 7 7 0,16
B2/C1 B2.2
KY2 MV 1 1 89,8 5,45 5 5 0,14
A2/B1 A2.2
KY3 MV 1 1 81,6 8,92 7 7 0,18
B1 B1.1
KY4 MV 1 1 62,6 8,60 7 7 0,14
B2 B2.1
KY5 MV 1 1 59,5 8,44 7 7 0,19
B2/C1 B2.2
Osiotasoiset tulokset – englanti (ote, esimerkki tulostuksesta)
Pitkä englanti: Osioiden koodi, koetyyppi, maksimipistemäärä, painokerroin, rat-
kaisuprosentti, taitotasoarviointien keskiarvo/mediaani/moodi, keskiarvon keskivirhe
sekä eurooppalaisen viitekehyksen ja opetussuunnitelman mukainen taitotaso.
ylioppilastutkinto.fi digabi.fi
Tuloksia
● Mikä on Ylioppilastutkinnon kielikokeiden vaikeustaso
verrattuna LOPSin taitotasoihin?
Tutkimuskysymys 1.
Keskipitkä suomi
Keskipitkä ruotsi
Pitkä englanti
Lyhyt ranska
Lyhyt saksa
Kokeiden vaikeustaso vs. Lukion opetussuunnitelman
perusteiden tavoitetaso
Suhteellisesti helpoin Suhteellisesti vaikein
Taulukko 14. Pitkän englannin kokeen
osioiden jakautuminen taitotasoille
Osataito Osiot Alle
A2.2
A2.2 B1.1 B1.2 B2.1 B2.2 Yli
B2.2
Kuullun
ymmärtä-
minen/30 osiota
n 4 7 8 7 4
% 13,3 23,3 26,7 23,3 13,3
Luetun
ymmärtäminen/
30 osiota
n 2 4 8 5 9 2
% 6,7 13,3 26,7 16,7 30,0 6,7
Sanasto ja
rakenteet/
40 osiota
n 6 12 8 4 2 8
% 15,0 30,0 20,0 10,0 5,0 20,0
Osioita/100 n 2 14 27 21 20 8 8
% osioista % 2,0 14,0 27,0 21,0 20,0 8,0 8,0
Taulukko 15. Keskipitkän ruotsin kokeen
osioiden jakautuminen taitotasoille
Osataito Osiot Alle
A2.2
A2.2 B1.1 B1.2 Yli
B1.2
Kuullun
ymmärtäminen
/
30 osiota
n 3 16 7 3 1
% 10,0 53,3 23,3 10,0 3,3
Luetun
ymmärtäminen
/
30 osiota
n 7 11 9 1 2
% 23,3 36,7 30,0 3,3 6,7
Sanasto ja
rakenteet/
30 osiota
n 4 14 8 4
% 13,3 46,7 26,7 13,3
Osioita/90 n 14 41 24 8 3
% osioista % 15,6 45,6 26,7 8,9 3,3
Taulukko 16. Keskipitkän suomen kokeen
osioiden jakautuminen taitotasoille
Osataito Osio
t
Alle
A2.
2
A2.2 B1.1 B1.2 Yli
B1.2
Kuullun
ymmärtämine
n/
25 osiota
n 8 11 5 1
% 32,0 44,0 20,0 4,0
Luetun
ymmärtämine
n/
30 osiota
n 6 17 6 1
% 20,0 56,7 20,0 3,3
Sanasto ja
rakenteet/
25 osiota
n 3 13 6 3
% 12,0 52,0 24,0 12,0
Osioita/80 n 17 41 17 2 3
% osioista % 21,3 51,3 21,3 2,5 3,8
Taulukko 17. Lyhyen ranskan kokeen
osioiden jakautuminen taitotasoille
Osataito Osiot Alle
A2.1
A2.1 A2.2 B1.1 Yli
B1.1
Kuullun
ymmärtämine
n/
30 osiota
n 8 8 7 5 2
% 26,7 26,7 23,3 16,7 6,7
Luetun
ymmärtämine
n/
30 osiota
n 9 7 8 6
% 30,0 23,3 26,7 20,0
Sanasto ja
rakenteet/
30 osiota
n 4 12 8 3 3
% 13,3 40,0 26,7 10,0 10,0
Osioita/90 n 21 27 23 14 5
% osioista % 23,3 30,0 25,6 15,6 5,6
Taulukko 18. Lyhyen saksan kokeen
osioiden jakautuminen taitotasoille
Osataito Osio
t
Alle
A2.1
A2.1 A2.2 B1.1 Yli
B1.1
Kuullun
ymmärtäminen/
30 osiota
n 7 9 5 9
% 23,3 30,0 16,7 30,0
Luetun
ymmärtäminen/
30 osiota
n 11 6 10 2 1
% 36,7 20,0 33,3 6,7 3,3
Sanasto ja
rakenteet/
26 osiota
n 4 9 10 3
% 15,4 34,6 38,5 11,5
Osioita/86 n 18 19 24 21 4
% osioista % 20,9 22,1 27,9 24,4 4,7
● Mitkä ovat Ylioppilastutkinnon kielikokeissa
saavutetut taitotasot?
Tutkimuskysymys 2.
Kuvio 2. Kokelaiden jakaumat kielittäin eri
taitotasoille keväällä 2012
0
10
20
30
40
50
60
70
80
Alle A2.1 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 Yli B2.2
Pitkä englanti
Keskipitkä ruotsi
Keskipitkä suomi
Lyhyt ranska
Lyhyt saksa
Kuvio 3. Prosentuaaliset taitotasojakaumat keskipitkässä
ruotsissa ja keskipitkässä suomessa
0
10
20
30
40
50
60
70
80
Alle A2.2 A2.2 B1.1 Yli B1.1
3
65,5
28,8
2,8 4,3
70,2
23,3
2,4
Keskipitkä ruotsi Keskipitkä suomi
Taulukko 22. Eri oppimäärien kirjoittajien osuudet lyhyessä
ranskassa ja lyhyessä saksassa keväällä 2012
Oppim
äärä
Lyhyt ranska Lyhyt saksa
n % n %
A 118 9,9 293 16,9
B1 16 1,3 13 0,8
B2 507 42,4 757 43,8
B3 442 37,0 548 31,7
Ei
tietoa
113 9,4 119 6,9
Yht. 1196 100,0 1730 100,0
Kuvio 4. Prosentuaaliset taitotasojakaumat lyhyessä ranskassa ja
lyhyessä saksassa
0
10
20
30
40
50
60
Alle A2.1 A2.1 A2.2 B1.1 Yli B1.1
0,9
13
52,5
29,8
3,7 1
9,5
52,6
34,4
2,5
Lyhyt ranska Lyhyt saksa
● Mikä on Ylioppilastutkinnon kielikokeiden
arvosanojen ja opetussuunnitelman perusteiden
taitotasojen vastaavuus?
Tutkimuskysymys 3.
Eri kielten yo-arvosanojen ja Lukion opetussuunnitelman
perusteiden (2003) taitotasojen vastaavuus
Kieli Tavoitetaso Arvosana
Keskipitkä suomi B1.1/B1.2 Eximia cum laude
Keskipitkä ruotsi B1.1/B1.2 Magna cum laude
Pitkä englanti B2.1 Cum laude
Lyhyt ranska A2.1/A2.2 Approbatur/
Lubenter
Lyhyt saksa A2.1/A2.2 Approbatur/
Lubenter
Taulukko 29. Eri kielten yo-arvosanojen ja Lukion opetussuunnitelman perusteiden (2003) taitotasojen
vastaavuus kevään 2012 tutkinnossa vertailussa tietyn arvosanan laskennalliseen tavoitetasoon (LOPS-
tavoitetaso varjostettu)
Kieli Approba
tur
Lubenter Cum laude Magna Eximia Laudatur
Pitkä
englanti
K-2012 Matala
B1.2
Vahva B1.2 Matala B2.1 Vahva
B2.1
Vahva 2.1/
Matala B2.2
Vahva B2.2/Yli
B2.2
Lask. Vahva B1.1
B1.2 Matala B2.1 Vahva
B2.1
Matala B2.2 Vahva B2.2
Keskipit
kä
ruotsi
K-2012 Matala
A2.2
Keskitasoinen
A2.2
Vahva A2.2 Matala
B1.1
Keskitasoi-
nen B1.1
Vahva B1.1/
B1.2
Lask. Matala
A2.2
Keskitasoinen
A2.2
Vahva A2.2 Matala
B1.1
Vahva B1.1 B1.2
Keskipit
kä
suomi
K-2012 Matala
A2.2
Keskitasoi-nen
A2.2
Keskitasoine
n A2.2
Vahva
A2.2
Matala B1.1 Vahva B1.1/
B1.2
Lask. Matala
A2.2
Keskitasoinen
A2.2
Vahva A2.2 Matala
B1.1
Vahva B1.1 B1.2/Vahva
B1.1
Taulukko 29. Eri kielten yo-arvosanojen ja Lukion opetussuunnitelman perusteiden (2003) taitotasojen
vastaavuus kevään 2012 tutkinnossa vertailussa tietyn arvosanan laskennalliseen tavoitetasoon (LOPS-
tavoitetaso varjostettu)
Kieli Approbatu
r
Lubenter Cum laude Magna Eximia Laudatu
r
Lyhyt
ranska
K-2012 Keskitasoi
nen A2.1
Vahva
A2.1/Matala
A2.2
Keskitasoine
n/Vahva A2.2
Vahva A2.2/
Matala B1.1
Keskitasoi-
nen/
Vahva B1.1
Vahva
B1.1/
B1.2
Lask. Matala A2.1 Vahva A2.1 Matala A2.2 Vahva A2.2 Matala B1.1 Vahva
B1.1
Lyhyt
saksa
K-2012 Vahva A2.1 Matala A2.2 Vahva A2.2 Vahva A2.2/
Matala B1.1
Vahva B1.1 Vahva
B1.1/
B1.2
Lask. Matala A2.1 Vahva A2.1 Matala A2.2 Vahva A2.2 Matala B1.1 Vahva
B1.1
Kuvio 5. Yo-arvosanojen ja taitotasoarvosanojen
jakaumat pitkässä englannissa
0
5
10
15
20
25
30
35
i a b c m e l
Yo-arvosana Taitotasoarvosana
Kuvio 6. Yo-arvosanojen ja taitotasoarvosanojen jakaumat
keskipitkässä ruotsissa
0
5
10
15
20
25
30
i a b c m e l
Yo-arvosana Taitotasoarvosana
Kuvio 7. Yo-arvosanojen ja taitotasoarvosanojen jakaumat
keskipitkässä suomessa
0
5
10
15
20
25
30
i a b c m e l
yo-arvosana taitotaso
Kuvio 8. Yo-arvosanojen ja taitotasoarvosanojen jakaumat
lyhyessä ranskassa
0
5
10
15
20
25
30
i a b c m e l
Yo-arvosana Taitotasoarvosana
Kuvio 9. Yo-arvosanojen ja taitotasoarvosanojen jakaumat
lyhyessä saksassa
0
5
10
15
20
25
30
35
40
i a b c m e l
Yo-arvosana Taitotasoarvosana
ylioppilastutkinto.fi digabi.fi
Johtopäätöksiä
1) Arvostelun kehittäminen:
- suhteellinen arvostelu ei toimi kielikokeissa ja eri kielten arvosanat eivät vertailukelpoisia keskenään: lyhyissä kielissä vaatimustaso hyvään arvosanaan kohtuuton verrattuna lukion tavoitetasoon
- taitotasoperustainen arviointi yo-arvosanan rinnalle, arvosanamerkintä esim. tyyliin:
● Englanti (pitkä oppimäärä), laudatur (B2)
2) Kokeiden vaikeustason laadunvarmistus: sähköistämisen myötä siirtyminen osiopankkipohjaiseen testaukseen, myöhemmin adaptiiviseen testaukseen
3) Opetussuunnitelmatyö ja opetuksen kehittäminen:
erityisesti Lukion opetussuunnitelmien perusteiden mahdolliset tarkistustarpeet tavoitetasojen osalta ja opetuksen kehittäminen
Kehittämistarpeita
Jo sovittu
• Uuden laskentamallin käyttö arvosanoja jaettaessa keväästä 2014 alkaen (kaikissa aineissa)
• Pitkässä englannissa ja keskipitkässä ruotsissa taitotasoarvio yo-arvosanan lisäksi mahdollisesti keväästä 2014 alkaen
Myöhemmin
• Kokonaisvaltaisen kielikokeiden kehittämissuunnitelman laatiminen
• Nyt tutkimuksen ulkopuolelle jääneiden oppimäärien vertaaminen
• Tutkimus- ja kehittämistyötä yhdessä tutkijoiden ja opettajien kanssa
• Suullisen kielitaidon osakoe viimeistään 2019
Kehittämistyön seuraavat askeleet
Lisätietoja
Tutkijayliopettaja Taina Juurakko-Paavola, sposti taina.juurakko-
Professori (emer.) Sauli Takala, sposti [email protected]