Osaamisen ja sivistyksen parhaaksiOsaamisen ja sivistyksen parhaaksi
Ammatillisen koulutuksen oppimistulosten arvioinnin menetelmien
kehittäminenTYÖELÄMÄYHTEYTTÄ KUVAAVA
INDIKAATTORI
Opetusneuvos, FT, VTM Mari Räkköläinen
OULU 15.4.2014
Osaamisen ja sivistyksen parhaaksi
TAUSTAA
Liittyy laajemmin kansallista oppimistulosten arviointia täydentävien menetelmien kehittämistyöhön
Indikaattorit:• Opiskelijan osaamisen itsearviointi
(testataan osana pintakäsittely- ja elintarvikealan oppimistulosten arviointeja keväällä 2014)
• Työelämäyhteistyön /työelämälähtöisyyden/ työelämäläheisyyden tason/ tilan mittaristo
(suunnittelu käynnistyy keväällä 2014, testaus syksyllä 2014/2015 ?)
Mari Räkköläinen
Osaamisen ja sivistyksen parhaaksi
TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA
Nykytilanteen kartoitus (kansalliset ja koulutuksen järjestäjillä käytössä olevat mittarit/järjestelmät) sekä käyttäjien kokemukset ja kehittämistarpeet (esim. OPIX, AIPAL, OPAL)
Perehdytään erilaisissa (merkittävissä) ammatillisen koulutuksen / opetustoimen henkilöstön kehittämishankkeissa laadittuihin/ sovellettuihin työelämäyhteistyöhön liittyviin kriteeristöihin ja työkaluihin (arvioinnin kohteiden kartoittaminen)
Analysoidaan aikaisempien kansallisten oppimistulosten arviointien tulokset ja tutkintorakenteen kehittämistyön kokemukset ja järjestelmän kehittämistarpeet
Tarkennetaan tiedontarpeet ja indikaattorien laatimisen tavoitteet
Mari Räkköläinen
Osaamisen ja sivistyksen parhaaksi
Aiempien hankkeiden tuotoksia
Työpaikkaohjaajien koulutuksen kriteerit (Yhdessä tekemällä -hanke, OSAO)
Työssäoppimisen laatukriteerit työpaikalle (Yhdessä tekemällä -hanke, OSAO)
Työelämäyhteistyön laadunhallinta, asiakkuuksien johtaminen (Q-master -koulutus, Tuula Sillanpää, Lamppu2015 -hanke, KY LAPPIA)
Työelämäpedagoginen osaamiskartta (Osaava työelämäpedagogi ammatillisessa koulutuksessa -hanke, OAMK/AMOK)
Osaamisen ja sivistyksen parhaaksi
TYÖELÄMÄINDIKAATTORITYÖN SUUNNITELMA
Kehittämisverkoston luominen
• Asiantuntijaryhmät ja tapaamiset
• Alueelliset työpajat
Indikaattorin/ mittariston viitekehys (huom! käsitteistö)
- laadinnan näkökulmat ja sisällölliset painotukset Indikaattorin käyttö / hyöty (lisäarvo)
- kenelle, mihin tarkoitukseen ja miten toteutetaan Mittarien laatiminen/ kokoamisen periaatteet
- määrälliset/ laadulliset indikaattorit
Pilotointi osana kansallista oppimistulosten arviointia
Mari Räkköläinen
Osaamisen ja sivistyksen parhaaksi
TUOTOKSET JA KÄYTTÖTavoitteena on luoda mittarit, jotka ovat
- käyttäjäystävällisiä
- helposti saatavissa olevia
- ydinasioihin keskittyviä, luotettavaa tietoa antavia
- lisäarvoa antavia
- muita tavoitteita?
Käytetään kansallisten oppimistulosten arviointien yhteydessä- täydentää oppimistulosten arviointiaineistoa ja tulosten tulkintaa
- hyödynnetään toiminnan kehittämisessä ja koulutuksen laadun parantamisessa
Myös koulutuksen järjestäjät voivat käyttää
- itsearviointi, vertaisarviointi, laadunhallintajärjestelmät
- täydentää olemassa olevia mittareita/ järjestelmiä
Osaamisen ja sivistyksen parhaaksi
TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA
TARVE saada kansallisesti vertailukelpoista ja luotettavaa tietoa täydentämään oppimistuloksia
TARVE tuottaa hyödyllistä ja käyttökelpoista tietoa valtakunnallisesti ja koulutuksen järjestäjille
Tuo tietoa myös sidosryhmille ja työelämän yhteistyötahoille, opetushenkilöstölle, opiskelijoille, opettajien kouluttajille
Vahvistaa tietoperustaisuutta ja selkiyttää tavoitteiden asettamista, tukee päätöksentekoa ja työelämäyhteyden laadun arviointia valtakunnallisesti ja paikallisesti
Mari Räkköläinen
Osaamisen ja sivistyksen parhaaksi
TYÖELÄMÄINDIKAATTORIN LÄHTÖKOHTIA
Näytöt kehitettiin koulutuksen laadun, ennen kaikkea työelämälähtöisyyden ja -läheisyyden varmistamiseksi
Työelämälähtöisyyttä on kehitetty myös lisäämällä työssäoppimista, työpaikkaohjaajakoulutuksella ja opettajien työelämäjaksoilla
Miten eri koulutuspoliittiset toimenpiteet työelämälähtöisyyden kehittämiseksi ovat vaikuttaneet?
Onko työelämälähtöinen pedagogiikka kehittynyt?
Työelämälähtöisyyden kehittymisen arvioimiseksi tarvitaan oppimistulosten arvioinnin rinnalle indikaattoreita, jotka osittavat työelämälähtöisyyden tasoa
Osaamisen ja sivistyksen parhaaksi
KÄSITTEESTÄ (huom! alustavaa pohdintaa)TYÖELÄMÄLÄHTÖISYYS
- esim. näytön/ oppimistehtävien sisällöt, työssäoppimisjaksot, pedagogiikka
TYÖELÄMÄLÄHEISYYS
- esim. koulutuksen järjestäjän/ opettajan toimintatavat, näyttöympäristön valinta, arvioijien valinta ja kouluttajien käyttö
Työelämäyhteistyö
Työelämäyhteys
Työelämäsuhteet
Osaamisen ja sivistyksen parhaaksi
INDIKAATTORIN MÄÄRITELMÄSTÄOsoitin
Ilmaisin
(Tiivistetty) tilastollinen luku
Laadullinen mittari (laajojen ja monimutkaisten tietojen yksinkertaistaminen), laatua kuvaava
Kriteeri
Absoluuttinen/ suhteellinen
Apuväline
• Tavoitteiden asettamisessa ja seurannassa
• Vertailussa
• Suunnittelussa
• Päätöksenteossa
Osaamisen ja sivistyksen parhaaksi
• INDIKAATTORIT
”ovat määrällisiä esityksiä, joiden voidaan järkeenkäyvästi ajatella tarjoavan kokoavaa tietoa kohdetoiminnan laajuudesta, laadusta ja elinvoimaisuudesta.”” tilastollinen tunnusluku, joka kuvaa ilmiön tilaa ja muutoksia tiivistetysti´, yleensä yhdellä luvulla”” tunnusluvut voivat olla keskiarvoja, osuuksia, määriä suhteessa ko. ”ryhmään” tai esimerkiksi palveluiden käyttö henkeä kohden”
Anu Räisänen 2013
,
Osaamisen ja sivistyksen parhaaksi
Määrällisiä indikaattoriesimerkkejäHR
Henkilöstön mitoitus/opiskelija
Koulutettu/epäpätevä henkilöstö
Taloudelliset voimavarat
Käytettävissä olevat määrärahat/opiskelija
Täydennyskoulutukseen suunnatut varat / osallistumisaste
Palveluiden saatavuus
Odotusaika
Kansainvälinen liikkuvuus
Opiskelijavirta
Hakijat, valitut, keskeyttäneet, tutkinnon suorittaneet,
työhön/jatko- opintoihin sijoittuneet, rekrytoitumisaste
Alan työvoimatiedot
Työvoiman määrä, palkkataso, työllisyysasteAnu Räisänen 2013
Osaamisen ja sivistyksen parhaaksi
Laadullisia indikaattoriesimerkkejäArvojen toteutuminen
opiskelijalähtöisyys
Osallisuus
osallistumisaste, vaikuttamismahdollisuudet,
kuulluksi tulemisen aste
Opiskelijoiden, henkilöstön ja kumppanien tyytyväisyys
tyytyväisyyden aste ja muutos vuodesta toiseen
Ammattikuntakohtaisen toiminnan laatu
prosessi-indikaattorit (itsearvioinnin ja vertaisarvioinnin pohjaksi)
Osaamisen ja sivistyksen parhaaksi
ESIM. (alustavaa)
Työelämälähtöisyys
Opetussuunnitelmien sisällön laatu, näyttöjen arviointikriteerien osuvuus, pedagogiikan laatu
Työelämäläheisyys
työpaikoilla toteutetun työssäoppimisen ja ammattiosaamisen näyttöjen toteutumisaste
Osaamisen ja sivistyksen parhaaksi
Indikaattoreiden laadinnassa tulee tietää:
Mikä on ilmiö, jota indikaattori kuvaa?
Miten indikaattoritieto on kerätty?
Millaisia tulkintoja ilmiöstä voidaan indikaattorin avulla tehdä?
Miten vastata kysymykseen, onko indikaattorin kuvaama tilanne hyvä vai huono?
Millä tavalla voidaan vaikuttaa ilmiöön, jota indikaattori kuvaa?
Kanerva-Kaste hanke / Anu Räisänen 2013
Osaamisen ja sivistyksen parhaaksi
TYÖELÄMÄINDIKAATTORIN LAATIMINEN / Mari Räkköläinen 2014
Työelämäyhteistyö/ työelämäyhteys / työelämälähtöisyys/ työelämäläheisyysArvot
Tavoitteet
SäädöksetLaatuvaatimukset“Kriittiset kohdat”
Laadun arvioinnin kohteetKriteerit
Arviointityövälineet(lomakkeisto, kriteeristö)
Kehittäminen, seuranta
Indikaattorit/tunnusluvut(määrälliset, laadulliset)
Tulos(toteutumisaste, laajuus,
elinvoimaisuus, laatu)
Palaute
Osaamisen ja sivistyksen parhaaksi
TOIMINNAN TULOKSELLISUUDEN ARVIOINTIMALLI
PANOKSET(toiminta-edellytykset)
PROSESSI(tekeminen)
TULOKSET(aikaansaannokset, tuotokset)
VÄLITTÖMÄT VAIKUTUKSET(toimintatapojen muutos)
VAIKUTTAVUUS(miten muutos näkyy kohderyhmässä/ toiminta-kulttuurissa?)
MR 8.10.12 mukaellen ”Theory of Change” –viitekehystä (ks. esim. Pawson & Tilley 1997; Weiss 1995, 1997)
MARI RÄKKÖLÄINEN
Osaamisen ja sivistyksen parhaaksi
Indikaattorin laadinnan näkökulmia
Päämäärä• Mitä (merkittävää) koulutuspoliittista tavoitetta (työelämäyhteistyöllä)
edistetään? Pitkän tähtäimen hyödyt.• Mikä on se muutos, jota (työelämäyhteistyöllä) tavoitellaan?• Miksi kehittämistyö/ toimintamalli on tärkeä?
Toimintaedellytykset• Millaisin panoksin (laadukas, tavoitteet saavuttava) toiminta
(työelämäyhteistyö) on mahdollista?
Prosessi• Millaisen toiminnan avulla tavoitteet saavutetaan? • Mikä on rakenne (mitä) ja prosessi (miten)?• Laadukkaan palvelun osatekijät
Vaikutukset• Mitä toiminta (työelämäyhteistyö) tuottaa (aikaansaannokset, oppimistulokset)?
Mikä on sen hyöty ja mitä toiminnan tuloksena syntyy?
Osaamisen ja sivistyksen parhaaksi
Indikaattorin laadinnan näkökulmia
VAIKUTTAVUUS (Impact, long term goal)
Tavoitteena on muutos
Mitkä ovat pitkän tähtäimen hyödyt lopulliselle kohderyhmälle?
Miten muutos näkyy kohderyhmässä?
Miten muutos näkyy toimintaympäristössä?
Miten toimintakulttuuri muuttuu?
Osaamisen ja sivistyksen parhaaksi
AMMATILLISEN KOULUTUKSEN
TYÖELÄMÄLÄHTÖISYYSPäämäärä - Tavoitteet
TOIMINTAEDELLYTYKSETMATERIAALISET, TALOUDELLISET JA INHIMILLISET
VOIMAVARAT
TOIMINTASuunnittelu – toteutus – arviointi -
kehittäminen
TUOTOKSET
VAIKUTUKSET
TYÖELÄMÄINDIAATTORIN
LAADINNAN NÄKÖKOHTIA
TYÖELÄMÄYHTEISTYÖTÄ KUVAAVAN INDIKAATTORIN LAATIMINEN
Osaamisen ja sivistyksen parhaaksi
Pohdittavaa
Mikä on arviointitiedon tarve?
Miten tyeöelämäindikaattorilla saatava tieto täydentää oppimistulosten arviointeja ja jo käytössä olevia järjestelmiä (kansallisesti/ paikallisesti)?
Mitä lisäarvoa indikaattorin tuottama tieto antaa koulutuksen järjestäjille ja työelämälle ja opettajille/ opetustoimen henkilöstölle?
Miten arviointitieto kootaan koulutuksen järjestäjiltä kansallista indikaattoria varten?
Ja muita….
Osaamisen ja sivistyksen parhaaksi
Aurinkoisia kevätpäiviä!
Hyvää pääsiäistä myös!