Post on 07-Feb-2017
Satunnaistettut vertailukokeet (RCT): miksi ja miten?
Matti SarvimäkiAalto-yliopisto ja VATT
Ensiksi
• Mihin kysymykseen kokeilu vastaa?• Millä mittareilla vaikutuksia mitataan?• Mihin päätöksiin tulokset voivat vaikuttaa?• Kuinka suuri vaikutus on riittävän suuri?
• Näihin kysymyksiin on tärkeää vastata kaikenlaisten kokeiluiden suunnittelun alussa
Mihin satunnaistamista tarvitaan?
Kokeiltavan asian vaikutus =
mitä kokeiluun osallistujille tapahtui -(data)
mitä heille olisi tapahtunut ilman kokeilua(arvioidaan vertailuryhmä avulla)
• Vertailuryhmän on keskimäärin oltava kaikin puolin samankaltainen kuin kohderyhmä– tällöin ryhmien väliset myöhemmät erot keskimääräisessä
pärjäämisessä uskottavasti johtuvat kokeiluista
• Satunnaistaminen varmistaa vertailukelpoisuuden– vertailukelpoisen verrokkiryhmän muodostaminen voi olla
mahdollista myös silloin kun satunnaistaminen on mahdotonta
Milloin on satunnaistetun vertailukokeen paikka?
• Tulokset ovat hyödyllisiä– uutta ja hyödynnettävissä olevaa tietoa
• Kokeilulla on mahdollisuus onnistua– mahdollista muodostaa vertailukelpoiset ja riittävän
suuret koe- ja vertailuryhmät (havaintoyksiköiden lkm)
• Kokeilu voidaan tehdä eettisesti kestävällä tavalla
Tyypillisiä virheitä
• Satunnaistaminen epäonnistuu– esim. kokeiluun osallistuminen vapaaehtoista ja
ainoastaan eniten hyötyvät päättävät osallistuvat
• Kokeilussa on liian vähän osallistujia– heikon tilastollisen voiman takia ei mahdollista sulkea
pois suuria vaikutuksia … tai nollavaikutuksia
• Kokeilu vaikuttaa verrokkiryhmään• Kokeilun kohdejoukko ei vastaa sitä joukkoa,
johon toimenpiteet kokeilun jälkeen ulotetaan• Osajoukkotulosten louhinta (seuraavaksi)
Satunnaistamisen eettisyys
• Kokeilun avulla opitaan mikä toimii (ja kenelle)– hyödyttää myöhempiä osallistujia ja koko yhteiskuntaa– perustuslakivaliokunta: tiedon tuottaminen päätöksenteon
tueksi hyväksyttävä syy yhdenvertaisuudesta poikkeamiseen
• Usein kaikki kokeiluun sopivat eivät mahdu mukaan– satunnaistaminen reiluin tapa päättää miten paikat täytetään– etukäteen ei selvää onko kokeiltava asia parempi vaihtoehto
kuin nykykäytäntö
• Eettisesti kestävän kokeilun vaatimukset:– vahingon välttäminen, yksityisyyden suoja, vaikuttavuuden
luotettava mittaaminen, riskien ja hyötyjen etukäteisarviointi