Satunnaistettut vertailukokeet (RCT): miksi ja miten?

Matti SarvimäkiAalto-yliopisto ja VATT

Ensiksi

• Mihin kysymykseen kokeilu vastaa?• Millä mittareilla vaikutuksia mitataan?• Mihin päätöksiin tulokset voivat vaikuttaa?• Kuinka suuri vaikutus on riittävän suuri?

• Näihin kysymyksiin on tärkeää vastata kaikenlaisten kokeiluiden suunnittelun alussa

Mihin satunnaistamista tarvitaan?

Kokeiltavan asian vaikutus =

mitä kokeiluun osallistujille tapahtui -(data)

mitä heille olisi tapahtunut ilman kokeilua(arvioidaan vertailuryhmä avulla)

• Vertailuryhmän on keskimäärin oltava kaikin puolin samankaltainen kuin kohderyhmä– tällöin ryhmien väliset myöhemmät erot keskimääräisessä

pärjäämisessä uskottavasti johtuvat kokeiluista

• Satunnaistaminen varmistaa vertailukelpoisuuden– vertailukelpoisen verrokkiryhmän muodostaminen voi olla

mahdollista myös silloin kun satunnaistaminen on mahdotonta

Milloin on satunnaistetun vertailukokeen paikka?

• Tulokset ovat hyödyllisiä– uutta ja hyödynnettävissä olevaa tietoa

• Kokeilulla on mahdollisuus onnistua– mahdollista muodostaa vertailukelpoiset ja riittävän

suuret koe- ja vertailuryhmät (havaintoyksiköiden lkm)

• Kokeilu voidaan tehdä eettisesti kestävällä tavalla

Tyypillisiä virheitä

• Satunnaistaminen epäonnistuu– esim. kokeiluun osallistuminen vapaaehtoista ja

ainoastaan eniten hyötyvät päättävät osallistuvat

• Kokeilussa on liian vähän osallistujia– heikon tilastollisen voiman takia ei mahdollista sulkea

pois suuria vaikutuksia … tai nollavaikutuksia

• Kokeilu vaikuttaa verrokkiryhmään• Kokeilun kohdejoukko ei vastaa sitä joukkoa,

johon toimenpiteet kokeilun jälkeen ulotetaan• Osajoukkotulosten louhinta (seuraavaksi)

Satunnaistamisen eettisyys

• Kokeilun avulla opitaan mikä toimii (ja kenelle)– hyödyttää myöhempiä osallistujia ja koko yhteiskuntaa– perustuslakivaliokunta: tiedon tuottaminen päätöksenteon

tueksi hyväksyttävä syy yhdenvertaisuudesta poikkeamiseen

• Usein kaikki kokeiluun sopivat eivät mahdu mukaan– satunnaistaminen reiluin tapa päättää miten paikat täytetään– etukäteen ei selvää onko kokeiltava asia parempi vaihtoehto

kuin nykykäytäntö

• Eettisesti kestävän kokeilun vaatimukset:– vahingon välttäminen, yksityisyyden suoja, vaikuttavuuden

luotettava mittaaminen, riskien ja hyötyjen etukäteisarviointi