Satunnaistetut, käyttäytymistieteellisesti muotoillut

kenttäkokeet luotettavan

tiedon tuottajina –

mahdollisuuksia julkisen sektorin

kehittäjilleTOINEN KOKEILUKLINIKKA

29.11.2016

NELLI HANKONEN

SOSIAALI- JA TERVEYSPSYKOLOGIAN DOSENTTI, AKATEMIATUTKIJA

TAMPEREEN YLIOPISTO

Sisältöä, mm.

• Miten kenttäkokeen suunnittelussa kannattaa edetä?

• Mitä hyötyä käyttäytymistieteistä intervention suunnittelussa?

• Milloin ja millä ehdoin satunnaistettuja kenttäkokeita kannattaa järjestää?• Milloin on riittävän hyvä / kannatettava juttu testattavaksi?

• Mallinnus: jos kaikki menisi mahdollisimman hyvin, niin olisiko tämä kustannusvaikuttavaa ja hyväksyttävää ottaa käyttöön

• Tiedetäänkö tästä jo riittävästi – onko näyttöä että tämä todennäköisesti toimii/ei toimi?

• Milloin kenttäkokeet antavat luotettavaa tietoa interventiosta?• Tilastollinen päättely• Voimalaskelmat• Klusteroituminen eli ryvästyminen

• Muita huomioita kenttäkokeiden suunnittelusta

Interventio ~ toimenpide ~ temppu ~ ohjelma =

tietty toimenpidekokonaisuus,

jolla pyritään vaikuttamaan tietyn

kohderyhmän tiettyynkäyttäytymiseen

Esimerkki: Let’s Move It

• Voidaankovähän liikkuvat nuoret saada liikkumaan enemmänkäyttäytymis- ja motivaatiotiedettähyödyntävälläohjelmalla?

1. RYHMÄOHJELMA OPISKELIJOILLE6 viikottaista tapaamista

& ”buusterit” (some, ro-tunnit)(LMI-ohjaaja)

3. LISÄÄNTYNEET LIIKUNTAMAH-DOLLISUUDETMOTIVAATIO KYVYT

ISTUMISENVÄHENTÄMIS-TYÖPAJAT OPETTAJILLE

(LMI-ohjaaja)

2. FYYSISESTI AKTIIVISEMMAT

OPPITUNNIT(Opettajat)

Kotitreeni-videot

MAHDOLLISUUDET

Julistekampanja

Internet-resurssit

KÄYTTÄYTYMINEN

Oppilaitoksen ja lähiympäristön

liikuntaresurssien hyödyntäminen

(Koulutiimi)

OHJELMAKOKONAISUUS

Lisääntynyt liikkuminen

Interventiotutkimuksen kulku (~”Suunnitteleva kokeilu”?) (UK Medical Research Council, 2000)

Lisääntyvän näytön jatkumo

Esitutkimus Vaihe I Vaihe II Vaihe III Vaihe IV

Mitä tästä jo tiedetään?

Miten oletamme

tämän toimivan?

Ovatko interventioja tutkimus-

toimenpiteet hyväksyttäviä

& toimivia?

Onko interventiovaikuttava?

Campbell, M et al. (2000). MRC framework for designing and evaluating complex interventions. British Medical Journal 321: 694 – 696.Ks. myös Rautava et al. Vaikuttavuuden mittaaminen ja palvelujärjestelmätutkimus (TuY)

Miten levitettäisiin

tämälaajaan,

pysyväänkäyttöön?

Nopeat kokeilut:Pieniä, ketteriä

”mini”kokeiluja –Kokeilevaa kehittämistä

Alustava kokeilu

RCT, ”Tutkimuksellinen

kokeilu”, ”vahvistava

kokeilu”

Levittämis-toimenpiteitä

koskeva kokeilu

Miten Let’s Move It:ssa

hyödynnettiinkokeiluja?

~Discover

~Define -Develop

~Deliver

HUOM. Eri vaiheissa kokeiluilla ja niiden arvioinnilla on eri tavoitteita –menetelmät ja toimet valittava tarkoituksen-mukaisesti.

Logiikka-malli – muutoksen mekanismi?

Milloin harkita koetta? Mitä asiasta tiedetään?

• Näytön koonteihin (systemaattisiin katsauksiin) kannattaa tutustua

“Overall, the evidence shows that insights from behavioural

sciences are contributing to reshaping public policy in a

wide range of domains, in particular employment, consumer

protection, health, taxation, environment and transport.

Furthermore, some successful behavioural initiatives seem to be

replicated or adapted across countries, and this includes

well-known examples (e.g. receipt-based tax lotteries) but also

less obvious ones (e.g. the penalty points system for driving

offences).”

BEHAVIOURAL POLICY INITIATIVES -CLASSIFICATION

• TESTATUT (behaviourally-tested)

– Etukäteen testatut, tai alustavan kokeen jälkeen skaalatut toimenpiteet

• KÄYTTÄYTYMISTIETEEN NÄYTÖN INFORMOIMAT (behaviourally-informed)

– Suunniteltu eksplisiittisesti olemassa olevaan käyttäytymistieteelliseen näyttöön

• KÄYTTÄYTYMISTIETEEN KANSSA YHTENEVÄISET (behaviourally-aligned)

– Toimenpiteet, joiden voi – ainakin jälkeenpäin – havaita olevan linjassa käyttäytymistieteellisen näytön

kanssa

European commission, 2016

COM-B -malli (Capability, Motivation, Opportunity – Behaviour)

Kyvyt

Motivaatio

Mahdollisuus

Käyttäytyminen

Michie, S., van Stralen, M., & West, R. (2011) The behaviour change wheel:A new method for characterising and designingbehaviour changeinterventions. Implementation Science, 6(1), 42.

On

hyö

dyl

listä

po

hti

a,

mit

kä t

ekij

ät

vaik

utt

ava

t kä

yttä

ytym

isee

nko

hd

eryh

mä

ssä

: esi

mer

kiks

i…

COM-B-mallin mukaiset pääkäsitteetTeoreettisia käsitteitä (Theoretical Domains Framework)

Kyvyt Psykologiset Tieto

Taidot

Muisti-, havaitsemis- ja päätöksentekoprosessit

Käyttäytymisen säätely (esim. omaseuranta)

Fyysiset Taidot

Mahdollisuudet Sosiaaliset Sosiaaliset vaikutteet (esim. sosiaaliset normit, sosiaalinen tuki,

sosiaalinen vertailu, valta)

Fyysiset Ympäristökonteksti ja resurssit (esim. materiaaliset resurssit,

ihmisen x ympäristön interaktio, organisaatiokulttuuri)

Motivaatio Reflektiivinen Sosiaalinen tai ammattirooli ja identiteetti

Uskomukset kyvyistä (esim. pystyvyys, havaittu käyttäytymisen

kontrolli, voimaantuminen)

Optimismi

Uskomukset seurauksista (esim. tulosodotukset)

Aikomukset (esim. aikomusten stabiilius)

Tavoitteet (esim. tavoitteiden priorisointi, tavoitteiden

autonomisuus)

Automaattinen Sosiaalinen tai ammattirooli ja identiteetti

Optimismi

Vahvistaminen (esim. palkinnot, rangaistukset)

Emootio (esim. ahdistuneisuus, stressi)

• Harvemmat vasta-argumentit – työläys

• Sisäryhmään kuuluminen

• Samastus muihin arvioihin

• Self-affirmation

http://mark-hurlstone.github.io/RHL.16.pdf

• A Affordability/Cost-effectiveness - Kustannusvaikuttavuus

• P Practicability - Käytännöllisyys

• E Effectiveness - Vaikuttavuus

• A Acceptability - Hyväksyttävyys

• S Side-effects/Safety - Sivuvaikutukset

• E Equity - Tasa-arvo

Michie et al (2014) Behaviour Change Wheel

Kriteerit: Minkä seikkojen osalta toimenpiteitä kannattaa arvioida (ennen kenttäkoetta?)

Interventiotutkimuksen kulku (UK Medical Research Council, 2000)

Lisääntyvän näytön jatkumo

Esitutkimus Vaihe I Vaihe II Vaihe III Vaihe IV

Mitä tästä jo tiedetään?

Miten oletamme

tämän toimivan?

Ovatko interventioja tutkimus-

toimenpiteet hyväksyttäviä

& toimivia?

Onko interventiovaikuttava?

Campbell, M et al. (2000). MRC framework for designing and evaluating complex interventions. British Medical Journal 321: 694 – 696.Ks. myös Rautava et al. Vaikuttavuuden mittaaminen ja palvelujärjestelmätutkimus (TuY)

Miten levitettäisiin

tämälaajaan,

pysyväänkäyttöön?

Kokeellinen (experimental) asetelma on ainoa asetelma, jolla voi aidosti tutkia kausaalisia eli syy-vaikutussuhteita

• Verrokki- ja koeryhmän ero ei voi johtua mistään muusta tekijästä

• Muissa aineistoissa millään tilastollisilla vakioinneilla tai rakenneyhtälömalleilla ei voida täysin vedenpitävästi johtaa vaikutuspäätelmiä – kyse on korrelatiivisista yhteyksistä• Toki joissakin tilanteissa kausaalipäättelylle paremmat edellytykset kuin toisissa• Monia erilaisia asetelmia, mm.

• Interventiotutkimus ja ennen-jälkeen -mittaukset• Kvasikokeellinen kenttätutkimus, havainnointi

• Kaikkien ilmiöiden vaikutussuhteita kokeellisella asetelmalla ei ole mahdollista tutkia eettisistä ja / tai käytännöllisistä syistä

• Toisaalta YHDEN YKSITTÄISEN kokeen perusteella ei ole täysin luotettavaa vetää ”lopullisia” johtopäätöksiä - koe kannattaisi toistaa mahdollisuuksien mukaan

Esimerkki: Let’s Move It

• Voidaankovähän liikkuvat nuoret saada liikkumaan enemmänkäyttäytymis- ja motivaatiotiedettähyödyntävälläohjelmalla?

Esimerkki mittauksista

Kokeellisen tutkimuksen tunnuspiirteet:

• Kokeellinen manipulaatio• Esim. tietyllä tavalla muotoiltu pyyntö kirjeessä, uusi hoitomenetelmä,

kampanja, vertaistukiryhmä, tms. interventio

• Verrokkiryhmä saa tavanomaisen käsittelyn, esim.• Tavanomaisesti muotoillun kirjeen

• Parhaan nykyisen hoitomenetelmän

• Ei mitään kampanjaa tai tukiryhmää

• Tutkittavat on jaettu verrokki- ja koeryhmään satunnaisesti, arpomalla – he eivät systemaattisesti eroa minkään muun tekijänsuhteen

Milloin tulisi huomioida klusterit?

• Kun yksittäiset havainnot eivät ole toisistaan riippumattomia• Esimerkiksi luokan oppilaisiin vaikuttaa luokkakaverien asennoituminen

• Vain harvoja klustereita kattavassa kokeessa koko koeasetelma voi mennä mönkään, jos yhdessä organisaatiossa tapahtuu iso muutos joka vaikuttaa kaikkien sen organisaation yksilöiden toimintaan

• Klusteriasetelma vaatii suurempaa otoskokoa

• Laskelmat vaadittavasta tilastollisesta voimasta: hyödynnä netin voimalaskureita ja tilastotieteilijöitä! Näin pääset hyvään arvaukseen tarvittavasta otoskoosta

Huomioitavia asioita

• Stratifiointi, matching• kovariaattien, sekoittavien tekijöiden balansoiminen verrokki- ja koeryhmien välillä

• Plasebo, kaksoissokko

• Interventio”uskollisuuden” (fidelity) varmistaminen / mittaaminen vakioimiseksi

• Kato (drop-out, attrition) • Odotettavissa olevaa katoa voi testata RCT-pilotissa, ja se tulee huomioida tilastollisen

voiman laskelmissa

• Intent-to-treat (ITT) vs per protocol –analyysit

• Julkaisuharha• Aiemmista kokeiluista ja tutkimuksista lukiessa kannattaa pitää mielessä terve kriittisyys:

kaikkia negatiivisia tai ”nolla”tuloksia ei välttämättä ole raportoitu, mikä vääristää kirjallisuutta

• Tilastollinen voima ja replikoimisen tarve!

Korrelaatio ja tapausten lukumäärä

Tapausten lukumäärä-1=

df

Korrelaatiokerroin (r),

joka on merkitsevä p<.05

tasolla

p<.01

10 .58 .70

20 .42 .54

50 .27 .35

100 .20 .25

200 .14 .18

500 .09 .12

1000 .06 .08

Dos. Ari Haukkala

Yhteyden voimakkuus

• Vaikutuskoko (effect size): havaitun yhteyden voimakkuuden mitta• Cohen (1988) ehdottaa yhteyden voimakkuuden arviointiin seuraavia raja-

arvoja (r=korrelaatio, R2=selitysaste, η²=Eta2-kerroin):

Vaikutuskoko r R² η²

Poikkeuksellisen suuri >.70 >.49 >.20

Suuri >.50 >.26 >.14

Keskikokoinen >.30 >.13 >.06

Pieni >.10 >.02 >.01

Dos. Ari Haukkala

Lisälukemistoa

• Käyttäytymistieteen hyödyntämiseen kehittämisessä:• Social marketing – yhteiskunnallinen markkinointi

• Behaviour Change Wheel (University College London, Centre for Behaviour Change)

• Behaviourchangewheel.com

• Intervention Mapping• Interventionmapping.org

• Kokeilujen arvioinnista:• Demos: Design for Government

• Rautava et al. Vaikuttavuuden mittaaminen ja palvelujärjestelmätutkimus (TuY)

• Nokso-Koivisto & Kaskinen: Yhteiskunnalliset kokeilut Suomessa

BLOGS.uta.fi/hankonen