Vaikuttavuusselvit

ys – ohjeita vaikutuksista ja vaikuttavuudesta

kertomiseen

Allianssi-risteily 2014

Elina Vanhapiha, Aalto-yliopiston Pienyrityskeskus

Arsi Veikkolainen, Allianssi

Kulttuuri-, liikunta- ja nuorisoalojen kolmas sektori hyvinvointipalvelujen tarjoajana 2007-2014

+ 3 Monialaisuus-pilottia

2

1.1.2008-30.6.2014

Valo

3

Uusi kolmas sektori: Yhdistysten

palvelutuotanto osana julkista palvelurakennettaToinen eli julkinen sektori:

Valtio ja kunnat

Kolmas sektori: Yhdistykset, seurat, kansalaisjärjestöt,

säätiöt, kirkot

Ensimmäinen eli yksityinen sektori: Markkinat ja yritykset (osakeyhtiö, toiminimi, osuuskunta…)

Neljäs sektori: Perheet ja kotitaloudet

4

5

Kolmannen sektorin suuri merkitys

• Hyvinvoinnin ja terveyden edistämisessä• Ehkäisevässä toiminnassa• Yhteisön tarjoamisessa• Vapaaehtoistoiminnan areenana• Vaikuttamisen kanavana• Asiantuntijoina• Palveluiden ja tuen tarjoajina

…EI NÄY TILASTOISSA. Volyymeja tiedetään, muttei kovin hyvin taloudellista merkitystä. Lähde: Kittilä (2013) Soste

VAIKUTTAVUUSARVIOINNIN ABC

PERUSTEET

6

Mitä vaikuttavuuden arviointi on?

7

8

Vaikutusketju -ajattelu

9

Mitä arvioidaan? Sisäinen ja ulkoinen fokus

10

TAIDELÄHTÖISET

MENETELMÄT(Panokset)

TOIMINTA

KokeiluTekeminen

Uuden luominen

EsiintyminenKokeminenKeskustelu

HavainnointiTulkinta

KOKEMUKSIA(Tuotokset/tulokset)

OsallisuusOivaltaminenOnnistuminen

Omien rajojen rikkominenPositiivisen huomion

saaminenUudet näkökulmat itseen, muihin ja omaan työhön

Omasta roolista irrottautuminenMotivoituminenTasavertaisuusIloitseminen

VAIKUTUKSIA

ItsetuntoonItsetuntemukseenKehonhallintaanElämänhallintaan

Arjen toimintakykyynOmakohtaisen hyvinvointiin

Keskinäiseen luottamukseen

Yhdenvertaisuuden ilmapiiriin

Sosiaalisiin taitoihinKykyyn oppia uuttaRoolien uudelleen

jäsentymiseen

Taidelähtöisen toiminnan vaikutuksia

Malleja on moneksi

11

12

…mutta:

”Työkaluja on hirveästi, mutta itse en lähde malli

edellä mihinkään. Mallien aika on ohi,

tärkeämpää on tiedon kerääminen ja sitten se mihin sitä käytetään….”

- Arvioinnin asiantuntija

13

VAIKUTTAVUUDEN ESITTÄMISEN VÄLINEENÄ

TARINAT JA PROSESSIT

14

Tarina: ”Syrjäytymisvaarassa olevat nuoret oppivat vuorovaikutustaitoja pienryhmätoiminnassa”

Yhdistyksessä on kehitetty pienryhmätoiminnan oma toimintamalli, jossa on jäsennetty, mikä on osallistujan, ohjaajan ja kotiväen rooli toiminnassa. Pienryhmätoiminnan sisältö ja toteuttamistavat on ideoitu yhdessä osallistuvien nuorten kanssa. Tärkeintä pienryhmätoiminnassa on yhdessä oleminen ja vuorovaikutustaitojen oppiminen. Yhteistyökumppaneiden mukanaolo tekemisessä tukee vaikutusten syntymistä. Kunnan nuorisoyksikön kanssa on kyetty luomaan luottamuksellinen yhteistyökuvio, jossa myös kunnan työntekijät kokevat, että yhteistyötä tarvitaan. Yleensä pienryhmätoimintaa ovat vetäneet työparina yhdistyksen työntekijä ja kunnan nuorisoyksikön työntekijä. Ajatuksena on, että kunnan kanssa yhteistyössä saadaan enemmän aikaiseksi.  Järjestötoiminnan etuna on, että järjestö on kuntaa nopealiikkeisempi. Yhdistyksen toimintatapa on rohkea kokeilu. Yhdistys oli mukana yhteistyökuviossa, jossa pienryhmätoimintaan osallistui yhdistyksen kautta ryhmä nuoria ja toisena osapuolena oli kehitysvammaisten nuorten harrasteryhmä. Ajatuksena oli järjestää yhteinen valokuvanäyttely. Kumpikin ryhmä erikseen valokuvasi ystävyyttä, rakkautta yksinäisyyttä yms. teemoja. Sen jälkeen kokoonnuttiin yhdessä asettelemaan kuvia esille. Kuvat olivat hienoja ja niistä löytyi yhteisiä naurun ja ilon aiheita. Yhdistyksen oman ryhmän puolelta nuorilla oli ollut vahva ennakkoasenne, että kehitysvammaisilla on tyhmiä kuvia. Projektin aikana nuorten asenteet erilaisuutta kohtaan muuttuivat täysin. Pienryhmätoiminnassa käytämme itsearvioinnin näkökulmaa. Ohjaajien käytössä on kysymys- ja tarkistuslistoja, jotka liittyvät siihen, mitä asioita käydään läpi toiminnan alussa, sen aikana ja päättymisen jälkeen. Lisäksi keskusteluihin nuorten kanssa on keskustelupohjia. Usein piirtämällä tai tekemällä – toiminnallisesti – saa paremmin asioita esille kuin perinteisillä kyselylomakkeilla.

Haastattelu: Päivi Erkko, Otsolan Kannatusyhdistys ry, lähteenä myös www.otsola.net/nuorisotyo

15

16

17

Oma tarina ja vaikutuskaavio• Arviointityö on oppimisprosessi. • Tärkeintä on palvelutoiminnan vaikutusprosessin ymmärtäminen ja

kuvaaminen.• Mieti vaikutuksia ja prosesseja sidosryhmittäin, sidosryhmä kerrallaan.

Työkysymyksiä vaikutusprosessin kuvaamiseen :1) Mitä teemme? 2) Miten uskomme sen vaikuttavan?3) Mikä johtaa seuraavaan vaiheeseen ja lopulta odotettuihin tuloksiin ja

vaikutuksiin, miksi ja millä edellytyksillä? 4) Ovatko toiminta ja tulokset ja vaikutukset selvästi yhteydessä toisiinsa? 5) Ovatko odotetut tulokset ja vaikutukset samat kuin toiminnan tavoitteet? 6) Mitä sivuvaikutuksia toiminnalla ennakoidaan olevan?

18

VAIKUTTAVUUDEN JOHTAMINEN ON TÄRKEÄÄ

MIKSI

Jokaisen sisällä on arvioitsija ja jokainen

pystyy tekemään arviointia: perustyökaluja pystyy ottamaan käyttöön kuka tahansa toiminnan kehittämisen osana….”- Arvioinnin asiantuntija

19

Vaikuttavuuden johtamisen askeleet

1. Tavoitteiden asettaminen ja suunnittelu• Sidosryhmät• Aineisto ja mittarit• Seuranta

2. Vaikutusten todentaminen, arvottaminen ja seuranta

3. Raportointi ja viestintä

4. Tiedon hyödyntäminen ja toiminnan kehittäminen

20

• Kuinka voimme osallistaa sisäiset ja ulkoiset sidosryhmät mukaan suunnitteluun?

• Tavoittelemmeko lähivaikutuksia asiakkaille/palvelujen käyttäjille vai laajemmin yhteiskuntaan? Millainen vaikutustarina meillä on?

• Ovatko tavoitteemme realistisia? Kenen tehtäviin vaikutukset liittyvät?

• Miten osoitamme vaikutukset/tuotamme todisteita vaikutuksista?

• Mittaammeko oikeita asioita? Onko meillä yhteisymmärrys mittareista ja niihin liittyvistä indikaattoreista sekä niiden soveltuvuudesta ja hyödyllisyydestä toimintamme kannalta?

Handbook työkalut: 4. Vaikutustavoitteiden asettaminen

1. Tavoitteiden asettaminen ja suunnittelu Sidosryhmät, aineistot ja mittarit, seuranta

21

• Kuka voi kerätä ja tuottaa tietoa?- Ohjaaja / valmentaja / palvelun tuottaja: Nopeat vaikutukset ilmenevät heti palvelun

tuottamisen jälkeen – olennaista kerätä palaute heti

- Kehittämisestä vastaavat työntekijät: Pidempiaikaista seurantaa keskitetysti

- Vapaaehtoiset / muut resurssit?

• Millaisia työtapoja, työkaluja tai ohjeita seurantaan meillä on tai voimme ottaa käyttöön?

• Kuka voi tiivistää ja tietoa viestittävään muotoon?

• Miten edistämme sitoutumista tiedonkeruuseen (ja palkitsemme siitä?)?

• Kuinka usein seuraamme? - Nopea palaute viikko- tai kuukausipalavereissa

- Tärkeää seurata trendejä myös pidemmällä aikavälillä, käsittely 3-4 krt/vuosi (vahvistuvatko/voimistuvatko vaikutukset esim. verrokkiryhmillä?)

- Jos mahdollisuus pidempiaikaiseen seurantaan, muutama kerta vuodessa

- Vaativatko ulkoiset sidosryhmät tiettyä vuosittaista aikataulua?

2. Vaikutusten todentaminen, arvottaminen ja seuranta

22

Mitä tietoa kerätään ?

Esimerkkiteema: Asiakasvaikutukset• Mikä on asiakkaiden näkökulmasta toiminnan merkitys heidän

elämäntilanteensa selkiytymiselle ja paranemiselle? • Mikä on ollut asiakkaiden mielestä tehokasta ja vaikuttavaa järjestetyssä

toiminnassa? • Onko asiakkaiden elämänpiiriin tullut uutta mielekästä toimintaa tai

sosiaalisia suhteita? Millaista?• Miten asiakkaiden hyvinvointi on kohentunut toiminnan aikana?

Handbook työkalut: 36. Palvelutoiminnan vaikuttavuussuunnitelma

23

Eri ihmiset/tahot kaipaavat erilaista tietoa ja eri muodossa • Mitä kerromme?• Missä muodossa?• Koska?• Kenelle?

Entä miten vaikutustarinamme elää palveluissamme?• Nimissä, kuvauksissa ja tuotantotavassa. Esim. ”Vaikuttava sirkus” >

”Elämänilon sirkus”, ”Sopuisa sirkus”…

3. Raportointi ja viestintä

24

Vuoden hankkeiden ja toimintamuotojen käynnistys ja työnjako• Tiedon keruun ja

tuottamisen käynnistäminen organisaation

kanssa

Kevätkokous• Vaikutustarinan viestintä

sisäisesti/jäsenistölle 1

Talousarvion päivitys• Määrällisten/taloudellisten

mittarien läpikäynti ja tarkennus

Syksyn toimintamuotojen käynnistys• Tiedon keruun ja

tuottamisen resursointi ja käynnistäminen organisaation kanssa

Syyskokous• Vaikutustarinan

viestintä sisäisesti / jäsenistölle 2

Vuosijuhla• Vaikutustarinan

viestintä muille sidosryhmille 2

tammi

helmi

maalis

huhti

touk

o

kesäheinä

elo

syys

loka

mar

ras

joulu

SEURANTAKOKOUS 2: Palvelujen vaikutukset- Johtopäätökset kevään vaikutuksista, alustavat päätökset seuraavan vuoden vaikutussuunnitelman kehittämistä varten

SEURANTAKOKOUS 4: Edellisen vuoden arviointi- Todennettujen yhteisvaikutusten koonti. Päätökset viestinnästä

VAIKUTUSPERUSTEISEN TOIMINNANOHJAUKSEN VUOSIKELLO

Vaikuttavuustiedon kerääminen ja tuottaminen koko

vuoden, osana arkityötä

SEURANTAKOKOUS 1: Tiedon keruu ja tuottaminen- Arviointi ja päätökset tiedon keruun muutoksista

Tiedotus, uusien jäsenten hankintakampanjat• Vaikutustarinan

viestintä

Toimintasuunnitelman talousarvion valmistelu• Vaikuttavuustavoitteid

en alustava asettaminen

• Mittarien asettaminen• Tiedon keruun ja

tuottamisen suunnittelu

Sidosryhmäyhteistyön ja yhteistoiminnan suunnittelu• Vaikutustavoitteiden

täsmentäminen palveluittain

Toimintakertomuksen ja tilinpäätöksenvalmistelu• Todennettujen

yhteisvaikutusten koonti vaikutustarinaksi

• Määrällisten/taloudellisten vaikutusten raportointi

Sidosryhmätapaamiset• Vaikutustarinan viestintä

muille sidosryhmille 1

SEURANTAKOKOUS 3: Vaikutustavoitteet ja mittarit- Päätökset seuraavan vuoden vaikutustavoitteista ja mittareista

25

• Olemmeko tyytyväisiä saavuttamiimme vaikutuksiin?

• Haluammeko parantaa/laajentaa vaikutuksiamme?

• Asetammeko uusia vaikutustavoitteita? Millaisia?

• Miten parannamme toimintaa (jotta saavutamme vaikutukset paremmin)?

4. Tiedon hyödyntäminen ja toiminnan kehittäminen

26

MateriaaliaKolmas lähde:• Vuorovaikutuksesta vaikuttamiseen –selvitys: s.33 ”kotitehtävä”

http://www.kolmaslahde.fi/tietoa/selvitykset

• Handbook työkalut: 4, 36, 37 ja 38 http://www.kolmaslahde.fi/tietoa/handbook

• Casebook caset (avainsana vaikuttavuus):6, 18, 34, 40, 45, 51, 64, 68 http://www.kolmaslahde.fi/tietoa/casebook

Muut:• Selvitys ja opas sirkustoiminnan vaikuttavuudesta:

http://www.vaikuttavasirkus.fi/index.php?page=julkaisuja

• SOSTE materiaalit: http://www.soste.fi/kehitamme/arviointitoiminta/arviointitietoa/arviointityokaluja.html

Kiitos!