Udvalgte erfaringer med dokumentation og evaluering i en NGO

24
Kvalitetsudvikling, dokumentation, evaluering, forandringsteori….. (udvalgte) Erfaringer i Blå Kors Danmark

description

Hér fortæller vi lidt om hvordan Blå Kors Danmark tænker om og arbejder med dokumentation og evaluering

Transcript of Udvalgte erfaringer med dokumentation og evaluering i en NGO

Page 1: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Kvalitetsudvikling, dokumentation, evaluering, forandringsteori…..

(udvalgte) Erfaringer i Blå Kors Danmark

Page 2: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Hovedtemaer

• Lidt om Blå Kors Danmark og Forskningsafdelingen (setting)

• Lidt begrebsgymnastik• Det centrale i forandringsteorien er….• Fra forandringsteori til måling

– Operationaliseringsmodel– Datatype, datakilde,

indsamlingsmetode (ift brugere, deltagere…)

• Fra måling til læring• Eksempler

Page 3: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Blå Kors Danmark og Forskningsafdelingen

• Non-profit social organisation• 300 lønnede, 1500 frivillige• Fokus på faglighed og kvalitet / organisation

– Kvalitetschef– Forskningsafdeling

• FA- bevilling og virkelighed:– Forskning – 25 % - forskning i bred forstand– Dokumentation – 50 % - etablere systematisk viden

+ analyse– Innovation – 25 % - nye idéer omsat til praksis– Organisationen Blå Kors,

støttesystemer/forudsætninger – resten af %’erne !!

Page 4: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Centrale værdier for vores arbejde

• Nærvær, faglighed, nye muligheder

• Meningsfuldhed – forskellige interessenter og logikker

• Værdi – det skal gøre en forskel, give mulighed for anerkendelse, læring, udvikling

• Åbenhed – videndeling, ting tilgængelige, samarbejde med os betyder at det bliver brugt andre steder

• Videndeling – tværgående perspektiv supplerer fokus på den enkelte enhed

• Integritet og selvkritik – vi stiller også spørgsmål til os selv

Page 5: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Mødet mellem systemverden og livsverden

For-forståelse:

-At arbejde med systematik, have styr på hvordan ledelse påvirker medarbejdere, og hvordan medarbejderkompetencer hænger mere eller mindre godt sammen med brugergruppens sammensætning ….

-Og at arbejde med at beskrive, dokumentere og spejle sig i dokumentation om, hvad vi gør og hvad vi opnår

- tror vi på styrker den faglige selvbevidsthed – og kvaliteten i arbejdet

Page 6: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Lidt begrebsgymnastik

• Overordnet er vi ved at vænne os og andre til ord som….:– Registrering– Dokumentation– Analyse og læring, evaluering– Reflekteret praksis– Kvalitetsmodeller– Standarder– Akkreditering– Foruden…strategier, videndeling, kvalitetsudvikling

osv osv

Page 7: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Lidt mere begrebsgymnastik

– Data = registrerede oplysninger– Dokumentation = systematiserede oplysninger– Analyse = kigge på data, mønstre, niveauer,

afvigelser– Evaluering = når data møder værdier/kriterier – Læring = når mødet mellem data og

værdier/kriterier fører til andet og mere end ”vi retter ind” – ny erkendelse, nye handlinger, nye erfaringer

Page 8: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Forandringsteori

Forandringsteori (eller andre modeller)

Hjælper med at sætte ord på og systematisere vores for-forståelser om

- Hvad vil vi- Hvad gør vi så- Hvad vil vi gerne, at der kommer ud af det- Hvordan vil vi se, om det så lykkes

Page 9: Udvalgte erfaringer med dokumentation og evaluering i en NGO
Page 10: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Vi bruger Den Logiske Model

Page 11: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Det centrale i forandringsmodel

Afhænger af perspektivet;• Fra idé over handling til resultat - sammenhæng• Nogle gange vigtigt for faglig forståelse og

drøftelse• Nogle gange fokus på succeskriterier• Nogle gange udgangspunkt for

dokumentation/evaluering

Page 12: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Fra forandringsteori til måling

• Operationalisering

Page 13: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Fra forandringsteori til måling

Page 14: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Fra forandringsteori til måling

• Afklaring af datatype (kvantitative/kvalitative, fakta, oplevelser, vurderinger, holdninger, forventninger, vigtighed, tilfredshed, målefterlevelse, målopfyldelse)

Page 15: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Fra forandringsteori til måling

• Afklaring af datakilde(r)

– Hvem ved eller kan på anden måde bidrage til at belyse de spørgsmål, som vi har fundet frem til er interessante?

Page 16: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Fra forandringsteori til måling

• Afklaring af dataindsamlingsmetode

– Tilpasset situationen (survey på en tømmerflåde), de målingsansvarlige, deltagere (alder, kompetenceniveau)

Page 17: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Effektmåling?

• Kan vi reelt måle effekt?

• Problemet er at isolere faktorer med betydning for udvikling/tilstand på givet tidspunkt

• Evidensniveauer

• Indikatorer på effekt

Page 18: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Eksempel – sommerlejre i BKD

• Mål:– Hjælpe udsatte børn og unge til en god

oplevelse, som de kan huske på resten af året, som kan give dem energi og fornyet livslyst

• Delmål:• Give oplevelse• Motivere til aktivitet• Alternativ til problematisk samvær med forældre

• Børn og unge tilbydes 1 uges lejr/kanotur med støtte af voksne (frivillige + prof lejrleder), med aktiviteter med fokus på fysisk udfoldelse, afprøve grænser, etablere relationer, grin og succesoplevelser

Page 19: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Eksempel – sommerlejre i BKD

• Handling: (aktiviteter)

– Børn og unge tilbydes 1 uges lejr/kanotur med støtte af voksne (frivillige + prof lejrleder), med aktiviteter med fokus på fysisk udfoldelse, afprøve grænser, etablere relationer, grin og succesoplevelser

Page 20: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Eksempel – sommerlejre i BKD

• Succeskriterier; (resultater, virkninger) (hvad skal hvem have ud af det)

• Deltagerne har en god oplevelse• Deltagerne etablerer nye relationer• Deltagerne prøver egne grænser• Deltagerne deltager i de tilbudte

aktiviteter• Deltagerne bliver mindre sårbare for

drillerier i skole• Deltagerne får styrket selvværd

Page 21: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Eksempel – sommerlejre i BKD

• Indikatorer;

– De giver udtryk for at have …

– Børn udveksler adresser og chatter sammen efterfølgende

– Registreret opbakning til tilbud

Page 22: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Eksempel – sommerlejre i BKD

Datatyper:

Datakilder:

Dataindsamlingsmetoder:

Page 23: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Eksempel – sommerlejre i BKD

Deltagerevaluering

- Ved spørgsskema (i kano, ja!)

- Ved fællesmøde til afslutning af lejr

- Video på youtube.com

- http://www.youtube.com/watch?v=vygkk-jF2Wg&hl=da

- Hvad med ”speakers corner” / talekassen?

- Interview 3 mdr efter?

Page 24: Udvalgte erfaringer med dokumentation og evaluering i en NGO

Fra måling til læring

• Man kan – både principielt og reelt – godt arbejde med forandringsteori og måling, uden at man er særligt ambitiøs angående faglig udvikling, refleksion og læring

• Men hvorfor dog?

• Brug anledninger i handlingens domæne

• Definer anledninger i refleksionens domæne