Utvärderingens delar
description
Transcript of Utvärderingens delar
![Page 1: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/1.jpg)
www.gu.se
Utvärderingens delar- Exempel från Folkhälsoenhetens
utvärderingar
![Page 2: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/2.jpg)
www.gu.se
Disposition
• Utvärderingsobjekt• Syfte och användning• Design och datainsamling• Bedömning och värdering• Analys och slutsatser
![Page 3: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/3.jpg)
www.gu.se
Utvärderingsobjektet
![Page 4: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/4.jpg)
www.gu.se
• Programlogik och struktur• Förförståelse och antaganden• Programteori
• Två utvärderingar:–Slututvärdering av Folkhälsokommitténs satsning på
projekt för utsatta grupper i Västra Götaland 1999-2001–Nationell utvärdering av FaR
![Page 5: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/5.jpg)
www.gu.se
Konkretisera utvärderingsobjektet• Vad är det som ska utvärderas?• Exempel:
- utvärdering av satsningen på projekt riktade till utsatta grupper.
1: satsningen som helhet
2: de enskilda projekten3: satsningen som helhet samt de enskilda projekten
![Page 6: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/6.jpg)
www.gu.se
• Tänkbara effekter och mål?• Hur uppnås dessa?• Verktyg: programteori
• Eventuella avgränsningar• Utvärderingsobjektet avgörande för hur syftet formuleras
– Bestämmer således hela utvärderingens upplägg
Hur ser logiken i utvärderingsobjektet ut?
![Page 7: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/7.jpg)
www.gu.se
![Page 8: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/8.jpg)
www.gu.se
Ex. från FaR-utvärdering:
Min rekonstruktion:
![Page 9: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/9.jpg)
www.gu.se
Syfte och användning
![Page 10: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/10.jpg)
www.gu.se
Syfte
Utveckla verksamheten Kontrollera verksamheten Ge nya kunskaper om verksamheten
Legitimera verksamheten Manipulera verksamheten
![Page 11: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/11.jpg)
www.gu.se
Användning Instrumentell användning
- Rekommendationer från utvärderingen omsätts i verkligheten. Konceptuell användning
- Utvärderingen påverkar inställning/ attityd. Inga konkreta förändringar. Legitimerande användning
- Utvärderingen används för att legitimera legitimera ett projekt eller aktivitet för en redan intagen ställning.
Strategisk användning - Utvärderingen används för att vinna tid eller undvika ansvarsutkrävande. En utvärdering är tillsatt vilket tyder på att något görs.
Processanvändning - Utvärderingsprocessen leder till förändring.
![Page 12: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/12.jpg)
www.gu.se
Design och datainsamling
‒ Konsten att välja rätt verktyg
![Page 13: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/13.jpg)
www.gu.se
Vad är metod?
• Kvalitativ • Fördjupning, ej det generella • Intervjuer, fokusgrupper, mindre urval• Kvantitativ• Generella resultat, frekvens • Enkäter, stort urval
![Page 14: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/14.jpg)
www.gu.se
Urval
• Vad frågar man efter? • Hur många tycker…?• Representativitet• Hur många elever har uppmärksammat kampanjen om klamydiatester?
• Vad tycker elever om kampanjen?
![Page 15: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/15.jpg)
www.gu.se
Varför är metod viktigt?
• Ge värde till resultaten• Tillförlitliga resultat• Tillförlitligt underlag för beslut • Ge styrka till föreslagna förbättringar• Stöd till utvärderaren• Underlag för diskussion & förståelse av utvärderingen
![Page 16: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/16.jpg)
www.gu.se
Bedömning och värdering
![Page 17: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/17.jpg)
www.gu.se
Vad är värdering och varför är det viktigt?• Exempel• Konkretisera visionära mål• Verksamheter är i sig själva aldrig värderingsfria
![Page 18: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/18.jpg)
www.gu.se
Fundera mera!
• Målgruppskonstruktion • Diskussion• Konstruktion av värderingar
![Page 19: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/19.jpg)
www.gu.se
Avslutning
• Positivt med våra utvärderingar
![Page 20: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/20.jpg)
www.gu.se
Analys och slutsatser
![Page 21: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/21.jpg)
www.gu.se
Vad ska analysen och slutsatserna innehålla? • "Knyta ihop påsen", ge svar på frågeställningarna i utvärderingen
• Återkoppla till generella mål med utvärdering• Var programmet en framgång enligt kriterierna som det utvärderas mot?
• Vilka förändringar har observerats som ett resultat av programmet?
• Vad kunde gjorts bättre?• Vad kan man tänka på i framtiden?
![Page 22: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/22.jpg)
www.gu.se
Trovärdighet och generaliserbarhet
• Slutsatser måste vara baserade på analysen och empirin och vara rimliga i förhållande till denna
• Transparens: Hur har man kommit fram till slutsatserna?
• Objektivitet• Inte alltid
möjligt/eftersträvansvärt att kunna generalisera
• Representativt urval• Exempel: Familjeverkstan:
Litet urval, blandning mellan kvantitativa och kvalitativa metoder, modifierat genom-förande
• Kan man baserat på denna utvärdering generalisera och säga att “Familjeverkstan” som modell är lyckad?
![Page 23: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/23.jpg)
www.gu.se
Vanliga programbrister som påverkar möjligheterna till goda slutsatser• Genomförandefel: Fel i genomförandet av programmet
• Teorifel: En policy har inte möjligheter att påverka problemet
– Har en policy/idé förutsättningar att lösa det bakomliggande problemet?
![Page 24: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/24.jpg)
www.gu.se
Att tänka på:
• Goda slutsatser från en utvärdering ger råd om faktorer som går att påverka för användarna
• Ska helst ge svar på evidensfrågan• Slutsatserna ska presenteras på ett sätt som maximerar användningen av utvärderingen
• Slutligen handlar värdet i utvärdering om dess nytta, i form av lärande och användbarhet
![Page 25: Utvärderingens delar](https://reader035.fdocument.pub/reader035/viewer/2022081603/56815424550346895dc224b0/html5/thumbnails/25.jpg)
www.gu.se
Tack för att ni har lyssnat!
Julia Andrén
My Ekrelius
Alexander Westerberg
Johanna Almgren
Daniel Hallberg
Mattias Fyhr
Karin Rhodin
Marta Rivelis
Linnea Löfström Engdahl
Maria Bergman
Linn Sandberg