Ewaluacja w polityce społecznej -...
Transcript of Ewaluacja w polityce społecznej -...
![Page 1: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/1.jpg)
Ewaluacja w polityce społecznej
Kryteria ewaluacji – skutecznośćDr hab. Ryszard Szarfenberg
Instytut Polityki Społecznej UW
rszarf.ips.uw.edu.pl/ewalps/dzienne/
Rok akademicki 2018/2019
![Page 2: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/2.jpg)
użyteczność i trwałość
koszty do skuteczności
wydajność
oszczędność
trafność skuteczność
Polityka, program, projekt
PotrzebySytuacja społeczno-
ekonomiczna
Cele Nakłady Działania Produkty
Otoczenie
Wyniki ostateczne
Wyniki pośrednie
C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis – New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16
Logika projektu z uwzględnieniem kryteriów ewaluacji
Ewaluacja projektu pod względem kryteriów:‒ Trafności (7)‒ Oszczędności (8)‒ Wydajności (9)‒ Kosztów do
skuteczności (10)‒ Użyteczności i
trwałości (11)‒ Skuteczności (12)
Wpływ otoczenia na wyniki
Wpływ interwencji na wyniki pośrednie
Wpływ wyników pośrednich na ostateczne
Wpływ wyników pośrednich i ostatecznych na sytuację społeczno-ekonomiczną
![Page 3: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/3.jpg)
Zestawienie typowych kryteriów ewaluacji
• Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom?
• Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku?
• Oszczędność – jak najmniejsze nakłady przy ustalonych produktach
• Wydajność – jak największe produkty przy ustalonych kosztach
• Koszty-skuteczność – jak najlepszy stosunek kosztów do wyników
• Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów?
• Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów?
• Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?
![Page 4: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/4.jpg)
Skuteczność projektu w kontekście celów, produktów i wyników projektu
• Podstawowe elementy skuteczności projektu• Cele – co chcemy osiągnąć• Produkt – za pomocą czego chcemy to osiągnąć• Wynik – to co zostało w rzeczywistości osiągnięte
• Przykład projektu jabłka dla studentów• Cel – zmniejszyć zachorowalność studentów• Produkt – dostarczenie studentom jabłek• Wynik – zmiana lub brak zmiany zachorowalności studentów związana z
dostarczeniem jabłek studentom• Pytanie o skuteczność: jaki wpływ miało dostarczenie jabłek (produkt
projektu) na zachorowalność studentów?
![Page 5: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/5.jpg)
Cztery rodzaje celów polityk, programów, projektów
Czy to mamy?
Czy chcemy to mieć?
Tak Nie
Tak
Nie
M. Q. Patton, Utilization-Focused
Evaluation, 2008, s. 236
Cel: zachować Cel: usunąć
Cel: osiągnąć Cel: unikać
Przykładowa interpretacja: jeżeli polityka czy projekt mają rozwiązywać jakiś problem, to celem jest usuwanie lub zmniejszanie tego, co mamy, a czego nie chcemy mieć
![Page 6: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/6.jpg)
Cele projektu w stosunku do usługi, czy w stosunku do wyników?
Cele w stosunku do usługi Cele w stosunku do wyników
Udzielać dobrze skoordynowanych usług zdrowotnych dla nastolatek w ciąży
Nastolatki w ciąży rodzą zdrowe dzieci, którymi potem właściwie się opiekują
Poprawić jakość usług z zakresu ochrony dzieci
Dzieci są bezpieczne, nie są wykorzystywane ani zaniedbywane
Udzielać usług edukacyjnych wysokiej jakościUczniowie mają odpowiednią wiedzę i
umiejętności
Pomagać rodzicom w decyzjach dotyczących pracy i życia rodzinnego
Dzieci rodziców, którzy chcą pracować mają odpowiednią opiekę
M. Q. Patton, Utilization-Focused Evaluation, 2008, s. 242Bardziej poprawne jest ustalanie celów projektów w stosunku do wyników, a nie do usług. Wyniki są tym co chcemy ostatecznie osiągnąć
![Page 7: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/7.jpg)
Wyniki projektu jako rodzaj zmiany
Rodzaj zmiany Przykład
Zmiana warunkówDziecko z rodziny zastępczej bezpiecznie wraca do rodziny biologicznej
Zmiana statusu Bezrobotny stał się zatrudniony
Zmiana zachowania Wagarowicze zaczynają regularnie chodzić do szkoły
Zmiana funkcjonowaniaZwiększenie poziomu samoobsługi; punktualność w przychodzeniu do pracy
Zmiana postawy Większa wiara w siebie
Zmiana wiedzy Zrozumienie potrzeb dzieci w różnych stadiach rozwoju
Zmiana umiejętności Poprawa płynności czytania
Utrzymanie Osoba starsza bezpiecznie pozostaje w domu
Zapobieganie Młodzież nie zażywa narkotyków
M. Q. Patton, Utilization-Focused Evaluation,, 2008, s. 245
![Page 8: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/8.jpg)
Skutki projektu
• Ocenianie projektów po skutkach• Mamy zamierzenia i plany
• Podejmujemy działania, które mają rozmaite skutki
• Skutki projektu, wybrane rodzaje:• Zamierzone, niezamierzone
• Przewidywane, nieprzewidywane
• Oceniane pozytywnie (korzyści, nabytki), oceniane negatywnie (koszty, ubytki)
• W krótkim, średnim i długim okresie
• Bezpośrednie, pośrednie
• Interesujące są skutki podobne do zamierzonych, ale niebędące wynikiem naszego projektu
![Page 9: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/9.jpg)
Dziewięć możliwych ocen skuteczności projektu społecznego
Wpływ na pozostałe cele
Wpływ na cel zasadniczy Brak skutków ubocznych Pozytywne skutki uboczne Negatywne skutki uboczne
Skuteczność dodatnia -
osiągnięcie celu
zasadniczego
(1) Skuteczność prosta (działanie
zgodne z planem)
(2) Skuteczność plus korzyść (cel
osiągnięty przy jednoczesnym
wzmocnieniu innych celów)
(3) Skuteczność plus strata (cel
osiągnięty przy jednoczesnym
poświęceniu części innych celów)
Nieskuteczność -
brak skutku
(4) Nieskuteczność prosta
(np. „same słowa i zero czynów”
w ramach projektu)
(5) Nieskuteczność plus korzyść
(główny cel nieosiągnięty przy
jednoczesnym uzyskaniu
pozytywnych skutków ubocznych)
(6) Nieskuteczność plus strata
(główny cel nieosiągnięty przy
dodatkowych negatywnych
skutkach ubocznych)
Skuteczność ujemna
(przeciwskuteczność) -
efekty odwrotne do
zamierzonych
(7) Przeciwskuteczność prosta
(wynik odwrotny do
zamierzonego)
(8) Przeciwskuteczność plus
korzyść (wynik odwrotny w
przypadku celu zasadniczego przy
jednoczesnym uzyskaniu
pozytywnych skutków ubocznych)
(9) Przeciwskuteczność plus strata
(efekt odwrotny w przypadku celu
zasadniczego przy jednoczesnym
wystąpieniu negatywnych
skutków ubocznych)
Za: C. Demmke, T. Moilanen, Efektywność dobrego rządzenia i etyki w administracji centralnej: ocena wyników reform w kontekście kryzysu finansowego, 2011
![Page 10: Ewaluacja w polityce społecznej - rszarf.ips.uw.edu.plrszarf.ips.uw.edu.pl/ewalps/dzienne/04n.pdf · Cele Nakłady Działania Produkty Otoczenie Wyniki ostateczne Wyniki ... wynikiem](https://reader031.fdocument.pub/reader031/viewer/2022021810/5c77179c09d3f2322f8bb034/html5/thumbnails/10.jpg)
Wyniki projektu w sensie brutto i netto
P.H. Rossi, M.W. Lipsey, H.E. Freeman, Evaluation: A Systematic
Approach, 2004, s. 207
Przed
projektem
W trakcie
projektu
Po projekcie
Zm
ian
a
po
zio
mu
wyn
ikó
wPoziom wyników po projekcie
Stan przed projektem
Wyniki
A
B
C
Czas
Wyniki brutto: A
Wyniki netto (wpływ projektu): B
Wyniki bez projektu: C = A - B
Co by było, gdyby nie zrealizowano projektu? Myślenie kontrfaktyczne