Ewaluacja w polityce społecznej -...
Transcript of Ewaluacja w polityce społecznej -...
Ewaluacja w polityce społecznej
Kryteria ewaluacji – skutecznośćDr hab. Ryszard Szarfenberg
Instytut Polityki Społecznej UW
rszarf.ips.uw.edu.pl/ewalps/dzienne/
Rok akademicki 2018/2019
użyteczność i trwałość
koszty do skuteczności
wydajność
oszczędność
trafność skuteczność
Polityka, program, projekt
PotrzebySytuacja społeczno-
ekonomiczna
Cele Nakłady Działania Produkty
Otoczenie
Wyniki ostateczne
Wyniki pośrednie
C. Pollitt, G. Bouckaert, Public Management Reform: A Comparative Analysis – New Public Management, Governance, and the Neo-Weberian State, 2013, s. 16
Logika projektu z uwzględnieniem kryteriów ewaluacji
Ewaluacja projektu pod względem kryteriów:‒ Trafności (7)‒ Oszczędności (8)‒ Wydajności (9)‒ Kosztów do
skuteczności (10)‒ Użyteczności i
trwałości (11)‒ Skuteczności (12)
Wpływ otoczenia na wyniki
Wpływ interwencji na wyniki pośrednie
Wpływ wyników pośrednich na ostateczne
Wpływ wyników pośrednich i ostatecznych na sytuację społeczno-ekonomiczną
Zestawienie typowych kryteriów ewaluacji
• Skuteczność: jaki był wpływ produktów projektu na jego wyniki? Na ile wyniki projektu odpowiadają jego celom?
• Efektywność: w jakim stopniu nakłady były proporcjonalne do produktów, wyniku?
• Oszczędność – jak najmniejsze nakłady przy ustalonych produktach
• Wydajność – jak największe produkty przy ustalonych kosztach
• Koszty-skuteczność – jak najlepszy stosunek kosztów do wyników
• Trafność: w jakim stopniu cele programu odpowiadają potrzebom jego adresatów?
• Użyteczność: na ile rezultaty i wpływ programu zaspokajają potrzeby jego adresatów?
• Trwałość: jak długo będą trwać pozytywne skutki programu po jego zakończeniu?
Skuteczność projektu w kontekście celów, produktów i wyników projektu
• Podstawowe elementy skuteczności projektu• Cele – co chcemy osiągnąć• Produkt – za pomocą czego chcemy to osiągnąć• Wynik – to co zostało w rzeczywistości osiągnięte
• Przykład projektu jabłka dla studentów• Cel – zmniejszyć zachorowalność studentów• Produkt – dostarczenie studentom jabłek• Wynik – zmiana lub brak zmiany zachorowalności studentów związana z
dostarczeniem jabłek studentom• Pytanie o skuteczność: jaki wpływ miało dostarczenie jabłek (produkt
projektu) na zachorowalność studentów?
Cztery rodzaje celów polityk, programów, projektów
Czy to mamy?
Czy chcemy to mieć?
Tak Nie
Tak
Nie
M. Q. Patton, Utilization-Focused
Evaluation, 2008, s. 236
Cel: zachować Cel: usunąć
Cel: osiągnąć Cel: unikać
Przykładowa interpretacja: jeżeli polityka czy projekt mają rozwiązywać jakiś problem, to celem jest usuwanie lub zmniejszanie tego, co mamy, a czego nie chcemy mieć
Cele projektu w stosunku do usługi, czy w stosunku do wyników?
Cele w stosunku do usługi Cele w stosunku do wyników
Udzielać dobrze skoordynowanych usług zdrowotnych dla nastolatek w ciąży
Nastolatki w ciąży rodzą zdrowe dzieci, którymi potem właściwie się opiekują
Poprawić jakość usług z zakresu ochrony dzieci
Dzieci są bezpieczne, nie są wykorzystywane ani zaniedbywane
Udzielać usług edukacyjnych wysokiej jakościUczniowie mają odpowiednią wiedzę i
umiejętności
Pomagać rodzicom w decyzjach dotyczących pracy i życia rodzinnego
Dzieci rodziców, którzy chcą pracować mają odpowiednią opiekę
M. Q. Patton, Utilization-Focused Evaluation, 2008, s. 242Bardziej poprawne jest ustalanie celów projektów w stosunku do wyników, a nie do usług. Wyniki są tym co chcemy ostatecznie osiągnąć
Wyniki projektu jako rodzaj zmiany
Rodzaj zmiany Przykład
Zmiana warunkówDziecko z rodziny zastępczej bezpiecznie wraca do rodziny biologicznej
Zmiana statusu Bezrobotny stał się zatrudniony
Zmiana zachowania Wagarowicze zaczynają regularnie chodzić do szkoły
Zmiana funkcjonowaniaZwiększenie poziomu samoobsługi; punktualność w przychodzeniu do pracy
Zmiana postawy Większa wiara w siebie
Zmiana wiedzy Zrozumienie potrzeb dzieci w różnych stadiach rozwoju
Zmiana umiejętności Poprawa płynności czytania
Utrzymanie Osoba starsza bezpiecznie pozostaje w domu
Zapobieganie Młodzież nie zażywa narkotyków
M. Q. Patton, Utilization-Focused Evaluation,, 2008, s. 245
Skutki projektu
• Ocenianie projektów po skutkach• Mamy zamierzenia i plany
• Podejmujemy działania, które mają rozmaite skutki
• Skutki projektu, wybrane rodzaje:• Zamierzone, niezamierzone
• Przewidywane, nieprzewidywane
• Oceniane pozytywnie (korzyści, nabytki), oceniane negatywnie (koszty, ubytki)
• W krótkim, średnim i długim okresie
• Bezpośrednie, pośrednie
• Interesujące są skutki podobne do zamierzonych, ale niebędące wynikiem naszego projektu
Dziewięć możliwych ocen skuteczności projektu społecznego
Wpływ na pozostałe cele
Wpływ na cel zasadniczy Brak skutków ubocznych Pozytywne skutki uboczne Negatywne skutki uboczne
Skuteczność dodatnia -
osiągnięcie celu
zasadniczego
(1) Skuteczność prosta (działanie
zgodne z planem)
(2) Skuteczność plus korzyść (cel
osiągnięty przy jednoczesnym
wzmocnieniu innych celów)
(3) Skuteczność plus strata (cel
osiągnięty przy jednoczesnym
poświęceniu części innych celów)
Nieskuteczność -
brak skutku
(4) Nieskuteczność prosta
(np. „same słowa i zero czynów”
w ramach projektu)
(5) Nieskuteczność plus korzyść
(główny cel nieosiągnięty przy
jednoczesnym uzyskaniu
pozytywnych skutków ubocznych)
(6) Nieskuteczność plus strata
(główny cel nieosiągnięty przy
dodatkowych negatywnych
skutkach ubocznych)
Skuteczność ujemna
(przeciwskuteczność) -
efekty odwrotne do
zamierzonych
(7) Przeciwskuteczność prosta
(wynik odwrotny do
zamierzonego)
(8) Przeciwskuteczność plus
korzyść (wynik odwrotny w
przypadku celu zasadniczego przy
jednoczesnym uzyskaniu
pozytywnych skutków ubocznych)
(9) Przeciwskuteczność plus strata
(efekt odwrotny w przypadku celu
zasadniczego przy jednoczesnym
wystąpieniu negatywnych
skutków ubocznych)
Za: C. Demmke, T. Moilanen, Efektywność dobrego rządzenia i etyki w administracji centralnej: ocena wyników reform w kontekście kryzysu finansowego, 2011
Wyniki projektu w sensie brutto i netto
P.H. Rossi, M.W. Lipsey, H.E. Freeman, Evaluation: A Systematic
Approach, 2004, s. 207
Przed
projektem
W trakcie
projektu
Po projekcie
Zm
ian
a
po
zio
mu
wyn
ikó
wPoziom wyników po projekcie
Stan przed projektem
Wyniki
A
B
C
Czas
Wyniki brutto: A
Wyniki netto (wpływ projektu): B
Wyniki bez projektu: C = A - B
Co by było, gdyby nie zrealizowano projektu? Myślenie kontrfaktyczne