Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym
description
Transcript of Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym
![Page 1: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/1.jpg)
Wprowadzenie do ewaluacji programów o charakterze
społeczno - gospodarczym
opracowanie:Agnieszka Haber
prowadzący: Agnieszka Haber
Maciej Szałaj
30 października 2008Wrocław
![Page 2: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/2.jpg)
Ewaluacja – podstawowe pojęciaProces ewaluacji Raport ewaluacyjnyWykorzystanie wyników ewaluacji
zakres szkolenia
![Page 3: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/3.jpg)
część Ipojęcia podstawowe
![Page 4: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/4.jpg)
Ewaluacja to.....
• Proces zmierzający do stwierdzenia w jakim stopniu założone cele są rzeczywiście realizowane (R.W. Tyler; Basic Principles of Curriculum and Instruction)
• Proces określenia charakteru, uzyskiwaniu i dostarczaniu takich informacji, które pozwoliłyby na ocenę alternatywnych decyzji (D.L. Stufflebeam; Educational Evaluation: Theory and Practice)
• Wnikliwe badanie charakterystyki i zalet ewaluowanego programu (…) dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania. (A. Fink "Evaluation for Education and Psychology")
• Systematyczne badanie wartości, zalet ewaluo-wanego programu (Joint Committee on Standards for Educational Evaluation)
![Page 5: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/5.jpg)
Ewaluacja – definicja UE / KE
Rozporządzenie Rady Unii Europejskiej nr 1083 z dnia 11 lipca 2006 r. ustanawiające przepisy ogólne
dotyczące EFRR, EFS oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr 1260/1999:
Oceny mają na celu poprawę jakości, skuteczności i spójności pomocy publicznej funduszy oraz strategii i realizacji programów operacyjnych w odniesieniu do konkretnych problemów strukturalnych dotykających dane państwa członkowskie i regiony, z jednoznacznym uwzględnieniem celu w postaci trwałego rozwoju i właściwego prawodawstwa wspólnotowego dotyczącego oddziaływania na środowisko oraz strategicznej oceny oddziaływania na środowisko. 1083/2006/WE Art. 47 ust. 1
Definicja ewaluacji wg. Komisji Europejskiej:Ocena interwencji według jej rezultatów, oddziaływania
oraz potrzeb, które ma/miała spełnić. KE 2000, KE 2004
![Page 6: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/6.jpg)
Pojęcia pokrewne • Audyt - sprawdzenie zgodności wykorzystania
zasobów (głównie finansowych) z obowiązującymi przepisami prawnymi oraz określonymi standardami np. dotyczącymi zarządzania wykorzystaniem pomocy.
• Kontrola - porównuje stan faktyczny ze stanem wymaganym, może mieć charakter wycinkowy i dotyczyć jednego z aspektów funkcjonowania instytucji.
• Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat wdrażania projektów i całego programu w aspekcie finansowym i rzeczowym, ma na celu zapewnienie zgodności realizacji programu z wcześniej zatwierdzonymi założeniami i celami.
![Page 7: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/7.jpg)
Kontrola-monitoring-ewaluacja
WDRAŻANIE PROGRAMU (PROJEKTU)
KONTROLA KONTROLA KONTROLA
MONITOROWANIE PROGRAMU (PROJEKTU)
ewaluacja ewaluacja ewaluacja .
CZAS
![Page 8: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/8.jpg)
Pojęcia pokrewne ewaluacja – monitoring – audyt
różnice:
• zakres badania • moment badania
• ramy badania
• sposób realizacji
• podmioty realizujące
• konsekwencje badania
![Page 9: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/9.jpg)
Funkcje ewaluacji
Formatywna – zapewnienie
postępu – funkcja stymulowania
usprawnień i rozwoju
organizacyjnego
Konkluzywna – selekcja lub
sprawozdawczość – funkcja
rozliczenia i egzekwowania
odpowiedzialności
Społeczno-polityczna –
kształtowanie motywacji i
uzyskanie poparcia społecznego
Administracyjna – sprawowanie
władzy
http://www.ssc.govt.nz
![Page 10: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/10.jpg)
Zastosowania• wspomaganie procesu podejmowania decyzji / planowanie,
poprawa wdrażania i kontrola jakości /
• podniesienie skuteczności i efektywności działań
identyfikacja słabych i mocnych stron
• wskazanie kierunków rozwoju
• sygnalizowanie pojawiających się problemów
• oszacowanie możliwości i ograniczeń
• określanie stopnia zgodności z przyjętymi założeniami
• badanie potrzeb • zwiększanie profesjonalizmu świadczonych usług
• demokratyzacja procesu zarządzania
• element uczenia się i samodoskonalenia
![Page 11: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/11.jpg)
Klasyfikacja ewaluacji
![Page 12: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/12.jpg)
Klasyfikacja ewaluacji 1. przedmiot
„Ocena ex-ante SPO Rybołówstwo i Przetwórstwo Ryb 2004-2006”
„Ocena procesu zarządzania projektami z zakresu infrastruktury
transportowej w kontekście realizacji NPR-u”
„Analiza problemów związanych z realizacją projektów
infrastrukturalnych realizowanych w ramach ZPORR wynikających ze
zmieniającej się stytuacji na rynku”
![Page 13: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/13.jpg)
Klasyfikacja ewaluacji 2. Cel przeprowadzania ewaluacji
CELE EWALUACJI:
poznawczy – zdobycie wiedzy na temat zasad funkcjonowania programów instrumentalny – wykorzystanie wyników oceny do podejmowania decyzji kontrolny – wykorzystanie wyników oceny do kontroli programu –
sprawowania władzy
EWALUACJA: FORMATYWNA ulepszanie programu i zapewnienie postępu
KONKLUZYWNA sprawozdawczość lub selekcja (kontynuacja lub zaniechanie dalszej edycji programu)
![Page 14: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/14.jpg)
Klasyfikacja ewaluacji 3. kryterium wykonawcy
![Page 15: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/15.jpg)
Klasyfikacja ewaluacji 4. Termin przeprowadzania ewaluacji ex – ante – ocena szacunkowa przed
rozpoczęciem programu mid – term – ocena w połowie realizacji
programu ex – post – ocena pełna po zakończeniu
programu on-going – ocena uzupełniająca, bieżąca
![Page 16: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/16.jpg)
Ewaluacja ex-ante
Przeprowadzana przed wdrażaniem programu.
Ocenia na ile planowana interwencja jest trafna z punktu widzenia potrzeb (sektora, beneficjentów) oraz spójna w zakresie planowanych celów i sposobów ich realizacji.
Bada kontekst społeczny, gospodarczy, prawny.
Służy identyfikacji potencjalnych trudności.
Diagnozuje potrzeby i oczekiwania docelowej grupy odbiorców.
![Page 17: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/17.jpg)
Ewaluacja on-going
Przeprowadzana w trakcie realizacji programu.
Służy identyfikacji aktualnych trudności realizacji przedsięwzięcia bądź ich kontekstu.
Stanowi cenne źródło informacji użytecznych przy rozwiązywaniu aktualnych, bądź potencjalnych problemów.
Może przyczynić się do szybkiej reakcji na pojawiające się problemy i bieżących modyfikacji realizacji interwencji.
Daje możliwość bieżącej analizy pojawiających się efektów programu.
![Page 18: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/18.jpg)
Ewaluacja mid-term
Realizowana jest w połowie wdrażania interwencji.
Poddaje analizie osiągnięte na tym etapie produkty i rezultaty.
Dokonuje pierwszej oceny jakości realizacji programu.
Ocenia poczynione na etapie programowania założenia (cele, wskaźniki).
Diagnozuje kontekst realizacji przedsięwzięcia.
Może przyczynić się do pewnych modyfikacji realizacji interwencji oraz aktualizacji przyjętych założeń.
![Page 19: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/19.jpg)
Ewaluacja ex-post
Przeprowadzana po zakończeniu realizacji programu.
Bada długotrwałe efekty (oddziaływanie) programu oraz ich trwałość.
Ocenia skuteczność i efektywność interwencji oraz jej trafność i użyteczność.
Ocenia na ile udało się osiągnąć założone cele.
Stanowi cenne źródło informacji użytecznych przy planowaniu kolejnych interwencji.
![Page 20: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/20.jpg)
Ramy badania ewaluacyjnego
![Page 21: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/21.jpg)
![Page 22: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/22.jpg)
Logika programów UE
Potrzeby
CeleNakłady / Wkład
(Zasoby)
Działania Programu
Produkty / Wyniki
(Stworzone dobra i usługi)
Rezultaty
(Bezpośrednie i natychmiastowe)
Oddziaływanie / Wpływ
(efekty w długim okresie)
Źródło: opracowanie K. Olejniczak na podstawie opracowanie własne na podstawie KE – DG Regio 2001
![Page 23: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/23.jpg)
Ewaluacja a logika programów UE
kryteria ewaluacji
EWALUACJA:TRAFNOŚĆ
EWALUACJA: UŻYTECZNOŚĆ I TRWAŁOŚĆ
EWALUACJA: SKUTECZNOŚĆ
EWALUACJA: WYDAJNOŚĆ
Potrzeby
Cele Nakłady Działania Produkty
Rezultaty planowane
Oddziaływanie planowane
MONITORING
i nieplanowane
i nieplanowane
![Page 24: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/24.jpg)
Kryteria ewaluacji
Najczęściej stosowane kryteria ewaluacji:
• Trafność (relevance) - kryterium to pozwala ocenić, w jakim stopniu przyjęte cele programu odpowiadają zidentyfikowanym problemom w obszarze objętym programem i/lub realnym potrzebom beneficjentów • ex ante; ex-post
• Efektywność (efficiency) - kryterium to pozwala ocenić poziom „ekonomiczności” programu, czyli stosunek poniesionych nakładów do uzyskanych wyników i rezultatów. Nakłady rozumiane są tu jako zasoby finansowe, ludzkie i poświęcony czas • mid–term; ex-post
• Skuteczność (effectiveness) - kryterium to pozwala ocenić, do jakiego stopnia cele przedsięwzięcia zdefiniowane na etapie programowania zostały osiągnięte • mid–term; ex-post
![Page 25: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/25.jpg)
Kryteria ewaluacji
Najczęściej stosowane kryteria ewaluacji cd.:
• Oddziaływanie/wpływ (impact) – kryterium to pozwala ocenić związek pomiędzy celem projektu i celami ogólnymi, tj. stopień, w jakim korzyści odniesione przez docelowych beneficjentów miały szerszy ogólny wpływ na większą liczbę ludzi w danym sektorze, regionie lub w całym kraju • mid–term; ex-post
• Trwałość efektów (sustainability) – kryterium to pozwala ocenić czy pozytywne efekty projektu na poziomie celu mogą trwać po zakończeniu finansowania zewnętrznego, a także czy możliwe jest utrzymanie się wpływu tego projektu w dłuższym okresie na procesy rozwoju na poziomie sektora, regionu czy kraju • ex-post
![Page 26: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/26.jpg)
cele / wskaźniki Logika interwencji unijnych
Źródło: opracowanie K. Olejniczak na podstawie KE – DG Regio 2001
Cele ogólne
Nakłady / Wkład
(Zasoby)
Działania Programu
Produkty / Wyniki
(Wyprodukowane dobra i usługi)
Rezultaty
(Bezpośrednie i natychmiastowe)
Oddziaływanie / Wpływ
(efekty w długim okresie)
Cele bezpośrednie
Cele operacyjne
Wskaźniki bazowe i kontekstu
Wskaźniki działań
Wskaźniki produktów
Wskaźniki rezultatów
Wskaźniki oddziaływania
Wskaźniki nakładów
![Page 27: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/27.jpg)
część IIPodejścia badawcze,
proces badania ewaluacyjnego oraz jego uczestnicy
![Page 28: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/28.jpg)
Zakres tematyczny ewaluacji• realizacji założeń programu (cele, wskaźniki)
• skuteczności i efektywności interwencji oraz jej trafności i użyteczności
• osiągniętych produktów i rezultatów
• kontekstu społecznego, gospodarczego, prawnego interwencji
• trudności realizacji przedsięwzięcia bądź ich kontekstu
• potrzeb i oczekiwań docelowej grupy odbiorców
• efektów (oczekiwane / nieoczekiwane)
• mocnych/ słabych stron interwencji
• kierunków rozwoju i modyfikacji przyszłych interwencji
• oddziaływania przedsięwzięcia • i trwałości jego osiągnięć
![Page 29: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/29.jpg)
PROCES EWALUACJIPlan ewaluacji
Projekt ewaluacji
Realizacja badania ewaluacyjnego
Raport końcowy
Wykorzystanie wyników ewaluacji
Wdrażanie rekomendacji
REALIZACJA TERENOWA
ANALIZA
OCENA
WNIOSKI
REKOMENDACJE
wcześniejsze ewaluacje
zakres monitoringu
zakres audytu
dane statystyczne
promocja wyników
![Page 30: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/30.jpg)
Etapy planowania ewaluacji
• określenie celów ewaluacji• wyznaczenie czasu badania• określenie zakresu ewaluacji • określenie odbiorców ewaluacji• identyfikacja dostępnych danych wyjściowych (dokumenty,
raporty monitoringowe, dane statystyczne, ekspertyzy itd.)• określenie regulacji instytucjonalnych • oszacowanie posiadanych zasobów (czasowych, finansowych,
instytucjonalnych, technicznych)• sformułowanie projektu ewaluacji• określenie sposobu wykorzystania wyników ewaluacjiA następnie:• określenie warunków kontraktu (terms of reference)• wybranie ewaluatora
![Page 31: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/31.jpg)
Elementy projektu ewaluacji• opis przedmiotu ewaluacji • określenie strategii ewaluacji• określenie partnerów/uczestników/odbiorców ewaluacji• kodyfikacja kluczowych pytań ewaluacyjnych (badawczych)• określenie kryteriów ewaluacji• dobór metod badawczych • określenie próby badawczej• określenie zasobów instytucjonalnych, czasowych,
ludzkich, finansowych• opracowanie harmonogramu prac• wyspecyfikowanie zakresu zadań, wymagań i procedur
prowadzenia danego badania ewaluacyjnego• określenie formatu raportu• określenie sposobów wykorzystania i promocji wyników
ewaluacji
![Page 32: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/32.jpg)
!??
? ???
?
?
? ?
?
?? ? ?
?
Warunki realizacji
odbiorcy wniosków i rekomendacji
![Page 33: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/33.jpg)
Etapy realizacji ewaluacji
Strukturalizację
Obserwację
Analizę
Ocenę
![Page 34: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/34.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
Strukturalizacja wybór i określenie kryteriów i elementów, które mają być
poddane ewaluacji; dookreślenie sposobu i wskaźników za pomocą których będzie
badane dane zjawisko; dopracowanie metodologii badania ewaluacyjnego; wybór / opracowanie narzędzi obserwacji; określenie sposobu dotarcia do respondentów badania;
Stosowane metody ewaluacyjne
Analiza SWOTMatryca logicznaMapa oddziaływaniaMetaplan
![Page 35: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/35.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
Strukturalizacja
Każda interwencja/program jest wielowymiarową rzeczywistością, dokonanie oceny wiąże się z zamknięciem jej w pewnych ramach. Wiąże się to zawsze kwestią trudnych wyborów.
Ocena każdej interwencji dokonywana jest w oparciu o usystematyzowane:
pytania
kryteria
wskaźniki
wybór metody
![Page 36: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/36.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
StrukturalizacjaOkreślając przedmiot oceny musimy podjąć decyzje, jakie są nasze
potrzeby informacyjne odnośnie danej interwencji i jak szeroko przeprowadzimy nasze analizy.
Należy określić czy:• i jaką perspektywę czasową oddziaływania i rezultatów
bierzemy pod uwagę• odnosimy się do jednego czy też kilku elementów interwencji• odnosimy się do jednej czy tez kilku grup odbiorców
(beneficjenci, partnerzy itd..),• bierzemy pod uwagę wyłącznie badaną interwencje czy tez
uwzględniamy ewentualne jego synergie z innymi interwencjami,
• bierzemy pod uwagę regiony, grupy osób, które nie są/były objęte programem, ale mogą odczuwać jego oddziaływanie,
• bierzemy pod uwagę kwestie związane z kolejnym cyklem programowania itp.
![Page 37: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/37.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
Obserwacja
Identyfikacja źródeł / zbieranie dostępnych danych zastanych /dokumentacji programowej, danych z monitoringu, wyników wcześniejszych wyników ewaluacji, danych statystycznych, ekspertyz itd./;
zebranie przez ewaluatorów danych koniecznych do analizy – badanie terenowe;
Stosowane metody ewaluacyjne
Metody ilościowe Metody jakościowe
![Page 38: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/38.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
Analiza interpretacja zebranych danych – uchwycenie różnic weryfikacja hipotez; analiza przyczynowo-skutkowa; oszacowanie efektów programu;
Stosowane metody ewaluacyjne
Metody statystyczneMetody analizy jakościowejGIS – System Informacji Geograficznej Modele ekonomiczne Grupy porównawczePanel ekspertów
![Page 39: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/39.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
Ocena ocena efektów programu w odniesieniu do uprzednio
sformułowanych pytań ewaluacyjnych w oparciu o przyjęte kryteria oceny.
Stosowane metody ewaluacyjne
Analiza kosztów i korzyściAnaliza kosztów i efektywnościAnaliza wielokryteriowa Panel ekspertówBenchmarking
![Page 40: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/40.jpg)
Etapy realizacji ewaluacjifazy realizacji badania
Ocena powinna być
przejrzysta
trafna
bezstronna / obiektywna /niezależna
uzasadniona – wynikająca z faktów
oparta na wynikach badań
oparta na wiarygodnych danych
szczegółowej analizie
![Page 41: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/41.jpg)
• ewaluacja to proces
• od wszystkich elementów tego procesu zależą wyniki ewaluacji i w konsekwencji jej użyteczność
• końcowym produktem procesu ewaluacji jest
raport końcowy
![Page 42: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/42.jpg)
część IIIRaport ewaluacyjny
![Page 43: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/43.jpg)
Aktorzy sceny ewaluacyjnej
INNI ZAINTERESOWANI
ZAMAWIAJĄCY
EWALUATORZY EWALUOWANI
środowisko zewnętrzne
kontekst społeczno – polityczny
środowiskoinstytucji
zamawiającej
kontekst instytucjonalny
![Page 44: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/44.jpg)
ODBIORCY RAPORTU EWALUACYJNEGOODBIORCY RAPORTU EWALUACYJNEGO
wyników ewaluacjiwyników ewaluacji
rekomendacjirekomendacji
wniosków wniosków
metodologii ewaluacjimetodologii ewaluacji
Raport ewaluacyjnyodbiorcy ewaluacji
![Page 45: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/45.jpg)
Proces ewaluacjietapy projektowania/konstrukcji/wykorzystania raportu
ProjektProjekt zakresu raportuzakresu raportu
OpracowanieOpracowanie raportu wstępnegoraportu wstępnego
Wstępna wersjaWstępna wersja raportu końcowegoraportu końcowego
PrezentacjaPrezentacja raportu końcowegoraportu końcowego
Raport końcowyRaport końcowy (ostateczna wersja)(ostateczna wersja)
REALIZACJAREALIZACJA
ANALIZAANALIZA
OCENA PROGRAMU OCENA PROGRAMU WNIOSKIWNIOSKI
REKOMENDACJEREKOMENDACJE
PROMOCJA RAPORTU
E
TA
PY
OD
BIO
RU
E
TA
PY
OD
BIO
RU
R
AP
OR
TU
R
AP
OR
TU
K
OŃ
CO
WE
GO
KO
ŃC
OW
EG
O
![Page 46: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/46.jpg)
Typy raportów klasyfikacja ze względu na moment w systemie
oceny i fazie badania
moment
w systemie oceny interwencji w procesie realizacji
raporty podsumowujące raporty metodologiczne
raporty cykliczne/cząstkowe raporty z badań terenowych
raporty wew. / zewn. raporty końcowe
![Page 47: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/47.jpg)
Raport ewaluacyjny
cechy dobrego raportu
??
![Page 48: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/48.jpg)
Raport ewaluacyjnyRaport ewaluacyjny
europejskie standardyeuropejskie standardyRAPORT EWALUACYJNYC POWINIEN:RAPORT EWALUACYJNYC POWINIEN:
• być związany z tematem, opierać się na dokładnej być związany z tematem, opierać się na dokładnej analizie i odpowiadać standardom naukowym i analizie i odpowiadać standardom naukowym i ewaluacyjnymewaluacyjnym
• opisywać przesłanki ewaluacji, jej przedmiot, jak cel, opisywać przesłanki ewaluacji, jej przedmiot, jak cel, pytania badawcze, procedurę badania (metodologię), pytania badawcze, procedurę badania (metodologię), rezultaty oraz powinien przedstawiać uzasadnione rezultaty oraz powinien przedstawiać uzasadnione wnioski (wszystko to powinno mieć przystępną i wnioski (wszystko to powinno mieć przystępną i zrozumiała formę)zrozumiała formę)
• podawać dokładne źródła informacji. Zebrane dane podawać dokładne źródła informacji. Zebrane dane powinny być zaadaptowane do metodologii badania bez powinny być zaadaptowane do metodologii badania bez obniżenia wiarygodności, czy odpowiedniościobniżenia wiarygodności, czy odpowiedniości
![Page 49: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/49.jpg)
Raport ewaluacyjnyRaport ewaluacyjny
europejskie standardyeuropejskie standardyRAPORT EWALUACYJNYC POWINIEN:RAPORT EWALUACYJNYC POWINIEN:
• zawierać dostatecznie szczegółowy i krytyczny opis i zawierać dostatecznie szczegółowy i krytyczny opis i ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenę wykorzystanych metod, tak by umożliwić odbiorcom ocenienie wagi przedstawionych dowodów, na których ocenienie wagi przedstawionych dowodów, na których bazują wnioski i rekomendacjebazują wnioski i rekomendacje
• zawierać zidentyfikowane przykłady zawierać zidentyfikowane przykłady good practicegood practice obrazujące przedstawiane tezy, tym niemniej raport nie obrazujące przedstawiane tezy, tym niemniej raport nie powinien - mimo częstych nacisków na ewaluatorów by powinien - mimo częstych nacisków na ewaluatorów by „produkować historie sukcesów” - stać się przewodnikiem „produkować historie sukcesów” - stać się przewodnikiem w zakresie w zakresie good practisegood practise, gdyż jest wówczas odbierany , gdyż jest wówczas odbierany podejrzliwie przez społeczeństwo i decydentówpodejrzliwie przez społeczeństwo i decydentów
• podawać dokładne źródła informacji (tak by można je było podawać dokładne źródła informacji (tak by można je było zweryfikować). Zebrane dane powinny być dostosowane zweryfikować). Zebrane dane powinny być dostosowane do metodologii badania bez obniżania ich wiarygodności i do metodologii badania bez obniżania ich wiarygodności i adekwatnościadekwatności
![Page 50: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/50.jpg)
Raport ewaluacyjnyRaport ewaluacyjny
europejskie standardyeuropejskie standardy
• Proces dedukcji i interpretacji rezultatów powinien być Proces dedukcji i interpretacji rezultatów powinien być opisany i wyjaśniony. Powinien opierać się na opisany i wyjaśniony. Powinien opierać się na szczegółowo zaprezentowanej hipotezie. szczegółowo zaprezentowanej hipotezie.
• Ostateczne wnioski i rekomendacje są opiniami Ostateczne wnioski i rekomendacje są opiniami ewaluatorów, więc nie powinny być zmieniane bez ich ewaluatorów, więc nie powinny być zmieniane bez ich wiedzy i zgody. wiedzy i zgody.
• Wnioski i rekomendacje powinny być jasne, bezstronne Wnioski i rekomendacje powinny być jasne, bezstronne i wystarczająco precyzyjne by można je było wdrożyć. i wystarczająco precyzyjne by można je było wdrożyć.
![Page 51: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/51.jpg)
PROCES EWALUACJIPlan ewaluacji
Projekt ewaluacji
Realizacja badania ewaluacyjnego
Raport końcowy
Wykorzystanie wyników ewaluacji
Wdrażanie rekomendacji
REALIZACJA TERENOWA
ANALIZA
OCENA
WNIOSKI
REKOMENDACJE
wcześniejsze ewaluacje
zakres monitoringu
zakres audytu
dane statystyczne
promocja wyników
![Page 52: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/52.jpg)
część IVWykorzystanie
wyników ewaluacji
![Page 53: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/53.jpg)
informacje wiedza
![Page 55: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/55.jpg)
promocja wyników
![Page 56: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/56.jpg)
http://www.parp.gov.pl/index/more/2046
więcej na temat ewaluacji w publikacji PARP
![Page 57: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/57.jpg)
więcej na temat ewaluacji w publikacji PARP
http://www.parp.gov.pl
![Page 58: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/58.jpg)
http://www.parp.gov.pl/index/index/110
Raporty z ewaluacji
![Page 59: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/59.jpg)
http://www.konferencja-ewaluacja.pl/2008/
![Page 60: Wprowadzenie do ewaluacji programów o charakterze społeczno - gospodarczym](https://reader035.fdocument.pub/reader035/viewer/2022070406/56814078550346895dabf8fe/html5/thumbnails/60.jpg)
Baza raportów ewaluacyjnych Fundusze Strukturalne
http://www.funduszestrukturalne.gov.pl/NR/rdonlyres/8292BC86-7BE0-4D50-8F02-DEBECDCE56AF/41792/bazawww1912.xls