Ewaluacja i monitoring programu
Transcript of Ewaluacja i monitoring programu
![Page 1: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/1.jpg)
EWALUACJA I MONITORING PROGRAMU
Ełk, 17.03.2012
![Page 2: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/2.jpg)
SKOJARZEINA Z EWALUACJĄ Czyszczenie zębów nitką dentystyczną (nie
cierpisz tego robić ale wiesz, że powinieneś)
Zamówienie w barze na lotnisku kanapki z pszennego chleba z żółtym serem i majonezem, bez sałaty (gdybyś miał możliwość wyboru, nawet byś na to nie spojrzał, a co dopiero kupił)
Składanie zeznania podatkowego, gdy i tak wiadomo, że nie otrzyma się zwrotu pieniędzy (coś, co odkłada się aż do ostatniej chwili)
Hawkins & B. Nederhood (1994)Podręcznik ewaluacji programów profilaktycznych
![Page 3: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/3.jpg)
PODSTAWOWE POJĘCIA
DOTYCZĄCE EWALUACJI
![Page 4: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/4.jpg)
NIE MYLIĆ Audyt – sprawdzanie zgodności wykorzystania
zasobów (głównie finansowych) z obowiązującymi przepisami oraz standardami
Kontrola – może odnosić się do aspektów finansowo – prawnych, w szczególności porównania stanu faktycznego ze stanem wymaganym. Może mieć charakter wycinkowy, dotyczyć jednego aspektu
Monitorowanie – proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji nt. wdrażania programu z wcześniej przyjętymi założeniami. Służy sprawdzaniu prawidłowości przebiegu projektu, w szczególności osiągania założonych celów i rezultatów oraz nakładów poniesionych na ich realizację
![Page 5: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/5.jpg)
CO TO JEST EWALUACJA PROGRAMU?
Ocena wartości programu w celu jego usprawnienia, rozwoju lub lepszego rozumienia
Zbieranie i wykorzystywanie informacji w celu odpowiedzi na pytanie/a dotyczące programu
Ocena efektywności, skuteczności, oddziaływania, trwałości i zgodności projektu ze wstępnymi zamierzeniami.
![Page 6: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/6.jpg)
EWALUACJA – WRÓG CZY PRZYJACIEL?Wróg jeśli: Traktowana jest jako zło konieczne i wymóg
biurokratyczny Realizatorzy boją się negatywnej oceny swojej
pracy profilaktycznej Jest narzędziem kontroli instytucji nadzorującej
Przyjaciel jeśli: Realizatorzy są zainteresowani efektami swojej
pracy profilaktycznej i rozwojem skutecznych programów
Instytucje nadzorujące traktują ją jako narzędzie służące rozwojowi kompetencji np. zespołu pedagogicznego i działań profilaktycznych
![Page 7: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/7.jpg)
EWALUACJA – CZEMU SŁUŻY? Zbadanie potrzeb np. beneficjentów Określenie kierunków i celów działań Poprawa przejrzystości podejmowanych działań Poznawanie mechanizmów wdrażania programów i
projektów Zwiększenie skuteczności i efektywności Wspomaganie procesu podejmowania decyzji Identyfikacja słabych i mocnych stron interwencji Sygnalizowanie pojawiających się problemów Określenie stopnia zgodności z przyjętymi
założeniami Zwiększanie profesjonalizmu świadczonych usług Pogłębianie odpowiedzialności za program/projekt Demokratyzacja procesu zarządzania
![Page 8: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/8.jpg)
RODZAJE EWALUACJI
Ewaluacja ex-ante Ewaluacja mid-term Ewaluacja ex-post Ewaluacja on-going
![Page 9: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/9.jpg)
EWALUACJA EX-ANTE
Jest to ewaluacja przeprowadzona przed wdrażaniem programu i mająca za zadanie ocenić, na ile planowana interwencja jest trafna z punktu widzenia potrzeb oraz spójna w zakresie planowanych celów i sposobów ich realizacji. Może stanowić również zbadanie kontekstu, identyfikację potencjalnych trudności oraz diagnozę potrzeb i oczekiwań grupy docelowej.
![Page 10: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/10.jpg)
EWALUACJA MID-TERMJest realizowana mniej więcej w połowie wdrażania programu. Poddaje analizie osiągnięte na tym etapie rezultaty oraz dokonuje pierwszej oceny jakości realizacji programu. Jej istotną rolą jest również ocena poczynionych na etapie programowania założeń, w tym szczególnie celów oraz przyjętych wskaźników. Wyniki takiej ewaluacji mogą przyczynić się do pewnych modyfikacji oraz aktualizacji przyjętych założeń. Opiera się w głównej mierze na danych z monitoringu, jej jakość warunkowana jest zakresem i rzetelnością danych monitoringowych.
![Page 11: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/11.jpg)
EWALUACJA EX-POSTPrzeprowadza się ją po zakończeniu projektu. Podstawowym zadaniem jest zbadanie długofalowych efektów oddziaływania programu oraz ich trwałości. Ważnym zadaniem jest całościowa ocena skuteczności i efektywności interwencji oraz jej trafności i użyteczności. Szczególnie istotne jest odniesienie się do założonych celów i sprawdzenie, na ile się udało je osiągnąć. Oprócz zakładanych efektów może ona pokazać inne efekty, których nie zakładano. Służy nie tylko kompleksowemu podsumowaniu realizacji, ale stanowi również cenne źródło informacji użytecznych przy planowaniu kolejnych działań lub kontynuacji obecnych.
![Page 12: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/12.jpg)
EWALUACJA ON-GOINGMa charakter uzupełniający dla wszystkich wcześniej wymienionych typów ewaluacji i może być prowadzona niezależnie od nich. Jest prowadzona w trakcie działań, jednak nie należy jej mylić z monitoringiem, gdyż jej zadaniem jest dokonanie pogłębionej oceny wybranych problemów, niekiedy zdiagnozowanych podczas realizacji innych ewaluacji. Skupia się na realizacji interwencji, diagnozuje i analizuje pojawiające się problemy oraz poszukuje możliwości ich rozwiązania. Może służyć pogłębionej analizie uwarunkowań kontekstowych, które mogą mieć znaczenie dla powodzenia realizacji programu, bądź osiągnięcia założonych celów.
![Page 13: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/13.jpg)
EWALUACJE TEMATYCZNESkupiają się na analizie jakiegoś wycinka prowadzonych działań, analiza ta ma zazwyczaj charakter przekrojowy i/lub porównawczy. Może dotyczyć np. określonego elementu działania, bądź zawierać analizy porównawcze z innymi działaniami. Często realizowane są w formule studium przypadku, który pozwala na szczegółową i pogłębioną analizę wybranego zagadnienia.
![Page 14: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/14.jpg)
RODZAJE EWALUACJI Ewaluacja założeń programu
(ekspertyza) – sprawdza, czy są dane teoretyczne i empiryczne uzasadniające realizację programu
Ewaluacja procesu – dokumentuje, co się wydarzyło w trakcie realizacji projektu
Ewaluacja wyników – sprawdza, czy osiągnięto zamierzone cele
Ewaluacja efektywności (kosztów) – kontroluje opłacalność poniesionych nakładów
![Page 15: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/15.jpg)
RODZAJE EWALUACJI A PYTANIA EWALUACYJNE Ekspertyza
Ewaluacja procesu
Ewaluacja wyników
Ewaluacja efektywności
Pytania o podstawy i założenia
Pytania o realizację programu
Pytania o efekty programu
Pytania o koszty w porównaniu z
wynikami
![Page 16: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/16.jpg)
SCHEMAT PROGRAMU A PYTANIA EWALUACYJNE
podstawy
zasoby programWyniki
bezpośrednie
Wyniki odroczon
e
Analiza kosztów – efektywnośćPytania o stosunek nakładów do
efektów
Ekspertyza
Pytania o założenia
Ewaluacja procesu
Pytania o nakłady i proces realizacji
programu
Ewaluacja wyników
Pytania o doraźne i odroczone skutki
![Page 17: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/17.jpg)
KRYTERIA EWALUACJI Trafność (relevance) Efektywność (efficiency) Skuteczność (effeciveness) Oddziaływanie / wpływ (impact) Trwałość efektów (sustainability)
![Page 18: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/18.jpg)
METODY ZBIERANIA DANYCH Analiza dokumentów Wywiady Kwestionariusze Obserwacja Analiza dostępnych danych Dane z monitoringu Studium przypadku Grupy fokusowe Opinie ekspertów Techniki grupowe
![Page 19: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/19.jpg)
METODY ZBIERANIA DANYCH CDJakościowe
Nastawione na klasyfikacje i interpretacje
Wyniki prezentowane w postaci cytatów wytwórców (np. rysunki dzieci)
Pytania dotyczą charakteru zjawiska, porównania cech, interpretacji znaczeń
Ilościowe
Nastawione na pomiar danego zjawiska
Wyniki prezentowane są w postaci licz lub proporcji
Pytania dotyczą rozmiarów danego zjawiska lub ilości przypadków
![Page 20: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/20.jpg)
WYKORZYSTANIE METOD JAKOŚCIOWYCH Rozpoznanie nowego zjawiska (np. używanie
nowych narkotyków syntetycznych) Dotarcie do „ukrytych” populacji (np.
nastolatki okazjonalnie palące marihuanę) Zaplanowanie lub ulepszenie działań (np.
podjęcie decyzji, jakie działania interwencyjne warto realizować z daną grupą)
Przygotowanie do zbierania danych metodą ilościową (np. jakie kategorie odpowiedzi zastosować w pytaniach zamkniętych w kwestionariuszu)
Wyjaśnienie wyników zebranych metodami ilościowymi (np. dlaczego wobec jednej grupy działania przyniosły sukces, a wobec drugiej nie)
![Page 21: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/21.jpg)
Typowe pytania: Czym charakteryzują się użytkownicy nowych
narkotyków syntetycznych? W jakich okolicznościach używają tych środków? Dlaczego używają ich w pewnych sytuacjach a w
innych nie?
Wykorzystują dane z wielu źródeł tzw. „triangulacja”
Zbieranie informacji przy pomocy kilku metod, różnych badaczy od różnych respondentów
Umożliwia głębszą analizę, ujęcie szerszego kontekstu
![Page 22: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/22.jpg)
Metoda Najlepsze zastosowanie
Wywiady indywidualne
Poznanie indywidualnych doświadczeń, opinii, biografii
Wywiady grupowe Badanie postaw, doświadczeń powstających w określonym kontekście społecznym, szukanie nowych rozwiązań
Obserwacje Badanie zachowań prowadzone w naturalnym środowisku
Studium przypadku Dokładna analiza funkcjonowania w realnym świecie
![Page 23: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/23.jpg)
WYKORZYSTANIE METOD ILOŚCIOWYCH Ocena skali zjawiska – np. odsetek
nastolatków którzy brali dopalacze Uchwycenie zmiany danego zjawiska na
przestrzeni czasu – np. rozpowszechnienie różnego rodzaju narkotyków w porównaniu z poprzednimi latami (ocena trendów)
Ocena skuteczności działań profilaktycznych – np. wpływ programu na ograniczenie picia alkoholu przez odbiorców
Porównanie grup np. chłopców i dziewcząt
![Page 24: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/24.jpg)
PRZYKŁADOWE PYTANIA Ilu uczestników paliło papierosy w
ostatnim miesiącu? Jaki odsetek odbiorców upił się
przynajmniej raz w ostatnim roku? Ilu z nich wagarowało w ostatnim
semestrze? Jak często brali udział w bójkach w
ostatnim roku?
![Page 25: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/25.jpg)
METODY OCENY Panel ekspertów Benchmarking Analiza SWOT Analiza kosztów i korzyści Analiza kosztów i efektywności Modele ekonometryczne
![Page 26: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/26.jpg)
MONITORING
![Page 27: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/27.jpg)
CELE MONITORINGU Wewnętrzny mechanizm zarządzania
projektem Zapewnienie zgodności realizacji Kontrola realizacji zadań Informacja zwrotna wspomagająca
zarządzanie projektem
Monitoring to dokumentowanie realizacji, czyli zbieranie obiektywnych dowodów potwierdzających poprawne działanie
projektu
![Page 28: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/28.jpg)
ZADANIA MONITORINGU Kontrola wewnętrzna i zewnętrzna Sprawozdawczość Zarządzanie jakością Zarządzanie zmianą ewaluacja
![Page 29: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/29.jpg)
PRZEDMIOT MONITORINGU
MONITORING RZECZOWYŚledzenie postępów prac
PROCES REALIZACJI
MONITORING FINANSOWYŚledzenie kosztów
PROCES WYDATKOWANIA
Gromadzenie obiektywnych dokumentów
Zadania projektowe Przepływy gotówkowe
Harmonogram wykonania Kwalifikowalność kosztów
Wskaźniki rezultatów twardych Salda kosztów
Wskaźniki rezultatów miękkich Źródła finansowania
Ewidencja uczestników Wzajemne rozliczenie
WYTYCZNE PROCEDURY FORMULARZE
![Page 30: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/30.jpg)
MONITORING RZECZOWY Kontrola merytorycznego zakresu
realizacji Harmonogram wdrażania projektu Systematyczne pomiary osiągania
zamierzonych rezultatów i celów Ewidencja informacji i uczestnikach i
formach wsparcia
![Page 31: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/31.jpg)
NARZĘDZIA MONITORINGOWE Dokumentacja projektowa – inwentaryzuje
wszystkie istotne, zaplanowane parametry projektu (np. harmonogram, tabele wskaźników rezultatów twardych i miękkich, tabele danych o beneficjentach)
Kwestionariusze – najlepiej opracowane przez realizatorów (np. karty rekrutacyjne, pracy, doradcze, listy obecności, dzienniki szkoleń, zestawienia wydanych zaświadczeń, dyplomów, ankiety ewaluacyjne, testy)
Arkusze kalkulacyjne – analizują przebieg finansowy projektu
Schematy obiegu dokumentów – wzory sprawozdań wewnętrznych itp..
![Page 32: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/32.jpg)
PRZYKŁAD WYNIKU
EWALUACJI
![Page 33: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/33.jpg)
REALIZATORZY PROGRAMU: Uaktywnili się uczniowie bierni na
lekcjach Zwiększyła się integracja środowiska
lokalnego Rodzice mają lepszy kontakt z dziećmi „Otworzyli” się beneficjenci mający
problemy w domu
![Page 34: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/34.jpg)
EWALUATORZY PROGRAMU Przyniósł głównie wzrost wiedzy z
zakresu negatywnych skutków używania substancji psychoaktywnych
Nie wpłynął na zmianę ich poglądów, ani intencji dotyczącej używania substancji psychoaktywnych
Nie znalazł odzwierciedlenia w ograniczeniu zachowań ryzykownych
![Page 35: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/35.jpg)
DWIE EWALUACJERealizatorzy:
Aktywizacja w szkole
Integracja społeczna
Wzbudzanie zaufania
Lepsze relacje rodzic – dziecko
?????
Ewaluatorzy
Przyrost wiedzy Brak wpływu na
poglądy i intencje Nie ograniczył
zachowań ryzykownych
Dobry program
zły program
![Page 36: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/36.jpg)
RÓŻNICE WYNIKAJĄ Z: Odmiennych kryteriów ewaluacji
stosowanych przez realizatorów i zewnętrznych ewaluatorów
Oraz związanych z tym zupełnie innych pytań ewaluacyjnych, jakie interesują jednych i drugich
![Page 37: Ewaluacja i monitoring programu](https://reader035.fdocument.pub/reader035/viewer/2022062705/5563844dd8b42acc128b47aa/html5/thumbnails/37.jpg)
K