Monitoring zamereny na vysledky a evaluace
-
Upload
inka-pibilova -
Category
Education
-
view
179 -
download
1
description
Transcript of Monitoring zamereny na vysledky a evaluace
Monitoring zaměřený na výsledky a evaluace projektů
Workshop pro Českou rozvojovou agenturu 19. – 20. 2014
Inka Píbilová / Daniel Svoboda
2
Ve skupinách
Proč tu skutečně jsme?
2
3
Projektový cyklus EK
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 3
4
Ve skupinách
Co je to nejlepší, co už děláme v PME ZRS ČR?
Jak by vypadalo ideální PME ZRS ČR?
Co bychom tedy měli udělat?
4
Analýza zainteresovaných aktérů - matice
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 5
Power / Interest / Attitude
KEEP SATISFIED INFLUENCE & ENGAGE
KEEP INFORMEDMONITOR
Interest
Policy makers
CSOs
Fishing families
Attitude
Analýza zainteresovaných aktérů
6
Analýza zainteresovaných aktérů - Vennův diagram
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm7
8
•8
Analýza kapacit organizace
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
Analýza problémů - strom 1) brainstorming 2) klíčový problém 3) souvislosti 4) kompletní hierarchie
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
9
Analýza problémů - SWOT
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 10
11
Připravte analýzu problémů a aktérů vašeho projektu dle vybraného nástroje
Analýza cílů a strategií
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 12
13
Logický model - teorie změny
Jak realizované aktivity povedou v konkrétním kontextu k vytvoření výstupů, naplnění cílů a záměru
Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo nebyly cíle dosaženy
Součástí monitoringu a evaluací musí být pochopení logického modelu projektu, případně jeho revize
Inputs Activities Outputs
Outcomes Impacts
Black box
Political Environment
(Governance, etc.)
Public Attitudes
Environment
Aid Players
Macro-economic Picture
Policy Context
Logický model - matice
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm14
15•15
Logický model - příklad znečištěné řeky
16
Zrevidujte teorii změny vašeho projektu
výstup 2:výstup 1:
záměr:
cíl:
výstup 3:
aktivita 1.1: aktivita 3.1:aktivita 2.1:
aktivita 1.2:aktivita 3.2:
Quantitative - SMARTER
Specific / Simple (to understand, collect)MeasurableAttainable/Available at cceptable costsRelevant to project / stakeholdersTime-bound
Využívejte kvantitativní i kvalitativní indikátory
http://www.smarttoolkit.net/?q=node/391http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
Qualitative – SPICED
SubjectiveParticipatoryInterpreted and communicableCross-checked and comparedEmpoweringDiverse / disaggregated (by gender)
V rámci indikátorů lze použít různých druhů srovnání: trendy (např. zvýšení), omezení (např. min. 30%), cíle (např. strategie do 12/Y1)
Min. 30 % účastníků zahájí vlastní projekt týkající se lokálního problému.
Důvody, proč účastníci ne/realizovali projekt týkající se lokálního problému.
17
18
Zrevidujte indikátory vašeho projektu
19
Příklady indikátorů – DFID či BOND UK
20
Aktivity de facto na všech úrovních projektu žádné výsledkyaktivity = školení, výstup = školení, cíl = vyškolení, záměr = vzdělání
Chybí přenos know-how projekt není replikovatelný místněpříklad: veškeré počítačové/modelové zpracování prováděno v ČR
Chybí změna nejsou zajištěny skutečné dopady (So what?)záměr = demonstrace moderních postupů / PROČ? UPLATNÍ JE?záměr = zlepšení přístupu na trh / ZLEPŠÍ TO ŽIVOT? JAK?
Chybí vztah s cílovou skupinou minimální či nulové dopadypříklad: místní farmáři neví o existenci poradenského centra
Cíle, výstupy a aktivity nejsou propojeny chybí strategiepříklad: jak souvisí studijní cesta do ČR s rozvojem komunity v Mali?
Chybí udržitelnost po skončení projektu přínosy končípříklad: není zajištěno vlastnictví a další financování farmypříklad: nejsou k dispozici náhradní díly a lokální servis
Typické chyby logického modeluTypické chyby logického modelu
21
Indikátory shodné pro různé úrovně nejedná se o jiné úrovněvýstup = 50 vyškolených farmářů, cíl = 50 farmářů má lepší povědomí
Indikátor formulován jako cíl nelze prokázat jeho dosažení příklad: zlepšení postavení drobných zemědělců / JAK SE POZNÁ?příklad: míra zkvalitnění produkce / CO TO ZNAMENÁ? LZE OVĚŘIT?
Indikátor není upřesněn jak se pozná změna?příklad: zvýšení produkce / JAKÉ? O KOLIK? OD KDY DO KDY? KDE?příklad: rozloha zpracovaného území (ha) / 0,1 ha nebo 1000 ha?
Indikátory zcela chybí jak se pozná úspěch?příklad: cíl = zavedení principů hospodaření / CO TO ZNAMENÁ?příklad: záměr = udržitelný rozvoj / JAKÉ JSOU HLAVNÍ FAKTORY?
Předpoklad na úrovni managementu chybí garance realizacepříklad: předpokladem je dostatečná kapacita hlavního realizátora
Předpoklad je předem splněn nemá vliv na realizaci projektupříklad: předpokladem je existence objektu z dřívějšího projektu
Typické chyby logického modeluTypické chyby logického modelu
22
Logický rámec je nelogický neexistuje logická provázanostpříklad: přemíra nepříliš souvisejících aktivit bez jasného výsledku
!Logický rámec je nepřehledný neumožňuje řízení projektupříklad: na 5 - 12 stranách nelze sledovat souvislosti a návaznosti
!Doporučení:
Matice logického rámce není formulář (vyplňovaný po napsání projektu), ale nástroj pro přípravu a řízení projektu!
Typické chyby logického rámceTypické chyby logického rámce
23
Předpoklady -> rizika
24
Rizika a opatření k jejich minimalizaci
2525
26
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
26
27
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
27
Monitoring
PročKdo Kdy
JakPrincipy Nástroje
28
29
Monitoring projektu Průběžné posuzování realizace projektu ve vztahu k plánovaným aktivitám a výstupům, kontrola harmonogramu, rozpočtu, dosažitelnosti cílů a záměru Cílem je efektivní řízení a případná modifikace projektu v závislosti na měnících se podmínkách a zkušenostech.
etapové monitorovací zprávy a zpráva závěrečná
Monitoring zaměřený na výsledky (ROM)Průběžné posuzování relevance, efektivnosti, efektivity, potenciálních dopadů a pravděpodobné udržitelnosti
Rychlá, často externí alternativa / komplementární k evaluacím
Cílem je zlepšit kvalitu projektu a dosáhnout udržitelných výsledků / dopadů
Evaluace projektuPeriodické posuzování relevance, efektivnosti, efektivity, dopadů a udržitelnosti dopadů projektu ve vztahu k definovaným výsledkům / cílům
Většinou externí hodnocení
Cílem jsou nápravná opatření (průběžná evaluace), poučení, ovlivnění dalších rozvojových projektů a politik, skládání účtů (závěrečná evaluace)
hodnotící/evaluační zprávy
30
Zvažte výhody a nevýhody monitoringu ČRA a alternativ
31
Doporučení pro ČRA:
Zrevidujte monitorovací plán vašeho projektu
Evaluace
PročKdo Kdy
JakPrincipy Nástroje
32
Kontext Účel Využití výstupů Zaměření Evaluační kritéria a otázky Metodologie Harmonogram Rozpočet Lidské zdroje – zodpovědnosti, požadovaná expertíza
Příručky: UNDP Handbook (p. 194 - 200) ttp://web.undp.org/evaluation/handbook/ EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136)
http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_adm_pcm_guidelines_2004_en.pdf
New Zealand Guide http://dmeforpeace.org/sites/default/files/NZAID_ToR%20Guideline.pdf
Zadání evaluace
33
Evaluační kritéria
•34•http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
34
35
Evaluační otázky
Vstupy (zdroje)
Vstupy (zdroje)
Aktivity
Aktivity
Výstupy
Výstupy
Krátkodobé cíle
Krátkodobé cíle
Střednědobé cíle
Střednědobé cíle
Dopady (dlouhodo
bé)
Dopady (dlouhodo
bé)
Interní kontrola v organizaci
Výstupy - zapojení příjemců
Oblast externích vlivů
Externí faktory
Jaká je povaha a rozsah problémů
při získávání porodních
asistentek a dalšího
vyškoleného personálu pro nové venkovské kliniky?
Jak dlouho se čeká na
nejvíce požadované
služby?
Nakolik byl projekt
úspěšný pro udržení
vyškoleného personálu v klinikách?
Jak kliniky pomohly zlepšit zdravotní stav
obyvatel po třech letech
provozu?
Formativní evaluace
Závěrečná evaluace
a/nebo
36
Úspěch = pozitivní změna
A) zahájení projektuB) konec projektuC) dva roky až pět let po ukončení projektu
A B C
neudržitelný projekt
dobrý projekt
špatný projekt
bez projektu
A B C
neudržitelný projekt
dobrý projekt
špatný projekt
bez projektu
37
Navrhněte evaluační otázky pro svůj projekt
Brainstorming – ptejte se na cokoliv (důležitého).
Následně seskupte otázky a vyberte otázky klíčové.
Koho se budete ptát? Kde získáte odpovědi?
Jak se budete ptát? Jak získáte odpovědi?
Otestujte si, zda jde otázka odpovědět.
Otestujte, zda vám odpověď pomůže.
Upravte otázky či metody, nezapomeňte na triangulaci.
38
Příklady z projektové praxe - cvičení
Riskantní projekt:- chybí odborný dozor (nejsou známy přírodní podmínky, není upřesněna výstroj vrtů, není řešena jakost a vydatnost vod ap.) projekt může negativně ovlivnit hydrogeologické poměry- není zajištěn provoz, údržba a ochrana nových vodních zdrojů
Technický trénink
Investice
Zlepšený přístup k
vodě
5 nových vrtů
Projekt:Vybudování nových vodních zdrojů
Vrtné práce
39
Příklady z projektové praxe - cvičení
Negativní dopady, neproveditelnost:- selekce „obdarovaných“ rodin rozděluje komunitu- nelze zapůjčit „člena rodiny“ a po roce ho zase odebrat- není řešeno uživení skotu ani možnost jeho ustájení- možnost ponechání přírůstků není mj. vztažena k připuštění býka (majitel býka by se stal nejdůležitějším členem komunity)
Roční zapůjčení krávy
Projekt:Podpora nejchudších rodin v uprchlickém táboře Dostatek
mléka pro děti
Zemědělské návyky
Možnost přírůstků
Zlepšení zdraví dětí
Zlepšení životních podmínek
Nejdůležitější evaluační otázky
• Proč chceme evaluaci konkrétního projektu?
• No a co? / So what? Opravdu je to úspěch?
• Přinesla hodnocená intervence očekávanou změnu? Proč a jak?
• Jakou změnu má přinést sama evaluace? Jak bude naloženo s jejími výsledky?
40
41
Otázky pro výběr otázek
• Kdo využije informace? Kdo chce vědět odpovědi? Komu by vadilo, že by odpovědi nedostal?
• Sníží odpověď nejistoty? Ovlivní běh událostí?
• Přinese odpověď důležitou informaci? Ovlivní běh událostí?
• Chceme odpověď vědět nebo ji potřebujeme vědět?
• Změnil by se výsledek evaluace, kdyby tato otázka nepadla?
• Je možné na tuto otázku odpovědět (ve vztahu k financím, kapacitám, času, metodám a technikám)?
42
Doporučení pro výběr otázek
• Začněte s identifikací hlavních problémů
• Každá otázka se musí zaměřit jen na jeden problém
• Otázky musí řešit hlavní problémy
• Je vhodné kombinovat všechny tři typy otázek
• Otázky musí mít jasný vztah k účelu evaluace
• Ověřte, zda se dají otázky odpovědět
• Používejte rozumný počet otázek ve vztahu k času určenému pro evaluaci
• Otázky musí odpovídat časovému průběhu programu
43
Plán evaluace zahrnuje
• Otázky a podotázky pro každý hlavní problém
• Typy evaluačních otázek
• Indikátory a cílové hodnoty (nebo standardy)
• Vstupní hodnoty (baseline data)
• Evaluační metody
• Zdroje dat a informací
• Požadovaný vzorek
• Metody a nástroje sběru dat a informací
• Způsoby vyhodnocení
• Způsoby prezentace dat
44
Typy otázek - deskriptivní
Odpovědi popisují „co se děje“
Charakteristika:
• snaží se pochopit nebo popsat program, postupy nebo přístupy k programu
• odpovědi mají poskytnout obrázek o tom, co je
• otázky jsou většinou jednoduché (kdo? co? kde? kdy? jak? kolik? jak moc?)
• většinou se týkají vstupů (zdrojů), aktivit a výstupů
• často jsou využívány pro zjištění názoru cílových skupin
45
Typy otázek - deskriptivní / příklady
• Jaké jsou cíle programu z pohledu různých aktérů?
• Jaké jsou hlavní aktivity programu?
• Kde je program realizován?
• Kdo dostává jaké služby?
• Jaké se při realizaci objevily překážky?
• Jaké je průměrné hodnocení výsledků od cílových skupin?
• Do jaké míry program využil zkušenosti z podobných programů?
• Jaké jsou hlavní rozdíly při realizaci programu na různých lokalitách?
46
Typy otázek - normativní
• Porovnávají „co je“ s tím „co mělo být“
• Podobné otázky jsou požívány při auditu
• Porovnávají výsledky ve vztahu k předem stanoveným kritériím
• Často jsou používány při monitoringu a při schvalování výsledků programu
47
Typy otázek - normativní / příklady
• Odpovídaly náklady schválenému rozpočtu?
• Byly náklady využity účelně (tak, jak měly být)?
• Bylo očkováno 80% dětí, jak bylo stanoveno?
• Podařilo se zavlažit 100 000 ha území, jak bylo plánováno?
• Byl proces výběru účastníků programu spravedlivý a nediskriminační?
• Do jaké míry program reflektoval rovnoprávnost žen a mužů?
48
Typy otázek - kauzální
• Sledují změnu, kterou intervence přinesla
• Ptají se, zda byly dosaženy požadované výsledky a zda byly dosaženy díky programu
• Srovnávají stav před programem a po programu a s programem a bez programu
• Evaluace dopadů se zaměřují na příčiny a následky
49
Typy otázek - kauzální / příklady
• Pomohla spolupráce tří zemí ochránit biodiverzitu a současně udržet zaměstnanost v regionu?
• Získali absolventi školení lepší pracovní uplatnění, které by jinak získat nemohli?
• Pomohly založené malé podniky snížit míru chudoby v dané oblasti?
• Přispěla vyšší daň z pohonných hmot ke snížení znečištění ovzduší?
• Pomohly zákonné pokuty ke snížení zneužívání dětské práce v oděvním průmyslu?
50
Typy otázek - kauzální / doporučení
• Při kauzálních otázkách je zásadní teorie změny
• Je nutné sledovat časové souslednosti
• Je nutné sledovat korelace různých dat
• Je nutné eliminovat alternativní vysvětlení
51
Evaluační metody
Metody pro deskriptivní a normativní otázky(většinou bez „pokusů“ - neexperimentální design):
• jednoduché zjišťování průřezových parametrů
• jednorázové zjišťování dat
• zjišťování dat před a po intervenci
• přerušované časové série dat
• průběžné (dlouhodobé) zjišťování dat
• případové studie
Normativní otázky vždy srovnávají výsledek s předem stanovenými kritérii (cílovými hodnotami, normami).
52
Evaluační metody
Metody pro kauzální otázky:
Experimentální design:• srovnává 2 kontrolní skupiny - jedné přímo zapojené do
programu a druhé programem neovlivněné
• výběr obou skupin je náhodný
Kvazi-experimentální design:• nepoužívá náhodný výběr
• využívá přirozeně existující srovnávací skupiny
• potřebuje více dat k vyloučení alternativních vysvětlení
53
Evaluační metody
Metody pro kauzální otázky:
Neexperimentální design:• nesrovnávají se různé skupiny
• musí podrobně vysvětlit vztahy mezi intervencí a jejími dopady
• evaluátor musí použít reprezentativní vzorky
• může analyzovat existující data a informace
• musí identifikovat charakteristiky, četnost a vztahy různých dat a informací
54
Evaluační metody
Kauzální otázky - možné postupy:• před a po programu s/bez srovnávací skupiny
• před a po programu u neekvivalentních skupin
• po programu s neekvivalentní srovnávací skupinou
• přerušované časové srovnávací studie
• průběžné (dlouhodobé) srovnávací studie
• panel - stejná skupina lidí je sledována delší dobu
• korelační statistický design
• analýzy dopadů programu u srovnávacích skupin
• neexperimentální metody: zjišťování průřezových parametrů, jednorázové metody, sledování kauzalit, případové studie
55
Evaluační postupy
• participativní metody (setkání, mapování, procházky)
• rešerše existujících dat a informací
• pozorování (nápadné či nenápadné)
• průzkumy a rozhovory (strukturované nebo ne)
• fokusní skupiny (skupinové diskuse)
• deníky (nebo „měsíčníky“), dotazníky
• odborné posudky (experti či panel expertů)
• technika „Delphi“ (posudky nezávislých expertů centrálně zpracované)
• další nástroje (přímá měření, analýzy, testy, karty spokojenosti, celostátní průzkumy…)
56
Evaluační postupy - doporučení
Neexistuje žádný nejlepší postup!
Evaluace se nesmí odvíjet od metod, naopak je potřeba vybrat nejvhodnější metodu pro konkrétní evaluační otázky a pro konkrétní účel evaluace!
Vždy je nutná triangulace - kombinace několika metod a několika zdrojů dat!
Nejdůležitějším faktorem je využitelnost a využití výsledků evaluace – musí být jasné od začátku!
57
Nástroje sběru dat
Při „vzorkování“ je třeba zvážit:
• rozsah potřebných dat - reprezentativní vzorek podle velikosti sledované populace nebo souboru dat
• náhodné, stratifikované či cílené vzorky (konkrétní skupiny, metoda sněhové koule - kontakty přes jednotlivé respondenty, pohodlnost - např. lidé, kteří přijdou na jedno místo)
• účel evaluace - typické (průměrné) hodnoty, extrémy, rozdílnost dat, pravidla a výjimky…
• kombinaci kvalitativních a kvantitativních dat
58
IPDET © 2009
Conversation
with ConcernedIndividuals
Community
Interviews
FieldVisit
s
Reviews of Official
Records (MIS and admin
data)
Participant Observation
s
Key InformantInterviews Focus
GroupInterviews
PanelSurveys
Censuses
FieldExperimen
ts
Informal/Less Structured Methods
Formal/More Structured Methods
One-Time Surveys
Direct Observations
Surveys
Nástroje sběru dat
Evaluability-Are clear why we do the evaluation? -Do we have an (updated) logical framework?-Do we have sufficient (baseline, monitoring) data available?-Do we have accessible reliable information sources?-Do we have sufficient funds for an internal/external evaluation? Will the evaluation be cost-effective, will it bring reasonable benefits vs. costs?-Is it likely that it will be used to improve actions in future? Can stakeholders influence the evaluation decisions? Will they accept and use the findings? Is there a strong leadership to put the recommendations in practice? -Are there no major factors hindering the evaluation? Are staff members or other stakeholders overloaded due to other priorities? Are there any tendencies that would affect impartiality?
Source: UNDP Handbook, Road to Results, Making evaluations matter•59
Můžeme projekt evaluovat ?
59
60
Připravte plán evaluace pro konkrétní otázky:
Otázky a jejich typ (deskriptivní, normativní, kauzální):
Vstupní a cílové hodnoty (u normativních otázek):
Evaluační metody (experimentální, neexperimentální…):
Zdroje dat a informací (kdo, co, kde):
Požadovaný vzorek (rozsah požadovaných dat):
Metody a nástroje sběru dat a informací (kdy, kde, jak):
Způsoby vyhodnocení (kvantitativní, kvalitativní):
Způsoby prezentace dat (zpráva, workshop, média):
Otestujte si pravděpodobný výsledek (odpovědi)!
61
Příklad
Cíl projektu:Dostat kuřata na druhou stranu frekventované silnice
Hodnotící otázky:Jaké bylo zvoleno technické řešení - přechod, podchod, nadchod, semafory, kladkostroj, balón, prak nebo např. výcvik v létání?
Nakolik bylo zvolené řešení efektivní (finančně, časově, humánně)?
Nakolik bralo zvolené řešení ohled na cílovou skupinu a její priority - dočkala se ho např. kuřata vůbec?
Mají kuřata na druhé straně zajištěnu potřebnou infrastrukturu - dostatečný prostor, péči, bezpečnost, vodu, zrní?
Budou jejich podmínky na druhé straně lepší než byly předtím nebo lepší než u srovnávací skupiny, která nikam nešla?
A proč vlastně kuřata chtějí na druhou stranu - neexistuje nějaká lepší strategie řešení jejich problémů a potřeb?
62
Zpracování dat - doporučení
Již před zahájením evaluace musí být jasná strategie zpracování kvantitativních a kvalitativních dat i způsob jejich propojení.
Způsob zpracování musí být uveden v evaluační zprávě, včetně stanovení míry věrohodnosti výsledků a nejistot.
Je nutné rozlišit konkrétní výsledky od jejich výkladu (interpretace).
Je vhodné použít konkrétní příklady a citace.
Nezbytná je kategorizace a triangulace výsledků.
63
Zpracování dat
Evaluační otázka: Byli rodiče spokojeni se školením?
IPDET © 2009
Příklad kvantitativní analýzy dat
64
Zpráva a prezentace – dle použití a uživatele
•65
Případov
á studi
e65
DoporučeníDoporučení
33
36
24
16
18
20
9
11
17
22
28
13
29
0 5 10 15 20 25 30 35 40
13
12
11
10
9
8
7
6
5
4
3
2
1
Obrázek je lepší, než 1000 slov,ale hodně „dobrých věcí“ škodí!
66
Doporučení pro ČRA:
Co plánuji o zítřka dělat jinak:
67