Hodnocení projektů ESF a jejich dopadů
-
Upload
ashton-reeves -
Category
Documents
-
view
31 -
download
1
description
Transcript of Hodnocení projektů ESF a jejich dopadů
Hodnocení projektů ESF a jejich dopadů
Ing. Vladimír Kváča, Ph.D.Vrchní ředitel sekce fondů Evropské unie
Ministerstvo práce a sociálních věcí
Praha 2. 5. 2013
Východiska
• Intervence z Evropského sociálního fondu by stejně jako jiné veřejné politiky měly respektovat tři oblasti odpovědnosti:– Správnost a poctivost (jsou procesy podle
pravidel?)– Účelnost a úspornost (dosahujeme cílů s
minimálními náklady?)– Přizpůsobivost a odolnost (reagujeme na
změny okolí, učíme se a zvládáme krize?)
2
OBDOBÍ 2007 - 2013
• Velký důraz na „Správnost a poctivost“ -Jsou procesy podle pravidel?
• Aneb utratili jsme prostředky v souladu s předpisy?
3
Období 2007 - 2013úroveň projektů
• Hlavní důraz je kladen na kontrolu, zda prostředky (tj. vstupy) byly vynaloženy v souladu s předpisy. Na úrovni projektů je kontrolováno pouze to, co se kontroluje snadno, nikoliv to co je důležité.
• Snahy o změnu v současném fungování jsou jen velmi obtížné. Obvykle je hatí auditoři a jejich lpění na některých dokumentech. Pokud se podaří jeden zrušit, další dostaneme za úkol.
4
• Systém hodnocení a měření dopadů projektů v programovacím období 2007 – 2013 není ideální:
• Koncept indikátorů vstupů, výstupů, výsledků a dopadů nebyl jasně vymezen, dochází k zaměňování pojmů výstup a výsledek.
Barca, F.: Outcome Indicators and Targets
5
Období 2007 - 2013úroveň programu
• Indikátory hrají marginální (pouze technickou) roli v programových dokumentech, jejich výběr byl odkládán až na období PO schválení dokumentů.
• Málokdy jsme schopni určit, jaké jsou výsledky přičitatelné programu a realizovaným projektům.
• Jasnou odpověď nepřináší ani většina evaluací.
6
Období 2007 - 2013úroveň programu
OBDOBÍ 2014 - 2020
• Přibývá „Účelnost a úspornost“Plánujte cíle a dosahujte je!
• Velký důraz na „Správnost a poctivost“ příliš neoslabuje.
• Přizpůsobivost a odolnost stále není v centru pozornosti.
7
Období 2014 - 2020
• Existuje zjevná a v obecné rovině správná snaha o větší orientaci na měřitelné výsledky nástrojů kohezní politiky (mj. operačních programů) jak ze strany EK, tak ze strany MMR.
• V novém období bude nevyhnutelně větší důraz na výstupové a výsledkové indikátory.
8
Obavy
• Konkrétní obsah o měření skutečných výsledků je v představách různých aktérů různý.
• Problém vidíme v nebezpečí zachování „současného“ systému kontroly výdajů a jen přidání nové vrstvy kontroly výstupů/výsledků.
9
Obavy
• Obáváme se také nebezpečí redukce cílů na indikátory, což může přinést neblahé důsledky:
– Obehrávání (gaming)
– Zvrácené pobídky (perverse incentives)
10
Obehrávání• Obcházení pravidel a procedur tak, že jejich
smysl není naplněn, ale po formální stránce je jim učiněno za dost.
• Souvisí s užíváním úzkých definic úspěchu.• Příklad: indikátor „počet nově vytvořených
pracovních míst“ někteří poskytovatelé obehrávali skrze masové automatické získávání živnostenských listů pro účastníky svých projektů. Formálně se tedy mohlo zdát, že nová pracovní místa vznikají, reálně však projekt nezpůsoboval žádnou změnu
11Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS
Zvrácené pobídky• Pobídky, které motivují účastníky k chování,
které má opačné výsledky než ty, které měly pobídky původně způsobit.
• Často jsou způsobeny opomenutím strategického chování těch, na které jsou mířeny.
• Rozpoznání efektu zvrácené pobídky u indikátoru není důvod k nevyužití indikátoru, ale je to nezbytný předpoklad pro jeho využití správné.
12Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS
Příklad zvrácené pobídky:• Rozdělování živnostenských listů pro splnění
indikátoru „nově vytvořená pracovní místa“:– Důsledkem tohoto kroku je, že podpořená osoba
odchází z projektu s nepromyšleně získaným živnostenským listem, což pro ni znamená řadu problémů, o kterých ani nemusí vědět (např. vyloučení z kategorie sociálně potřebné domácnosti / jednotlivce, nemožnost podat žádost o oddlužení, či komplikace s platbou sociálního pojištění).
– Díky zvrácené pobídce tedy nejen že reálně nevznikala hlášená pracovní místa, ale životní situace podpořených osob se dokonce zhoršovala.
13Metodický pokyn MMR-NOK Zásady tvorby a používaní indikátorů v programovém období 2014–2020, verze vypořádaní z MEPS
Náš přístup
• Na úrovni programu se chceme vyhnout přístupu „přesně kvantifikované cíle za všech okolností“. => Lépe měřit ano, ale neredukovat dosažení cílů na splnění cílové hodnoty indikátoru.
• Nechceme podcenit složitost nastavení indikátorové soustavy, na úrovni projektů budeme přemýšlet, jak minimalizovat nebezpečí obehrávání a nežádoucích pobídek.
14
Náš přístup
• Chtěli bychom v maximální míře využívat existujících administrativních dat, nicméně čelíme problémům především právní dostupnosti údajů (problém s ochranou osobních údajů)
• Vnímáme nebezpečí mechanistického pojetí.
15
Šablonové projektyúroveň projektu
• Předdefinované projekty financované podle paušálních výdajů nebo jednotkových výdajů (vychází k konceptu output-based aid).
• Pilotní výzva JAP – zařízení péče o děti
16
Pilotní výzva JAP
• Cílem výzvy je zlepšování situace v prosazování rovných příležitostí žen a mužů na trhu práce a ve sladění pracovního a rodinného života prostřednictvím zřízení a provozu zařízení péče o děti předškolního věku.
• Podpora je určena na vytvoření nového zařízení péče o děti předškolního věku mimo rámec školského zákona a prvních 18 měsíců jeho provozu. Zařízení musí být zřízeno zaměstnavatelem pro jeho zaměstnance.
17
Zaměstnavatel vytvoří zařízení péče o děti
Služby jsou nabídnuty zaměstnancům -rodičům
Rodiče se účastní, služby jsou poskytovány
Předpokládá se udržitelnost vzniklých zařízení
Black box
Vyšší účast rodin využívajících zařízení péče o děti na trhu práce
Proplacená jednotka:
Vytvořené místo
Žádná platba
Proplacená jednotka:
Obsazené místo
Podpora v čase klesá=> cesta k udržitelnosti provozu po skončení podpory.
Žádná platba
Předpoklad bude testován pro v rámci evaluace výzvy pro ověření fungování výzvy a rozhodnutí, zda je vhodné JAP opakovat.
Oblasti pro šablonové projekty
• Zařízení péče o děti
• Klasické vzdělávací kurzy
• …
• Šablonové projekty ovšem budou jednou, ne jedinou možností.
19
Kontrafaktuální indikátoryúroveň programu
• Název: Míra zaměstnanosti podpořených osob (20-64 let); výsledkový indikátor• Jednotka: %• Stručná definice: Míra zaměstnanosti podpořených osob (20-64 let) převážená na strukturu
obecné populace.• Vysvětlení: Na zaměstnanost celkové populace má kromě podpory z ESF vliv mnoho
dalších faktorů, z nichž je mnoho nemožné jakkoliv ovlivnit, a které jsou obtížně pozorovatelné a měřitelné. Proto je obecná míra zaměstnanosti nevhodná pro měření vlivu a úspěšnosti programu – nelze určit ani odhadnout do jaké míry je potencionální změna zaměstnanosti důsledkem působení programu či třeba důsledkem změn v ekonomice nebo dalších faktorů. Abychom mohli určit, zda program má či němá dopad na zaměstnanost, bude indikátor sledovat zaměstnanost podpořených osob a především to, jak se tato míra zaměstnanosti liší od zaměstnanosti osob v celkové populaci. Předpokládáme, že podpora z ESF podpořeným osobám poskytuje výhodu na pracovním trhu, a po jejím obdržení by tedy měly vykazovat vyšší zaměstnanost než-li skupiny, které jí neobdržely. Tuto výhodu najdeme tak, že ke každé skupině podpořených osob vytvoříme hypotetickou populaci na začátku i na konci sledovaného období, která bude v obou případech demograficky podobná skupině podpořených osob. Následně srovnáme míry zaměstnanosti pro tyto dvě skupiny před poskytnutím podpory (abychom zjistili, jak podobné tyto skupiny z hlediska zaměstnanosti jsou) a poté.
• Výchozí hodnota je z definice shodná Mírou zaměstnanosti (obecné populace) 20-64.
20
DĚKUJI ZA POZORNOST!
Ing. Vladimír Kváča, [email protected]
21
Další informace:
http://www.coprbm.eu/sites/default/files/sourcebook_tusseninres.pdf
http://www.coprbm.eu/