EVALUACE PROGRAMUJan Činčera, 2010

Obsah Úvodní pojmy, příklady, smysl

evaluace…

Cyklus evaluace

Tipy

Příklad 1 Zelená škola Realizátor zvolil nevhodný způsob bodování škol

zapojených do projektu. V důsledku učitelé špatně pochopili smysl programu. Těžiště aktivity se z dětí přesunulo na učitele. Učitelé naplňovali program aktivitami podle svého

uvážení. Program neměl měřitelný vliv na žáky. Realizátor přehodnotil systém bodování škol.

Příklad 2 GLOBE Učitelé realizují pouze některé z

doporučených typů aktivit – vynechávají analytické a projektově orientované aktivity.

Program sice ovlivňuje znalosti, ale nikoliv výzkumné dovednosti dětí.

Realizátor připravuje nové metodiky na zaškolení učitelů.

Příklad 3 Kurz pro koordinátory EV

Účastníci většinou spokojeni s průběhem, chyběla jim ale metodika.

Menšina nespokojená – střety s vlastní představou o EV x organizátoři

Absolventi přesto nezvládají připravit program.

Realizátor připravil novou metodiku kurzů a zahájil jejich evaluaci.

Evaluace = proces kritického prověřování

programu. Zahrnuje sběr a analýzu informací o aktivitách programu, jeho charakteristikách a výstupech. Jejím cílem je formulovat stanoviska o programu ke zvýšení jeho efektivity a / nebo k poskytnutí informací pro rozhodování o programu.

Proč evaluace? Zkvalitnění programu Úspory v organizaci Prezentace Komunikace se sponzory

Kdy má evaluace smysl Je reálná šance, že program funguje Program je možné evaluovat Program stojí za to evaluovat Realizátor je otevřený zpětné vazbě a modifikacím

programu, má o evaluaci zájem Programy, které neprošly sumativní

evaluací, pravděpodobně nefungují podle očekávání realizátorů.

Obecné zásady Neexistuje ideální evaluační design Pragmatický přístup k evaluaci Participace

evaluátor – středisko empatická neutralita evaluátora

Opatrnost v interpretacích a doporučeních Žádná evaluace neříká přesnou výpověď,

pravděpodobnostní charakter

Evaluační roviny

Teorie programu

Program = souhrn aktivit, které naplňují společné cíle.

Logický model programu

Zaškolení týmu

Příprava manuál

uZajištěn

í klientel

y

Prezentace CS

Kooperativní

aktivity

Diskuse o místních

problémech

Kooperativní dovednosti

Přesvědčení o zvládnutelnosti

spolupráce

Proakční přesvědčení

Akční znalosti

Spolupráce na řešení místního

problému

Vyřešený místní problém

Typy evaluace Expertní

hodnocení Analýza potřeb Analýza náklady -

výstupy Akční výzkum

Monitoring Formativní

evaluace Sumativní

evaluace

Evaluační proces

Informace o programu Expertní hodnocení

Paradigma programu Výstupově x procesně orientovaný Metodická východiska…

Logický model programu Tématický rámec programu Organizační model (sekvence) programu

Předchozí evaluace a zkušenosti s programem

Evaluační otázky Co chceme zjistit? Jaké roviny logického modelu chceme

zkoumat? Jaké jsou základní indikátory pro

evaluační otázky?

Příklady evaluačních otázek Do jaké míry program rozvíjí znalostidětí o globálních problémech? Chovají se absolventi programu k životnímu

prostředí jinak než děti, které ho neabsolvovaly?

Co si děti v průběhu programu uvědomily nového?

Měl program vliv na další život dětí? Které konkrétní aktivity děti nejvíce ovlivnily?

Plán (design) evaluace Kvantitativní

Do jaké míry bylo dosaženo očekávaných výstupů programu? Čísla: četnosti, průměry, čísla, statistická

významnost Kvalitativní

Proč účastníci reagovali při programu tak, jak reagovali?

Jak účastníci interpretují to, co se dozvěděli? Slova, obrazy, situace: textová analýza

Smíšený

Kvantitativní metodika Předpoklady

Program lze objektivně měřit Výstupy lze kvantifikovat

Plán evaluace Monitoring výstupů Experimenty a kvaziexperimenty Korelační analýza

Kvantitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat

Výběr vzorku

Census – všichni účastníci Náhodný – randomizované experimenty Jiný (dostupnost, samovýběr)- kvazi

experimenty

Monitoring výstupů Indikátory = přesná a měřitelná kritéria pro vyhodnocení míry dosažení daného výstupu. CO? Jak mnoho – hladina úspěšnosti? Př.: 70% žáků na myšlenkové mapě uvede

správně alespoň tři různé činnosti, kterými ovlivňuje životní prostředí s uvedením alespoň jednoho environmentálního dopadu každého z nich.

Vhodné pro jednoduché evaluace, kdy předpokládáme vstupní úroveň účastníků a není pravděpodobný vliv jiných faktorů

Plán vyhodnocování indikátorů

Experimenty

Experimentální skupina

Kontrolní skupina

Korelační analýza Vztah dvou či více proměnných

Pozitivní či negativní korelace Důvody

Chybí kontrolní skupina Méně fixní program ve více variantách Sledujeme vliv jedné proměnné Sledujeme vliv kombinace proměnných

Metody sběru dat Ankety Dotazníky Testy Pozorování

(observační tabulka)

Validita Reliabilita Anonymita Přesné a jednotné

zadání

Analýza dat Monitoring

Deskriptivní statistika – porovnání indikátory: data Experimenty

Statistická významnost rozdílů mezi skupinami Velikost účinku (size effect)

Korelační analýzy Síla korelace

Kvalitativní metodika Předpoklady

Program interpretuje každý jinak – neexistuje "objektivní" realita programu

Zajímají mě právě subjektivní výpovědi, jedinečnost, kontrastnost

Kvalitativní metodika Výběr vzorku Plán sběru dat Metody sběru dat Analýza dat Interpretace dat

Výběr vzorku NENÍ náhodný, ale záměrný

Např. kontrastní vzorkování, sněhová koule, respondenti podle jistých charakteristik, podle dostupnosti...

Plán sběru dat NENÍ lineární, ale cyklický Není předem daný rozsah Data se sbírají, dokud nejsou nasyceny sledované

kategorie Typy

Zakotvená teorie Etnografický průzkum… Smíšený plán QUAL+quan…

Metody sběru dat Rozhovory Ohniskové skupiny Pozorování,

nahrávky Analýza textů,

posterů, artefaktů, deníků, portfólií..

Důvěryhodnost Triangulace

Analýza dat Kódování Vytváření obecných kategorií a

subkategorií (témat) Analýza vztahů mezi kategoriemi,

modely…Toto odpoledne bylo zvláštní! Líbilo se mi, když jsme byli v restauraci SVĚT. Ale vadilo mi, že v Ghaně a dalších chudých zemích měli jen chleba a výjimečně vodu!...

Evaluační zpráva1. Cíle evaluace2. Popis programu3. Evaluační otázky4. Indikátory, design evaluace5. Charakteristika vzorku6. Metody sběru dat7. Prezentace výsledků8. Interpretace, diskuse9. Doporučení10. Závěry

Jak začít Kritická analýza vlastního programu Samostatně x externí evaluátor Formativní evaluace, akční výzkum Finanční zdroje Čas Odhodlání

Jak evaluovat různé výstupyTyp výstupů Metoda sběru dat Specifické nástroje a

postupy

Znalosti Testy

Dovednosti• Manuální• Kognitivní

TestyPozorování Analýza dokumentů

Hodnotící tabulka, IndikátoryZcitlivující koncepty

Postoje a hodnoty DotazníkyPozorováníDokumenty, portfolia…RozhovoryObrázky, imaginární cesty..

Standardizované nástrojeStejně jako dovednosti či chování

Chování DotazníkyRozhovoryPozorování

Posttest 2 – delší časový odstup

Jak evaluovat afektivní proměnné Senzitivita Ohnisko kontroly

Obecné Specifické

(sebehodnocení) Obecné postoje Specifické postoje Hodnoty

Měřitelné vyjádření (formuluje a odůvodní vlastní stanovisko k řešení problému)

Standardizované nástroje

Kvalitativně

Dotazy…

Jan Činčera, jan.cincera@tul.cz