Prečo sa Slovensko

zapojilo do projektu

OECD AHELO a čo mu

to prinieslo

www.kvalita.reformy-msmt.cz

Praha, 24. 4. 2014doc. RNDr. Peter Mederly, CSc.

Ministerstvo školstva, vedy, výskumu a športu SR

Obsah prezentácie

• Čo je projekt AHELO

• Ako projekt AHELO prebiehal

• Prečo a ako sa Slovensko do projektu AHELO zapojilo

• Príklady testových úloh

• Čo priniesol projekt AHELO Slovensku

• Aké sú výsledky projektu AHELO a jeho budúcnosť

• Záver

1

Čo je projekt AHELO

• AHELO je skratka odvodená od názvu Assessment of Higher Education Learning

Outcomes, teda Hodnotenie výsledkov vysokoškolského vzdelávania

• AHELO je názov projektu OECD; dôvod jeho vzniku je potrebné hľadať v radikálnych

zmenách v oblasti vysokého školstva na začiatku 21. storočia

• Súčasťou týchto zmien je rastúca potreba informácií o výsledkoch vysokoškolského

vzdelávania / kvalite vysokoškolského vzdelávania prezentovaná rôznymi

zainteresovanými spoločenskými skupinami (zamestnávatelia, štát, vysoké školy, študenti

a ich rodičia ...)

• Na medzinárodnej úrovni v súčasnosti neexistuje žiadny prostriedok na priame

hodnotenie kvality vysokoškolského vzdelávania

• Všetky medzinárodné rebríčky kvality vysokých škôl – rankingy – sú založené, z pohľadu

kvality vzdelávania a jeho výsledkov, len na nepriamych ukazovateľoch

• Na odborných medzinárodných podujatiach nezriedka zaznieva názor, že uvedené

rankingy majú marketingový charakter a často narobia pre kvalitu vysokoškolského

vzdelávania viac škody ako osohu

2

Čo je projekt AHELO (2)

• Návrh na zváženie možnosti vývoja nástroja na medzinárodné hodnotenie výsledkov

vysokoškolského vzdelávania vznikol na stretnutí ministrov školstva krajín OECD v

Aténach v roku 2006

• Tento návrh vyvolal veľkú diskusiu vo vysokoškolských kruhoch v rokoch 2006 – 2008;

časť expertov a zainteresovaných návrh s entuziazmom podporovala, iní boli kritickejší

a poukazovali na potenciálne riziká (zložitosť problému, možné problematické použitie

na ranking a alokáciu prostriedkov, ohrozenie autonómie, osobitne problematické

meranie všeobecných schopností v prostredí VŠ)

• OECD v priebehu roku 2007 iniciovala 3 medzinárodné stretnutia expertov k

problematike AHELO; ich výsledkom bola séria odporúčaní pre štúdiu

uskutočniteľnosti AHELO

• Tieto odporúčania boli prezentované na neformálnom stretnutí ministrov školstva krajín

OECD konanom v roku 2008 v Tokiu; ministri návrh privítali a podporili; v nadväznosti

na to OECD iniciovala projekt AHELO

3

Čo je projekt AHELO (3)

• Projekt mal výskumný charakter a formu štúdie uskutočniteľnosti s cieľom

zistiť, či je možné hodnotiť a porovnávať výsledky vysokoškolského

vzdelávania medzi jednotlivými krajinami s rôznou kultúrou a jazykmi; úplný

názov projektu, ktorý zbehol, je AHELO – štúdia uskutočniteľnosti

• Projekt AHELO prebiehal v troch oblastiach:

• v oblasti všeobecných schopností (generic skills - GS)

• v oblasti ekonómie (economy - ECO)

• v oblasti stavebníctva (engineering - ENG)

• V rámci projektu AHELO študenti v poslednom roku bakalárskeho štúdia

absolvovali testy

• Oblasti ekonómie a stavebníctva boli určené pre študentov príslušných

odborov; oblasť všeobecných schopností bola určená pre všetkých študentov

4

Čo je projekt AHELO (4)

• Do projektu sa zapojili vysoké školy zo 17 krajín z 5 kontinentov

• Do projektu boli zapojení aj učitelia; nerobili testy, ale vypĺňali tzv. kontextové

dotazníky, v ktorých sa vyjadrovali najmä o podpore kvality na svojej vysokej

škole

• Z každej vysokej školy zapojenej do projektu dostalo možnosť zúčastniť sa

testovania 200 študentov; ak mala vysoká škola menej ako 200 študentov

končiacich bakalárske štúdium v príslušnej oblasti, alebo tento počet tesne

presahoval číslo 200, dostali príležitosť zúčastniť sa všetci

• Väčšinu nákladov na projekt hradili zúčastnené krajiny a niečo sponzori; na

spoločné (medzinárodné) náklady sa zúčastnené krajiny skladali formou

príspevku pre OECD na projekt AHELO; výška príspevku závisela od počtu

oblastí, ktorých sa daná krajina zúčastnila; krajina, ktorá sa zúčastnila len v

jednej oblasti, prispela sumou 350 000 €

5

Zoznam zúčastnených krajín a

oblastí

1. Abu Dhabi – ENG 10. Južná Kórea - GS

2. Austrália – ENG 11. Kuvajt - GS

3. Belgicko – ECO 12. Mexiko - GS, ECO, ENG

4. Kanada – ENG 13. Holandsko - ECO

5. Kolumbia - GS, ENG 14. Nórsko - GS

6. Egypt - GS, ECO, ENG 15. Rusko – ECO, ENG

7. Fínsko – GS 16. Slovensko - GS, ECO, ENG

8. Taliansko – ECO 17. Spojené štáty americké - GS

9. Japonsko - ENG

6

Ako projekt AHELO prebiehal

• Projekt AHELO – štúdia uskutočniteľnosti prebiehal od januára 2010

do decembra 2012

• V prvej fáze, od januára 2010 do júna 2011, prebiehal vývoj testovacích

nástrojov a ich overovanie na malých skupinách

• V druhej fáze, od júla 2011 do decembra 2012, prebiehala

implementácia hodnotiacich nástrojov a kontextových prehľadov a

analýza zozbieraných údajov – samotné testovanie prebehlo od januára

do mája 2012

• Na záver projektu AHELO – štúdia uskutočniteľnosti sa uskutočnila

záverečná medzinárodná konferencia v marci 2013 v Paríži

7

Prečo a ako sa Slovensko

do projektu AHELO zapojilo

• Slovensko sa zapojilo do projektu na poslednú chvíľu – v januári 2011

• Účasť Slovenska iniciovalo ministerstvo školstva; projekt AHELO vnímalo ako

možnosť prispieť k zvýšeniu kvality vysokého školstva na Slovensku

• Pre ministerstvo to bolo aj možné východisko k zefektívneniu nekonečných

debát o kvalite vysokého školstva, ktoré vychádzajú len z nepriamych alebo

z neoverených a nepodložených informácií

• Slovensko sa zapojilo do všetkých 3 oblastí projektu

• Ministerstvo sa obrátilo na všetky slovenské vysoké školy s výzvou prihlásiť

sa do projektu; vo výzve garantovalo, že každá škola dostane informáciu o

výsledkoch svojich študentov a aj ich porovnanie s výsledkami podobných

inštitúcií v medzinárodnom meradle

• Ministerstvo garantovalo, že výsledky jednotlivých vysokých škôl nebudú

zverejňované

8

Prečo a ako sa Slovensko

do projektu AHELO zapojilo (2)

• Slovenské vysoké školy zareagovali na výzvu ministerstva pozitívne, v

medzinárodnom porovnaní bol záujem o účasť nadpriemerný

• Ministerstvo projekt kompletne financovalo a koordinovalo na centrálnej úrovni

• Ministerstvo sa pre každú z oblastí dohodlo s jednou z vysokých škôl, že bude

zabezpečovať koordináciu a implementáciu projektu na Slovensku v danej

oblasti – práve tieto 3 vysoké školy odviedli prevažnú väčšinu implementačnej

práce

• Účasť slovenských vysokých škôl v jednotlivých oblastiach

• GS - 16 VŠ (11 verejných, 3 súkromné a 2 štátne) – koordinácia UMB B. Bystrica

• ECO - 8 VŠ (7 verejných a 1 súkromná) – koordinácia UK Bratislava

• ENG - 3 VVŠ (všetky, kde sa ENG vyučuje) – koordinácia STU Bratislava

• Celkové náklady Slovenska na projekt AHELO boli 1,44 mil. €, z toho

príspevok pre OECD na spoločné náklady projektu bol 0,73 mil. €

9

Príklady testových úloh

• Vo všetkých troch oblastiach boli na testovanie použité 2 nástroje:

• problémová úloha s tvorbou odpovede (CRT, Constructive Response Task)

• tradičný výberový test (MCQ, Multiple Choice Questions)

• Pre každú z 3 oblastí boli zostavené 2 CRT – každý študent riešil jednu z

nich

• Pre každú z oblastí bolo zároveň zostavených niekoľko skupín

výberových testov MCQ a každý študent mal za úlohu riešiť jemu

priradenú zostavu týchto skupín

• Nie všetci študenti teda riešili rovnaké úlohy

10

Príklad úlohy typu CRT v oblasti GS

• Jedna z 2 CRT úloh v oblasti GS sa volala Sumec (Catfish); študent bol postavený do

pozície poradcu primátorky mesta, ktorá ho žiada o prípravu podkladov pre zasadnutie

mestskej rady zvolanej kvôli nedávnemu objavu znetvorenej ryby v neďalekom jazere

• Študent mal k dispozícii informácie zo 6 rozličných zdrojov - dva novinové články, list,

mapu, odbornú správu a prepis rozhlasového rozhovoru; pre výskyt deformovaného

sumca existovali tri alternatívne teórie - príbuzenské kríženie, parazity a chemická

kontaminácia

• Úlohou študenta bolo v informačných zdrojoch, ktoré mal k dispozícii, nájsť najsilnejšie

argumenty pre a proti jednotlivým teóriám, rozhodnúť, ktorá z nich je

najpravdepodobnejšia, a navrhnúť optimálne riešenie problému

• Odpovede študentov sa hodnotili v 3 dimenziách (na škále 0 – 6):

• analýza a hodnotenie informácií

• riešenie problému

• efektívnosť písania

11

Príklad úlohy typu MCQ z oblasti

ECO

• Ak je v krajine so situáciou ako na obrázku na

cenu za prenájom domov stanovený strop R0 a je

striktne dodržiavaný (neexistuje čierny trh), čo

z nasledujúceho sa s najväčšou

pravdepodobnosťou stane?

• (A) Niektorí ľudia, ktorí si potrebujú prenajať dom,

už si viac dom prenajať nechcú

• (B) Niektorí ľudia, ktorí si potrebujú prenajať

dom, si nemôžu dom na prenájom nájsť

• (C) Niektorí majitelia domov na prenájom

nedokážu nájsť ľudí ochotných si tieto domy

prenajať

• (D) Majitelia domov na prenájom budú mať

zvýšenú motiváciu vylepšiť si svoj majetok

12

Kontextový dotazník študenta

• V závere testovania študenti vypĺňali kontextový dotazník

• V rámci tohto dotazníka sa zisťovali údaje

• o študentovi – napríklad povolanie a najvyššie dosiahnuté vzdelanie otca a matky;

miera vynaloženého úsilia pri vypĺňaní testu

• o priebehu štúdia – napríklad proporcia času venovaného osnovami predpísanej

výučbe, príprave na vyučovanie, platenej práci; miera dôrazu na memorovanie

analýzu, syntézu a skupinovú prácu v rámci štúdia

• o študijných skúsenostiach a interakciách – napríklad miera ústretovosti

vyučujúcich; frekvencia konštruktívnych vyjadrení k práci študenta zo strany

vyučujúcich; miera celkovej spokojnosti so štúdiom odboru

• Kontextový dotazník spracovávali aj učitelia a vypĺňal sa aj za inštitúciu

13

Čo priniesol projekt AHELO

Slovensku z hľadiska zúčastnených

vysokých škôl

• Viac ako polovica slovenských vysokých škôl (18 z 33) vrátane všetkých

najdôležitejších získala informácie z prvého priameho merania výsledkov vzdelávania

organizovaného na globálnej úrovni a metodikou, na ktorej prišlo k istej zhode na

medzinárodnej úrovni

• Zúčastnené vysoké školy dostali podrobné výsledky svojich zúčastnených študentov a

mali tak možnosť zistiť, v ktorých oblastiach uspeli a v ktorých nie

• Výsledky zúčastnených vysokých škôl zo všetkých krajín boli vyjadrené v škále tak, že

priemer dosiahnutých bodov všetkých zúčastnených študentov je 500, smerodajná

odchýlka je 100; každá vysoká škola dostala v rámci tzv. Institutional Report aj

informáciu o svojej pozícii voči ostatným zúčastneným vysokým školám (ale bez

identifikácie týchto ostatných vysokých škôl), ako aj porovnanie niektorých údajov z

kontextových dotazníkov (napríklad o úsilí, ktoré študenti vynaložili na riešenie úloh) s

celkovým priemerom všetkých zúčastnených

• AHELO predstavuje impulz na spoluprácu slovenských vysokých škôl v ekonómii a

stavebníctve pri analýze a odstraňovaní slabých miest v študijných programoch

14

15

Časť informácií z Institutional Report pre vysokú školu

Čo priniesol projekt AHELO Slovensku

z hľadiska systému vysokého školstva

• Najdôležitejší prínos: AHELO pre Slovensko reprezentuje svetlo na

konci tunela nekonečných debát o kvalite slovenského vysokého

školstva pretože ukázalo, že meranie výsledkov vzdelávania je (v

prijateľnom rozsahu) možné a technicky uskutočniteľné

• Ďalšie pozitíva

• vysoký záujem vysokých škôl a dobrá, v niektorých prípadoch mimoriadne dobrá,

účasť študentov

• získanie nových informácií o slovenskom vysokom školstve na základe metodiky

dohodnutej na medzinárodnej úrovni – výsledky slovenských vysokých škôl sa vo

väčšine prípadov pohybovali okolo priemeru

• organizačné a technické zvládnutie rozsiahleho a náročného projektu

• dobrá reprezentácia Slovenska na pôde OECD z hľadiska jeho angažovanosti a

príspevku k organizácii projektu AHELO

16

Čo priniesol projekt AHELO Slovensku

z hľadiska systému vysokého školstva

(2)

• Najväčšie výzvy vnímané na začiatku projektu

• ako motivovať vysoké školy a študentov pre účasť na projekte

• zvládnuť v skrátenom čase a bez predchádzajúcich skúseností rozsiahly a zložitý

projekt

• ísť do rizika pomerne vysokej finančnej investície do projektu, ktorého vývoj a

výsledky boli v čase rozhodovania nejasné

• Závery zo slovenských skúseností po skončení projektu

• v princípe je možné realizovať porovnávanie výsledkov vysokých škôl vo vzdelávaní

v rámci danej krajiny aj na medzinárodnej úrovni

• je možné motivovať vysoké školy a ich študentov na účasť v inovatívnych aktivitách a

angažovať ich pri ponuke získať informácie o ich výsledkoch a možnosti porovnať ich

s výsledkami ich kolegov

• úspech v projekte tohto typu si vyžaduje synergiu viacerých faktorov: entuziazmus a

profesionalitu ľudí na vysokých školách aj v centre; primerané financovanie, ochotu

prevziať na seba riziko a centrálnu podporu (ministerstva)17

18

Účasť vysokých škôl a študentov v projekte

AHELO

Výsledky projektu AHELO a jeho

budúcnosť

• V záverečných materiáloch OECD k projektu AHELO sa konštatuje, že výsledky

štúdie uskutočniteľnosti ukázali, že komparatívne hodnotenie výsledkov

vysokoškolského vzdelávania uskutočnené na širokej báze je konceptuálne

opodstatnené (valid) a do značnej miery technicky realizovateľné

• Zároveň však boli jasnejšie identifikované aj 4 problémové oblasti, na ktoré sa

bude potrebné pri ďalšom vývoji hodnotenia výsledkov vysokoškolského

vzdelávania sústrediť:

• účel AHELO – hodnotenie vysokej školy alebo pomoc vysokej škole?

• hodnota výsledkov – vysoké školy by potrebovali bohatšie údaje na zlepšenie

vzdelávania a študenti podrobnejšiu spätnú väzbu ako poskytla štúdia

uskutočniteľnosti

• rozsah – aké sú možnosti pre pridanie ďalších oblastí?

• udržateľný business plan - potrebné bude zabezpečiť dlhodobý finančný rámec,

ktorý umožní dôveryhodné plánovacie rozhodnutia

19

Výsledky projektu AHELO a jeho

budúcnosť (2)

• V nadväznosti na výsledky štúdie uskutočniteľnosti OECD vypracovala návrh na

pokračovanie projektu AHELO formou tzv. hlavnej štúdie (Main study)

• Tento návrh reagoval na problémové oblasti identifikované počas štúdie uskutočniteľnosti

nasledovne:

• Cieľ – AHELO má poskytnúť vysokej škole údaje na podporu skvalitňovania jej vzdelávacej

činnosti; nemá byť nástrojom pre ranking

• Hodnota výsledkov – vysoká škola by mala mať možnosť porovnať svoje výsledky vzdelávania

oproti medzinárodným štandardom a s inými vysokými školami doma a v zahraničí; osobitne s

vysokými školami podobnými danej vysokej škole

• Rozsah – hlavná štúdia by mala pokračovať v oblastiach GS, ENG a ECO; boli stanovené kritériá

pre výber ďalších oblastí; ako najvhodnejšie sa javia medicína, informatika, matematika,

strojárstvo, ošetrovateľstvo, fyzika; je vypracovaný návrh postupu zavedenia nových oblastí do

testovania

• Finančná udržateľnosť - je urobená štruktúra, analýza a odhady nákladov; závisia od počtu

zúčastnených krajín a tiež od počtu oblastí, v ktorých by prebiehalo testovanie

20

Výsledky projektu AHELO a jeho

budúcnosť (3)

• Na rokovaniach v rámci OECD koncom roku 2013 viaceré krajiny vyslovili

pokračovaniu AHELO opatrnú podporu podmienenú doriešením otvorených

otázok

• Niektoré krajiny sa však postavili jednoznačne proti s použitím rôznych

argumentov (často rovnakých, ako bolo identifikované pred začatím projektu)

– akademická sloboda, existencia odborových akreditácií, nemožnosť

zabezpečiť účasť vysokých škôl a študentov, nemožnosť zabrániť využitiu

výsledkov na tvorbu rebríčkov

• V rámci štandardného procesu určovania priorít programu práce OECD v

oblasti vzdelávania na roky 2015 – 2016, ktorý prebiehal v prvých mesiacoch

roku 2014, získalo pokračovanie projektu AHELO pomerne malú podporu, a

tak o jeho pokračovaní rozhodne to, či sa nájde dosť krajín ochotných

poskladať sa na jeho financovanie

21

Záver

• Bez ohľadu na to, ako sa členské krajiny OECD nakoniec rozhodnú, projekt

AHELO ukázal, že možnosť merania výsledkov vysokoškolského vzdelávania

je reálna

• Aj keď náklady na zavedenie merania výsledkov vzdelávania do

štandardného chodu vysokoškolských systémov sú značné, drahé je aj

nerobiť nič; „bez takýchto údajov budú výsledky vysokoškolského

vzdelávania naďalej posudzované na báze excentrických (idiosyncratic)

rankingov odvodených od vstupov do neho“ (Andreas Schleicher,

osobitný poradca pre vzdelávaciu politiku generálneho tajomníka OECD a

zástupca riaditeľa pre vzdelávanie v OECD, november 2013)

22

Ďakujem za pozornosť!

www.kvalita.reformy-msmt.cz