Ulusal Değerlendirmeler Aracılığıyla Öğrenim Sonuçlarının İzlenmesi ve

İyileştirilmesi

Aaron Benavot Küresel Eğitim Politikası Profesörü y

Eğitim Fakültesi New York Albany Eyalet Üniversitesi, ABD

ODA/BDT Bölge Eğitim Bakanları Konferansı : Tüm Çocukların Kaliteli Eğitim Kapsamına Alınması- Eğitimde Eşitsizliklerin Azaltılması 10-13 Aralık 2013 İstanbul, Türkiye

Eğitim kalitesine yönelik uluslararası ilgi ve bu konudaki tartışmalar 2000 yılından bu yana

yaygınlaşmıştır �  Kaliteyle ilgili konuların ele alındığı çeşitli üst düzey (bakanlar düzeyi) toplantılar

(Uluslararası Eğitim Konferansı, 2004; PRELAC, Buenos Aires, 2007). �  Dünya Bankası’nın Bağımsız Değerlendirme grubu (2006) ülkelerin ve kalkınma

ortaklarının okula erişim kadar öğrenme sonuçlarını da önemsemelerini tavsiye ediyor.

�  EFA (Herkes için Eğitim) Hızlı Yol Girişimi, EFA-FTI ülke planlarının onaylanmasında ek bir ölçüt olarak öğrenme sonuçlarının izlenmesini de benimsemiş durumda.

�  UNESCO girişimleri: ‘Ama Okuyabilirler”, ‘erişimden Başarıya’; ‘Öğrenmek Önemlidir’; ‘Öğrenim Kalitesini Değerlendirme ve Geliştirme uluslar arası Çalışma Grubu’ ve ‘Sahra-Güneyi Afrika’da Öğretmen Yetiştirme’’

�  ‘Çocuk dostu okullar’ dahil olmak üzere eğitimin kalitesiyle ilgili UNICEF girişimleri �  Küresel Eylem Haftası (2006): HDK’lar öğretmen arzı, hizmet öncesi ve hizmet içi

öğretmen eğitimi gibi konularda harekete geçiyor �  Donör kuruluşlarda kaliteli eğitime yönelik ilginin artışı: (USAID, DFID, GTZ, vb) ve

çok sayıda HDK (Save the Children, GCE, vb.) �  Kalite ve öğrenme boyutları 2015 sonrası eğitim politikası tartışmalarında merkezi

yer işgal ediyor

•  Kamu okullarında öğrenci başına düşük eğitim harcamaları •  Ders sürelerinin yetersizliği : ülkeler, tavsiye edilen yılda 850-1.000 ders

saati düzeyine gelebilecekler mi? •  Ders kitaplarının ve diğer eğitim materyallerinin her yerde eşit

biçimde bulunamaması: öğrenci başına ders kitabı l •  Bilgisayar var mı?; okuldan ya da sınıftan internete erişim m •  Vasıflı öğretmen yetersizliği, öğretmen eğitiminde zaaflar, elverişsiz

istihdam koşulları •  Yüksek öğrenci-öğretmen oranları (ÖÖO) : ülkelerde öğretmen başına

40’tan fazla öğrenci düştüğü durumlar var mı? Eğitimin hızla yaygınlaştığı yerlerde ÖÖO da artıyor mu?

•  Sonuç ölçümü: Temel eğitimde düşük tamamlama ya da yüksek terk oranları : ilk ya da zorunlu eğitimi tamamlamış çocuk yüzdesi

Geçmişte, araştırmacılar ve hükümetler, kalite göstergesi olarak en başta eğitim sürecinin seçilmiş girdilerini ölçmüş ve izlemişlerdir. Örneğin; …

‘Girdiler olarak kalite’den ‘çıktılar olarak kalite’ye

Kimi ülkelerde öğrenme açısından elverişli temel koşullar tüm okullarda görülmemektedir

Örneğin, � Güvenli olmayan,yıpranmış okul binaları; iyi aydınlatılıp ısıtılmayan ya da gürültülü sınıflar; tahta, sıra, sandalye yetersizliği � Su ve elektrik sıkıntısı; � Kız ve erkek öğrenciler için yetersiz helalar � Ders kaynakları: ders ve alıştırma kitaplarının, haritaların, kütüphanelerin, laboratuarların ve bilgisayarların yetersizliği � Okula olan mesafenin katılımı ve öğrenimi engellemesi

Seçilmiş öğrenim sonuçlarını ölçen uluslararası ve bölgesel değerlendirmeler kaliteyi tanımlar durumu gelmiştir

Sponsor-Araştırma Değerlendirme Yılı (yılları) Değerlendirme Sayısı Ders/İçerik alanı

Eğitimde İlerleme Ulusal Değerlendirmesi

1988,1990 2 Matematik, Fen

IEA-Uluslararası Matematik ve Fen Eğitiminde Eğilimler (TIMSS)

1964,1970,1982,1984,1995, 1999, 2003, 2007, 2011

8-9 Matematik, Fen (sınıflar 4, 8 ve 12)

IEA-Uluslararası Okuma Yazmada İlerleme Araştırması (PIRLS)

1970, 1990, 2001, 2006, 2011 4-5 Okuma (sınıflar 4, 8 ve 12)

IEA- SCE, CIVED ve ICCS 1968–1973; 1994-2002 2009

Medeni bilgiler, yurttaşlık eğitimi, sosyal bilimler

IEA-diğer değerlendirmeler: SITES, PPP, COMPED, CES, SFFL

1960’lar-1990’lar Teknoloji, Okul öncesi eğitim, Bilgisayar, Sınıf ortamı, Yabancı diller

OECD-Uluslararası Öğrenci Değerlendirme Programı PISA)

2000, 2003, 2006, 2009, 2012 5 Matematik, Fen ve Okuma ‘Okuryazarlıkları’ (15 yr)

UNESCO-Laboratorio (TERCE) Latin Amerika

1997; 2006; 2012 3 Matematik, Okuma ve Fen (3 ve 6 sınflar)

CONFEMEN-PASEC Frankofon Afrika +

1995-2006 Bir ya da bazı durumlarda iki kere

Matematik, Okuma (sınıf 5)

UNESCO-SACMEQ Anglofon Afrika

1999, 2002, 2007 3 Matematik, Okuma (sınıf 6)

Kimi ODA/BDT ülkeleri uluslararası değerlendirmelere katılmıştır  C E E C I S   C o u n t r y   P a r t i c i p a t i o n   i n   I n t e r n a t i o n a l   A s s e s s m e n t s ,   2 0 0 0 -­‐ 2 0 1 2  

C o u n t r i e s   i n   t h e   C E E C I S   R e g i o n  

T I M S S *   P I R L S *   P I S A *   S I T E S *   I C C S *   T o t a l   2 0 0 3   2 0 0 7   2 0 1 1   2 0 0 1   2 0 0 6   2 0 1 1   2 0 0 0   2 0 0 3   2 0 0 6   2 0 0 9   2 0 1 2   2 0 0 6   2 0 0 9    

R u s s i a n   F e d e r a t i o n   1   1   1   1   1   1   1   1   1   1   1   1   1   1 3   B u l g a r i a   1   1     1   1   1       1   1   1     1   9   R o m a n i a   1   1   1   1   1   1       1   1   1       9   T u r k e y     1   1   1         1   1   1   1       7   S e r b i a   1   1   1           1   1   1   1       7   C r o a t i a       1       1       1   1   1       5   G e o r g i a     1   1     1   1         1         5   A z e r b a i j a n       1       1       1   1         4   M a c e d o n i a ,   F Y  R   1     1   1   1                   4   M o l d o v a   1       1   1           1         4   A r m e n i a   1   1   1                       3   K a z a k h s t a n     1                 1   1       3   M o n t e n e g r o                   1   1   1       3   K y r g y z   R e p u b l i c                   1   1         2   A l b a n i a                     1   1       2   U k r a i n e     1   1                       2   B o s n i a -­‐ H e r z e g o v i n a     1                         1   K o s o v o                             0   B e l a r u s                             0   T a j i k i s t a n                             0   T u r k m e n i s t a n                             0   U z b e k i s t a n                             0  

                                O t h e r   C E E   c o u n t r i e s   S l o v a k   R e p u b l i c   1   1   1   1   1   1     1   1   1   1   1   1   1 2   L i t h u a n i a   1   1   1   1   1   1       1   1   1   1   1   1 1   H u n g a r y   1   1   1   1   1   1   1   1   1   1   1       1 1   S l o v e n i a   1   1   1   1   1   1       1   1   1   1   1   1 1   L a t v i a     1   1     1   1     1   1   1   1   1     1   1 0   C z e c h   R e p u b l i c     1   1   1     1   1   1   1   1       1   9   P o l a n d         1       1   1   1   1   1   1   1     1   9   E s t o n i a   1                   1   1   1   1   4    

The former Yugoslav Republic of Macedonia

Diğer ODA/BDT ülkeleri uluslararası değerlendirmelerde yer almıştır

CEECIS Country Participation in International Assessments, 2000-2012

Countries in the CEECIS Region

TIMSS* PIRLS* PISA* SITES* ICCS* Total 2003 2007 2011 2001 2006 2011 2000 2003 2006 2009 2012 2006 2009

Russian Federation 1 1 1 1 1 1 1 1 1 1 1 1 1 13 Bulgaria 1 1 1 1 1 1 1 1 1 9 Romania 1 1 1 1 1 1 1 1 1 9 Turkey 1 1 1 1 1 1 1 7 Serbia 1 1 1 1 1 1 1 7 Croatia 1 1 1 1 1 5 Georgia 1 1 1 1 1 5 Azerbaijan 1 1 1 1 4 Macedonia, FYR 1 1 1 1 4 Moldova 1 1 1 1 4 Armenia 1 1 1 3 Kazakhstan 1 1 1 3 Montenegro 1 1 1 3 Kyrgyz Republic 1 1 2 Albania 1 1 2 Ukraine 1 1 2 Bosnia-Herzegovina 1 1 Kosovo 0 Belarus 0 Tajikistan 0 Turkmenistan 0 Uzbekistan 0

Other CEE countries Slovak Republic 1 1 1 1 1 1 1 1 1 1 1 1 12 Lithuania 1 1 1 1 1 1 1 1 1 1 1 11 Hungary 1 1 1 1 1 1 1 1 1 1 1 11 Slovenia 1 1 1 1 1 1 1 1 1 1 1 11 Latvia 1 1 1 1 1 1 1 1 1 1 10 Czech Republic 1 1 1 1 1 1 1 1 1 9 Poland 1 1 1 1 1 1 1 1 1 9 Estonia 1 1 1 1 1 4

CEECIS Country Participation in International Assessments, 2000-2012

Countries in the CEECIS Region

TIMSS* PIRLS* PISA* SITES* ICCS* Total 2003 2007 2011 2001 2006 2011 2000 2003 2006 2009 2012 2006 2009

Russian Federation 1 1 1 1 1 1 1 1 1 1 1 1 1 13 Bulgaria 1 1 1 1 1 1 1 1 1 9 Romania 1 1 1 1 1 1 1 1 1 9 Turkey 1 1 1 1 1 1 1 7 Serbia 1 1 1 1 1 1 1 7 Croatia 1 1 1 1 1 5 Georgia 1 1 1 1 1 5 Azerbaijan 1 1 1 1 4 Macedonia, FYR 1 1 1 1 4 Moldova 1 1 1 1 4 Armenia 1 1 1 3 Kazakhstan 1 1 1 3 Montenegro 1 1 1 3 Kyrgyz Republic 1 1 2 Albania 1 1 2 Ukraine 1 1 2 Bosnia-Herzegovina 1 1 Kosovo 0 Belarus 0 Tajikistan 0 Turkmenistan 0 Uzbekistan 0

Other CEE countries Slovak Republic 1 1 1 1 1 1 1 1 1 1 1 1 12 Lithuania 1 1 1 1 1 1 1 1 1 1 1 11 Hungary 1 1 1 1 1 1 1 1 1 1 1 11 Slovenia 1 1 1 1 1 1 1 1 1 1 1 11 Latvia 1 1 1 1 1 1 1 1 1 1 10 Czech Republic 1 1 1 1 1 1 1 1 1 9 Poland 1 1 1 1 1 1 1 1 1 9 Estonia 1 1 1 1 1 4

Değerlendirilmiş öğrenim sonuçlarının sınırları

�  Değerlendirilmiş sonuçlar en başta dilde ve matematikte, bazen de fende bilişsel kazanıma odaklanmaktadır. Diğer ders ya da yeterlilik alanlarına ise daha az önem verilmektedir (örneğin, yabancı dil, tarih, sosyal bilimler, sağlık eğitimi, ESD ahlak eğitimi) Bilişsel olmayan öğrenim sonuçları da ikinci plandadır. Öğrencilerin zaman içindeki kazanımlarını izleyen çok az araştırma vardır. Değerlendirmelerin çoğu tek bir zamana, sınıfa ve yaşa odaklanmaktadır.

�  Bazı faktörler değerlendirme dışı bırakılmaktadır: Ağırlık girdilere tanınırken fiili okul koşulları, sınıftaki işleyiş, öğrenme fırsatları (ÖF) fazla dikkate alınmamaktadır; sosyo-demografik faktörler de öyle (örneğin evde konuşulan dil, aile büyüklüğü gibi)

�  Korelasyon-neden sonuç ilişkisi : nedensel etkenlerle ilgili tesadüfi araştırma az ve okulun yerleşik bir mekan olmasına çok kademeli araştırma sayısı da az

�  Uluslararası değerlendirmelerde OECD üyesi olmayan ülkelerin sınırlı kapsanması (bölgesel ve ulusal değerlendirmeler açısından bu o kadar da büyük bir sorun değil)

�  Araştırmalar, okula kayıtlı çocuklardaki öğrenme sonuçlarını değerlendirmektedir; halen ya da kalıcı biçimde okul dışı olan aşnı yaşlardaki çocukların bilgi düzeylerini sınamamaktadır (ya da karşılaştırma yapmamaktadır)

Ulusal Öğrenme Değerlendirmeleri Nedir? •  Genel olarak bunlar belirli bir yaş grubu (örneğin 4. sınıf öğrencileri) için

öğrenmeyi sistem ölçeğinde ve temelinde ölçmeye çalışmaktadır •  Bu değerlendirmelerden beklenen, gerçekleşen öğrenimin kalitesi ve

niceliği hakkında paydaşlara sistematik bilgi vermesidir •  Genel olarak, öğrenme düzeylerini verili bir müfredat standardına ya da

başarı/yeterlilik düzeyine göre karşılaştırmak üzere tasarlanmıştır •  Büyük ağırlıkla müfredat temelli ve derse özelindedir; çapraz yeterlilikleri

ise nadiren incelemektedir (PISA gibi) •  Genel olarak bilişsel sonuçları değerlendirmektedir: belirli bir derste

kendilerine öğretilmesi gerekenlerden ne kadarı öğrenciler tarafından öğrenilmiştir (bilgi ve beceri)?

•  Temel olarak ülke eğitim bakanlıkları ya da ulusal değerlendirme/araştırma kurumları tarafından oluşturulmakta, yönetilmekte ve değerlendirilmektedir. Finansman ise çeşitli kaynaklardan sağlanabilmektedir.

Ulusal Öğrenim Değerlendirmelerinde Dünya Ölçeğinde Artış,1995-99’dan 2000-06’ya

24 15 11 15 11

54 69

25

33 55

33 64

44 59

77 65

Sahra-Güneyi Afrika Arap Ülkeleri

Orta Asya Doğu Asya/Pasifik Güney/Batı Afrika

Latin Amerika ve Karayipler K.Amerika B.Avrupa

Orta ve Doğu Avrupa

1995-1999 2000-2006

1995-99 ile 2000-2006 arasındaki dönemlerde her bölgede en az bir ulusal değerlendirme yapan ülkelerin yüzdesi

Kaynaklar: EFA Küresel İzleme Raporu (2008); Benavot ve Tanner (2007)

Genel olarak bakıldığında, UÖD yapan gelişmekte olan ülkelerin payı artmaktadır: %28’den %50’ye

Ulusal öğrenim değerlendirmelerine ODA/BDT ülke katılımı

Tablolara bakınız ….

Örüntüler: UÖD’lerin Özellikleri

�  1995-99 ve 2000-06 arasında dünyada en az bir UÖD yapan ülkelerin yüzdesi %26’dan %67’ye iki kattan fazla artmıştır.  

�  Her iki dönemde de UÖD’ler en yaygın biçimde ‘gelişmiş’ ülkelerde gerçekleştirilmiş, bu ülkeleri ‘gelişmekte olan’ ülkelerle ‘geçiş sürecindeki ülkeler’ izlemiştir.

�  Bölgesel farklılaşmalar : en düşük düzeyler Sahra-Güneyi Afrika ile Orta Asya’da görülmektedir. Kuzey Amerika ve Batı Avrupa en yüksek düzeylerin görüldüğü bölgelerdir. Ancak UÖD yapan ülkelerin yüzdesi tüm bölgelerde artmaktadır.

�  Değerlendirilen dersler: En azından bir UÖD yapan ülkelerin %90’ı dil (okuma) ve matematik değerlendirmesi yapmıştır. Bu ülkelerin %50’si fendeki öğrenimi de değerlendirmiştir. Sosyal bilimler, tarih, coğrafya ya da yurttaşlık derslerinin değerlendirilme oranı %40, yabancı dilin ise %18’dir. Yabancı dil değerlendirmesinde artış (%14’ten %21’e) olsa bile bu örüntü zamanla fazla değişmemiştir

�  Bölgeye göre ders: LA ve Karayipler (LAK) ile Doğu Asya’da fen’e ağırlık tanınmaktadır. LAK ve SWA sosyal bilimler değerlendirmesine görece daha fazla ağırlık tanımaktadır.

�  En fazla değerlendirmeye tabi tutulan sınıflar: 4-6 , sonra 1-3 ve 7-9.

Politikalar: UÖD’lerin Avantajları

İyi tasarlanıp yönetildiklerinde UÖD’ler : •  Daha geniş ders alanlarını, sınıfları (okul öncesi eğitimde bile) ve okul

türlerini (örneğin, TVET, yetişkinler için yaygın eğitim) değerlendirme kapasitesine sahiptir

•  Öğrencinin ya da öğrenenin bilgi ve becerilerini değerlendirmede kültürel olarak anlamlı öğeleri kullanma kapasitesi daha fazladır

•  Yürütülmesi masraflı değildir– zamanında uygulanabilirlik taşır •  Değerlendirme alanında uzmanlık ve sürdürülebilir kapasite

geliştirmelerinde ülkelere yardımcı olur •  Her ülkenin kendine özgü öğrenme engellerini incelemede daha yetkindir Dolayısıyla: UÖD’lerin öğrenim ortamlarını, öğretim uygulamalarını ve

öğrenci öğrenimindeki kazanımları iyileştirme potansiyeli vardır.

Esneklik, uyarlanabilirlik, sahiplenme ve katılım

•  UÖD’ler, ilerleme hızını ölçmede, ilerlemenin yavaş olup müdahale gereken yerlerde de okulları ya da okul bölgelerini sorumlu tutmada hükümetlere yardım edebilir

•  Ölçülebilir öğrenme sonuçları açısından politika hedefleri oluşturmalarında ve eğitimde reform çabalarına işaret noktaları koymalarında hükümetlere yardımcı olabilir.

�  Öğrenimi iyileştirmeye yönelik politikaların etkisini izleme açısından meşru bir zemin sağlar—örneğin, yeni öğretmen yetiştirme programları, ders kitaplarının gözden geçirilmesi, ders saatlerinin artırılması, müfredat geliştirme gibi alanlarda

•  Eğitim reformunda neyin mümkün ve yapılabilir olduğuna, eğitim sektörünün içinde ya da dışında hangi politika manivelalarının öğrenimi kolaylaştırıcı işlev göreceğine ışık tutabilir

UÖD’lerin Politika açısından Avantajları Hesap verebilirlik, işaretleme ve reformların değerlendirilmesi

UÖD’lerin Potansiyel Kusurları … �  UÖD'ler öğrenmenin bilişsel yönlerine aşırı odaklanıp bilişsel olmayan

yönleri boşlayabilir

�  UÖD'ler öğretmenleri sınav için öğretmeye, okulları da sıralamada iyi yerlere gelecek işler yapmaya yöneltebilir

�  Tasarımın ve yönetimin yetersiz olması durumunda UÖD'ler yanlış ve/ya da güvenilir olmayan sonuçlar verebilir

�  UÖD’lerde profesyonel olmayan veri yönetimi/analizi ‘geri bildirim halkasının tamamlanmasına pek az katkıda bulunabilir . Başka bir deyişle sınıftaki öğretim uygulamalarının iyileştirilmesine tüm öğrencilerin eğitiminden sağladığı yararların artırılmasına fazla faydası olmayabilir.

�  ÜÖD’lerin bilimsel titizliği ve yöntemsel standartları bir bağlamdan diğerine önemli farklılıklar gösterir. Sonuçların sistemler arasında karşılaştırılması açısından zayıf bir zemin sunabilir

Genel olarak bakıldığında avantajlar dezavantajlara baskındır

Özet/Sonuç (1) �  Ulusal öğrenim değerlendirmeleri, gerek örgün gerekse örgün

olmayan eğitim ortamlarında öğrenme düzeylerini, eşitsizlikleri ve kazanımları (ya da kayıpları) değerlendirmede başvurulabilecek çeşitli stratejilerden biridir.

�  Küresel düzeyde, öğrenim sonuçlarının değerlendirilmesi, eğitimde kalitenin izlenmesi açısından merkezi bir duyarlılık konumuna henüz yeni gelmiştir.

�  Uluslararası ve bölgesel öğrenim değerlendirmelerinin sayısındaki, sıklığındaki ve kapsamındaki artışa rağmen, ortada önemli sınırlılıklar da vardır. UÖD’ler küresel ve ulusal bilgi temelindeki belirli boşlukları doldurabilir ve kaliteyi artırmaya yönelik stratejilere takviye olabilir

�  UÖD'ler ülkelerin müfredat vurgu ve önceliklerini yansıtır ve iyi tasarlanıp uygulanırlarsa pek çok paydaşa neyin öğrenildiği konusunda bilgi sağlayabilirler

Özet/Sonuç (2)

�  Uluslararası kuruluşlar ve HDK’lar, UÖD’ler bağlamında kapasite geliştirilmesine, bilimsel kesinliğin sağlanmasına ve uygulamanın geçerliliğinin sağlanmasına destek vermelidirler ve her ülkenin kendi koşullarına göre öğrenme düzeylerini ve eşitsizlikleri etkileyen faktörlerin belirlenmesine yardımcı olmalıdırlar.

�  Uluslararası kuruluşlar, HDK’lar ve donör kuruluşlar, bu değerlendirmeler öğrenim sonuçlarını ülkeler arasında karşılaştırma açısından zayıf bir temel sunsa bile UÖD’lere daha fazla güvenilirlik sağlamalı ve bunların daha iyi hale getirilmesine yönelik çabaları desteklemelidir

�  Uluslararası kuruluşlar, ikincil araştırmalar için UÖD veri tabanlarına yaygın erişimi özendirmelidir.

Teşekkürler! Daha fazla bilgi için: Aaron BENAVOT

abenavot@albany.edu

Bakınız: albany.academia.edu/AaronBenavot

ya da Benavot ve Tanner’in çalışması (2007) için: www.efareport.unesco.org