Test Geliştirme Aşamaları•Test Geliştirme Aşamaları • Madde Analizleri •Madde...

•Test Geliştirme Aşamaları

•Madde Analizleri

•Madde Güçlüğü

•Madde Ayırıcılığı

•Madde varyansı ve standart sapması

•Madde güvenirlik katsayısı

•Test ortalaması, standart sapması ve ortalama güçlüğü

•6. SUNUM

18.09.2017 1 Yrd. Doç. Dr. Sedat ŞEN

Amacın belirlenmesi

Kapsamın belirlenmesi

Maddelerin yazılması ve düzeltilmesi

Ön uygulama

Madde analizi ve madde seçimi

Son testin oluşturulması, uygulanması ve puanlanması

Yrd. Doç. Dr. Sedat ŞEN 18.09.2017 2

Ölçme araçlarının birimlerinden bahsederken soru ifadesi yerine madde ifadesi kullandığımızı hatırlatalım.

Sınavlarda yer alan sorular her zaman puanlanmadığı için puanlanabilen soruları da içeren madde kavramı daha uygun bir ifadedir.

Ölçme araçlarının güvenilir ve geçerli olmasının sağlanabilmesi için testin ön uygulama sonuçlarından yararlanılarak testteki her bir maddenin analizi yapılır ve maddenin istenilen özelliklere sahip olup olmadığı araştırılır.

Yapılacak analizler: madde güçlüğü, madde ayırıcılığı, madde varyansı ve standart sapması, madde güvenirliğidir.


Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir.

1. Basit Yöntem (Alt-üst grup yöntemi): en yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır. Öğrenci sayısı 300-400 ya da daha çok olduğu durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir.

2. Yöntem: Bu yöntemde testin uygulandığı tüm öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60-70 gibi) durumlarda tercih edilebilir.

Bu iki yöntemin uygulanabilmesi için madde puanları matrisi hazırlanmalıdır.


TEST MADDELERİ

1 2 3 4 5 6 7 8 9 10

Doğru Yanıt E C E D B B A D B B

Fabri E C E E C A A D B -

Gökhan E C C A D E D B B A

Pepe E A C C D B B D E C

Medel E C E E D C A D E C

Caner E E B C B E B D C B

Oğuzhan E C E E D B A D B C

Atiba E C E E C D - D B A

Quaresma E B D C D B D D E C

Talisca E C E E D B A D B C

Cenk E C E C D C A D B C


Yrd. Doç. Dr. Sedat ŞEN

1 2 3 4 5 6 7 8 9 10


Fabri 1 1 1 0 0 0 1 1 1 0

Gökhan 1 1 0 0 0 0 0 0 1 0

Pepe 1 0 0 0 0 1 0 1 0 0

Medel 1 1 1 0 0 0 1 1 0 0

Caner 1 0 0 0 1 0 0 1 0 1

Oğuzhan 1 1 1 0 0 1 1 1 1 0

Atiba 1 1 1 0 0 0 0 1 1 0

Quaresma 1 0 0 0 0 1 0 1 0 0

Talisca 1 1 1 0 0 1 1 1 1 0

Cenk 1 1 1 0 0 0 1 1 1 0

18.09.2017 6


1 2 3 4 5 6 7 8 9 10

Doğru Yanıt E C E D B B A D B B Öğrenci puanı

Fabri 1 1 1 0 0 0 1 1 1 0 6

Gökhan 1 1 0 0 0 0 0 0 1 0 3

Pepe 1 0 0 0 0 1 0 1 0 0 3

Medel 1 1 1 0 0 0 1 1 0 0 5

Caner 1 0 0 0 1 0 0 1 0 1 4

Oğuzhan 1 1 1 0 0 1 1 1 1 0 7

Atiba 1 1 1 0 0 0 0 1 1 0 5

Quaresma 1 0 0 0 0 1 0 1 0 0 3

Talisca 1 1 1 0 0 1 1 1 1 0 7

Cenk 1 1 1 0 0 0 1 1 1 0 6

18.09.2017 7


1 2 3 4 5 6 7 8 9 10


Fabri 1 1 1 0 0 0 1 1 1 0

Gökhan 1 1 0 0 0 0 0 0 1 0

Pepe 1 0 0 0 0 1 0 1 0 0

Medel 1 1 1 0 0 0 1 1 0 0

Caner 1 0 0 0 1 0 0 1 0 1

Oğuzhan 1 1 1 0 0 1 1 1 1 0

Atiba 1 1 1 0 0 0 0 1 1 0

Quaresma 1 0 0 0 0 1 0 1 0 0

Talisca 1 1 1 0 0 1 1 1 1 0

Cenk 1 1 1 0 0 0 1 1 1 0

Madde puanı 10 7 6 0 1 4 5 9 6 1

18.09.2017 8

Testin en zor maddeleri:

Testin en kolay maddeleri:

Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki basamakları takip ederek yapılabilir:

Cevapların kodlaması yapılır. Doğru cevaplar 1 puan; yanlış, boş ve geçersiz cevaplar da 0 olarak kodlanır.

Daha sonra bu 0 ve 1’ler toplanarak her bir öğrencinin toplam test puanı hesaplanır.

Öğrencilerin puanları en yüksekten en düşüğe doğru

sıralanır.

Test puanına göre en düşük %27 ile en yüksek puanlı %27’lik gruplar seçilir (üst grup ve alt grup adı verilir).

Bu işlemden sonra madde analiz tabloları oluşturulur.

Bu tablolar yardımıyla her bir maddenin analizi yapılır.


1.madde A B C *D E

Üst grup 11 12 8 15 4 50

Alt grup 21 13 8 5 3 50

TOPLAM 32 25 16 20 7 100

Maddenin doğru cevabı D seçeneğidir.


Bu tabloyu kullanarak bu maddenin ne kadar zor/kolay olduğunu ve ne kadar ayırt edici olduğunu tahmin edebiliriz.

Madde güçlüğü testteki bir maddeyi doğru cevaplayan öğrenci sayısının testi alan tüm bireylerin sayısına bölümü şeklinde ifade edilir.

Bir önceki slayttaki tabloda verilen verilere göre maddenin güçlüğü 20/100=0,2’dir.


Burada payda kısmına üst grup ve alt gruptaki öğrencilerin toplam mevcudu yazılacaktır!!!

Basit analiz yönteminde elimizde üst ve alt grubun cevapları bulunduğunda aşağıdaki formülü kullanarak madde güçlük değerini bulabiliriz

Madde güçlüğü 0 ile 1 arasında değerler alır! Bir soruyu 50 kişilik bir sınıfta herkes doğru cevaplamışsa

madde güçlüğü p=50/50=1 olarak bulunur. Eğer herkes doğru cevap veriyorsa bu soru çok kolay bir soru demektir.

Bir soruya hiç kimse doğru cevap veremiyorsa madde güçlüğü p=0/50=0 olarak bulunur. Eğer hiç kimse doğru cevap veremiyorsa bu soru çok zor bir sorudur.

Eğer sınıfın yarısı doğru cevap vermişse o maddenin güçlüğü p=25/50=0,5 olarak bulunur ve madde orta derecede güçlüğe sahip denir.

Madde güçlük değeri 0’a yaklaştıkça madde zorlaşır eğer madde güçlüğü 1’e yaklaşıyorsa madde kolaydır denir.

Bu açıklamalara göre örneğimizde yer alan maddenin güçlük düzeyinin düşük yani zor bir madde olduğunu söyleyebiliriz (p=0,2)


Madde ayırt ediciliği maddenin bilenler ile bilmeyenleri ayırt edebilmesi ile ilgilidir.

Maddeye ait en önemli istatistiklerdendir.

Madde ayırt ediciliği madde güvenirliği ile ilişkilidir.

Bu sebeple bir maddenin teste alınıp alınmamasına karar verirken ilk bakılacak istatistiklerdendir.

Eğer ayırt ediciliği yüksek ise madde iyidir.


Örneğimizdeki maddenin ayırt ediciliği: (15-5)/50=0,2

18.09.2017 13

Madde ayırt ediciliği -1 ile 1 arasında değerler alır. Diyelim ki bir sınıf 100 kişi vardır. Eğer üst gruptaki ve alt

gruptaki herkes bir maddeyi doğru bilirse madde ayırtedicilik [(50-50)/50 = 0] değeri ‘0’ olur.

Eğer üst gruptaki tüm öğrenciler maddeyi doğru cevaplarken alt gruptaki hiçbir öğrenci doğru cevap veremezse madde ayırt ediciliK [(50-0)/50 = 1] değeri ‘1’ olur.>İSTENİLEN DURUM.

Eğer üst gruptaki tüm öğrenciler maddeyi yanlış cevaplarken alt gruptaki tüm öğrenciler doğru cevap verirse madde ayırt edicilik [(0-50)/50 = -1] değeri ‘-1’ olur.> İSTENİLMEYEN DURUM.

EĞER BİR MADDENİN AYIRT EDİCİLİĞİ 0,3 VE ÜZERİNDE BİR DEĞER ALIYORSA O MADDE (AYIRTEDİCİLİK BAKIMINDAN) İYİ BİR MADDEDİR DİYEBİLİRİZ!!!


Madde ayırt ediciliği 1’e yakın olmalıdır. “İLK BAKILACAK ÖZELLİK”

Madde güçlüğü ne çok düşük ne de çok yüksek olmalıdır (0,5 civarı olması gerekir).

Çeldiricileri işaretleyen üst gruptaki öğrenci sayısının alt gruptaki öğrenci sayısından az olması gerekir.

Çeldiricileri işaretleyen öğrenci sayısının olabildiğince dengeli bir dağılım göstermiş olması istenir.


Bir maddeye verilen cevaplar tabloda gösterilmiştir.

A, C, D ve E seçenekleri çeldirici olarak düşünüldüğünde çeldiricilerin daha çok alt grup öğrencilerini çeldirmesi gerekir.

A seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve A cevabı (yanlış olan cevabı) vermelerini sağlamıştır.

C seçeneği 2 grubu da eşit oranda çeldirmiş (8’er)

D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi.

E seçeneği de iki grubu çeldirmiş fakat üst grubu daha çok çeldirmiştir. Bu nedenle E seçeneği de iyi bir çeldirici değildir.

1.madde A *B C D E

Üst grup 0 15 8 20 7 50

Alt grup 22 15 8 0 5 50

TOPLAM 22 30 16 20 12 100


Doğru cevap: B

18.09.2017 16

maddeye verilen cevapların değişimi madde varyansı ve madde standart sapması ile gösterilir.

6. slaytta verilen tablodaki 1. maddeyi öğrencilerin hepsi doğru cevaplamıştır güçlük düzeyi 10/10=1 ve buradan madde varyansı =1*(1-1)=0. yani hiç değişim yoktur.

Aynı slayttaki 7.maddeye bakarsak güçlük=5/10=0,5 ve madde varyansı = 0,5*(1-0,5)=0,25 olur ve madde standart sapması = 0,5 olur.


Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir.

Madde ayırt ediciliği doğrudan güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır.

Aynı şekilde madde standart sapması da güvenirlikle doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0,5 olduğunda madde standart sapması maksimum değeri (0,25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0,5 civarında olması istenir.


Madde standart sapması

18.09.2017 18

1.madde A *B C D E

Üst grup 10 15 5 15 5 50

Alt grup 22 15 8 5 0 50

TOPLAM 32 30 13 20 5 100

Maddenin doğru cevabı B seçeneğidir.


Bu yöntem kullanarak yapılan madde analizinde testi alan öğrencilerin hepsinin puanları kullanılır

Basit yöntem ile Henrysson yönteminden elde edilen sonuçlar her zaman aynı olmayabilir.

Henrysson yöntemini elle hesaplama yaparak uygulamak basit yönteme göre çok daha zordur.

Eğer bilgisayar ya da hesap makinesi kullanma imkanı varsa bu yöntem tercih edilebilir.


TEST ARİTMETİK ORTALAMASI ve STANDART SAPMASI


Madde ayırt ediciliği

Madde güçlüğü


Testin aritmetik ortalaması

Testin ortalama güçlüğü testi alan öğrencilerin aritmetik ortalamasının kişi sayısına bölünmesiyle elde edilir.


Bir testin ortalama güçlüğü o testin maddelerine ait güçlük indeksi değerlerinin toplamının madde sayısına bölünmesiyle de elde edilir.

18.09.2017 Yrd. Doç. Dr. Sedat ŞEN 24

Madde No Madde güçlüğü

1.Madde 0,2

2.Madde 0,3

3.Madde 0,4

4.Madde 0,1

5.Madde 0,5

Yandaki testin ortalama güçlüğü 0,3’tür.

Test ortalama güçlüğü= (0,2+0,3+0,4+0,1+0,5)/5=0,3

Güler, N. (2014). Eğitimde Ölçme ve Değerlendirme, Pegem Akademi: Ankara.


Test Geliştirme Aşamaları•Test Geliştirme Aşamaları • Madde Analizleri •Madde...

Documents

Transcript of Test Geliştirme Aşamaları•Test Geliştirme Aşamaları • Madde Analizleri •Madde...