Test Geliştirme Aşamaları · Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki...

•Test Geliştirme Aşamaları

•Madde Analizleri

•Madde Güçlüğü

•Madde Ayırıcılığı

•Madde varyansı ve standart sapması

•Madde güvenirlik katsayısı

•Test ortalaması, standart sapması ve ortalama güçlüğü

•8. HAFTA

23.11.2015 1 Yrd. Doç. Dr. Sedat ŞEN

Amacın belirlenmesi

Kapsamın belirlenmesi

Maddelerin yazılması ve düzeltilmesi

Ön uygulama

Madde analizi ve madde seçimi

Son testin oluşturulması, uygulanması ve planlanması

Yrd. Doç. Dr. Sedat ŞEN 23.11.2015 2

Ölçme araçlarının birimlerinden bahsederken soru ifadesi yerine madde ifadesi kullandığımızı hatırlatalım.

Sınavlarda yer alan sorular her zaman puanlanmadığı için puanlanabilen soruları da içeren madde kavramı daha uygun bir ifadedir.

Ölçme araçlarının güvenilir ve geçerli olmasının sağlanabilmesi için testin ön uygulama sonuçlarından yararlanılarak testteki her bir maddenin analizi yapılır ve maddenin istenilen özelliklere sahip olup olmadığı araştırılır.

Yapılacak analizler: madde güçlüğü, madde ayırıcılığı, madde varyansı ve standart sapması, madde güvenirliği.


Çoktan seçmeli test maddelerinin analizi iki yöntemle yapılabilir.

1. Basit Yöntem (Alt-üst grup yöntemi): en yüksek puan alan öğrenciler ile en düşük puan alan bazı öğrencilerin oluşturduğu gruplar analize alınır. Öğrenci sayısı 300-400 ya da daha çok olduğu durumlarda tavsiye edilir. Bu yöntemin kullanılması için test puanları dağılımının simetrik olması istenir.

2. Yöntem: Bu yöntemde testin uygulandığı tüm öğrenciler analize dahil edilir. Öğrenci sayısının çok daha az olduğu (60-70 gibi) durumlarda tercih edilebilir.

Bu iki yöntemin uygulanabilmesi için madde puanları matrisi hazırlanmalıdır.


TEST MADDELERİ

1 2 3 4 5 6 7 8 9 10

Doğru Yanıt E C E D B B A D B B

Tolga E C E E C A A D B -

Ersan E C C A D E D B B A

İsmail E A C C D B B D E C

Veli E C E E D C A D E C

Necip E E B C B E B D C B

Oğuzhan E C E E D B A D B C

Gökhan E C E E C D - D B A

Olcay E B D C D B D D E C

Kerim E C E E D B A D B C

Cenk E C E C D C A D B C

10 7 6 0 1 4 5 9 6 1


Yrd. Doç. Dr. Sedat ŞEN

1 2 3 4 5 6 7 8 9 10

Doğru Yanıt E C E D B B A D B B Öğrenci puanı

Tolga 1 1 1 0 0 0 1 1 1 0 6

Ersan 1 1 0 0 0 0 0 0 1 0 3

İsmail 1 0 0 0 0 1 0 1 0 0 3

Veli 1 1 1 0 0 0 1 1 0 0 5

Necip 1 0 0 0 1 0 0 1 0 1 4

Oğuzhan 1 1 1 0 0 1 1 1 1 0 7

Gökhan 1 1 1 0 0 0 0 1 1 0 5

Olcay 1 0 0 0 0 1 0 1 0 0 3

Kerim 1 1 1 0 0 1 1 1 1 0 7

Cenk 1 1 1 0 0 0 1 1 1 0 6

Madde puanı 10 7 6 0 1 4 5 9 6 1 49

23.11.2015 6

Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki basamakları takip ederek yapılır:

Cevapların kodlaması yapılır. Doğru cevaplar 1 puan; yanlış, boş ve geçersiz cevaplar da 0 olarak kodlanır.

Daha sonra bu 0 ve 1’ler toplanarak her bir öğrencinin toplam test puanı hesaplanır.

Öğrencilerin puanları en yüksekten en düşüğe doğru sıralanır.

Test puanına göre en düşük %27 ile en yüksek puanlı %27’lik gruplar seçilir (üst grup ve alt grup adı verilir).

Bu işlemden sonra madde analiz tabloları oluşturulur.

Bu tablolar yardımıyla her bir maddenin analizi yapılır.


1.madde A B C *D E

Üst grup 11 12 8 15 4 50

Alt grup 21 13 8 5 3 50

TOPLAM 32 25 16 20 7 100

Maddenin doğru cevabı D seçeneğidir.


Madde güçlüğü testteki bir maddeyi doğru cevaplayan öğrenci sayısının testi alan tüm bireylerin sayısına bölümü şeklinde ifade edilir.

Bir önceki slayttaki tabloda verilen verilere göre maddenin güçlüğü.


Madde güçlüğü 0 ile 1 arasında değerler alır! Bir soruyu 50 kişilik bir sınıfta herkes doğru cevaplamışsa

madde güçlüğü p=50/50=1 olarak bulunur. Eğer herkes doğru cevap veriyorsa bu soru çok kolay bir soru demektir.

Bir soruya hiç kimse doğru cevap veremiyorsa madde güçlüğü p=0/50=0 olarak bulunur. Eğer hiç kimse doğru cevap veremiyorsa bu soru çok zor bir sorudur.

Eğer sınıfın yarısı doğru cevap vermişse o maddenin güçlüğü p=25/50=0,5 olarak bulunur ve madde orta derecede güçlüğe sahip denir.

Madde güçlük değeri 0’a yaklaştıkça madde zorlaşır eğer madde güçlüğü 1’e yaklaşıyorsa madde kolaydır denir.

Bu açıklamalara göre örneğimizde yer alan maddenin güçlük düzeyinin düşük yani zor bir madde olduğunu söyleyebiliriz (p=0,2)


SORU1

SORU2

75 öğrencinin girdiği bir Fizik sınavında 1. maddeyi 15 öğrenci doğru cevaplamıştır. Buna göre 1. maddenin güçlük indeksi kaçtır?

100 kişilik bir sınıfta Kimya dersinin 2. sorusuna 40 kişi yanlış cevap vermiş, 10 kişi de boş bırakmıştır. Buna göre maddenin güçlüğü kaçtır?


Madde ayırt ediciliği maddenin bilenler ile bilmeyenleri ayırt edebilmesi ile ilgilidir.

Maddeye ait en önemli istatistiklerdendir.

Madde ayırt ediciliği madde güvenirliği ile ilişkilidir.

Bu sebeple bir maddenin teste alınıp alınmamasına karar verirken ilk bakılacak istatistiklerdendir.

Eğer ayırt ediciliği yüksek ise madde iyidir.


Örneğimizdeki maddenin ayırt ediciliği;

23.11.2015 12

Madde ayırt ediciliği -1 ile 1 arasında değerler alır. Diyelim ki bir sınıfta 50 kişi vardır. Eğer üst gruptaki ve alt

gruptaki herkes bir maddeyi doğru bilirse madde ayırtediciliği [(25-25)/25 = 0] `0` olur.

Eğer üst gruptaki tüm öğrenciler maddeyi doğru cevaplarken alt gruptaki hiçbir öğrenci doğru cevap veremezse madde ayırt ediciliği [(25-0)/25 = 1] `1` olur.>İSTENİLEN DURUM.

Eğer üst gruptaki tüm öğrenciler maddeyi yanlış cevaplarken alt gruptaki tüm öğrenciler doğru cevap verirse madde ayırt ediciliği [(0-25)/25 = -1] `-1` olur.> İSTENİLMEYEN DURUM.

EĞER BİR MADDENİN AYIRT EDİCİLİĞİ 0,3 VE ÜZERİNDE BİR DEĞER ALIYORSA O MADDE (AYIRTEDİCİLİK BAKIMINDAN) İYİ BİR MADDEDİR DİYEBİLİRİZ!!!


Madde ayırt ediciliği 1’e yakın olmalıdır. “İLK BAKILACAK ÖZELLİK”

Madde güçlüğü ne çok düşük ne de çok yüksek olmalıdır (0,5 civarı olması gerekir).

Çeldiricileri işaretleyen üst gruptaki öğrenci sayısının alt gruptaki öğrenci sayısından az olması gerekir.

Çeldiricileri işaretleyen öğrenci sayısının olabildiğince dengeli bir dağılım göstermiş olması istenir.


Bir maddeye verilen cevaplar tabloda gösterilmiştir.

A, C, D ve E seçenekleri çeldirici olarak düşünüldüğünde çeldiricilerin daha çok alt grup öğrencilerini çeldirmesi gerekir.

E seçeneği en iyi çeldiricidir çünkü sadece alt grup öğrencilerini çeldirmiş ve E cevabı vermelerini sağlamıştır.

A seçeneği de E seçeneği kadar olmasa da iyi bir çeldiricidir çünkü alt grup öğrencilerini daha çok çeldirmiştir.

C seçeneği 2 grubu da eşit oranda çeldirmiş (8’er)

D seçeneği çok kötü bir çeldiricidir çünkü sadece üst grup üyelerini çeldirmiştir. Aslında sadece alt grup öğrencilerini yani bilmeyenleri çeldirmesi gerekliydi.

1.madde A *B C D E

Üst grup 7 15 8 20 0 50

Alt grup 22 15 8 0 5 50

TOPLAM 29 30 16 20 5 100


Doğru cevap: B

23.11.2015 15

maddeye verilen cevapların değişimi madde varyansı ve madde standart sapması ile gösterilir.

6. slaytta verilen tablodaki 1. maddeyi öğrencilerin hepsi doğru cevaplamıştır güçlük düzeyi 10/10=1 ve buradan madde varyansı =1*(1-1)=0. yani hiç değişim yoktur.

7.maddeye bakarsak güçlük=5/10=0,5 ve madde varyansı = 0,5*(1-0,5)=0,25 olur ve madde standart sapması = 0,5 olur.


Madde güvenirliği, maddenin ayırt ediciliği ve madde standart sapması kullanarak hesaplanabilir.

Madde ayırt ediciliği doğrudan güvenirliği artıran bir özellik olduğu için bir maddede ayırt edicilik değeri olabildiğince yüksek olmalıdır.

Aynı şekilde madde standart sapması da güvenirlikle doğru orantılıdır. Madde standart sapması arttıkça madde güvenirliği de artar. Madde güçlük değeri 0,5 olduğunda madde standart sapması maksimum değeri (0,25) alır. Bu sebeple bir maddenin madde güçlük değerinin 0,5 civarında olması istenir.


Madde standart sapması

23.11.2015 17

1.madde A *B C D E

Üst grup 10 15 5 15 5 50

Alt grup 22 15 8 5 0 50

TOPLAM 32 30 13 20 5 100

Maddenin doğru cevabı B seçeneğidir.


Bu yöntem kullanarak yapılan madde analizinde testi alan öğrencilerin hepsinin puanları kullanılır

Basit yöntem ile Henrysson yönteminden elde edilen sonuçlar her zaman aynı olmayabilir.

Henrysson yöntemini elle hesaplama yaparak uygulamak basit yönteme göre çok daha zordur.

Eğer bilgisayar ya da hesap makinesi kullanma imkanı varsa bu yöntem tercih edilebilir.


TEST ARİTMETİK ORTALAMASI ve STANDART SAPMASI


Madde ayırt ediciliği

Madde güçlüğü


Testin aritmetik ortalaması

Testin ortalama güçlüğü


Güler, N. (2014). Eğitimde Ölçme ve Değerlendirme, Pegem Akademi: Ankara.


Test Geliştirme Aşamaları · Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki...

Documents

Transcript of Test Geliştirme Aşamaları · Basit Yöntem (alt-üst yöntemi) ile madde analizi aşağıdaki...