Psikometri Bab a12
-
Upload
universitas-negeri-makassar -
Category
Education
-
view
181 -
download
4
description
Transcript of Psikometri Bab a12
Bab 12
Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Bab 12
Reliabilitas Penilai dan Pengamat
A. Dasar
1. Penilai dan Pengamat
• Ada kalanya sekor tidak langsung diperoleh dari responden
• Kita menggunakan penilai dan pengamat untuk menentukan sekor
• Dalam pemberian sekor, penilai dan pengamat mengikuti kriteria tertentu
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
2. Reliabilitas Penilaian dan Pengamatan
• Penilaian dan pengamatan menggunakan lebih dari satu penilai dan lebih dari satu pengamat
• Karena mengikuti kriteria penilaian dan pengamatan, perlu ada kecocokan di antara mereka
• Kecocokan ini merupakan reliabilitas yang sejenis dengan reliabilitas ukur-ukur setara
• Mula-mula, kecocokan dilakukan pada saat uji coba penilai dan pengamat sehingga dapat dilakukan koreksi yang diperlukan
• Pada saat penilaian dan pengamatan, digunakan penilai dan pengamat yang sudah diketahui kecocokannya
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Kecocokan Intra-penilai/pengamat
• Penilai atau pengamat melakukan penilaian atau pengamatan lebih dari sekali
• Kecocokan di antara penilaian atau pengamatan ttu
• Setara dengan ukur-ukur ulang
Kecocokan Inter-penilai/pengamat
• Penilaian atau pengamatan dilakukan oleh lebih dari satu penilai atau satu pengamat
• Kecocokan di antara penilaian atau pengamatan itu
• Setara dengan ukur-ukur setara
Perhitungn untuk mereka adalah sama
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
3. Jenis Kecocokan
Kecocokan hasil penilaian dan pengamatgan dapat berupa
• Kecocokan peringkat• Kecocokan kategori
Kecocokan Peringkat
• Sekor dapat saja berbeda tetapi kedudukan relatif di antara sekor atribut yang dinilai atau diamati adalah sama atau bersamaan
Kecocokan Kategori
• Hasil penilaian dan pengamatan berupa kategori dan hasil penilaian dan pengamatan menunjuk ke kategori yang sama atau bersamaan
------------------------------------------------------------------------------Reliabilitas Peniliai dan Pengamat
------------------------------------------------------------------------------
3. Kecocokan Peringkat
Dua penilai X dan Y memberi sekor kepada sejumlah atribut
Yang dinilai
1 2 3 4 5
Peni- X 80 70 60 50 40
lai Y 60 50 45 40 35
Kecocokan dapat dinyatakan melalui
• Koefisien korelasi Pearson (parametrik) atau rho Spearman (nonparametrik)
• Koefisien kecocokan tau Kendall
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Dari contoh di atas, kecocokan peringkat melalui koefisien korelasi adalah
Koefisien Korelasi Pearson
ρ = 0,900
Koefisien Korelasi rho Spearman
ρ = 0,900
Koefisien tau Kendall
τ = 0,800
Koefisien ini dijadikan ukuran kecocokan peringkat penilaian di antara pengamat X dan Y
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
4. Kecocokan Kategori
• Pengamat X dan Y mengamati hal yang sama serta menentukan kategori dari amatan mereka
• Misalnya keadaan kelas mereka amati serta mencatatnya setiap 5 detik. Keadaan kelas (guru berbicara, murid bertanya, …) dibagi menjadi lima kategori K1, K2, K3, K4, dan K5
• Hasil amatan menunjukkan
Kelas X Y
1 K1 K1
2 K1 K1
3 K1 K2
4 K1 K2
. . .
. . .
. . .
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Dari contoh di atas tampak bahwa hasil amatan X dan Y itu
• Ada yang cocok seperti dua-duanya K1• Ada yang tidak cocok, satu K1 lainnya K2
Hasil amatan ini dapat disusun ke dalam matriks hasil amatan
Pengamat X
K1 K2 K3 K4 K5
K1 2
Peng- K2 2
amat K3
Y K4
K5
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
• Pengamat X dan Y mengamati hal yang sama serta menentukan kategori dari amatan mereka
• Misalnya keadaan keadaan pasien yang diamati untuk menentukan sakit A, B, atau C. Hasil amatan menujukkan pasien yang sakit
• Hasil amatan menunjukkan
Pasien X Y
1 A A
2 A A
3 A B
4 B C
. . .
. . .
. . .
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Dari contoh di atas tampak bahwa hasil amatan X dan Y itu
• Ada yang cocok seperti dua-duanya A• Ada yang tidak cocok, satu A lainnya B
Hasil amatan ini dapat disusun ke dalam matriks hasil amatan
Pengamat X
A B C
A 2
Peng-
amat B 2
Y
C
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
B. Kecocokan Menurut Kategori
1. Kecocokan Kategori
• Kita membicarakan kecocokan penilai dan pengamat menurut kategori yang mereka berikan
• Hasil penilaian dan pengamatan disusun ke dalam matriks penilaian dan pengamatan
• Ukuran matriks bergantung kepada banyaknya kategori yang dihasilkan dari penilaian dan pengamatan
• Hasil penilaian dan pengamatan menunjukkan adanya kecocokan dan adanya ketidakcocokan
• Mereka dapat dinyatakan ke dalam frekuensi dan juga ke dalam proporsi
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
2. Matriks Penilai dan Pengamat
Matriks dapat disusun ke dalam frekuensi atau ke dalam proporsi
Contoh 1 (dalam frekuensi)
Penilai P1 dan P2 menilai karangan dalam sekor A, B, dan C
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 2 (dalam proporsi)
Contoh 1 diubah menjadi proporsi
n = jumlah seluruhnya p = proporsi seluruhnya
nii = jumlah yang cocok pii = proporsi yang cocok
ni0 = P1 untuk semua P2 pi0 = P1 untuk semua P2
n0i = P2 untuk semua P1 p0i = P2 untuk semua P1
P2 pi0
A B C
A 0,75 0,01 0,04 0,80
P1 B 0,05 0,04 0,01 0,10
C 0 0 0,10 0,10
p0i0,80 0,05 0,15 1,00
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 3 (frekuensi)
Penilaian keadaan kelas dari pengamat P1 dan P2 untuk kategori amatan K1, K2, K2, K4, K5
P2 ni0
K1 K2 K3 K4 K5
K1 4 4 0 0 0 8
K2 2 8 0 0 0 10
P1 K3 0 0 6 0 0 6
K4 0 3 6 7 0 16
K5 0 5 0 0 5 10
n0i 6 20 12 7 5 50
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 4 (proporsisi)
Contoh 3 dalam bentuk proporsi
P2 pi0
K1 K2 K3 K4 K5
K1 0,08 0,08 0 0 0 0,16
K2 0,04 0,16 0 0 0 0,20
P1 K3 0 0 0,12 0 0 0,12
K4 0 0,06 0,12 0,14 0 0,32
K5 0 0,10 0 0 0,10 0.20
p0i0,12 0,40 0,24 0,14 0,10 1,00
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
3. Matriks Per Kategori
• Matriks penilaian dan pengamatan dapat direduksi menjadi matriks untuk setiap kategori
• Sebagai contoh, dari Contoh 1 dan 2, kita dapat menyusun matriks hanya untuk A. Kita dapat menyusun matriks hanya untuk B, serta hanya untuk C.
• Pada matriks per kategori, hanya frekuensi atau proporsi matriks itu yang diperhatikan, sedangkan kategori lainnya digabung dan diberi label ‘lainnya.’
• Ada tiga penggabungan: penggabungan pada baris kategori (kecuali kategori), pada lajur kategori (kecuali kategori), dan pada sisanya
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 5
Dari contoh 1, matriks untuk kategori A
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
P2 ni0
A Lain-nya
A 75 5 80
P1 Lain-nya 5 15 20
n0i 80 20 100
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 6
Dari contoh 2, matriks untuk kategori A
P2 pi0
A B C
A 0,75 0,01 0,04 0,80
P1 B 0,05 0,04 0,01 0,10
C 0,00 0,00 0,10 0,10
p0i 0,80 0,05 0,15 1,00
P2 pi0
A Lain-nya
A 0,75 0,05 0,80
P1 Lain-nya 0,05 0,15 0,20
p0i 0,80 0,20 1,00
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 7
Dari contoh 1, matriks untuk kategori B
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
P2 ni0
B Lain-nya
B 4 6 10
P1 Lain-nya 1 89 90
n0i 5 95 100
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 8
Dari contoh 2, matriks untuk kategori B
P2 pi0
A B C
A 0,75 0,01 0,04 0,80
P1 B 0,05 0,04 0,01 0,10
C 0,00 0,00 0,10 0,10
p0i 0,80 0,05 0,15 1,00
P2 pi0
B Lain-nya
B 0,04 0,06 0,10
P1 Lain-nya 0,01 0,89 0,90
p0i 0,05 0,95 1,00
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 9
Dari contoh 1 dan 2, susun matriks untuk C dalam bentuk frekuensi dan proprosi
P2
ni0
pi0
C Lain-nya
C
P1 Lain-nya
n0i
p 0i
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 10
Dari contoh 3 dan 4, susun matriks untuk K1
P2
ni0
pi0
K1 Lain-nya
K1
P1 Lain-nya
n0i
p 0i
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 11
Dari contoh 3 dan 4, susun matriks untuk K2
P2
ni0
pi0
K2 Lain-nya
K2
P1 Lain-nya
n0i
p 0i
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 12
Dari contoh 3 dan 4, susun matriks untuk K3
P2
ni0
pi0
K3 Lain-nya
K3
P1 Lain-nya
n0i
p 0i
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 13
Dari contoh 3 dan 4, susun matriks untuk K4
P2
ni0
pi0
K4 Lain-nya
K4
P1 Lain-nya
n0i
p 0i
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 14
Dari contoh 3 dan 4, susun matriks untuk K5
P2
ni0
pi0
K5 Lain-nya
K5
P1 Lain-nya
n0i
p 0i
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
C. Indeks Kecocokan Per Kategori
1. Dasar indeks kecocokan
• Indeks kecocokan di antara penilai dan pengamat adalah ukuran kecocokan penilaian dan pengamatan di antara mereka
• Indeks kecocokan didasarkan pada besarnya kategori yang cocok nii atau pii di dalam matriks penilaian dan pengamatan
• Di dalam sejumlah indeks kecocokan, besarnya kategori yang cocok ini masih perlu dikurangi dengan besarnya kategori kebetulan cocok
• Dengan dasar ini serta sejumlah variasi ditemukan berbagai jenis indeks kecocokan
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Berbagai jenis indeks kecocokan
Ada sejumlah indeks kecocokan penilai dan pengamat per kategori. Indeks kecocokan per kategori yang dibicarakan di sini meliputi
• Indeks kecocokan (Holley dan Guilford)• Indeks kecocokan (Maxwell)• Indeks kecocokan kappa (Cohen)• Indeks kecocokan (Goodman dan Kruskal)• Indeks kecocokan (Rogot dan Goldberg)
Indeks kecocokan (Holley dan Guilford) adalah kecocokan nominal yang hanya terdiri atas kategori yang cocok
Indeks kecocokan kappa (Cohen) mengurangi kategori kecocokan dengan kebetulan cocok. Indeks kecocokan kappa ini banyak digunakan orang
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
2. Matriks Umum Kecocokan Per Kategori
Kita buat matriks umum dengan proporsi sebagai berikut
Kecocokan terletak pada a dan d
a + b + c + d = 1 p1 + q1 = 1
p2 + q2 = 1
P2 pi0
Kate-gori
Lain-nya
Kate-gori
a b p1
P1 Lain-nya
c d q1
p0i p2 q2 1,00
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
3. Indeks Kecocokan (Holley dan Guilford)
Indeks kecocokan diperoleh dari a dan d
P0 = a + d
Contoh 15
Dari contoh 5, 6, 7, 8, dan 9
p0 (A) = 0,75 + 0,15 = 0,90
p0 (B) =
p0(C) =
Contoh 16
Daro contoh 10, 11,12, 13, dan 14
p0 (K1) =
p0 (K2) =
p0(K3) =
p0(K4) =
p0(K5) =
a bc d
p1
q1
p2 q2
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
4. Indeks Kecocokan (Maxwell)
Indeks kecocokan ini adalah
p’0 = 2 p0 – 1
dengan p0 dari indeks kecocokan (Holley dan Guilford)
Contoh 17
Dari contoh 15,
p’0 (A) = (2)(0,90) – 1 = 0,80
p’0 (B) =
p’0 (C) =
Contoh 18
Dari contoh 16,
p’0 (K1) =
p’0 (K2) =
p’0 (K3) =
p’0 (K4) =
p’0 (K5) =
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
5. Indeks Kecocokan Kappa dari Cohen
Pada dasarnya, indeks kecocokan kappa dari Cohen ini menggunakan kategori cocok I0 dikurangi dengan kategori kebetulan cocok Ie
Kategori kebetulan cocok diperoleh dari hubungan independensi pada probabilitas
Ie = P(A∩B) = P(A) . P(B)
Dengan demikian indeks kecocokan kappa dari Cohen menjadi
1221
2121
2121
0
2
1
1
qpqp
bcad
qqpp
qqppda
I
II
e
e
+−=
+−+−+=
−−=
)(
)(
)()(
κa b p1
c d q1
p2 q2
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 19
Dari contoh 6, indeks kecocokan kappa Cohen dari A adalah
P2 pi0
A Lain-nya
A 0,75 0,05 0,80
P1 Lain-nya 0,05 0,15 0,20
p0i 0,80 0,20 1,00
6875,0
20,080,020,080,0
)05,005,015,075,0(2)(
=×+××−×=Aκ
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Dari contoh 8, indeks kecocokan kappa Cohen dari B adalah
P2 pi0
B Lain-nya
B 0,04 0,06 0,10
P1 Lain-nya 0,01 0,89 0,90
p0i 0,05 0,95 1,00
Contoh 20
Dari contoh 8, indeks kecocokan kappa dari C adalah
κ(C) =
5000,0
90,005,095,010,0
)01,006,089,004,0(2)(
=×+××−×=Bκ
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 21
Dari contoh 9 sampai 13, indeks kecocokan kappa adalah
κ(K1) =
κ(K2) =
κ(K3) =
κ(K4) =
κ(K5) =
• Catatan:
Indeks kecocokan kappa ini yang paling umum digunakan orang
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
6. Indeks Kecocokan Spesifik
Ada dua macam indeks kecocokan berupa ps dan p’s masing-masing menggunakan kategori cocok dan kategori tidak cocok, dengan rumus
Contoh 22
Dari contoh 6, 7, dan 8, indeks kecocokan spesifik adalah
ps(A) = 0,9375 p’s(A) = 0,7500
ps(B) = p’s(B) =
ps(C) = p’s(C) =
cbd
dp
cba
ap ss ++
=++
=2
2
2
2 '
a b
c d
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 23
Dari contoh 9 sampai 13, indeks kecocokan spesifik adalah
ps(K1) = p’s(K1) =
ps(K2) = p’s(K2) =
ps(K3) = p’s(K3) =
ps(K4) = p’s(K4) =
ps(K5) = p’s(K5) =
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
7. Indeks Kecocokan (Goodman dan Kruskal)
Indeks kecocokan ini adalah
Contoh 24
Dari contoh 6 sampai 13,
λr(A) = 0,875
λr(B) =
λr(C) =
λr(K1) =
λr(K2) =
λr(K3) =
λr(K4) =
λr(K5) =
)(
)(
cba
cbar ++
+−=2
2λ a b
c d
------------------------------------------------------------------------------Reliabilitas Penilia dan Pengamat
------------------------------------------------------------------------------
8. Indeks kecocokan (Rogot dan Goldberg)
Indeks kecocokan ini menggunakan rumus
Contoh 25
Dari contoh 6 sampai 13, indeks kecocokan adalah
A(A) = 0,84375A(B) = A(C) = A(K1) = A(K2) = A(K3) = A(K4) = A(K5) =
2121 qq
d
pp
aA
++
+= a b p1
q1c dp2 q2
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
D. Koefisien Kecocokan Semua Kategori
1. Dasar Perhitungan
Kecocokan per kategori dinamakan indeks kecocokan.
Kecocokan sekaligus untuk semua kategori dinamakan koefisien kecocokan
Perhitungan koefisien kecocokan dilakukan melalui matriks kecocokan lengkap (yang belum direduksi)
Perhitungan dapat dilakukan melalui frekuensi atau pun melalui proporsi
Pada perhitungan melalui frekuensi,
nii = frekuensi kategori cocok
ni0 = frekuensi pada P1 untuk semua P2
n0i = frekuensi pada P2 untuk semua P1
n = frekuensi semua kategori
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
2. Jenis Koefisien Kecocokan
Seperti pada indeks kecocokan per kategori, pada koefisien kecocokan semua kategori, terdapat sejumlah koefisien kecocokan. Di sini dibicarakan koefisien kecocokan
• Koefisien kecocokan nominal• Koefisien kecocokan marginal• Koefisien kecocokan kappa dari Cohen• Keofisien kecocokan pi dari Scott• Koefisien kecocokan kappa perluasan Light• Koefisien kecocokan pi modifikasi Flander• Koefisien kecocokan pi modifikasi Garrett
Koefisien kecocokan nominal hanya menghitung kategori cocok
Koefisien kecocokan kappa dari Cohen mengurangi kategori cocok dengan kategori kebetulan cocok. Koefisien kecocokan kappa dari Cohen ini banyak digunakan orang.
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
3. Matriks Kecocokan Semua Kategori
Matriks kecocokan semua kategori mencatat frekuensi atau proporsi kategori yang cocok maupun yang tidak cocok di antara dua pengamat
Contoh 26 (dalam frekuensi)
Penilai P1 dan P2 menilai karangan dalam sekor A, B, dan C
P2 ni0
A B C
A 75 1 4 80
P1 B 5 4 1 10
C 0 0 10 10
n0i 80 5 15 100
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 27 (dalam frekuensi)
Penilai P1 dan P2 menghasilkan penilaian sebagai berikut
P2
ni0
L1 L2 L3 L4
L1 4 1 5
P1 L2 1 3 1 5
L3 1 5 6
L4 1 3 4
n0i 5 5 7 3 20
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 28 (dalam frekuensi)
Pengamatan keadaan kelas dari pengamat P1 dan P2 untuk kategori amatan K1, K2, K2, K4, K5
P2 ni0
K1 K2 K3 K4 K5
K1 4 4 0 0 0 8
K2 2 8 0 0 0 10
P1 K3 0 0 6 0 0 6
K4 0 3 6 7 0 16
K5 0 5 0 0 5 10
n0i 6 20 12 7 5 50
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 29 (dalam frekuensi)
Pengamatan dari pengamat P1 dan P2 menghasilkan matriks sebagai berikut
P2
R1 R2 R3 R4 R5 R6
R1 5 1 2
R2 2 6
P1 R3 4 2
R4 5 1
R5 4
R6 2 6
------------------------------------------------------------------------------Reliabilitas penilai dan pengamat
------------------------------------------------------------------------------
4. Koefisien Kecocokan Nominal
Koefisien ini hanya memperhatikan kategori cocok yakni jumlah dari nii untuk dibagi dengan frekuensi total n.
Contoh 30
Dari contoh 26 sampai 29
Contoh 26: P0 = 89/100 = 0,89
Contoh 27: P0 =
Contoh 28: P0 =
Contoh 29: P0 =
∑= iinnP
10
n11
n22
n33
n
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
5. Koefisien Kecocokan Marginal
Koefisien ini memperhatikan margin yakni ni0 dan n0i
Untuk setiap kategori pada margin,
Koefisien kecocokan marginal adalah
)(
)(
ii
iii nataunMaksimum
nataunMinimunP
00
000 =
kategoribanyaknyak
Pk
P i
=
= ∑ 00
1
n10
n01
n20
n02
n30
n03 n
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 31
Dari contoh 26, koefisien kecocokan marginal
__
i P0i
1 80/80 = 1,00 __ 1
2 5/10 = 0,50 P0 = ----- 2,17 = 0,72
3 10/15 = 0,67 3
2,17
Contoh 32
Dari contoh 27 sampai 29, koefisien kecocokan
__ __
Contoh 27: P0 = Contoh 28: P0 =
__
Contoh 29: P0 =
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
6. Koefisien Kecocokan Kappa Cohen
Koefisien ini mengurangi kategori cocok dengan kebetulan cocok
Kebetulan cocok menggunakan hubungan independensi pada probabilitas P(A∩B)=P(A).P(B)
Komponen cocok
Komponen kebetulan cocok
Koefisien kecocokan kappa Cohen
∑= iinnP
10
iiii
e nnnn
n
n
nP 002
00 1 ∑∑ ==
e
e
P
PP
−−=
10κ
n11
n22
n33
n01
n10
n20
n02
n30
n03 n
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 33
Dari contoh 26,
i nii ni0 x n0i
1 75 80 x 80 = 6400 P0 = 89/100 = 0,89
2 4 10 x 5 = 50
3 10 10 x 15 = 150 Pe = 6600/10000
89 6600 = 0,66
n = 100 n2 = 10000
Dari contoh 27: κ =
Dari contoh 28: κ =
Dari contoh 29: κ =
67606601
660890
10 ,
,
,, =−
−=−−=
e
e
P
PPκ
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
7. Koefisien Kecocokan Pi Scott
Koefisien ini juga mengurangkan kebetulan cocok dari kategori cocok
Kebetulan cocok dihitung dari kuadrat kategori cocok
Kategori cocok
Kategori kebetulan cocok
Koefisien kecocokan Pi Scott
∑= iinnP
10
∑∑ =
= 2
2
21
)( iiii
e nnn
nP
e
e
P
PP
−−=
10π
n11
n22
n33
n
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 34
Dari contoh 26,
i nii n2ii
1 75 75 x 75 = 5625 P0 = 89/100 = 0,89
2 4 4 x 4 = 16
3 10 10 x 10 = 100 Pe = 5731/10000
89 5731 = 0,5731
n = 100 n2 = 10000
Dari contoh 27: π =
Dari contoh 28: π =
Dari contoh 29: π =
74230573101
57310890
10 ,
,
,, =−
−=−−=
e
e
P
PPπ
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
8. Koefisien Kecocokan Kappa Perluasan Light
Koefisien kecocokan ini merupakan modifikasi dari koefisien kecocokan kappa dari Cohen
d0 = 1 – P0
de = 1 – Pe
Koefisien Kecocokan
Contoh 35
Dari contoh 26 melalui contoh 33,
d0 = 1 – P0 = 1 – 0,89 = 0,11 de = 1 – Pe = 1 – 0,66 = 0,34
κ = 0,6765
Dari contoh 27: κ =Dari contoh 28: κ =Dari contoh 29: κ =
ed
d01−=κ
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
9. Koefisien Kecocokan Pi Modifikasi Flander
Koefisien ini merupakan modifikasi dari koefisien kecocokan Pi dari Scott
Kecocokan
Kebetulan cocok
n = total amatan P1 n’ = total amatan P2
Koefisien kecocokan
∑ −−='n
n
n
nP ii
f00
0 1
2
00
4
1∑
+=
'n
n
n
nP iief
ef
efff P
PP
−−
=10π
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 36
Dari contoh 26,
1 0,80 0,80 0 2,56 2 0,05 0,10 0,05 0,0225 3 0,15 0,10 0,05 0,0625 0,10 2,6450
P0f = 1 – 0,10 = 0,90
Pef = ¼(2,6450) = 0,66125
πf = (0,90 – 0,66) / (1 – 0,66) = 0,71
Dari contoh 27: πf =
Dari contoh 28: πf =
Dari contoh 29: πf =
2
00000
+−
''' n
n
n
n
n
n
n
n
n
n
n
ni iiiiioi
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
10. Koefisien Kecocokan Pi Modifikasi Garrett
Koefisien ini merupakan modifikasi dari koefisien kecocokan Pi dari Scott
Komponen cocok
Komponen kebetulan cocok
Koefisien kecocokan
kategorijumlahk
Pk
P
nataunMaksimum
nataunMinimumP
i
ii
iii
=
=
=
∑ 00
00
000
1
)(
)(
∑ +
+= 2
00
21
)(' iieg nnnn
P
eg
egg P
PP
−−
=10π
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
Contoh 37
Dari contoh 26
1 80 80 1 25600
2 5 10 0,5 225
3 15 10 0,67 625
2,17 26450
___
P0 = 0,72 Peg = 0,66
πg = 0,1785
Dari contoh 27: πg =
Dari contoh 27: πg =
Dari contoh 29: πg =
2000'
00 )( iiiii nnPn
n
n
ni +
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
E. Pengujian Hipotesis dan Estimasi Koefisien Kecocokan Kappa dari Cohen
1. Hipotesis H0: κ = 0
Pengujian hipotesis dan estimasi ini tidak biasa ditemukan di dalam statistika sehingga secara khusus dikemukakan di sini
Distribusi probabilitas pensampelan adalah distribusi probabilitas normal
Kekeliruan baku untuk κ = 0 adalah
Nilai baku
∑=
+−+−
=k
iiiiiee
e
ppppppnp 1
00002
1
1)(
)(κσ
κσκ=z
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
2. Hipotesis H0: κ = κ0 (κ0 ≠ 0)
Kekeliruan baku untuk κ = κ0 (κ0 ≠ 0) adalah
dengan nilai baku
[ ]
[ ]2
200
2
200
1
1
1
11
1
)(
)()(
))((
)(
κκ
κ
κ
σ κ
−−=
+−=
−+−=
−−+=
∑∑∑
≠
=
e
jiji
ij
ii
k
iii
e
pC
pppB
pppA
np
CBA
κσκκ 0−
=z
------------------------------------------------------------------------------Reliabilitas Penilai dan Pengamat
------------------------------------------------------------------------------
3. Estimasi κ
Pada interval keyakinan (1–α) nilai κ terletak di antara
dengan kekeliruan baku seperti pada κ = κ0 serta κs = koefisien kappa pada sampel
κακασκκσκ)()(
2
1
2
1 zz ss +≤≤−