교육평가

김종민

1

강의개요

2

19장신뢰도 정의와종류

신뢰도에영향을주는요인

재검사신뢰도

동형신뢰도

내적일관성신뢰도

20장채점자내,

채점자간

신뢰도

채점자내신뢰도

채점자간신뢰도

기본가정

추정방법

19장 신뢰도

3

검사의신뢰도정의 종류

피험자들에게 동일한 검사를 반복 실시하였을때 측정의 일치성

검사-재검사, 동형검사 접근

고전검사이론 접근

재검사 신뢰도

동형검사 신뢰도

반분검사 신뢰도

내적일관성 신뢰도

19장 신뢰도

4

신뢰도의적용과영향을주는요인

적용: 재검사 신뢰도>동형검사 신뢰도>반분검사신뢰도>내적일관성신뢰도

영향을 주는 요인• 문항 수

• 문항의 난이도

• 문항의 변별도

• 측정 내용 좁은 범위

• 검사시간

재검사신뢰도

5

정의 추정절차

동일한 검사를 동일한피험자 집단에 일정시간간격을 두고 두번 실시하여 얻은 두 검사점수의 상관계수

동일검사 동일 집단에게두 번 실시

두 검사점수 간의 상관계수 추정

재검사신뢰도

6

장단점

장점:추정방법이 간단

단점• 시험 간격 설정(기억효과 배제): 3개월, 6개월• 두 번 검사 시행 어려움

동형검사신뢰도

7

정의 추정절차

두개의 동형검사 제작후 동일 피험자 집단에게 검사 실시

평행검사 신뢰도

두 개의 동형검사 동일 집단에게 두 번 실시

두 검사점수 간의 상관계수 추정

동형검사신뢰도

8

장단점

장점:시험 간격 문제 해결, 신뢰도 계수 추정 용이

단점• 동형검사 제작이 어려움• 두 번 검사 시행 어려움

내적일관성신뢰도

9

반분검사신뢰도

한번 실시한 검사를 두 부분으로 나누어 두 부분검사점수의 상관계수 계산

문제점:신뢰도 과소 추정

해결방안:Spearman-Brown 공식 사용 2*반분된 검사점수의 상관계수/(1+반분된 검사점

수의 상관계수)

반분방법: 기우법, 전후법, 단순무작위법, 문항특성에의한 반분

장점: 시험간격 동형검사 문제해결

단점: 검사양분 방법에 따라 신뢰도 변화

내적일관성신뢰도

10

문항내적일관성신뢰도

문항 하나하나를 하나의 검사로 간주하여 문항들 간의 유사성 혹은 측정의 일치성을 추정

KR-20, Hoyt 신뢰도, Cronbach α

Cronbach α: 관찰점수 분산과 진점수 분산 비율에 근거

장점: 검사를 양분하지 않아도 됨; 문항간의 일관성에의하여 단일한 신뢰도 추정

단점: 신뢰도 과소 추정

퀴 즈

11

재검사신뢰도의

장단점은?

동형검사신뢰도

검증절차은?

20장 채점자내 채점자간 신뢰도

12

채점자내신뢰도 채점자간신뢰도

한 채점자가 모든 측정대상에 대하여 계속적으로 일관성 있게 측정하였는지

채점 결과가 채점자들 사이에서 얼마나 유사한가;채점자들의 채점 결과의유사성

20장 채점자내 채점자간 신뢰도

13

기본가정과추정방법

기본가정• 연구대상은 동일한 행위나 같은 문항에 응답• 채점자는 상호독립적• 채점자는 동일 대상 평정

추정방법• 상관계수법• 일반화가능도 이론• 일치도 통계

퀴 즈

14

채점자내

신뢰도란?

채점자간

신뢰도란?

토론 주제

15

교사들은 학생들의 비인지적 기질과 능력을 평가하는데주로 학생들의 자기평가나 자기보고 형식을 이용하거나비구조적인 방법을 활용한다.

태도나 믿음, 가치 등을 평가하는데 있어 교사의 비구조적 관찰이나 학생들의 자기평가로도 충분히 할 수 있다고주장하는 쪽과 이러한 특성을 측정함에 있어 신뢰도가 낮거나 타당도의 근거가 부족하다고 주장하는 쪽이 있는데어떻게 생각하는가?