学力テスト問題の作成・分析・評価－教育心理学...

学力テスト問題の作成・分析・評価－教育心理学の視点から－

Jun. 17, 2010富山県中学校教育研究会「学力診断サポート事業」

岸学（東京学芸大学教育学部教育心理学講座）

[email protected]

教育心理学の領域

発達

教授・学習

適応（人格・社会・臨床）

評価・測定

•教育評価

•教育測定

評価と測定の違い

•測定や質的記述の結果に価値判断を加える

•評価＝測定＋価値判断

•評価＝質的記述＋価値判断

評価

(evaluation)

•評価のための客観的情報を得る•古典的テスト理論→信頼性・妥当性•項目応答(反応)理論(IRT)

測定

(measurement)

話題の構成

テストを作るテストを使う

作るとき

テスト全体

テスト項目

作った後

SP表

分析

(P曲線)

信頼性

妥当性

項目

分析

使った後

SP表

分析

(S曲線)

学習

支援

テスト得点の分布を想定する

高学力を検出(セレクション)

標準の分布型到達度の確認(スクリーニング)

テスト問題を作る手順

指導内容・学習内容をリストアップ

•指導目標は？

•基礎的内容か発展的内容か？

実際の指導ではどのように教えたかを確認実際の指導ではどのように教えたかを確認

問題の形式の決定

•客観式か記述式か？

•どの方式か？

難易度・採点方式の確認

池田央(1992) 「テストの科学」日本文化科学社より

項目数と信頼性係数の予想値

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

信頼性係数

0

0.1

0.2

1 5 10 20 30 40 50 60 70 80 90 100

項目数

4選択枝の上限 4選択枝の下限

5選択枝の上限 5選択枝の下限

出典：「テストの科学試験にかかわるすべての人に」池田央,日本文化科学社,1994年

表4.2 問題項目数と選択枝の数と信頼性係数（予想範囲）の関係より作成

話題の構成


作るとき

テスト全体

テスト項目

作った後

SP表

分析

(P曲線)

信頼性

妥当性

項目

分析

使った後

SP表

分析

(S曲線)

学習

支援

分類代表的な方法設問の例

解答方式

再生タイプ

単純再生法活版印刷を発明した人は誰か？

完成法室町幕府は( )年に( )により( )の地に設立され．．．

真偽法次の説明が正しければ○を，誤っていれば×を（）内に記入せよ

テスト方法の分類

再認タイプ

多枝選択法次の(1)～(4)の文の中で最も妥当なものはどれか？

組み合わせ法次の文の（1）～(10)に入る語を，下の語群の(a)～(j)から選べ。

回答方式

論文体テストインフレーションと株価の関係について述べよ

問題場面テストこの地図のこの部分に新たに都市を造るとすれば，防災上，最も注意するのはどのような点だと思うか？

テスト項目作成の注意事項

教えた形式と設問の形式とを一致させる

何を学習していたら正答できるかのイメージ

論文形式→設問が曖昧なら解答は多様論設問曖解答多様

正答の基準を確定しておく

• 神奈川県の県庁所在地は→関内

選択枝の数をなるべく揃える

• チャンスレベルの均一化

資格試験などでの項目仕様書作り（例）

測定する特性・概念・活動・・・・・

事実か意見・考え方か・・・・

正解できる受験者の様子・・・・・正解できる受験者の様子・・・・・

正解の番号とその根拠・・・・・

不正解選択枝の理由・・・・・

難易度の予測・・・・・

出典・参考文献など・・・・・

話題の構成


作るとき

テスト全体

テスト項目

作った後

SP表

分析

(P曲線)

信頼性

妥当性

項目

分析

使った後

SP表

分析

(S曲線)

学習

支援

テスト結果の分析方法

Ｓ－Ｐ表(Student-Problem Table)

Ｉ－Ｔ相関(Item-Total Correlation)による項目分析(Item-Total Correlation)

信頼性係数(α係数など)

Ｇ－Ｐ分析(Good-Poor Analysis)

SP表(student-problem table)とは？

テスト問題の特性を分析

•正答率，P曲線，問題ごとの注意係数

児童・生徒の集団としての学習特徴を分析児童・生徒の集団としての学習特徴を分析

• S曲線とP曲線のパターン，差異係数

個々の児童・生徒の学習の特徴を分析

•個人の正答率，S曲線，生徒ごとの注意係数

1


ＮＯＱ４Ｑ１６Ｑ１Ｑ１７Ｑ２Ｑ７Ｑ９Ｑ１３Ｑ６Ｑ８Ｑ１０Ｑ１１Ｑ１８Ｑ２２Ｑ２５Ｑ１２Ｑ２３Ｑ２４Ｑ２１Ｑ１９Ｑ５Ｑ１４Ｑ３Ｑ２０Ｑ１５合計点正答率(%) 注意係数1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 25 100 0.007 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 24 96 0.008 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 24 96 0.5510 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 24 96 0.0018 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 24 96 0.9923 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 24 96 0.6625 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 24 96 0.556 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 23 92 0.8311 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 23 92 0.8314 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 23 92 0.0815 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 23 92 1.2822 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 23 92 0.083 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 1 0 22 88 0.239 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 0 22 88 0.1216 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 0 22 88 0.3519 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 0 1 22 88 0.5220 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 22 88 0.4626 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 22 88 0.7527 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 0 1 1 22 88 0.632 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 0 0 21 84 0.10

24 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 0 21 84 0.10

12 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1 0 20 80 0.51

21 1 1 1 1 1 0 1 1 0 0 0 1 1 1 0 1 1 1 1 1 1 1 1 1 1 20 80 1.23

28 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 1 1 0 1 1 1 1 0 1 0 20 80 0.55

4 1 1 1 1 1 1 0 1 0 0 1 1 1 1 1 1 0 1 0 0 0 1 1 0 1 17 68 0.74

13 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 0 0 0 1 0 1 0 1 1 17 68 0.78

5 1 1 1 1 1 1 0 1 1 0 0 1 1 1 1 1 0 0 0 0 1 1 1 0 0 16 64 0.52

17 1 1 0 0 0 0 1 1 0 1 1 1 0 0 1 1 0 1 0 1 0 1 0 1 0 13 52 0.7928 28 27 27 26 26 26 26 25 25 25 25 25 25 25 24 24 24 23 22 21 21 20 20 15

100 100 96 96 93 93 93 93 89 89 89 89 89 89 89 86 86 86 82 79 75 75 71 71 54－－ 0.54 0.54 0.26 0.42 0.42 -0.09 0.52 0.39 0.12 0.04 0.25 0.43 0.21 -0.19 0.80 0.37 0.68 0.18 0.26 -0.24 0.13 0.05 0.05－－ 0.00 0.00 0.50 0.28 0.28 0.99 0.21 0.38 0.70 0.81 0.54 0.32 0.59 1.08 1.47 0.43 0.08 0.61 0.50 1.12 0.64 2.30 0.67

生徒

(stu

dent)

テスト問題 (problem)

正答率(%)I-T相関

注意係数

正答数

佐藤隆博(1985) 「S-P表の入門」明治図書より

話題の構成


作るとき

テスト全体

テスト項目

作った後

SP表

分析

(P曲線)

信頼性

妥当性

項目

分析

使った後

SP表

分析

(S曲線)

学習

支援

良いテストとは？

信頼性(reliability)が高い

•再現性→いつ、どこで、どのように測定しても同じ結果が得られるか

•等質性→テスト項目が同じ側面を測っているか•等質性→テスト項目が同じ側面を測っているか

•信頼性係数で表現

妥当性(validity)が高い

•測定しようとするものを的確に測定しているか

•妥当性係数で表現できる場合あり

信頼性の検討方法

○再テスト法

• 同一テストの繰り返し実施。再現性・安定性

×平行テスト法

×折半法

◎内部一貫法（内的整合法）→α係数

• テスト項目の間の関係の強さ。等質性・識別性

◎一般化可能性理論による方法

• 分散成分の推定による

信頼性係数の求め方

再テスト法

•同一対象に同一テストを複数回行う

•得点の間で相関係数(r)を求める

内部一貫法（内的整合法）

•テスト項目同士の関係が強いかどうかによる

α係数結果

【内的整合法による信頼性係数（クロンバックのα係数）の計算】

項目被験者 1 2 3 4 5 6 7 8 9 10 合計

1 4 3 1 5 3 4 1 5 5 3 342 5 5 5 5 5 4 5 2 5 5 463 4 3 3 5 3 5 2 3 3 4 354 2 4 3 2 2 3 1 3 4 2 265 4 3 3 5 3 3 5 2 3 4 356 3 4 2 5 4 4 2 2 4 5 357 2 3 3 2 4 2 2 1 2 4 258 4 4 4 4 1 1 3 3 5 4 339 1 4 3 3 4 2 3 4 5 3 32

10 4 1 1 5 2 2 3 4 2 4 2811 5 3 2 5 5 4 4 2 5 4 3912 2 3 4 2 1 3 4 3 4 2 2813 1 1 3 2 3 2 2 3 3 3 2314 5 2 3 2 2 4 1 2 1 4 2615 4 2 3 5 4 2 4 4 3 4 3516 3 1 2 3 1 2 1 3 2 1 1917 4 2 1 3 1 1 3 2 1 1 1918 5 5 2 3 4 5 3 3 4 3 3719 5 4 3 5 3 5 5 5 5 5 4520 4 3 3 2 1 1 3 3 3 1 24

SD 1.317 1.214 1.031 1.348 1.361 1.356 1.348 1.050 1.356 1.302 7.620分散 1.734 1.474 1.063 1.818 1.853 1.839 1.818 1.103 1.839 1.695 58.063

＊項目数(M)=10＊項目ごとの分散の合計＝1.734+1.474+1.063+…+1.695＝16.237＊合計点の分散＝58.063

＊信頼性係数（α）＝(10/(10-1))×（1-(16.237/58.063))＝0.800

- 1 -

【α係数とI-T相関】 M.Kishi

（case 1)Q1 Q2 Q3 Q4 Q5 total IT相関

1 5 4 2 4 4 19 total と Q1 0.7262 4 3 3 3 4 17 total と Q2 0.6223 3 3 2 5 3 16 total と Q3 0.1464 4 5 1 2 5 17 total と Q4 0.4435 5 4 2 3 5 19 total と Q5 0.7726 3 1 4 4 4 167 2 2 2 3 3 128 3 3 1 2 2 119 4 1 2 2 3 12

10 2 1 3 3 4 131.17 2.01 0.84 0.99 0.90 8.844

5.911

α＝ 0.415



10 2 4 3 3 4 161.79 1.60 1.61 1.88 1.17 22.667

8.044

α＝ 0.806



10 2 3 3 3 3 141.88 1.57 2.00 1.79 1.38 33.167

8.611

α＝ 0.925

妥当性の検討方法

内容的

妥当性

カリキュラム

基準関連

妥当性

併存的

構成概念

妥当性

因子的カリキュラム

妥当性

併存的

妥当性

予測的

妥当性

因子的

妥当性

信頼性・妥当性を高めるには？

信頼性を高める

•解答しやすいような表現，設問

•異質な能力を測定する（が必要となる）問題を入れない

••出題形式をなるべく揃える

•出題問題数を増やす

妥当性を高める

•評価目的に合っているかどうかの確認

•測定の全内容（単元など）を網羅している

妥当性の新しい考え方

「この測定の結果は大丈夫である」ことを示す証拠によって判断

•内容的証拠 → 項目内容は構成概念に合っているか

• （本質的証拠 → 心理学的な説明は確かか）

•構造的証拠 → 因子分析，IT相関の結果はどうか

•一般化可能性の証拠 → 信頼性（α係数など）はどうか

•外的側面の証拠 → 収束的・弁別的証拠はどうか，SEMによる検討結果はどうか

•結果的証拠 → 予測性の確認はどうか

(平井洋子 2006 測定の妥当性からみた尺度構成吉田寿夫(編著) 心理学研究法の新しいかたち第２章誠信書房より）

話題の構成


作るとき

テスト全体

テスト項目

作った後

SP表

分析

(P曲線)

信頼性

妥当性

項目

分析

使った後

SP表

分析

(S曲線)

学習

支援

ＮＯＱ４Ｑ１６Ｑ１Ｑ１７Ｑ２Ｑ７Ｑ９Ｑ１３Ｑ６Ｑ８Ｑ１０Ｑ１１Ｑ１８Ｑ２２Ｑ２５Ｑ１２Ｑ２３Ｑ２４Ｑ２１Ｑ１９Ｑ５Ｑ１４Ｑ３Ｑ２０Ｑ１５合計点正答率(%) 注意係数1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 25 100 0.007 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 24 96 0.008 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 24 96 0.5510 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 24 96 0.0018 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 24 96 0.9923 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 24 96 0.6625 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 24 96 0.556 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 1 0 1 1 1 23 92 0.8311 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 1 1 23 92 0.8314 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 23 92 0.0815 1 1 1 1 0 1 1 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 23 92 1.2822 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 23 92 0.083 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 1 0 22 88 0.239 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 0 0 22 88 0.1216 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 1 0 1 1 0 22 88 0.3519 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 0 1 22 88 0.5220 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 1 22 88 0.4626 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 0 1 1 1 0 1 1 22 88 0.7527 1 1 1 1 1 1 1 1 1 1 1 0 1 1 1 1 1 1 1 1 0 1 0 1 1 22 88 0.632 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 0 1 1 0 0 21 84 0.10

24 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 0 1 0 1 0 0 21 84 0.10

12 1 1 1 1 1 1 1 1 1 1 1 1 0 1 1 0 1 0 1 1 1 0 1 1 0 20 80 0.51

21 1 1 1 1 1 0 1 1 0 0 0 1 1 1 0 1 1 1 1 1 1 1 1 1 1 20 80 1.23

28 1 1 1 1 1 1 1 0 1 1 1 1 1 1 0 1 1 0 1 1 1 1 0 1 0 20 80 0.55

4 1 1 1 1 1 1 0 1 0 0 1 1 1 1 1 1 0 1 0 0 0 1 1 0 1 17 68 0.74

13 1 1 1 1 1 1 1 1 1 1 1 0 1 0 0 1 0 0 0 1 0 1 0 1 1 17 68 0.78

5 1 1 1 1 1 1 0 1 1 0 0 1 1 1 1 1 0 0 0 0 1 1 1 0 0 16 64 0.52

17 1 1 0 0 0 0 1 1 0 1 1 1 0 0 1 1 0 1 0 1 0 1 0 1 0 13 52 0.7928 28 27 27 26 26 26 26 25 25 25 25 25 25 25 24 24 24 23 22 21 21 20 20 15

100 100 96 96 93 93 93 93 89 89 89 89 89 89 89 86 86 86 82 79 75 75 71 71 54－－ 0.54 0.54 0.26 0.42 0.42 -0.09 0.52 0.39 0.12 0.04 0.25 0.43 0.21 -0.19 0.80 0.37 0.68 0.18 0.26 -0.24 0.13 0.05 0.05－－ 0.00 0.00 0.50 0.28 0.28 0.99 0.21 0.38 0.70 0.81 0.54 0.32 0.59 1.08 1.47 0.43 0.08 0.61 0.50 1.12 0.64 2.30 0.67

生徒

(stu

dent)

テスト問題 (problem)

正答率(%)I-T相関

注意係数

正答数

佐藤隆博(1985) 「S-P表の入門」明治図書より

評価の考え方（４W１H)

• 何のために目的(why)

• 学習のどの段階で時期(when)

(who) •誰が評価の主体者か評価者(who)

•どの側面を内容(what)

•どのような方法で方法(how)

教育評価の目的(Why)

生徒に達成状況をフィードバック

•試験，reportの返却，コメント

•試験内容，評価基準，採点観点を明示•

•試験，reportを通じて学習を促進させる

教員の授業改善

•教えたことはすべて出題

•試験後の結果分析(GP分析，SP表etc.)

評価の時期(When)

診断的評価(事前)

• レディネス(準備状態)，既有知識

形成的評価(途中)形成的評価(途中)

•学習遂行に重要！

•毎時間の課題呈示と確認

総括的評価(事後)

•通常の試験，課題

評価の実施者(Who)

教員自己評価仲間

(peer-to-peer)

地域・社会 On-demand

評価の内容(what)

• ～がわかる。～ができる。～を知っている。問題を解決する。

認知の目標

• 興味を持つ。集中して取り組む。学習が持続する。

関心・意欲・態度の目標

• ～できる。操作できる。作成できる。～を達成できる。

技術・技能・芸術・運動の目標

目標をどのように学習するかの明示・説明

学習のしかたとテスト方法との一致

評価の方法(How) その１

•教育目標を規準にし，それがどこまで達成されているか到達度評価

•学習者が属する集団を基準にした，集団内の位置づけ相対評価

•到達度評価の要素に，学習者の自己評価や仲間評価などの要素を加える

目標に準拠した評価

•縦断的⇒以前の状態との比較•横断的⇒個人の他の側面との比較

個人内評価

評価の方法(How) その２

•学習期間を通じての，自分の変化の様子を点検

•自己学習，自己効力感

ポートフォリオ

評価

•目標の規準と段階の基準とを組み合わせた評価表を活用

ルーブリックによる評価

話題の構成


作るとき

テスト全体

テスト項目

作った後

SP表

分析

(P曲線)

信頼性

妥当性

項目

分析

使った後

SP表

分析

(S曲線)

学習

支援

ご意見・質問をお願いします

岸学 [email protected]

学力テスト問題の作成・分析・評価－教育心理学...

Documents

Transcript of 学力テスト問題の作成・分析・評価－教育心理学...

学力 テスト問題 の作成 ・分析 ・評価 －教育心理学...

Documents

Transcript of 学力 テスト問題 の作成 ・分析 ・評価 －教育心理学...

学力テスト問題の作成・分析・評価－教育心理学...

Transcript of 学力テスト問題の作成・分析・評価－教育心理学...