項目反応理論による尺度運用

Require 研究会第 21 回研究集会 @ 東京医科歯科大　 2015.7.25「項目反応理論を用いた尺度運用 - PROMIS の試みとその原理の理

解」

項目反応理論を用いた尺度運用

統計数理研究所リスク解析戦略研究センター

竹林由武

本日の話題

❖ PROMIS における IRT の活用 (3 分 )

❖ IRT のパラメータの確認 (2 分 )

❖ DIF による集団の異質性の検討法 (12 分 )

❖ IRT に基づいた尺度の等価法 (12 分 )

❖ IRT に基づいた尺度構成と運用 (10 分 )

http://www.nihpromis.org/science/methodology

尺度開発と妥当性の科学的な基準を提供

1. 概念モデルの定義2. 項目の構成3. 項目プールの構成4. 項目バンクの性質を決定5. テスト , 尺度フォーマット6. 妥当性7. 信頼性8. 解釈可能性9. 翻訳，異文化への適応

IRT を活用

基準 4. 項目バンクの性質を決定

1. バンクに含まれる項目の次元性は適切な統計手法で評価している

2. バンクに含まれる項目各々が， IRT に必要な前提をみたしてる

3. 適切な項目特性曲線とテスト情報曲線が示されている

4. 主要な集団間での特異項目機能 (DIF) が評価され，

　測定の性質に与える影響が同定されている ( 年齢，性別，社会経済状況な

ど )

Check list

基準 5. テストと尺度フォーマット

1. 尺度の適切な ( 心理測定学的 ) 性質が示されている

2. 測定指標間の精度や効率性が同定されている ( 等価 )

3. 指標のパフォーマンスパラメータが同定されている

4. 回答の負担の特徴　 ( 回答にかかる時間や項目数 )

5. 異なるフォーマット間での比較可能性 ( 短縮版や CAT)

Check list

IRT に基づく尺度構成 / 運用のメリット

異質な集団間の得点を比較可能

異なる尺度間の得点を比較可能

測定精度を詳細に確認可能

特性値に応じて実施する尺度を制御可能

受験者ごとに最適な問題を瞬時に選び出題できる

豊田 (2012) 項目反応理論 [ 入門編 ] 第二版朝倉書店

PROMIS 尺度 , 集団の異質性を考慮した対応表作り

必要な IRT 関連の知識 : 　特異項目機能　 (Differential Item Function)

翻訳状況の一部

特異項目機能 ( アメリカ vs ドイツ )

http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0092367

http://www.pro-newsletter.com/images/PDF_articles/pronl47_keller.pdf

http://www.common-metrics.org/

http://psycnet.apa.org/journals/pas/26/2/513/

PROMIS 尺度を軸に，既存の多様な尺度を比較可能にする

必要な IRT 関連の知識 : 等価 (equating, linking)

PROMIS 尺度で回答者に最適な問題を瞬時に選び出題できる

https://www.assessmentcenter.net/ac1/Default.aspx?SID=466F3173-C114-48D3-93EC-849B436D61E3

回答者の回答に合わせて，自動的に項目を選定し提示 , 能力 ( 特性値 ) を自動推定

web で手軽に回答，結果をすぐにフィードバック

必要な知識 : CAT (computer adaptive testing)

本日の話題






回答が 2 値変数のモデル❖2 母数ロジスティックモデル

θ = 特性値 ability parameter

a = 識別度母数discrimination parameter

b = 困難度母数difficulty or location parameter

D = 1.7 ( 定数 )constant

ある特性値の人 (θi) がある項目 (j) に「はい」と答える確率

「はい (1) 」「いいえ (0) 」

「正答 (1) 」「誤答 (0) 」

回答が 2 値変数のモデル

a = 識別度母数 b = 困難度母数項目特性曲線の傾き項目特性曲線の切片

項目への反応確率と特性値の関係は , ロジスティック回帰モデルで表現される

特性値困難度 ( 切片 )識別度 ( 傾き )

回答が順序変数のモデル

❖ 段階反応モデル「あてはまる (4) 」「少しあてはまる (3) 」「どちらでもない (2) 」「あまりあてはまらない (1) 」「全然あてはまらない (0) 」

ある特性値で，あるカテゴリに回答するカテゴリごとの確率

回答カテゴリごとの困難度

θ = 特性値 ability parameter

a = 識別度母数discrimination parameter

b = 困難度母数difficulty or location parameter

回答が順序変数のモデル

❖ 段階反応モデル「あてはまる (4) 」「少しあてはまる (3) 」「どちらでもない (2) 」「あまりあてはまらない (1) 」「全然あてはまらない (0) 」

a = 識別度母数 b = 困難度母数項目特性曲線の傾き項目特性曲線の切片

豊田 (2012) 項目反応理論 [ 入門編 ] 第二版朝倉書店

a=1.2, b1=3, b2=0, b3=-3a=2.4, b1=3, b2=0, b3=-3 a=1.2, b1=3, b2=0, b3=-3a=1.2, b1=5, b2=2, b3=-1

http://127.0.0.1:6200/

mirt パッケージのアプリ機能library(mirt)data(Anxiety)#lordif パッケージ内のデータres<-mirt(Anxiety[,4:32], 1)itemplot(res, shiny=T)

スライダーでパラメタを動かすと、一緒にプロットが動くので、項目母数の性質が良く分かる

本日の話題






特異項目機能 : differential item function (DIF)

❖ 特性尺度値が等しい受験者であっても，属する下位集団が異なると正答確率が異なるという現象が特定の項目で生じている場合 DIF が存在する。

http://www.jstatsoft.org/v39/i08/paper

DIF の種類Uniform DIF ( 交絡的な関係 )全ての特性値において，一方の群の正答率が低い (or 高い )

non-Uniform DIF ( 修飾的な関係 )低特性者と高特性者で，正答率の高い群が異なる。

例 ) 抑うつの得点 ( 特性値 ) が高い場合，　高齢者は中年よりも「いつも通り働けない」という　項目に，「はい」と回答する確率が高いが，抑うつが低い場合は，逆転

例 ) 抑うつの得点 ( 特性値 ) が同じでも，　　　　　男性は女性よりも「よく泣く」という項目へのに「はい」と回答しずらい。　　高齢者は若年・中年よりも，「体重が減少した」という項目に「はい」と回答しずらい　　

Psychol Sci Q. 2008 ; 50(4): 538.

Psychol Sci Q. 2008 ; 50(4): 538.

http://www.restore.ac.uk/appliedpsychometrics/Tutorial.materials/Measurement.invariance/DIF%20workshop%202012%20FINAL.pdf

Uniform DIF ( 交絡的な関係 )群間で困難度 β( 切片 ) が異なる

non-Uniform DIF ( 修飾的な関係 )群間で識別度 α ( 傾きが異なる )

http://www.restore.ac.uk/appliedpsychometrics/Tutorial.materials/Measurement.invariance/DIF%20workshop%202012%20FINAL.pdf

DIF の種類

多値モデル

uniform

多値モデルnon-uniform

DIF 検出に使用されるモデルIRT に基づく方法 :

　 ( 順序 ) ロジスティック回帰 ((ordinal) logistic regression (OLS))

　尤度比検定 : (likelihood ratio test)

構造方程式モデル (CFA) に基づく方法 :

　多重指標多重原因モデル (MIMIC model)

多母集団同時分析モデル (multigroup CFA)

ノンパラメトリックなモデルに基づく方法

　 SIBTEST (non parametric model)

どの手法が優れるかは一概に言えないので，

複数の方法を感度解析として併用するのが望ましい

(PROMIS では， OLS を基本に MIMIC や MG-CFA

を併用 )

groupFagroupaFabku

groupaFabku

Fabku

ki

ki

ki

*log

log

log

221

21

1

1) baseline model

3) non-uniform DIF

2) uniform DIF

特性値と群の交互作用項

群の ( 主 ) 効果

DIF の有無の判断 :

　 1) モデル比較 → 尤度比 (χ2) 検定

　 2) 効果量 → pseudo R2, Δβ

サンプルサイズが大きいと些細な効果でも有意になるた

め，検定と効果量を合わせて解釈する

DIF の検討モデル :

尤度比 (χ2) 検定による DIF の検出 :

DIF のタイプ比較するモデル

uniform DIF baseline model vs. uniform DIF

non-uniform DIF uniform DIF vs. non-uniform DIF

total DIF baseline model vs. non-uniform DIF

1) baseline model

3) non-uniform DIF

2) uniform DIF

groupFagroupaFabku

groupaFabku

Fabku

ki

ki

ki

*log

log

log

221

21

1

特性値と群の交互作用項

群の ( 主 ) 効果

効果量 (DIF の程度 ) の指標 :pseudo R2 ( 擬似決定係数 ): 分散説明率 R2 の代替指標　　　

Zumbo (1999) の基準効果量の解釈

0.13未満無視して良い (negligible)

0.13以上 0.26未満中程度 (moderate)

0.26以上大きい (large)

Zumbo BD (1999). A Handbook on the Theory and Methods of Differential Item Functioning (DIF): Logistic Regression Modeling as a Unitary Framework for Binary and Likert-Type (Ordinal) Item Scores. Directorate of Human Resources Research and Evaluation, Department of National Defense, Ottawa, ON.

10%以上が実用的 (practical) に意味の

ある効果 (Crane et al. 2004)

Δ β : 属性変数の回帰係数の変化率　　　

Crane PK, van Belle G, Larson EB (2004). “Test Bias in a Cognitive Test: Differential Item Functioning in the CASI.” Statistics in Medicine, 23, 241–256.

MIMIC モデルによる DIF の検出 :

因子１

項目 1

項目２

項目３

項目４

因子１

項目 1

項目２

項目３

項目４

属性変数

IRT モデル（観測変数が順序・カテゴリ変数の因子分析）

MIMIC モデル（属性変数から項目へのパスが DIF を反映）

MIMIC モデルによる DIF の検出 :

因子１

項目 1

項目２

項目３

項目４

属性変数

MIMIC モデル（属性変数から項目へのパスが DIF を反映）

DIF の検討手順

①　属性変数から全項目への　　パス係数を０に固定し推定

②　修正指数によって，モデルの改善が、予想されるパスを検討　　　 ( 修正指数 4以上 )

③　パスを追加したモデルによって　　　適合度が改善するか検討

④　適合度が改善すればその項目に　　 DIF を認める

ロジスティック回帰 vs MIMIC

❖ 大抵MIMIC モデルと OLS は同様の結果になる。

❖ 2 値モデルでは， OLS より MIMIC モデルの方がやや良い。

❖ 多値モデルかつ標本サイズが小さい時は、 MIMIC モデルの方が良い

Stark, S., Chernshenko, O. S., & Drasgow, F. (2006). Detecting differential item functioning with confirmatory factor analysis and item response theory: Toward a unified strategy. Journal of Applied Psychology, 91(6), 1292–1306

記載例 2❖ 方法の節 : IRTOLS の場合

Qual Life Res (2015) 24:1491–1501 DOI 10.1007/s11136-014-0870-x

DIF was analyzed with the R software package Lordif [31]. The

Lordif utilizes an ordinal logistic regression framework, and the

graded response (GR) model is used for IRT trait estimation

[32]. Two criteria were considered to detect meaningful DIF in the

current study: (1) < 0.13 pseudo R2 statistic [33] and (2) 10 %

changes in beta [31, 34, 35].

もっと詳しく書くなら右も参考になる→

使用したソフトウェア

DIF 検出に用いた統計モデル

IRT の特性値の推定に使用した統計モデル

DIF の検出基準

Qual Life Res (2014) 23:239–244

記載例 2

Of the 132 tests performed (22 items by 6 confounding factors), 50 exhibited overall DIF (Table 4 ). Following Zumbo’s DIF classification, no items were flagged for moderate or large DIF magnitudes. Some items were flagged for negligible DIF magnitudes: three items for gender (items 2, 3, and 4), … ( 中略 )…, 18 items for geographical area (1–13, 15–17, 20, and 22). Given the negligible DIF magnitudes, all 22 items were preserved in the final item bank.

Qual Life Res (2015) 24:1491–1501 DOI 10.1007/s11136-014-0870-x

❖ 結果の節 : IRTOLS の場合

各項目の検定結果と効果量を，検討したグループ変数ごとに表記

効果量を，基準に基づいて解釈

記載例 1❖ 方法の節 : MIMIC model

❖ 結果の節 : MIMIC model

Another important assumption of CCFA is no differential item functioning (DIF). This assumption was tested for each item of the two PROMIS measures using the multiple indicator multiple cause (MIMIC) model [25 –28], in regard to gender and age, each adjusted for the other. The MIMIC model enables examining DIF even for a continuous variable (e.g., age) that has small within-group sample sizes [25 ]. Significant direct effect of a grouping variable (e.g., age, gender) on an item indicates DIF of the item. A DIF implies that a given item was not interpreted in a conceptually similar manner by respondents with different individual characteristics (e.g., age and gender).

As the DIF tests for all the items were conducted simultaneously, there was no need to make adjustment for multiplicity of comparison. None of the DIF tests were statistically significant.

特異項目機能が検出されたら❖ DIF のある項目を尺度から除く (PROMIS の方針 )

❖ 等価手続きを利用して，得点を合わせる。

本日の話題







多様な PRO を統一指標化するプロジェクト

うつ，不安，痛み，身体機能が出来てる

DOI: 10.1007/s11136-015-0987-6

DOI: 10.1007/s11606-015-3360-0

DOI: 10.1007/s11136-015-0987-6

DOI: 10.1007/s11606-015-3360-0


PHQ-9 の 5 点 = PROMIS の 52.5 点 (T 得点 )異なる尺度の変換表を作成

異なる尺度の項目母数が直接比較可能な状態

被験者の特性値の分布が等しい複数の集団に，異なる尺度を実施し，各々パラメタ推定した項目母数は，直接比較可能 ( 等価済み ) 。

母集団

集団１

集団２

Random group equating design :

無作為抽出

X 尺度

Y 尺度

母集団

集団１

集団２

無作為抽出

X 尺度Y 尺度

Y 尺度X 尺度

Single group design with counterbalancing: 異なる尺度に同一の集団が回答する。特性値の分布が等しい集団が、それぞれの尺度に回答している。直接比較可能 ( 等価済み )

直接比較できないときには … .?

Common-item nonequivalent group:

異質な集団で測定された異なる尺度間で，共通する項目または被験者の推定

値から算出する等価係数を用いて，両尺度を直接比較可能にする。

異なる尺度が異なる集団で実施された場合に，各尺度の項目母数を直接比較可能な状態にする手続き等価

・共通項目計画

・共通被験者計画

共通項目計画

subjitem

1item

2item

3item

4item

5

1

2

3

4

subjitem

3item

4item

5item

6

5

6

7

8

formX

formY

異なる被験者が

複数の質問紙への回答

項目に重複あり

共通項目の母数を利用して，

等価係数を算出

form X form Y

識別度 (a)

困難度 (b)

識別度 (a)

困難度 (b)

item3 1.20 -1.30 2.60 -1.15

item4 .60 -.10 1.20 -0.55

item5 1.70 .90 3.40 -0.05

共通被験者計画subj

item1

item2

item3

item4

1

2

3

4

５

subjitem

5item

6item

7item

8

3

4

5

6formX

formY

同じ被験者が異なる項目に回答

共通被験者の母数を利用して，

等価係数を算出

form X form Y

識別度 (a)

困難度 (b)

識別度 (a)

困難度 (b)

subj3 1.20 -1.30 2.60 -1.15

subj4 .60 -.10 1.20 -0.55

subj5 1.70 .90 3.40 -0.05

等価係数の算出

Y 尺度を X 尺度に等価❖特性値 θXi = α*θYi +β

❖識別度 aXj = aYj/α

❖困難度 bXj = α*bYj + β 　

X 尺度の特性値と等価になるよう，Y 尺度の特性値を線形変換

α ( 傾き ) と β ( 切片 )

※段階反応モデルでは，※識別度母数のカテゴリが増えるだけ

等価係数 (α, β)α = aYj /aXj ， β = bXj – α*bYj

最も適した α と β を共通項目 (被験者 ) データから推定

等価係数の推定法

推定法特徴

平均 / 標準偏差法mean / sigma method

困難度 (b) 母数から求める

平均 /平均法 mean/mean method

識別度 (a) 母数から求める

項目特性曲線法 item characteristics curve method

項目特性曲線から推定する

平均 / 標準偏差法 (mean / sigma method)

標準化した値は等しくなる ( どちらも平均=0, 標準偏差=1)

α β

困難度母数の平均

困難度母数の標準偏差

form X form Y

識別度 (a)

困難度 (b)

識別度 (a)

困難度 (b)

item3 1.20 -1.30 2.60 -1.15

item4 .60 -.10 1.20 -0.55

item5 1.70 .90 3.40 -0.05

平均 1.17 -0.17 2.4 -0.58

標準偏差 0.55 1.10 1.11 0.55

α=1.10/0.55=2β=-0.17-2*0.55 =-1.7

平均 / 平均法 (mean / mean method)form X form Y

識別度 (a)

困難度 (b)

識別度 (a)

困難度 (b)

item3 1.20 -1.30 2.60 -1.15

item4 .60 -.10 1.20 -0.55

item5 1.70 .90 3.40 -0.05

平均 1.17 -0.17 2.4 -0.58

標準偏差 0.55 1.10 1.11 0.55

α=2.4/1.17=2.05β=-0.17-2.05*0.55 =-1.30

識別度母数の平均から α を算出mean/sigma 法と同様に β を算出

項目特性曲線法❖ Haebara 法

２つの尺度の項目特性曲線間の差が最小になる α と β を推定する

❖ Stocking & Lord 法

尺度 X の項目特性曲線等価した尺度 Y の項目特性曲線

尺度 X のテスト特性曲線等価した尺度 Y のテスト特性曲線

２つの尺度のテスト特性曲線間の差が最小になる α と β を推定する

基本的に，項目特性曲線に基づく方法が良いが，複数の方法で感度解析的にやるのが良い

等価係数による項目母数の等価

form X form Y

識別度 (a)

困難度 (b)

識別度 (a)

困難度 (b)

1.50 -1.10

2.20 -0.03

item3

1.20 -1.30 2.60 -1.15

item4

.60 -.10 1.20 -0.55

item5

1.70 .90 3.40 -0.05

3.60 -1.20

1.10 -0.50

form X form Y

識別度

(a)

困難度 (b)

識別度 (a)

困難度 (b)

item1 0.75 -0.5item2 1.1 1.64item3 1.20 -1.30 1.9 -1.225

item4 .60 -.10 0.9 -0.325

item5 1.70 .90 2.55 0.425

item6 1.8 -0.7item7 0.55 0.7

識別度 aXj = aYj/α困難度 bXj = α*bYj +

β

共通項目の等価係数が推定できたら，等価式を用いて，共通項目以外を等価共通項目の母数は，二つの母数を平均

α=2β=-1.7

記載例 1❖ 結果の節 : PROMIS 尺度に他の尺度の項目母数を等価

Table 3 displays the legacy instrument item parameters obtained from the fixed-parameter calibrations. For each instrument pair, the test characteristic curves (TCCs) of the separate calibrations using linking constants were nearly identical to the TCCs of the fixed calibrations. In fact, for each comparison between the TCCs, the expected raw score value differed by less than 1 point across thetas ranging from 4 to 4. Because of the close similarity of the different IRT solutions, we report only the results of the fixed-parameter estimates.

識別度困難度

対応表の作成等価な項目母数が得られたら，尺度得点の対応表を作成

真の得点 =

個々の項目特性曲線の合計

各尺度のテスト特性曲線

Σ

尺度 A

尺度 B

θ T(θ) form X T (θ) form Y-1.1 3 1.1-1.0 4 1.6-0.8 5 2.1-0.7 6 2.6-0.6 7 3.0-0.5 8 3.5-0.4 10 4.2-0.3 11 4.6-0.2 13 5.3-0.1 14 5.60.0 16 6.20.1 18 6.80.2 21 7.70.3 24 8.60.4 25 8.90.5 27 9.60.6 29 10.20.7 30 10.50.8 32 11.10.9 34 11.61.0 35 11.91.1 36 12.3

対応表の作成

cross walk function

記載例❖ 結果の節 : 対応表

Figure 3 displays the linking functions for

the CES-D, PHQ-9, and BDI-II that map their

raw summed scores (the vertical axis) to 　the PROMIS Depression metric (the

horizontal axis). Traditional cutoff scores

for the legacy measures are indicated on

their respective functions and projected

onto the PROMIS metric. Some of the

thresholds for possible or moderate

depression on the CES-D and BDI-II differ

from one another. In fact, the threshold for

moderate depression according to the CES-

D (about 0.5 SD above the PROMIS

population mean) was equivalent to the

threshold for mild depression by the BDI-II.

However, the thresholds for moderate

depression for the BDI-II and PHQ-9 were

very similar to each other (about 1 SD

above the PROMIS population mean). This is

validating the tentative threshold PROMIS

has set on the Depression measure of 60, or

1 SD above the population mean (Cella et

al., 2008).

記載例 2

本日の話題






尺度構成：項目バンク

θ

項目バンク

０ 10050

IRT ( パラメータ推定、等価 )尺度 A (50 項目 )

尺度 B (30 項目 )尺度 C

(20 項目 )

尺度 D (35 項目 )

・共通する尺度で評価可能な項目群・低特性〜高特性まで広い範囲の特性を測定可能な項目群・項目が多いほど測定精度は高い・項目バンクから、用途に応じた尺度を適宜構成できる

項目 1項目 2項目 3………. …….. 項目 135

項目バンク（ IRT で推定済）

項目 1 項目 2 項目 3 項目 4 項目 5 項目 6 項目 7 項目 8 項目 9 項目 10 項目 11

θ

項目 1: ベッドから出たり、入ったりできますか？項目 4: 平らな道を 1ブロック歩けますか？項目 9: ２マイル走れますか ?

身体機能の項目バンク

０ 10050

固定型テスト vs 　適応型テスト

θ

身体機能の項目バンク０ 10050

固定型 (従来型 )呈示項目を固定

過去１週間にあてはまるものに○をしてくだ

さい

あてはまらない

少しあてはあまる

どちらでもない

結構あてはまる

あてはまる

１緊張した１２３４５

２心配事が止まらなかった

１２３４５

３恐怖でびくびくした１２３４５

４パニックになった１２３４５

適応型呈示項目をアルゴリズムに基づいて自動化

固定型：垂直テスト vs 平行テスト

項目 1 項目 2 項目 3 項目 4 項目 5 項目 6 項目 7 項目 8 項目 9 項目 10 項目 11

θ

垂直テスト：特性値対応型テスト低特性者向け　（例、一般成人向け）

中特性者向け　（例、スクリーニング向け）

高特性者向け　（例、患者向け）

身体機能の項目バンク

０ 10050

平行テスト：別項目で同等テストテスト A 　（例、治療前）

項目１、３、５、７、９、１１

テスト B 　（例、治療後）

項目２、４、６、８、１０

適応型テスト広い範囲で特性を捉えられるが , 精度が低い尺度

精度が高いが、捉えられる特性値の範囲が狭い

10050

望ましい尺度　広い範囲で、精度高く特性値を推定可能↓

適応型テスト

物足りない尺度１

物足りない尺度２

適応型テスト

質問１

0 321-1-2-3

21

21

質問 2

質問 3

広い範囲で、精度高く特性値を推定可能

回答ごとに特性値を推定し、特性値に応じた項目を呈示。

適応型テストのフロー

暫定的な能力値推定

次の項目の選択 /提示いいえ

第 1 項目の選択 /提示

停止基準をみたしたか？

項目提示の終了

推定値の確定

はい

反応パタンの更新

Magis, D., & Raîche, G. (2012). Random generation of response patterns under computerized adaptive testing with the R package catR. Journal of Statistical Software, 48(8), 1-31.

initial step

test step

stopping step

final step

① initial step: 第 1 項目の選択


・事前情報なし　　　 - 平均レベル (θ=0) の項目を提示

・事前情報あり　　　 - 回答者の過去の受験結果に基づく能力値の項目

　　　・同様のテストの受験結果

　　　・練習問題の受験結果

　　 - 回答者の属性 (e.g., 年齢・性別など ) の平均値の項目　


次の項目の選択 /提示

いいえ



はい


② test step: 能力値推定 / 項目提示


(a)直近の提示項目までの回答パタンで暫定的に能力値を推

定

(b)未提示の項目群から，暫定的な能力値と項目選択基準に

基づいて，次の提示項目を選択 /提示

(c) 反応パタンの更新

(d)停止基準を満たすまで a~c を繰り返す



いいえ



はい


能力値の推定法

・最尤推定法

・ベイズ推定法

　　最大事後確率推定 (MAP:maximum posterior probability)

　　期待事後推定 (EAP: expected a posterior)




いいえ



はい



最尤推定法 vs ベイズ推定

・テスト項目が多い : 各推定法の結果は一致する。

・テスト項目が少ない : 適切な事前分布を設定できれば，最尤法よりベイズ推定が安定

(事前分布は標準正規分布 N(0,1)) (Seong et al., 1999; 豊田 , 2002)

・最尤法だと，全問正答 or 誤答者の特性値を推定できない ( 無限大になる )

・ EAP は反復計算不要なので MAP や最尤法よりも計算にかかるコストが低い (豊田 ,

2002)

→ ベイズ法の使用が一般的 (Magis & Raîche, 2012)

→ practical には EAP がベター → R の IRT 関連のパッケージでは，能力値の推定に ML, MAP, EAP が選択可能なものが多いので，ベイズの原理がよくわからなくても、とりあえず推定結果は得られる素敵な時代。


ベイズ推定の入門的資料 (IRT には触れてない )

http://ytake2.github.io/bayes.github.io/#/

項目選択基準




いいえ



はい


尤度を利用を利用 (ベイズ推定による ) 事後分布を利用

古典的項目選択基準

　　最大情報量基準 (maximum information criterion)　　　 = テスト情報量が最大となる項目を選択

現代的項目選択基準

尤度重み付き最大情報量基準 (maximum likelihood weighted information criterion)

事後重み付き最大情報量基準(maximum posterior weighted information criterion)

最大期待情報量基準(maximum expected criterion)

最小期待事後分散基準(minimum expected posterior variace criterion)

・項目の提示数

最大提示項目数に達したら終了

　　最小提示項目数に達したら終了

・能力値の精度

　　暫定的な能力推定値の標準誤差が事前に設定した水準に達したら終了

・分類　能力値の信頼区間が特定の分類に収まったら終了

③ stopping step: 停止基準暫定的な能力値推定


いいえ停止基準をみたしたか？

項目提示の終了

はい


特性値の精度による停止

回答が進むにつれて、特性値の測定精度が向上 (この場合，標準誤差が小さくなる）

一定の基準を満たした時点で回答終了　(この場合，標準誤差０．３以下になったら終了 )

グレーの領域が標準誤差の範囲

PROMIS-CAT の性能評価

フルバンク

CAT 　（精度０．３）

CAT 　（精度０．４）

(平均 ) 　回答項目数 389 12 　(範囲 7-22)

6 (範囲 7-22)

平均回答時間　（分） 55.6 2.3 　（範囲 1.72-

2.97）

―

フルバンクとの相関（ r ）

r=.95 r=.92

フルバンクと比べるとごくわずかな項目で、測定精度を保ったまま、フルバンクへの回答と同等の回答が得られる

Take home message

1. 特異項目機能をロジスティック回帰や MIMIC モデルで検討し，集団間で反応の異なる項目がないか確認し，尺度項目を洗練。

2. 等価によって共通尺度を作成することで， ( 同一概念の )異なる尺度間 ( 異なる集団間 ) の対応表ができ，各尺度の解釈が促進される

3.IRT で項目バンクを整えて，適応型テストで症状評価することで，短時間で精度の高い測定が可能になる。コンピュータで評価が自動化されるので，採点者にも優しい。

IRT に基づく尺度運用は，研究 /臨床の双方で有用

Rコード

❖ 特異項目機能の検出OLS: Lordif packageMIMIC: lavaan package

❖ 等価係数の算出 , 対応表の作成plink package

❖ 適応型テストの運用mirt pacakge

Rコード : 特異項目機能❖ 順序ロジスティックモデル : Lordif

packagelibrary(lordif) # パッケージの読み込みdata(“Anxiety”) # データの読み込みhead(Anxiety) # データ構造の確認

Age <- Anxiety$age # 性別変数の格納 Resp <- Anxiety[paste("R", 1:29, sep = "")] # 項目変数の格納


packageageDIF <- lordif(resp.data=Resp, group=Age, criterion = "Chisqr", alpha = 0.01)#resp.data= 項目変数　 #group= 属性データ #alpha = 有意水準#criterion=DIF 検出基準尤度比検定なら” Chisqr”, 効果量なら” R2” or “Beta”

print(ageDIF$stats) # 尤度検定 (chi), 効果量の出力 (beta, pseudo)※ pseudo は複数種類ありchi12=base model vs uniformchi23=uniform vs non-uniform

pseduo12=base model vs uniformpseduo23=uniform vs non-uniform


packageplot(ageDIF, labels = c("Younger (<65)", "Older (65+)"))

DIF 検出項目の項目特性曲線 DIF 検出項目のテスト特性曲線

DIF 項目で TCC に大きな差はない

Rコード : 特異項目機能❖ MIMIC: lavaan packagelibrary(lavaan)model_mimic<-"f1 =~ R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+ R11+R12+R13+R14+R15+R16+R17+R18+ R19+R20+R21+R22+R23+R24+R25+R26+ R27+R28+R29 # IRT モデル f1~~1*f1 # 因子の分散を 1 に固定 f1 ~ gender # 性別から因子へのパス R1 ~ 0*gender ; R2 ~ 0*gender R3 ~ 0*gender ; R4 ~ 0*gender R5 ~ 0*gender ; R6 ~ 0*gender R7 ~ 0*gender ; R8 ~ 0*gender R9 ~ 0*gender ; R10 ~ 0*gender R11 ~ 0*gender; R12 ~ 0*gender R13 ~ 0*gender; R14 ~ 0*gender R15 ~ 0*gender; R16 ~ 0*gender R17 ~ 0*gender; R18 ~ 0*gender R19 ~ 0*gender; R20 ~ 0*gender R21 ~ 0*gender; R22 ~ 0*gender R23 ~ 0*gender; R24 ~ 0*gender R25 ~ 0*gender; R26 ~ 0*gender R27 ~ 0*gender; R28 ~ 0*gender R29 ~ 0*gender # 性別から項目へのパスを全て 0 に固定"

#推定fit2<-lavaan(model_mimic,data=difdat, ordered=c("R1","R2","R3","R4","R5","R6","R7","R8","R9","R10", "R11","R12","R13","R14","R15","R16","R17","R18", "R19","R20","R21","R22","R23","R24","R25","R26", "R27","R28","R29"), estimator = "wlsmv")

# 修正指数の出力modindices(fit2,minimum.value=4)

Rコード : 特異項目機能❖ MIMIC: lavaan package

library(lavaan)model_mimic2<-"f1 =~ R1+R2+R3+R4+R5+R6+R7+R8+R9+R10+ R11+R12+R13+R14+R15+R16+R17+R18+ R19+R20+R21+R22+R23+R24+R25+R26+ R27+R28+R29 # IRT モデル f1~~1*f1 # 因子の分散を 1 に固定 f1 ~ gender # 性別から因子へのパス R1 ~ 0*gender ; R2 ~ 0*gender R3 ~ 0*gender ; R4 ~ 0*gender R5 ~ 0*gender ; R6 ~ gender # 性別から R6 へのパスを追加 R7 ~ 0*gender ; R8 ~ 0*gender R9 ~ 0*gender ; R10 ~ 0*gender R11 ~ 0*gender; R12 ~ 0*gender R13 ~ 0*gender; R14 ~ 0*gender R15 ~ 0*gender; R16 ~ 0*gender R17 ~ 0*gender; R18 ~ 0*gender R19 ~ 0*gender; R20 ~ 0*gender R21 ~ 0*gender; R22 ~ 0*gender R23 ~ 0*gender; R24 ~ 0*gender R25 ~ 0*gender; R26 ~ 0*gender R27 ~ 0*gender; R28 ~ 0*gender R29 ~ 0*gender # 性別から項目へのパスを全て 0 に固定"

#推定fit3<-lavaan(model_mimic2,data=difdat, ordered=c("R1","R2","R3","R4","R5","R6","R7","R8","R9","R10", "R11","R12","R13","R14","R15","R16","R17","R18", "R19","R20","R21","R22","R23","R24","R25","R26", "R27","R28","R29"), estimator = "wlsmv")

# モデル適合の比較library(semTools)compareFit(fit3,fit2)

パスを追加しても適合に大差なし

Rコード : 等価❖ plink package

# データの読み込みformX<-read.csv("Xdat.csv",header=T)formY<-read.csv("Ydat.csv",header=T)

#各尺度 IRT パラメータの推定library(ltm)X_irt<-grm(formX[,2:21], IRT.param = TRUE)Y_irt<-grm(formY[,2:8], IRT.param = TRUE)

#linkinglibrary(devtools)#plink は cran にないので github からインストールinstall_github("cran/plink")library(plink)#ltm による推定結果を読み込みX<-read.ltm(X_irt)Y<-read.ltm(Y_irt)#共通項目を指定common<-matrix(0,7,2)common[,1:2]<-1:7colnames(common)<-c("form.X","form.Y”)"

#共通項目を指定plink.pars <- combine.pars(list(form.Y=X, form.X=Y), common = common)#Stock-lord 法で等価plink.out <- plink(plink.pars, rescale = "SL",D=1.7, grp.names=c("form.X","form.Y"))# 等価係数の出力summary(plink.out)


# 等価後の項目母数を出力link.pars(plink.out)

# 等価後のテスト特性曲線のプロットplot(plink.out$pars, drift = "TCC",grp.names=c("form.X","form.Y"))


# 尺度の等価 (対応表 )conversion<-plink::equate(plink.out,method=c("TSE","OSE"))ose_scores<-data.frame(conversion$ose$scores)tse_scores<-data.frame(conversion$tse)tse_scores

# 尺度スコア ( 等価後 ) のプロットplot(tse_scores[,2],tse_scores[,3], type="l",xlab="T(θ) for form X",ylab= "T(θ) for form Y",ylim=c(0,14))

Rコード : 適応型テストの運用

❖ mirt package

library(mirtCAT)

options(stringsAsFactors = FALSE)

# 項目バンクのパラメータ推定library(lordif)data("Anxiety") #lordif package のデータmod<-mirt(Anxiety[,4:32],1)

質問文と回答フォーマットのデータフレームを作る

Rコード : 適応型テストの運用# 質問項目と回答フォーマットの作成

nitems<-29 # 項目バンクの項目数questions <-character(nitems) # 質問項目を入れる箱questions<-c("過去一週間に , 怖い思いをした (I felt frightened)","過去一週間に，ゾッとした (I felt frightened)", "過去一週間に，緊張した時に怖かった (It scared me when I felt nervous)", "過去一週間に，不安を感じた (I felt anxious)", "過去一週間に，自分の不安のために助けが必要だと感じた (I felt like I needed help for my anxiety)", "過去一週間に，自分の精神的な健康が気になった (I was concerned about my mental health)", "過去一週間に，動揺した (I felt upset)","過去一週間に , 動悸があった (I had a racing or pounding heart)", "過去一週間に , 普段していることが妨げられると不安になった (I was anxious if my normal routine was disturbed)", "過去一週間に，突然にパニックを感じることがあった (I had sudden feelings of panic)", "過去一週間に，ちょっとしたことにビクビクした (I was easily startled)", "過去一週間に，物事に集中することが難しかった (I had trouble paying attention)", "過去一週間に , 公共の場や (公共での ) 活動を避けた (I avoided public places or activities)", "過去一週間に，落ち着かなかった (I felt fidgety)", "過去一週間に，何か恐ろしいことが起こる感じがした (I felt something awful would happen)", "過去一週間に , 心配を感じた (I felt worried)", "過去一週間に，ひどく恐ろしい思いをした (I felt terrified)", "過去一週間に , 私に対する他者の反応について心配した (I worried about other people's reaction to me)", "過去一週間に , 自分の不安なこと以外の全てのことに集中することは難しかった。 (I found it hard to focus on anything other than my anxiety)", "過去一週間に , 心配事に圧倒された (my worries overwhelmed me)", "過去一週間に , 筋肉の痙攣やこわばりがあった (I had twitching or trembling muscles)", "過去一週間に , 緊張した /神経質になった (I felt nervous)", "過去一週間に , 優柔不断だった (I felt indecisive)", "過去一週間に，さまざまな状況で心配になった (Many situations made me worry)", "過去一週間に , よく眠れなかった (I had difficulty sleeping)", "過去一週間に , リラックスするのが難しかった (I had trouble relaxing)", "過去一週間に , 落ち着かなかった (I felt uneasy)", "過去一週間に , 緊張した (I felt tense)", "過去一週間に , 穏やかにいることが難しかった (I had difficulty calming down)”)choices <- matrix('', nitems, 5) # 回答フォーマットを入れる箱for(i in 1:nitems){ # 回答フォーマットを入れる箱に回答フォーマットを格納 choices[i,] <-c(" 全くない "," たまに "," しばしば "," よく ", " いつも ") }df <- data.frame(Questions=questions, Option=choices, Type='radio')


# html のデザイン

shinyGUI<-list(title=“PROMIS-Anxiety-CAT”, # タイトル authors=“ 竹林由武 @ISM”, # 著者 instructions=c("Instructions:"," 下のボタン「次へ」をクリックして下さい .", “次へ” ), # 教示 firstpage=list(h1(‘過去一週間に， \n各質問項目がどれくらいあったかを選んで回答して下さい’ ), # 最初のページ , 説明など ' 質問への回答を始めるために，「次へ」をクリックして下さい '), demographics=list(selectInput(inputId = ' 性別 ', # 属性データの選択肢追加 label = ' 性別を選択してください ', choices = c('', ' 男性 ', ' 女性 ', 'その他 '), selected = ‘’), selectInput(inputId =" 年齢 ", # 属性データの選択肢追加 label=" 年齢を選択してください ", choice = c('',as.character(rep(1:100))), selected='') ), demographics_inputIDs= c(' 性別 ',' 年齢 '), lastpage=list(h5("以上で質問は終了です . 「次へ」をクリックしてください .")))


#CAT のセッティング，実行result <- mirtCAT(df, mod, method = ‘EAP’, # 能力値の推定方法 criteria=“MI”, 　　 # 項目選択基準 design = list(min_SEM=0.3), #終了基準 SE=0.3 shinyGUI=shinyGUI))


summary(res)res<-round(print(result),2)# 推定値から標準得点算出 (θ*10+50)res<-cbind(res,summary(result)$final_estimates[1]*10+50) colnames(res)[4]<-"T-score"colnames(res)<-c("Answered items","θ","θ.SE","T-score")resplot(result)

項目反応理論による尺度運用

Technology

Transcript of 項目反応理論による尺度運用