DARM勉強会第3回 (missing data analysis)

Missing Data Analysis

DARM勉強会#3 2013.04.21.

広島大学教育学研究科博士課程後期１年德岡大

1

2

• 欠損データ処理に関する資料紹介

• 欠損データのメカニズム

• 伝統的な欠損データの扱い方と問題点

• 完全情報最尤推定法の実態

• 欠損値のベイズ推定～多重代入法の実態

• Rによる完全情報最尤推定法の実践

• Mplusによる完全情報最尤推定法の実践

• Rによる多重代入法の実践

• Mplusによる多重代入法の実践

資料紹介 • 欠損データのメカニズム • 伝統的な欠損値分析 • 完全情報最尤推定法 • 多重代入法 • Reporting Guidline

発表の概要

3

Enders, C. K. (2010). Applied missing data analysis. New York, Guilford.

• 欠損値の扱い方について詳しく書いてある本 • 以下のサイトに，Enders（2010）で扱っているデータ，Mplusのコード，SPSSの

マクロなどを紹介してくれている。 • http://www.appliedmissingdata.com/

村山航(2011). 欠損値データ分析（missing data analysis） ―完全情報最尤推定法多重代入法― • Enders (2010)を元に欠損値メカニズム，完全情報最尤推定法，多重

代入代入法を解説している資料

資料紹介 • 欠損データのメカニズム • 伝統的な欠損値分析 • 完全情報最尤推定法 • 多重代入法 • Reporting Guidline

欠損値データ分析に関する資料紹介

欠損データの６パターン

• 資料紹介欠損データのメカニズム • 伝統的な欠損値分析 • 完全情報最尤推定法 • 多重代入法 • Reporting Guidline

4

ξ Y3 Y4 Y2 6. Latent Variable Pattern

Y1 Y3 Y4 Y2 1. Univariate Pattern

Y1 Y3 Y4 Y2 2. Unit Nonresponse Pattern

Y1 Y3 Y4 Y2 3. Monotone Pattern

Y1 Y3 Y4 Y2 4. General Pattern

Y1 Y3 Y4 Y2 5. Planned Missing Pattern

• 欠損パターンは，欠損の場所に関する情報のみ（pattern option） • なぜ欠損が生じたのかに関してはわからない

プレゼンター

プレゼンテーションのノート

1.Univariate：Y1～Y3←実験操作，Y4←アウトカム，アウトカムが不完全 2．Unit Nonresponse：Y1, Y2←サンプルの全てのメンバーが答えるorいくつか質問紙を付加，　　　　　　　　　　　　　 Y3, Y4←何人かが回答を拒否orいくつかの質問紙が少ない 3．Monotone：典型的なものは，縦断調査。参加者がドロップアウトして戻ってこないパターン 4．General：もっとも一般的な欠損の配置。値は，体系的に失われうるので，一見するとランダムなパターンにみえてしまう。 5．Planned Missing：Graham, Hofer, & MacKinnon (1996)によって概要を説明された3つの形の質問紙デザインに対応する。　　　　　　　　　　　　参加者によって異なる組み合わせのフォームを作っておく。A：Y1,Y3, Y4，B:Y1, Y2, Y4 6．Latent Variable：因子得点が失われる場合。

a. MAR 欠損の有無の確率 (R) は，欠損値を含む変数 (Y) の値とは関連せず，他の変数 (X, Z)の値に観測値と関連する e.g., X = 人種, Y = 英語の読解テストヒスパニック系よりも白人の方が読解テストで欠損データが増加 ※欠損データのメカニズムがMARであるか検定する手法はない・・・

欠損データの理論的枠組み (Rubin, 1976)

5

X

Y

Z

R

欠損データのメカニズム


b. MCAR (missing completely at random) 欠損の有無の確率 (R) は，欠損値を含む変数 (Y) や他の観測した変数 (X) の値とも関連しない。観測していない変数 (Z) と関連する。 e.g., Y =テスト成績, X = 学習方略, Z = 風邪等の予定外の出来事欠損データが生じる確率は，テスト成績や学習方略と関係しない ※欠損の有群と無群のYの比較により，MCARであるか確認可能

欠損データの理論的枠組み (Rubin, 1976) Reporting Guideline (Kelly & Maxwll)

6

X

Y

Z

R



a. MNAR (missing not at random) 欠損の有無の確率 (R) は，観測した他の変数 (X) の値を統制しても，欠損値を含む変数 (Y) の値と関連する。 e.g., X = IQ, Y = 読解テスト読解スキルが低いとテストで解答できない項目が増加し，結果的にテスト成績も低くなる ※MARと同様，MNARであることを確かめる方法は基本的にない。 ※測定していない第3の変数がYとRに影響している可能性もあり。 ※MNARに対応した欠損値処理は，Enders (2010)を参照

欠損データの理論的枠組み (Rubin, 1976) Reporting Guideline (Kelly & Maxwll)

7

X

Y

Z

R


強い関連にある（e.g., r = .40以上）だと問題になってくる (Collins, Schafer, & Kam, 2001)


Rubin (1976)の欠損データ理論

a. Missing At Random (MAR) b. Missing Completely At Random (MCAR)

c. Missing Not At Random (MNAR)

欠損データのメカニズムの比較 Reporting Guideline (Kelly & Maxwll)

8

IQ Complete MCAR MAR MNAR78 9 - - 984 13 13 - 1384 10 - - 1085 8 8 - -87 7 7 - -91 7 7 7 -92 9 9 9 994 9 9 9 994 11 11 11 1196 7 - 7 -99 7 7 7 -

105 10 10 10 10105 15 15 15 15108 10 10 10 10112 10 - 10 10113 12 12 12 12115 14 14 14 14118 16 16 16 16134 12 - 12 12

Job Performance ratings

Enders (2010) のTable 1.2.

X

Y

Z

R

X

Y

Z

R

X

Y

Z

R

MAR MCAR MNAR


a. 平均値のポジティブバイアスを修正できる

b.欠損データの分布のパラメタではなく，本質的なパラメタを正確に推定するために必要する状況を分類したことが，Rubin (1976)の重要な点

c. MARやMCARであれば，欠損データの配置は関係なく対処可能である。

d.MNARは，データの欠損と関連のありそうなデータを収集することで，MARとすることが可能

e. MNARにおけるSchafer & Graham (2002)の薦め • 次の測定に備えて，回答者にドロップアウトなどのデータの欠損と関

連しそうなものを尋ねる調査項目を用いること • MNARの状況をMARにできるよう，研究をデザインしましょう！

• E.g., 補助変数の使用

なぜ，欠損データのメカニズムが重要なのか？ Reporting Guideline (Kelly & Maxwll)

欠損値の処理方法

9


a. 欠損メカニズムがMCARであることは少ないが，MCARでないことを確認する上で，検定に価値あり

b.MCAR = 平均と共分散の等質性 (Kim & Bentler, 2002)

• 欠損のあるデータとないデータを比較（t検定，Little’s MCAR test）

• 有意差ありなら，MAR or MNAR

• 有意差なしなら，MCAR

• グループサイズが小さいため，検定力が低い

• t 検定の場合，他の変数との相関を考慮できない

• Little’s MCAR testは t 検定の多変量版

⇒全ての変数を同時に検査，タイプⅡエラー生じやすい

c. 欠損値は少ないためグループサイズが小さくなり検定力は総じて低い

d.平均値比較はMCARであることを保証しないということが重要

10


MCARかどうかを検定

a. 質問紙を何種類か作成し，意図的に，質問紙の一部に対して回答しない参加者グループをつくる。

e.g., Three form design

a. 完全情報最尤推定法や多重代入法なら，不完全データを捨てることなく分析可能

b.MCARであり検定力が低下するだけで，推定値はバイアスを受けない

11


MARやMCARのデータを得るためには

Planned Missing Data designs

Form X • A尺度 • B尺度 • C尺度 • D尺度

Form A

• A尺度 • B尺度 • C尺度

Form B

• A尺度 • B尺度 • D尺度

Form C

• A尺度 • C尺度 • D尺度

変数の数で割り振ることも可能

同一変数の項目を割り振ることも可能

重回帰分析では標準誤差が小さくなる

Graham (2006)では，変数ごとに割り振ることを推奨

12


Three Form Design


X A B C

変数や項目の割り振りは均等に！

form 1 (X, B, C)

form 2 (X, A, C)

form 3 (X, A, B)

調査で用いる全調査項目

調査用紙の種類

検討できる交互作用には限界がある

検定力の潜在的な損失がデメリット

最尤推定法を用いると検定力はそれほど大きく低下しない（.10程度↓）

に含まれる項目数を増やすことで検定力↑

13


Three Form Designによる検定力の低下の程度


Set Scale Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8

X Q1 -

Q2 1.00 -

A Q3 .99 .99 -

Q4 .99 .99 .99 -

B Q5 .99 .99 .90 .90 -

Q6 .99 .99 .90 .90 .99 -

C Q7 .99 .99 .91 .91 .90 .91 -

Q8 .99 .99 .90 .91 .91 .90 .99 -

three form designによる相関係数の検定力

note . N = 300, ρ= .30で5000回のシミュレーション

Item setX A B C

X

Form X A B C AB XB

1 ✔ ー ✔ ✔ ー ✔

2 ✔ ✔ ー ✔ ーー

3 ✔ ✔ ✔ ー ✔ ✔

交互作用項Item sets

three-form designを縦断調査に

応用したもの

潜在曲線モデルで分析するなら

問題なし

相関分析に難ありらしい（？）

14


Cohort-Sequential Designへの応用


Group 1 2 3 4 5 % of N

1 ✔ ✔ ✔ ✔ ✔ 16.7

2 ✔ ✔ ✔ ✔ ー 16.7

3 ✔ ✔ ✔ ー ✔ 16.7

4 ✔ ✔ ー ✔ ✔ 16.7

5 ✔ ー ✔ ✔ ✔ 16.7

6 ー ✔ ✔ ✔ ✔ 16.7

complete dataの分析と比較して94％の検定力を持つ

Data collection wave

Group 1 2 3 4 5 % of N

1 ✔ ✔ ✔ ✔ ✔ 9.1

2 ✔ ✔ ✔ ーー 10.1

3 ✔ ✔ ー ✔ ー 10.1

4 ✔ ー ✔ ✔ ー 10.1

5 ✔ ✔ ーー ✔ 20.2

6 ✔ ー ✔ ー ✔ 20.2

7 ✔ ーー ✔ ✔ 20.2

complete dataの分析と比較して91％の検定力を持つ

Data collection wave

正確な検定力を推定することは難しいが，Monte Carlo シュミレーションが便利

シュミレーションのステップ

1. パラメータ分布を特定すること（重回帰なら，回帰係数，説明変数間の相関，残差）

2. 特定された分布モデルから多くのサンプルをつくること

3. パラメータ推定したサンプリングの分布を表現すること

※注意：通常の検定力分析はML推定を考慮してくれないので，検定力を過小評価する（N＝100でやると検定力低くなるように見えるのでN＝３００必要）。でも，研究論文で事後的に報告するときは，調査した人数での検定力を報告するっぽい

15


Planned missing data designの検定力推定


16


シュミレーション検定力分析のコードの紹介（Mplus）


a. リストワイズ除去

b.ペアワイズ除去：相関が1を超えうる。特に多変量解析で問題

MCARを仮定，でないとデータにバイアスが生じる

MCARを満たしても，検定力は低下する

社会行動科学分野では，最も一般的で簡単にできる

American Psychological Association Task Force on Statistical Inference (Wilkinson & Task Force on Statistical Inference, 1999)によると・・・ “The two popular methods for dealing with missing data that are found in basic statistical packages – listwise and pairwise deletion of missing values – are among the worst methods available for practical applications”

17

欠損データの伝統的処理方法

Deletion Method

• 資料紹介 • 欠損データのメカニズム伝統的な欠損値分析 • 完全情報最尤推定法 • 多重代入法 • Reporting Guidline

a. 平均値代入

• 分散，共分散，相関を薄めてしまう

b.回帰代入

• 相関やR2を過大推定してしまう

• サンプルサイズを増やすと補正により真の分布に近づく

c. Hot-deck代入

d.Averaging the available items（person mean imputation）

e. Last observation carried forward

完全データができる点で魅力的

問題点

Stochastic regressionを除いてMCARでもバイアスを受ける。

誤差を過小評価し，標準誤差を小さくする

18


Imputation Method


a. 確率 (stochastic)回帰代入

• 回帰方程式に残差を加える。

• 残差:（平均= 0, 分散= 回帰の残差分散）の正規分布からランダムな値が代入される

回帰で失われた多様性を元に戻す作用

MARならバイアスがかからない！

単一代入法ならベスト

問題点

多重代入法と代入方法は同じ

単一代入では，標準誤差を薄め，タイプⅠエラーのリスクが増加

欠損値の量がデータに反映されない

19



Imputation Method

20

Ender (2010)のTable 2.5.よりパラメータ

推定分布 LD AMI RI SRI

IQ平均値 100.00 99.98 99.99 9.99 99.99成績平均値 12.00 12.00 12.00 12.01 12.00IQ分散 169.00 170.29 169.64 169.64 169.64成績分散 9.00 8.99 4.47 5.62 8.99共分散 19.50 19.53 9.72 19.45 19.42相関 0.50 0.50 0.35 0.63 0.50



MCAR シュミレーション結果

欠損値処理方法

MAR シュミレーション結果

MNAR シュミレーション結果

LD = リストワイズ, AMI = 平均値代入, RI = 回帰代入,SRI = stoastic 回帰代入

ある観測されたデータの観測されやすさ（尤もらしさ）を数値化

※尤度比検定とは，2つのデータの観測されやすさを比較する検定

最尤推定法：Liが最大になるようなパラメータを推定する方法

対数にしても分布の形に変化なし

サンプル尤度はN個の尤度を組み合わせたもの 21

• 資料紹介 • 欠損データのメカニズム • 伝統的な欠損値分析完全情報最尤推定法 • 多重代入法 • Reporting Guidline

最尤推定法って？

基本事項

第一導関数

対数尤度関数の傾き（平均，分散）

※図は平均の関数

分散が小さいと勾配大

勾配大の方が標準誤差小

第二導関数

第一導関数の傾きの変化率

分散が小さいと傾き大

傾きが小さい方が標準誤差小

22



基本事項

基本の手順

• 平均μ，分散共分散Σを用いて各データの尤度を算出

• サンプル尤度を算出

※実際には，平均μ，分散共分散Σは未知なので，得られたデータセットの最も得られやすいμとΣを求める（i.e., 尤度関数を最大にする）

1. 尤度関数を最大にするμとΣの推定：サンプル尤度が最大になる値を推定する（EMアルゴリズムの使用）

2. 標準誤差も推定

※対数変換は，値が小さくなりすぎてわかりにくいので使うもの

※尤度関数は多変量正規分布を前提とする

23



基本事項

基本の手順

• 平均μ，分散共分散Σを用いて各データの尤度を算出

• サンプル尤度を算出

※実際には，平均μ，分散共分散Σは未知なので，得られたデータセットの最も得られやすいμとΣを求める（i.e., 尤度関数を最大にする）

1. 尤度関数を最大にするμとΣの推定：サンプル尤度が最大になる値を推定する（EMアルゴリズムの使用）

2. 標準誤差も推定

※対数変換は，値が小さくなりすぎてわかりにくいので使うもの

※尤度関数は多変量正規分布を前提とする

24



基本事項

E (expectation)-step

• 観測データから完全データを背後に想定する平均と分散共分散行列を使用して不完全データを予測する回帰方程式をおく

M (maximization)-step

• 推定された完全データの尤度を最大化する共分散や平均を再推定

平均や分散共分散を推定するアルゴリズムであり，欠損値を代入するアルゴリズムでない！

25


EMアルゴリズム

E-Step M-Step

不完全データの背後にある完全データを推定

完全データの尤度を最大化するデータを推定

最尤推定法による結果が有意なのかを検定する方法

a. Wald検定：推定値と仮説の値（だいたい0）の比較（SEで割る），正規分布を使用

b. 尤度比検定：Full modelとRestricted modelの比較（nestされているモデルを比較），分布の仮定なし

• 帰無仮説が棄却できなければ，2つのモデルは等しい。

• 小さいサンプルでは尤度比検定を推奨

実践的な問題として

• Wald検定はパッケージに実装されていることが多く簡単，尤度比検定は手計算が必要になることもある

• モデルのパラメータを固定するものによってWald検定は変化する，尤度比検定は不変

• 尖度が大きすぎるなどの非正規データは，Wald検定と尤度比検定の値を歪ませうるので処置が必要

26


Wald検定 vs. 尤度比検定

基本的な分析メカニズム

• 欠損値のあるデータセットの場合，欠損パターンごとに尤度を算出

• それぞれの尤度を統合したサンプル尤度を最大にするため，欠損したデータを使用していないのもかかわらず推定精度が向上！

標準誤差の過小推定もしない（95%CI ）ので， Stochastic回帰（60～70%CI）よりもより望ましい

MARメカニズムでは，推定値がバイアスを受けない

MCARでも，伝統的な欠損値分析よりも優れている

27


完全情報最尤推定法 (full information maximum likelihood: FIML )

IQ PWB JP92 12 -94 3 -94 13 -96 - -99 6 7

105 12 10105 14 11106 10 15108 - 10

MNARではバイアスは受けるが，伝統的なやつよりはまし

基本的に伝統的な方法よりもどんなときも優れている！

28

パラメータ母集団の値最尤法リストワイズ除去

μIQ 100.00 100.02 100.00

μJP 12.00 11.99 11.99

σ2IQ 169.00 168.25 166.94

σ2JP 9.00 8.96 8.94

σ2IQJP 19.50 19.48 19.31

μIQ 100.00 100.01 110.35

μJP 12.00 12.01 13.18

σ2IQ 169.00 168.50 61.37

σ2JP 9.00 8.96 7.49

σ2IQJP 19.50 19.15 6.99

μIQ 100.00 100.00 105.19

μJP 12.00 14.12 14.38

σ2IQ 169.00 169.11 141.41

σ2JP 9.00 3.33 3.25

σ2IQJP 19.50 8.55 7.14

Enders (2010)のTable 4.5.より

MCAR シュミレーション結果


MNAR シュミレーション結果

Observed information：変数同士の相関を仮定

Expected information：変数同士の独立性を仮定（共分散 0）特にMARの場合，Observed informationを用いた標準誤差の推定推奨

（Mplusではデフォルトでobserved informationを使ってくれます！）

29


標準誤差の推定における仮定 (Observed information vs. Expected information)

パラメータ SD 平均SE Coverage 平均SE Coverage

μIQ 0.806 0.820 0.947 0.820 0.947

μJP 0.394 0.395 0.953 0.249 0.804

σ2IQ 15.074 15.071 0.949 15.071 0.949

σ2JP 1.490 1.439 0.920 1.112 0.851

σ2IQJP 5.275 5.283 0.959 3.463 0.795

Enders (2010)のTable 4.7.より


Observed information Expected information

30


FIMLを実行するためのコード例（Mplus）

補助（auxiliary）変数の使用

• 研究目的には関係のない変数だが，欠損の有無とは関係する可能性のある変数

• 補助変数を分析に導入することで，MARやMNARであっても推定精度が向上

• 補助変数とDVの関連 r ≧.40のときに，特に有効

• MCAR検定（t検定）が補助変数を見つけるのに便利

31


最尤推定法の正確性を向上させるには

1. Saturated correlated model

• 分析モデルに補助変数を組み込んで分析

• 詳しくは後述

2. Two-stage approach

• 第1ステージ：補助変数を加味して平均，共分散を最尤法で推定

• 第2ステージ：インプットデータとして推定結果を扱う。

• 補助変数をいくつでも第1ステージで組み込める

• 実装しているパッケージはないが，かなり期待できる方法

補助変数に欠損値を含む場合

• 補助変数が欠損していてもモデルのバイアスは減少させることが可能

• 個人内で補助変数とモデルの変数の欠損が10％以上の場合，バイアスの減少は小さくなる

32


補助変数を分析に組み込む方法

1. Manifest Variable Models

• 観測変数のみを用いた構造方程式

を用いたモデルに補助変数を組み込

んだモデル

• 説明変数と誤差に相関を仮定

2. Latent Variable Models

• 潜在変数を含む測定方程式と構造方

程式モデルに補助変数を組み込んだ

モデル

• 観測変数の誤差と相関を仮定する

33


Saturated correlated model

Χ2統計量や自由度，RMSEAは補助変数で変化なし

Incremental Fit Indices（CFI, TLI）は手計算の必要あり

※LR = 尤度比, I = 独立モデル, M =仮説モデル

Manifest modelにおける独立モデルの適合度算出方法

1. 全変数の分散を推定

2. 説明変数間の相関を推定

3. 説明変数と目的変数の相関を０に固定

4. 目的変数間の相関を０に固定

5. 補助変数とその他全ての変数の相関を推定

6. 補助変数間の相関を推定

34


補助変数を用いた場合における適合度の算出方法

通常のCFIでは， LRではなくCMIN（χ2値）

補助変数を多くしすぎると推定の問題を引き起こし，収束に失敗することがある

欠損のある補助変数は推定と収束の問題を深刻にすることがある

残差が小さくても収束の問題は生じる

Rescalingでも緩和されるが，補助変数の数を減らすのが最も良い選択

適切な結果に収束しているときに，その結果が妥当でないと警告される場合がある

推定結果が妥当（推定値がまずまず，分散が負ではない）なら，この警告は無視してよい

35


Saturated correlates modelの限界

最尤法では，多変量正規分布が背景に仮定される

非正規データに最尤法を用いると，影響は小さいものの標準誤差にバイアスがかかり，尤度比も歪む

e.g., 尖度の高い場合：標準誤差小，尤度比大；尖度低い場合：標準誤差大，尤度比小

標準誤差の修正手続き

• Robust標準誤差，ブートストラップ・リサンプリング

尤度比のバイアス修正

• Rescaling，ブートストラップ・リサンプリング

36


最尤推定法の正確性を向上させるには ―非正規データへの対応―

ロバスト標準誤差

• 第2導関数行列（Hessian行列）は集団の尖度と歪度に依存する

• Robust標準誤差は，第1導関数と第2導関数の方程式を利用して，尖度を修正した誤差を算出する

• 正規データにrobust標準誤差の式を利用した場合，数値に変化なし

ブートストラップ標準誤差

• モンテカルロシュミレーションを使うため，ロバスト標準誤差とは異なる方法

• 分布に仮説をおかないため，正規性が崩れても手続きの正確性は影響をうけない

• ロバスト標準誤差と結果はだいたい一致

37



各パラメータ推定のために実証的なサンプリングの分布を構成すること

ブートストラップ信頼区間

正規曲線の場合，比較的少ないブートストラップサンプル数で十分

分布が非正規である場合，2000回以上推奨

正規分布なのか非正規分布なのか分布の形を決定することは難しい

分布の仮定を必要としないことがアドバンテージ

小さいサンプルでは，モデルの特定化の収束に失敗し，欠損値は問題を大きくするだけ，という限界

収束に失敗したデータは使わない

38



ブートストラップについて

• Naïve Bootstrap：標準誤差を推定する制約が厳しい

• Bolen-Stine Bootstrap：尤度比検定におけるバイアスを修正することが可能

ナイーブ・ブートストラップを使用することは不適切

Bollen-Stineブートストラップは，尤度比のサンプリング変動だけを反映する分布を生成できる

非正規データであっても正確なP値を生成可能

• 手順

1. 変換したデータセットからB回分のブートストラップ・サンプルを算出して置き換える

2. 各ブートストラップ・サンプルに対してfull modelとrestricted modelを適合させる

3. 各ブートストラップ・サンプルに対する尤度比統計量を算出する

4. B尤度統計量の確率分布を構成する 39


標準誤差の修正手続き Naïve bootstrap vs. Bollen-Stine Bootstrap

ブートストラップについて

多変量正規性の仮定が満たされない場合，尤度比のサンプリング分布は適切なχ2分布に従わない

そのままだと，タイプⅠエラーやタイプⅡエラーが生じやすい

適切なχ2分布に近似させるため，尤度比検定をrescale （誤差をコントロール）することで問題解決をはかる方法

Satorra-Bentler χ2

40



Rescaled尤度比検定

FIMLと並ぶ“modern”な欠損値アプローチ

概念的にはstochastic回帰アプローチと類似

背景にある数学的仕組みは，ベイズの方法論に依拠している

ベイズを理解せずとも実行は可能

多重代入法を深く理解するには，ベイズ統計が必要

頻度パラダイム

• 真値の推定

• Confidence Interval：n回サンプリングを行ったら，～%の確率で信頼区間に真値が存在

ベイズパラダイム

• 分布の推定（確率論？）

• Credible Interval ：～%の確率でCredible Interval（信用区間）に真値が存在

41

• 資料紹介 • 欠損データのメカニズム • 伝統的な欠損値分析 • 完全情報最尤推定法多重代入法 • Reporting Guidline

多重代入法におけるパラダイム

手順

1. パラメタに対する事前分布の特定

2. 異なるパラメタの値について，データを要約するために尤度関数を使用

3. 事前分布と異なるパラメタの値の確率を表現した事後分布を生成するための尤度から情報を統合

・（事前分布 × 尤度）/データの分布

※最尤法の場合：一様分布 × 尤度

事後分布の形を表現することがベイズ分析で重要なゴールとなる

42


ベイズ推定の概要

43


多重代入法の概要

欠損データ

m = 1

m = 2

・・・

m = 20

θ1

θ2

・・・

θ20

最終的な結果

代入フェイズ分析フェイズ統合（Pooling）フェイズ・欠損値を補完した

複数のデータセットを作成

・補完したデータセットの分析欠損値を補完した

・各データセットの結果（パラメタ推定値，標準誤差）を一つに統合

プレゼンター


理由３つ：統計解析の目的は分布のパラメタを推定すること，再現性があがる，規則的な代入と異なり欠損値に伴う不確実性を明確に説明する

• I (Imputation)-Step

1. (1回目は欠損値を除く，2回目以降は４で求められた事後分布をもとに) 平均と分散共分散行列を算出

2. １を元に回帰係数，切片，残差を求める（回帰方程式をつくる）

3. 誤差を加えて代入データセット作成（２，３はstochaic回帰と一緒）

• P (Posterior)-Step

4. ３を元に従う事後分布を求める

5. １～４を繰り返す（モンテカルロシュミレーションの使用）

※1回目以外は直前のP-Stepで求められた分布を元に欠損データの代入が行われるため，毎回異なるデータセットが完成する。

※多変量の場合，I-Stepの回帰方程式が増えて，複数の欠損に対しては多変量正規分布で残差を求める感じ。 44


多重代入法における代入フェイズ

I-Step P-Step

手順１，２，３ (I-step)

手順4 (P-step)

事後分布の算出

事後分布に従う完全データセットの作成

代入フェイズで用いる変数は，のちの分析で使う予定のものを全て使ってほうがよい

でないとMCARやMARでもバイアスがかかる可能性がある

逆に変数が多くてもバイアスがかかる可能性は低い

補助変数も投入することを推奨

ただし，変数が多すぎると収束に問題をきたす場合あり，そのときだけ変数を減らす

交互作用やマルチレベルを想定する場合は特別な処置必要（後述）

※収束における問題とは・・・

• 代入フェイズでは，多数のデータセットをシュミレートし，その中から独立したデータセットを複数抽出する必要があるが，独立したデータセットが発生しない，独立していると判断がつかない状況

45


代入フェイズでどの変数をいくつ用いるべきか？

抽出するデータセット数について

伝統的には３～５

欠損情報の比率によっては，標準誤差の正確性が減少する（SEの増加）ので，やっぱりもっと多く１０以上つくるのがよい

多くの場合，２０を最低数とするデータセットをつくることを推奨

抽出するデータセットのシュミレーション間隔について

データのシュミレーション（データ拡張）はマルコフ連鎖モンテカルロ法でされる

P-Stepで求められる事後分布は，その直前のI-Stepの結果に依存

つまり，20回目にできたデータセットと21回目にできたデータセットは相関が高く，独立でないため，不適切

実際の分析に使用するデータセットは，最低でも50回以上離れたデータセットを使用するべき（データ収束の問題）

５０～１００の間を推奨（Harel, 2007）

データの収束の診断に関しては，視覚的に判断するのが効果的 46


抽出するデータセット数と抽出するデータセットのシュミレーション回数の間隔

P-Stepの結果を図示して判断するのがわりとよい

傾向がよくわからない場合，すぐに収束したことを示唆（理想的）

傾向がある場合，その傾向が見えてくる回数以上，採用するデータセットを離すべき

47


収束診断―P-Step時系列プロットの使用―

Worst Linear Function：各P-Stepから収束速度に応じて各パラメータを重みづけ組み合わせる関数

単独で使用するのではなく，他の基準と組み合わせての使用を推奨

48


収束診断―Worst Linear Function時系列プロットの使用―

1回目のデータと2回目のデータの相関，1回目のデータと3回目のデータの相関，・・・，1回目のデータとN回目のデータの相関を確認（自己相関；Lag）

自己相関の標本誤差0の範囲（5％水準）で落ち着くLagがデータセットの独立性の指標となる

これらの方法の使用が最終的なデータ拡大での多重代入法計画のための保守的な方略となる

49


収束診断ー自己相関関数時系列プロットの使用ー

初期値を変えて，数パターンためす

初期値の決定で最も簡単な方法はブートストラップ法を用いて少数のデータセットを作成し，平均と分散共分散行列の算出

目的は，事後分布の中心から離れた値でデータ拡張を始めることなので，ブートストラップはノイズがあって，真値から離れたほうがよい

新たな標本誤差が事後分布から推定されやすくなってしまうので，元のデータセットの半分のケースでブートストラップをすること推奨

50


収束診断について

Sequential Data Augmentation (SDA)

規則的な間隔で代入データセットを保存する

間隔を決めることが難しい

間隔が離れているぶんには問題なし

最初にデータが独立するまでは初期値に依存する期間（burn-in period）であるため，破棄するのがよい

Parallel Data Augmentation chains (PDA)

一度データセットをつくるごとに，シュミレートをし直す

どちらの方法でもOK，データの独立性には疑問が残るが，SDAの方が簡便

データの独立する地点（収束地点）を調べたい場合はPDAがよいかも

51


代入データセットを作成する方法

代入したデータセットそれぞれに対して分析を実行

e.g., ２０個のデータセットがあれば，各データセットに対して分析を行うため，合計２０回の重回帰分析を繰り返し実行

補助変数を代入フェイズで組み込んでいても，分析フェイズで補助変数を考慮する必要なし

52


分析フェイズ

プールした平均

プールした標準誤差

within-inputation variance

Between-inputation variance

※between-inputation varianceはデータセットにおける欠損値が多いと大きくなる

⇒標準誤差は，データセット数を増やすと小さくなる

Fraction of Missing Informaiton (FMI)

• データセットに欠損がどの程度含まれるのか

53


統合フェイズ

D1：プールされた平均，プールされた分散を用いる。多変量Wald統計量によく似ている

D2：分析フェイズから求める。プールされたWald検定

D3：分析フェイズから求める。プールされた尤度比検定

D1とD3は漸近的に等価

算出はパッケージにも実装されていることが多いのでD1のが楽

54


多重代入法における有意性検定

そもそもデータが欠損しているのでデータセットの情報が少ないので，シュミレーションの結果，データが収束する地点がないことはよくおこる

対応策

• 問題のある変数を除外したり，減らしたり

• 分散共分散行列のridge prior distributionを使用

• 通常，事前分布には情報なし（一様分布）を仮定するが，分散共分散行列について付加情報を与えるsemi-informative distributionを使うこと

55


多重代入法における諸問題：収束に問題が起こったときにどうするか

I-Step，P-Stepのどちらも多変量正規分布に基づくが，基本的には，正規性が満たされなくても深刻な問題は生じない

N =100以下でも信頼区間は正確（２変量でN = 40の場合にデータが歪むという報告あり）

欠損率が25％を超えたら，非正規データは推定を歪める

対応策

• 代入フェイズで，線形変換を行う

• 分析フェイズでは，ロバスト標準誤差を用いる

• 分析～統合フェイズに関してはこれからの研究次第

問題

• 欠損値の尖度や歪度はわからないので，適切な変換方法を選ぶのは簡単でない

• いくつかの変換を実施して，最も正規性がよくなるまで試すことを推奨 56


多重代入法における諸問題：非正規データの場合，どうするか

プレゼンター


ロバスト標準誤差をプールする公式も開発されている

質問紙の項目レベルで多重代入を行った場合，自然数しかとらない場所に，小数が含まれることになる

伝統的には，端数を切り捨て，もっともらしい値にすることが推奨

最近の研究では，ラウンディングを避けることを示唆（ダミー変数やロジスティック回帰は除く）

57


多重代入法における諸問題：データをラウンディングするか，しないか

プレゼンター



Naïve rounding

• 0.50を超えたら1，0.50以下なら0に。バイアスを含んでしまう

Adaptive rounding

• 2項分布に対して正規近似←推奨

Calibration

1. Raw dataをコピーして，コピーしたデータセットの（欠損値を含む）2値変数の値を全て削除

2. オリジナルデータとコピーしたデータを一つのデータに集約して結びつける

3. 欠損値を代入

58


多重代入法における諸問題： 2値変数のラウンディングはどうするか

プレゼンター



そのまま分析

近い値に変換

範囲を超えた変数に対しては，新しい代入を実行

59


多重代入法における諸問題：測定範囲を超えたらどうするか

プレゼンター



そのまま多重代入法を実行すると，MCARであっても交互作用は薄まるので処置が必要

交互作用項を作ってから，代入フェイズでデータセットの拡張を行う

交互作用項の作成にあたっては，センタリングを忘れずに

カテゴリカル変数の場合，カテゴリごとに多重代入を実行

階層性を考慮したいときは，また特別な方法で

潜在カテゴリカル変数に対しては，多重代入法ではバイアスが生じてしまうため，最尤法の方がよい

60


多重代入法における諸問題：交互作用に関心があるときどうするか

プレゼンター



理想的には項目レベルで，しかし項目数が多いと収束しないことも

尺度レベルの代入

• 項目レベルと比較して10％くらい標準誤差が上昇

• 回答された項目の情報が活かされない

尺度複製

• 欠損した項目を除いた平均値を算出した尺度得点を尺度レベルの代入に加えて使用する

• 線形に近づきすぎてしまう可能性がある（収束しない）

• 事前分布をいじって，線形依存を脱すことが可能

• 項目レベルの推定にかなり近づく

3ステップアプローチ

• ある特定の尺度についてだけ項目レベル，他の尺度については尺度平均（補助変数）を用いて代入し，別の尺度についても同様

• 最終的に，項目レベルで代入された値をデータセットとして使用 61


多重代入法における諸問題：代入は尺度レベルですべきか，項目レベルですべきか

プレゼンター



62


多重代入法を実行するコード例（Mplus）代入フェイズ

プレゼンター



63


多重代入法を実行するコード例（Mplus）分析フェイズと統合フェイズ

プレゼンター



多重代入法のアドバンテージ

• 補助変数を用いる時に，多重代入法の方が便利

• FIMLでは補助変数の指定が大変（Mplusでなら楽）

• 説明変数に欠損がある場合

• 完全データセットが作れること

• 項目レベルの反応を必要とする分析に強い (e.g., 因子分析，信頼性分析)

• 平均値や分散が算出できる

FIMLのアドバンテージ

• 交互作用効果を推定したいとき

• 構造方程式モデリングを使用する場合，一般的に最尤法の方が好ましい

• 手続きが簡単

• RMSEA，CFI，SRMRのような適合度指標が算出できる（多重代入法ではまだ開発されていない）

64


多重代入法とFIMLのどちらを使うべきか

プレゼンター



最低でも欠損値の範囲（○％～□％）は報告すべき

補助変数を投入する場合，理由が説明されること

65

• 資料紹介 • 欠損データのメカニズム • 伝統的な欠損値分析 • 完全情報最尤推定法 • 多重代入法 Reporting Guidline

欠損値分析の結果報告の仕方補助変数について

Planned missing dataデザインの場合，

• 使う理由（対象者の負担を減らす等）

• 調査パターンの詳細

• 検定力の範囲

• MCARとなること（特に欠損値がパラメタの推定にバイアスを生じさせないことを説明すべき）

プレゼンター



欠損値のハンドリングにFIMLを使う場合

• 使用したソフトウエア

• 分析モデル，

• 使用した標準誤差，

• 補助変数の使用理由，

• 補助変数間の相関は研究目的から外れるため報告しないこと，

• 他の方法よりも最尤法が正確性や検定力で優れており，

• 最先端であること

66


欠損値分析の結果報告の仕方

プレゼンター



欠損値のハンドリングに多重代入法を使う場合

• 多重代入法の概要説明，

• 使用したソフトウエア，

• 複製した完全データセットの数と理由，

• データセットを採用するまでの反復回数と理由，

• 変数の数，

• 補助変数の種類，

• 実施した分析，

• データセットの統合に用いた公式（e.g., 各データセットの結果について推定値と標準誤差をRubin (1987)の公式を用いて1つの結果に統合した）

• 他の方法よりも多重代入法が正確性や検定力で優れており，最先端であること

67


欠損値分析の結果報告の仕方

プレゼンター



最後まで聴いていただきありがとうございます

68

資料の内容に関するご指摘，ご質問等は [email protected] までお願いいたします。德岡大

mailto:[email protected]

DARM勉強会第3回 (missing data analysis)

Education

Transcript of DARM勉強会第3回 (missing data analysis)