観察研究の質の評価失敗しない研究計画入門：研究の「質」を評価するための国際基準の理解

竹林由武情報・システム研究機構統計数理研究所リスク解析戦略研究センター医療・健康科学プロジェクト

認知・行動療法学会第 40 回大会　自主企画シンポジウム

2014 年 11 月 2 日　富山国際会議場

COI: なし

発表内容• 観察研究のエビデンスの位置づけ• 観察研究の評価方法の開発動向• 評価項目の詳細 (RoBANS scale)

2

観察研究エビデンスの位置づけ

3

観察研究 (observational study)

コホート研究(cohort study)

症例対照研究(case control study)

横断的研究(cross sectional study)

アウトカム暴露

アウトカム暴露

調査 ( 開始 )時点

過去 将来

無作為割り付けを行わない研究の総称

4

5

観察研究のエビデンスレベル

バイアスのリスクを小さくしないと、観察研究は無意味

レベル エビデンスの種類1++ 質の高いメタ・アナリシス， RCT の系統的展望，バイアスのリス

クが非常に小さい RCT1+ 良くできたメタ・アナリシス , RCT の系統的展望 , バイアスのリ

スクが小さい RCT1- メタ・アナリシス , RCT の系統的展望 , バイアスのリスクが大き

い RCT2++ バイアスのリスクが非常に小さい観察研究の系統的展望2+ バイアスのリスクが小さい観察研究2- バイアスのリスクが大きい観察研究3 症例シリーズ研究4 専門家の意見

AHRQ: http://www.guideline.gov/content.aspx?id=39324

無作為化比較試験

観察研究

6

偶然誤差 (RE): 方向性を持たない偶然による誤差

系統誤差 (SE): 一定の方向性をもった誤差

測定の基本原則 :

RE 小　 SE 小 RE 小　 SE 大 RE 大　 SE 小RE 大　 SE 大

誤差を小さくするのが、研究の質向上のキモrandom error

systematic error= バイアス

真の値 = 測定値+ 誤差

GRADE システムによるエビデンスの質

　

7

研究デザイン エビデンスの質

無作為化比較試験 高

観察研究 低

その他 非常に低い

グレードダウン研究の限界 (= risk of bias)結果の非一貫性エビデンスの非直接性不正確なデータ出版バイアス

グレードアップ強い関連性交絡因子による効果減弱容量反応勾配

※ グレードアップはバイアスのリスクが低いことが前提7

観察研究におけるrisk of bias の評価方法の必要性

システマティックレビューの文脈から「 RCT だけではなく、観察研究も含めたレビューが必要」

・ 無作為化が倫理的にできない要因の場合・ 長期的な効果や有害事象はコホート研究で評価• RCT だけでは研究数が少ない場合

⇒ 観察研究の risk of bias を客観的に評価するツール必要Higgins, J. P. (Ed.). (2008). Cochrane handbook for systematic

reviews of interventions (Vol. 5). Chichester: Wiley-Blackwell.8

観察研究の「質」の評価方法 :開発動向

観察研究の「質」の評価方法Sanderson et al. (2007) の系統的レビュー• 86 個の非無作為化研究の評価ツール開発• ゴールドスタンダード不在• 使用に耐えうる尺度は２つ

Downs and Black instrument (Downs, 1998) 　Newcastle-Ottwa Scale (Wells,2008)

Sanderson, S., Tatt, I. D., & Higgins, J. P. (2007). Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography. International journal of epidemiology, 36(3), 666-676.

10

観察研究の「質」の評価方法Downs and Black instrument (Downs, 1998) 　• 29 項目・ 症例対照研究に不適な項目が含まれる・ 疫学の専門家向き、実施に時間かかる

Newcastle-Ottwa Scale (Wells,2008)・ コクラン共同計画推奨・ 信頼性に難あり

Sanderson, S., Tatt, I. D., & Higgins, J. P. (2007). Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography. International journal of epidemiology, 36(3), 666-676.

11

観察研究の「質」の評価方法最近の開発状況

医療研究品質機構 (米国 )RTI item bank

健康保険審査評価院 (韓国 )ROBANS scale

コクラン共同計画ACROBAT-NRSI

2013 年 8 月

2013 年 1 月

2014 年 9 月 new!!

12

RoBANSRisk of Bias Assessment tool for Nonradomized Studies

• 開発プロセス非無作為化研究のバイアスのリスク評価ツールを概観

概観したもの非無作為化比較研究の質の評価ツールの系統的レビュー英国国立医療技術評価機構 (NICE) が使用するツール米国予防医療専門委員会 (USPSTF) が使用するツール

　

Kim, S. Y., Park, J. E., Lee, Y. J., Seo, H. J., Sheen, S. S., Hahn, S., ... & Son, H. J. (2013). Testing a tool for assessing the risk of bias for nonrandomized studies showed moderate reliability and promising validity. Journal of clinical epidemiology, 66(4), 408-414.

13

バイアスのリスクの位置づけ

正確性

精度 妥当性

内部妥当性 外部妥当性

偶然誤差

バイアス 結果の非一貫性エビデンスの非直接性

データの正確性

のリスク14

RoBANSRisk of Bias Assessment tool for Nonradomized Studies

1- 非無作為化研究の全ての研究デザインに　 適用可能

2-GRADE system に適応できる

3- コクランの評価ツールと compatible 　　

15

観察研究の「質」の評価方法 :RoBANS の項目詳細

16

17

1) 参加者の選定方法2) 交絡変数3) 曝露の測定方法4) アウトカムの評価の盲検化5) 不完全なアウトカムデータ6) アウトカムの選択的報告

ROBANSバイアスのリスク評価項目

−high risk ＋ low risk 　 ? unclearKim, M. Y., Kim, J. H., Choi, I. K., Hwang, I. H., & Kim, S. Y. (2012). Effects of having usual source of care on preventive services and chronic disease control: a systematic review. Korean journal of family medicine, 33(6), 336-345.

17

18

系統的レビューでの使用例

Kim, M. Y., Kim, J. H., Choi, I. K., Hwang, I. H., & Kim, S. Y. (2012). Effects of having usual source of care on preventive services and chronic disease control: a systematic review. Korean journal of family medicine, 33(6), 336-345.

18

RCT のバイアスのリスク評価項目との異同観察研究 (RoBANS) RCT ( コクラン )

選択バイアス 参加者の選択方法 乱数生成

交絡変数 割り付けの隠蔽化

実行バイアス 曝露の測定 患者と治療者の盲検化

検出バイアス アウトカム評価の盲検化 アウトカム評価の盲検化

脱落バイアス不完全なアウトカムデータ

不完全なアウトカムデータ

報告バイアス アウトカムの選択的報告 アウトカムの選択的報告選択・実行バイアスのリスク評価項目が RCT と異なる

参加者の選択方法によるバイアス(選択バイアス )

曝露

アウトカム

研究への参加

曝露やアウトカムが、研究参加に影響20

無回答者バイアス (nonresponse bias)例 ) 喫煙と肺がんの関係を調べる調査に、喫煙者は参加しない

傾向

健康労働者効果 (healthy worker effect)例 ) 事業所を対象とした調査では、不健康な人は休職 転職で•調査

対象になりにくく、一般人口よりも健康度が高くなる

有名な選択バイアス

喫煙 (曝露 )不健康 ( アウトカ

ム )

研究への参加−

参加者の選定方法によるバイアス：選択バイアス

21

例 ) コホート研究 ( 健康労働者バイアス )

High risk of bias全社員を対象に曝露 (仕事負荷、姿勢、ストレス ) を測定し、肩関節痛の発症を追跡※勤続年数が長い人では健康度の高い人が多い可能性

Low risk of bias新入社員を対象に、曝露 (仕事負荷、姿勢、ストレス ) を測定し、肩関節痛の発症を追跡調査

Harkness, E. F., Macfarlane, G. J., Nahit, E. S., Silman, A. J., & McBeth, J. (2003). Mechanical and psychosocial factors predict new onset shoulder pain: a prospective cohort study of newly employed workers. Occupational and Environmental Medicine, 60(11), 850-857.

参加者の選定方法によるバイアス：選択バイアス

22

RoBANS による評価：コホート研究Low risk High risk

曝露群と非曝露群の選択

同一集団 異集団

研究開始時のアウトカム

なし 未確認

参加者の選定方法によるバイアス：選択バイアス

コホート

曝露群

非曝露群

同一集団から抽出

追跡

追跡

追跡前にアウトカムの発生なし

現在の曝露状況将来のアウトカム

23

Low risk High risk

症例群と対照群の選択 類似集団 非類似集団

症例群 客観的な診断自己報告データ合成データ

対照群 患者が含まれない

患者の未確認

RoBANS による評価：症例対照研究

参加者の選定方法によるバイアス：選択バイアス

アウトカム以外の性質が類似

症例群

過去の曝露

過去の曝露客観的な診断患者が含まれない

対照群

過去の曝露状況 現在のアウトカム 24

交絡によるバイアス (選択バイアス )

曝露とアウトカムの双方と関連する要因による暴露とアウトカムの関係の過大 or 過小評価

25

トラウマ体験 抑うつ症状

反芻

曝露 アウトカム交絡要因

26

交絡以外の関係性

曝露 アウトカム

X

曝露 アウトカム

Ｘ

曝露 アウトカム

Ｘ

曝露 アウトカム

X

◯

×

×

×

交絡変数

媒介変数

独立変数

道具変数

交絡によるバイアス

RoBANS による評価Low risk High risk

計画段階 交絡変数の測定・制御方法 : 制限やマッチング

あり なし解析段階 交絡変数の制御

方法 : 層化、傾向スコア

あり なし

交絡によるバイアス

⇒ 適切な指標で、想定されうる重要な交絡要因を測定し、　 交絡要因の影響を調整していれば low risk of bias

27

研究段階での制御

制限 : 交絡要因を含まない対象に制限する　　例 ) コーヒーと心疾患の関係を検討する時に、　　　　 非喫煙者を対象にする。

マッチング : 症例群と対照群の交絡変数のレベルを一致させる　　例 ) 心疾患とコーヒーの関係を検討する時に、 その症例と同量の喫煙本数の人を対照としてマッチング

交絡によるバイアス

28

解析段階での制御層化　交絡要因のレベルに応じてサブグループ化し解析

統計学的補正　多変量解析　　例 ) 曝露変数と交絡変数を重回帰分析で同時投入 　傾向スコア (propensity score)　　例 ) 複数の交絡変数から曝露要因への割り当て確率を　　　　 算出し、その値を利用してマッチングや回帰分析

交絡によるバイアス

29

曝露の測定方法によるバイアス( 実行バイアス )

コホート研究

症例対照研究

曝露の誤分類によって、曝露とアウトカムの関連が歪む

30

Low risk High risk

診療記録・構造的面接( 客観指標 ) を使用

面接者を盲検化

自己報告指標や合成変数を使用

面接者を非盲検化

RoBANS による評価曝露の測定方法によるバイアス

31

想起バイアス　例 ) 過去の曝露状況を思い出して回答すると、　　　 記憶が不正確なために結果が歪む ( 自己報告は日が空くほどバイアスがかかる )

面接者バイアス　　例 ) 研究目的を知っている研究者が面接者として、　　 曝露の測定を行うことで、アウトカムの発生頻度が高くなる

曝露の測定方法によるバイアス

32

アウトカム評価の非盲検化によるバイアス (検出バイアス )

コホート研究

症例対照研究

アウトカムの評価者が、曝露状況について知っていると曝露とアウトカムの関係が歪む

33

Low risk High risk

アウトカム評価が盲検化されている

盲検化はされていないが、そのことがアウトカム測定になんら影響を与えないと判断されている(死亡率など )

盲検化が実施されていないか、または不完全

適切な盲検化がされていないことがアウトカム測定に影響を与えた可能性が高いと考えられる。

以降は RCT と同様RoBANS による評価アウトカム評価の非盲検化によるバイアス

アウトカムが自己報告だと盲検化はできない34

不完全なアウトカムデータによるバイアス

• 欠測データの扱いに関する不備に起因するバイアス

35

コホート

曝露群

非曝露群

追跡

追跡

現在の曝露状況将来のアウトカム

35

Low risk High risk欠測値がない

欠測値を生じさせた原因が、研究アウトカムに関係している( コホート研究における死亡率など )

欠測値の数が、曝露群と対照群の双方で類似した出来事による

欠測値が研究のアウトカムに影響を及ぼす可能性がある

アウトカムへの影響が、曝露群と対照群の間での欠測値の違いによる

または重要な測定値が存在しないことが原因

RoBANS による評価不完全なアウトカムデータによるバイアス

36

不完全アウトカムデータの扱いRCT ：　　 ITT 解析がスタンダード

観察研究　　スタンダードなし　　⇒複数の方法を使って、結果の整合性を検討　　 LOCF, 多重代入 , 完全情報最尤推定 etc…

37

不完全なアウトカムデータによるバイアス

37

選択的報告によるバイアス研究成果の

都合の良い部分を抜粋して報告

奥村泰之 : 万延する研究報告の質の低さの問題への総合的対策 . 日本心理学会第 78 回大会 . 京都 . 2014.9.11. シンポジウム ( 企画 : 土屋政雄先生 ) エビデンスの「質」を意識した研究計画への誘い

38

Low risk High risk

実験プロトコルが入手可能であり、事前に定義されたアウトカムが報告されている

事前に定義されたアウトカムと報告されているアウトカムにずれがある

RoBANS による評価

選択的報告によるバイアス

39

観察研究でも研究の事前登録・プロトコルの公開が必要

Williams, R. J., Tse, T., Harlan, W. R., & Zarin, D. A. (2010). Registration of observational studies: is it time?. Canadian Medical Association Journal, 182(15), 1638-1642.

40

選択的報告によるバイアス

研究の事前登録・プロトコルの公開がないと

選択的報告バイアス評価不可能

41 41

摂食障害の恐怖条件付けの全般化症例対照研究 : 30 例でも試験登録 !!

各国の主要登録機関で登録可能 (UMIN など )

臨床試験登録 プロトコルの公開

Williams, R. J., Tse, T., Harlan, W. R., & Zarin, D. A. (2010). Registration of observational studies: is it time?. Canadian Medical Association Journal, 182(15), 1638-1642.

選択的報告によるバイアス

Fanelli D (2010) “Positive” Results Increase Down the Hierarchy of the Sciences. PLoS ONE 5(4): e10068. doi:10.1371/journal.pone.0010068http://www.plosone.org/article/info:doi/10.1371/journal.pone.0010068

心理学者の仮説は概ね正しい ×

　⇒選択的報告？

第 1 位仮説を支持する結果が報告される率

42

選択的報告によるバイアス？？？

精神医学心理学領域

選択的報告の例• 主要なアウトカムを削除 or 新設• 主要アウトカムと副次アウトカムの入れ替え

• 主要アウトカムの評価時点の変更• 複数の [ アウトカム、評価時点、効果量、　 統計モデル、サブグループ ] から選択

奥村泰之 : 万延する研究報告の質の低さの問題への総合的対策 . 日本心理学会第 78 回大会 . 京都 . 2014.9.11. シンポジウム ( 企画 : 土屋政雄先生 ) エビデンスの「質」を意識した研究計画への誘い

選択的報告の誘惑に負けないために、研究プロトコルの事前登録 !!

43

選択的報告によるバイアス

RoBANS の補足メリット観察研究の質の大枠が把握できる実施が 10 時間は 10分程度で簡便信頼性、妥当性も検討され概ね良好

デメリット評価方法の詳細なマニュアルが未公開疫学の方法論を学習済みの人向け ( 私見 )（未学習者だと判断が難しいかも）

44

チェックリスト

妥当性バイアス領域

ごとの評価

RoBANS ◯ ◯ ◯

RTI-item bank ◯ ◯ ×Cochran ◯ 未 ◯

45

非無作為化研究の質評価ツールスタンダード作りの熾烈な争い

46

A Cochrane Risk Of Bias Asesment Tool: for Non- Randomized Studies of Interventions

RoBANS と概ね一致

Take Home Message

1. 参加者が適切に選択されているか2. 交絡変数が適切に評価・制御されているか3. 曝露変数の測定が客観的な指標・盲検化されているか4. アウトカムの測定が盲検化されているか5. 欠測値が適切に制御されているか6. プロトコル通りにアウトカム /曝露が報告されているか

47

バイアスのリスクの評価が研究の質の評価の第一歩

ご清聴ありがとうございましたContact to : ytake2 　 ism.ac.jp

48

https://sites.google.com/site/yoshitake2bayashi/