中間評価と指標データセット～可視化ツールの活用～

2020年6月12日国際医療福祉大学大学院

埴岡 健一

乃木坂スクールin赤坂「医療計画とがん計画」

枠組み確認

2

本コースのロジックモデル

地域医療の住民アウトカムの均てん化

医療計画等のPDCAマネジメントの均てん化

質の高い中間評価が実施される

質の高い中間評価のやり方の共有

初期アウトカム

中間アウトカム

最終アウトカム

活動アウトプット

3

今年の焦点は「本当の評価」の実施

中間評価と指標データセット～可視化ツールの活用～

本日のゴール

データを活用する5段階

①課題、問題意識、仮説、興味を出す

②関連しそうなデータを収集

③収集したデータを分析

④知見を追加、分析を高め、人智を寄せて検討

⑤施策の形成

4

ロジックモデル作成とセオリー評価が評価の出発

5

評価の対象と階層性

図：W.K.Kellogg Foundation. Logic Model Development Guide, 2003、 Rossi, et al. プログラム評価の理論と方法、をもとに作成

出典：地域医療計画評価・改定マニュアル

データはどこに？

6誰にでもできる！がん計画中間評価ガイドブック

アウトカム指標が計測されているかの確認もプロセス評価

7誰にでもできる！がん計画中間評価ガイドブック

で、そのとき、なぜ、可視化ツールなのか？【Excelによる作図とTableauによる可視化（使ってみた実感）】• 作業時間は10分の1• 課題発見力は10倍• 100倍の効果効率

＊TableauとCOIはありません。Tableau以外の可視化ツールを使ったことはありません。特定のソフトを推奨するものではありません。教員・学生向けライセンス無償提供プログラムがあるので利用しています

8

考え方のポイント

9

データ収集・分析のポイント

（1）ロジックモデルを意識する（2）OPSセットを意識する（3）粒度を意識する（4）ロジックと指標のずれを意識する（5）横断的データセットを活用する（6）情報源ごとの特性を考慮する・患者住所か施設住所か意識する・データの精度や限界を意識する

10

RH-PLANET事務局

地域医療計画評価・改定マニュアル

～ 地域医療計画策定／評価・改定ガイドブック 分冊～

出典：地域医療計画評価・改定マニュアル11

地域医療計画策定／評価・改定ガイドブック

12地域医療計画策定／評価・改定ガイドブック

13地域医療計画策定／評価・改定ガイドブック

14

OPS指標セット 箱ひげ図（全国）

15地域医療計画策定／評価・改定ガイドブック

棒グラフ（粒度ドリルダウン）

16

地域粒度（下降）（県と医療圏）

17

項目粒度（下降）（3桁コード、4桁コード、7桁コード）

18地域医療計画策定／評価・改定ガイドブック

ヒートマップ

19

SMRは間接法の調整で年齢調整死亡率のような直接法の調整ではない。→医療圏別の年齢調整死亡率の算定がほしい

棒グラフ（粒度ドリルダウン）

20

NDB-SCRは請求数は示すが、質を示すわけではない

21地域医療計画策定／評価・改定ガイドブック

横断データ集（例）

22地域医療計画策定／評価・改定ガイドブック

23地域医療計画策定／評価・改定ガイドブック

個別統計、横断データ集、見える化グラフ集の関係

24

個別統計情報源

横断データ集 見える化グラフ集

個別情報源

見える化グラフ集（例）

25

○地域医療計画評価ネットワーク（RH-PLANET）「医療計画評価指標の見える化」https://public.tableau.com/profile/ken.hanioka7573#!/

26地域医療計画策定／評価・改定ガイドブック

27地域医療計画策定／評価・改定ガイドブック

患者住所か施設住所か意識する

28

患者住所地 施設住所地

患者住所地ベース統計だと

数値有 数値無

施設住所地ベース統計だと

数値無 数値有

区別する。混ぜない。同じ資料の中で混ざっているときは注意

データの信頼性を補う

・・・目的とのマッチ度

入力精度

統計的誤差

加工を重ねることによるぼやけ（指数化、スコア化…）

・・・データが少ないときも多いときも熟議を忘れずに

29

作業イメージ

30

31誰にでもできる！がん計画中間評価ガイドブック

32

整合性（セオリー）評価〔確認点とフォーマット〕

出典：誰にでもできる！がん計画中間評価ガイドブック 一部、加工

フォーマット

33

実行（プロセス）評価〔確認点とフォーマット〕

出典：誰にでもできる！がん計画中間評価ガイドブック 一部、加工

フォーマット

アウトカム指標が計測されているかの確認もプロセス評価

34

効果（インパクト）評価〔確認点とフォーマット〕

出典：誰にでもできる！がん計画中間評価ガイドブック 一部、加工

フォーマット

予算 施策 中間アウトカム 最終アウトカム

内容スクリーニングとアセスメントを行う

適切な緩和ケアが提供されている

身体、こころ、生活の痛みが軽減している

拠点病院4施設中4施設 ・痛みの相談ができた割合72.4％〔県独自〕

・からだの苦痛（そう思わない）55.8％〔全国57.4％〕

・痛みの評価の実施割合36.5％（75％以上実施）〔県

・心身の痛み（そう思わない）70.3％〔全国72.0％〕・気持ちのつらさ（そう思わない）62.0％〔全国61.5％〕

・NDB-SCRの緩和ケア関連指標を代理指標に？

・年度内に公表？

・年度内に公表？

・年度内に公表？

コメント参加病院数と各病院のスクリーニング率やアセスメント率を収集

県独自調査は予算化されず。NDB-SCRの経年変化で代理？

県独自調査は予算化されなかったので、前回の国指標を参照？前回は3施設、今回は多数の施設が参加

前回の指標と数値

今回の指標と数値

対策の前後で指標を比較する。全国の動向と比較する…35

④施策が効果をもたらしたのか？

①アウトカム指標値向上？

②アウトプット指標値とアウトカム指標値の関係は？

①アウトカム指標値向上？

③他の活動や施策の影響は？

効果（インパクト）評価とロジックモデル

可視化ツールの表現方法

36

色塗り地図

37

色塗り地図表現

【メリット等】・実感しやすい・身につまされる【デメリット等】・地理を知らないと空振り・人口密度（超過死亡数）などはイメージできない

ヒートマップ

38

ヒートマップ表現

【メリット等】・項目と地域など2軸で、問題点がパッとわかる【デメリット等】・地理的実感がわきにくい

39

ヒートマップ表現

【メリット等】・項目と地域など2軸で、問題点がパッとわかる【デメリット等】・地理的実感がわきにくい

棒グラフ（信頼区間付）

40

棒グラフ（信頼区間付）

【メリット等】・差に意味があるか意識できる【デメリット等】・見方と意味の説明が必要となる

41

【メリット等】・差に意味があるか意識できる【デメリット等】・見方と意味の説明が必要となる

棒グラフ（信頼区間付）がん診療拠点病院 大腸がん3期5年生存率（2010-11年症例）

棒グラフ（粒度ドリルダウン）

42

地域粒度（下降）（県と医療圏）

【メリット等】・県と医療圏を往還できる【デメリット等】・小さい地域ではデータ欠損が増える

43

項目粒度（下降）（3桁コード、4桁コード、7桁コード）

【メリット等】・大ぐくりと詳細を往還できる【デメリット等】・詳細の解釈には専門的知識が必要になる

A医療圏

44

項目粒度（下降）（3桁コード、4桁コード、7桁コード）

【メリット等】・大ぐくりと詳細を往還できる【デメリット等】・詳細の解釈には専門的知識が必要になる

B医療圏

45

折れ線グラフ（傾向線付）

【メリット等】・単年でばたつく数値をトレンドで把握【デメリット等】・何年分を取るかの判断が重要

折れ線グラフ

46

折れ線グラフ（移動平均）

【メリット等】・平準化されて傾向が分かりやすい【デメリット等】・いつも適しているとは限らない（データ観測時点が多いとき）

散布図

47

散布図（傾向線付）

【メリット等】・全体動向・傾向と位置づけが分かる【デメリット等】・傾向より個別位置づけが重要

散布図（傾向線付）

48

散布図（3連）【メリット等】・要因探しのヒントになる【デメリット等】・問題意識のガイドが必要

49

箱ひげ図（全国、都道府県別）

【メリット等】・分布と位置づけが分かる【デメリット等】・見方のガイドが必要

50

OPS指標セット 箱ひげ図（全国）

【メリット等】・分布がOPSセット分かる【デメリット等】・見方のガイドが必要

箱ひげ図

51

OPS指標セット 箱ひげ図（千葉県市川市）

【メリット等】・分布と位置づけがOPSセット分かる【デメリット等】・見方のガイドが必要

52

OPS指標セット 箱ひげ図（千葉県市原市）

【メリット等】・分布と位置づけがOPSセット分かる【デメリット等】・見方のガイドが必要

53

OPS指標セット 箱ひげ図（埼玉県朝霞市）

【メリット等】・分布と位置づけがOPSセット分かる【デメリット等】・見方のガイドが必要

可視化ツールの作成

54

ハンズオンビデオ• 必須ではありません。ご希望者は、トライなさってみてください。

• Tableauによって1つのViewを作るところを、入り口から出口まで、ハンズオン録画によって体験できる。

• テーマ：在宅医療• 地域粒度：市区（ただし町村は除外）• 情報源：「在宅医療にかかる地域別データ集」（厚生労働省）

• 目的：在宅医療の地域差の現状を見る⇒在宅医療の地域差の要因および解消の方法の仮説を立てる

• ハンズオンビデオのリンクをMLに流しました。

55

録画の構成①元データ取得②データクリーニング③計算④計算まとめ

⑤シートの作成1 箱ひげ図（アウトカム）⑥シートの作成2 散布図⑦シートの全体像⑧ダッシュボード1 散布図セット⑨ダッシュボード2 OPS箱ひげ図セット⑩ストーリー

⑪公開⑫公開物の利活用

56

可視化前

可視化

可視化後

デモの活用法（1）BIツール（Tableau）をインストール（2）今日の事例について①データをダウンロード②加工品を丸ごとダウンロード（3）ダウンロードデータから録画を参考に再現（4）加工品を丸ごとダウンロードして自分の使いやすいように変形（5）自分で加工したものを公表サイト（Tableau Public）で公表（6）自分の問題意識と自分の好きな情報源でゼロからBIを作成してみる

57

評価の見せ方

58

秋田県 井岡方式

59出典：秋田県がん対策計画の説明冊子（秋田大学医学部附属病院作成）

60

大腸がんに関してロジックモデル（因果関係図）で考える

61

例：沖縄県の大腸がんに関する作業（抽出された課題候補）

男の死亡率が高い（全国13.2、沖縄16.2）。中部、南部、八重山でSMR高い?

男の罹患率が高い（全国67.9、沖縄86.8）?

遠隔比率が高い（全国16.6、沖縄21.1）?

男の5年相対生存率（全国72.2、沖縄66.7）が低い?

男の領域の治療成績が低い（全国72.1、沖縄61.1）?

県がん登録データで医療圏分析ができないか?

野菜摂取が少ない?

受診率がやや低い。精検受診率が低い。対象年齢順守が低い。再勧奨率が低い…?

手術件数が少ない。外科専門医が少ない?施設単位でもO、P、S指標に懸念があるところがある

低い市町村あり

肥満度が高い、ハイリスク飲酒が多い

アセスメント/マネジメントに改善余地あり

ビッグプレーヤーが全て参加するカバー率の高いデータ必要

詳細はバックデータを参照

沖縄県の大腸がん

62

データセットによって抽出された課題候補〔検証・検討が必要〕

男の死亡率が高い（全国13.2、沖縄16.2）。中部、南部、八重山でSMR高い?

男の罹患率が高い（全国67.9、沖縄86.8）?

遠隔比率が高い（全国16.6、沖縄21.1）?

男の5年相対生存率（全国72.2、沖縄66.7）が低い?

男の領域の治療成績が低い（全国72.1、沖縄61.1）?

県がん登録データで医療圏分析ができないか?

野菜摂取が少ない?

受診率がやや低い。精検受診率が低い。対象年齢順守が低い。再勧奨率が低い…?

手術件数が少ない。外科専門医が少ない?施設単位でもO、P、S指標に懸念があるところがある

低い市町村あり

肥満度が高い、ハイリスク飲酒が多い

アセスメント/マネジメントに改善余地あり

ビッグプレーヤーが全て参加するカバー率の高いデータ必要

詳細はバックデータを参照

沖縄県の脳内出血

古いロジックモデル

63

沖縄県医療計画 脳卒中分野 ロジックモデル

出典：高嶺さんご発表スライド

64

沖縄県医療計画 脳卒中分野 ロジックモデル

出典：沖縄県医療計画

65出典：第７次沖縄県医療計画分野別施策・指標評価表

沖縄県医療計画 脳卒中分野 ロジックモデル+指標計測結果

66出典：第７次沖縄県医療計画分野別進捗評価

沖縄県医療計画 脳卒中 アウトカムに関するアウトカム指標とプロセス指標の確認

67出典：第７次沖縄県医療計画分野別進捗評価

沖縄県医療計画 脳卒中分野 プロセス評価からインパクト評価へ

68出典：第７次沖縄県医療計画の進捗評価

沖縄県医療計画 脳卒中分野 価値判断から改善へ

まとめ

69

ショートカットコース• モデルロジックモデルに沿って、• 可視化ツールのOPSセットで自分の地域を見れば、

• 課題が把握され、評価の糸口も得られる可能性が高い

70

71

OPS指標セット 箱ひげ図（全国）

まとめ• 医療計画、がん計画を評価しよう• ロジックモデルと指標のセットを座右に• OPS指標セットを意識して• 可視化ツールで課題発見力100倍• 可視化ツールで表現されたものを活用しよう• （自分で可視化作業をしてみよう）• 評価や会議資料、プレゼンテーションに使ってみよう

72