内視鏡画像からの奥行き情報提示による視覚支援システムの開発

筑波大学システム情報工学研究科

コンピュータサイエンス専攻

安藤竜太　福井幸男　三谷純　西原清一

発表の流れ

1. 研究の背景と目的2. 内視鏡動画像に適した奥行き推定手法3. 比較実験4. 提案5. まとめ・今後の課題

研究の背景 (1/2)

内視鏡下手術とは患者の体表面の小さな穴に内視鏡と手術器具を入れ、内視鏡からの映像を元に行う手術

１．研究の背景と目的

研究の背景 (2/2)

内視鏡下手術の利点 患者にとって低負担 手術時間の短縮

内視鏡下手術の欠点 奥行き情報の欠如

手術器具による接触事故１．研究の背景と目的

研究の目的 奥行き情報提示による視覚支援システムの開発

　目指すシステムは・・・ 奥行き情報を高精度で抽出できる リアルタイム性を持つ 医師に上手く提示する

システム

１．研究の背景と目的

内視鏡動画像の特徴と奥行き推定手法 内視鏡動画像の問題点・利点を理解 既存手法を理解

２．内視鏡動画像に適した奥行き推定手法

内視鏡動画像に適した奥行き推定手法を

提案

内視鏡動画像の問題点１

鏡面反射の多さ 反射関数を用いた手法

２．内視鏡動画像に適した奥行き推定手法

関連研究：複数枚の写真からの３次元形状と反射係数復元Athinodoros S. GeorghiadesDepartment of Electrical Engineering, Yale University, New Haven, CT 06520, U.S.A.

奥行き抽出手法

注目点追跡　→　奥行き推定　手法

時刻ｔ 時刻ｔ＋⊿ｔ

赤が手前青が奥

２．内視鏡動画像に適した奥行き推定手法

内視鏡動画像の問題点２

特徴点の少なさ 特徴点を使用した追跡

２．内視鏡動画像に適した奥行き推定手法

注目点追跡 一様に置いた注目点を使用

注目点

注目点追跡

結果

２．内視鏡動画像に適した奥行き推定手法

光源移動による注目点の輝度値変化 通常のブロックマッチング法

内視鏡動画像の問題点３

時刻ｔ 時刻ｔ+Δｔ

4 1

1 2

11

1 1

9 6 1

8

3

17 2

11 11

14 9 6

2 1 8 7

1 31 1

２．内視鏡動画像に適した奥行き推定手法

ブロックマッチング法の改良 勾配を利用

56 4

3 4 4

32 2

12 0

-1 0 0

-1-2 -2-4

２．内視鏡動画像に適した奥行き推定手法

ブロックマッチング法の改良 結果

フレーム１ フレーム２

それでも、誤差を含む

注目点追跡情報からの奥行き推定

疑似透視投影因子分解法 線形計算が可能

最小二乗法１ 内視鏡動画像

最小二乗法２ 内視鏡動画像　→　多視点画像群

２．内視鏡動画像に適した奥行き推定手法

注目点追跡誤差に強い手法

比較実験

計算機内の仮想物体による実験 追跡情報の誤差なし カメラ移動が自由

３．比較実験

結果

※誤差：奥行き偏差値の誤差

３．比較実験

計算時間 並進運動に対する強さ

回転運動に対する強さ

疑似透視投影因子分解法

リアルタイム約 30ms

普通誤差=0.96

普通誤差=0.90

最小二乗法１ 速い約 0.50s

強い誤差=3.1×10-5

弱い誤差=2.6

最小二乗法２ 遅い約 20s

強い誤差=0.27

強い誤差=0.30

提案１

計算時間 並進運動に対する強さ

回転運動に対する強さ

疑似透視投影因子分解法

リアルタイム約 30ms

普通誤差=0.96

普通誤差=0.90

最小二乗法１ 速い約 0.50s

強い誤差=3.1×10-5

弱い誤差=2.6

最小二乗法２ 遅い約 20s

強い誤差=0.27

強い誤差=0.30

※誤差：奥行き偏差値の誤差

最小二乗法１を使用疑似透視投影因子分解法を使用模擬手術では…奥行きがわかりにくい箇所は時間を掛けて慎重に手術していた

最小二乗法２

４．提案

提案１ 処理の流れ

開始

終了

精度必要か

回転含むか

最小二乗法２

因子分解法

最小二乗法１

YES

NO

YES

NO

４．提案

提案２ 精度と計算時間の短縮

４．提案

注目点追跡

カメラ運動推定

少数の注目点

全注目点追跡

注目点追跡の見直し（収束するまで）

カメラ運動推定

２回目以降は探索範囲が絞られる

探索範囲が絞られる

今後の課題 画素単位より小さいレベルでの注目点追跡 医師への見せ方

直感的に奥行きがわかりやすいように

５．まとめ・今後の課題

御清聴ありがとうございました