Holoeyes Inc.

医師はこのようなシーケンスから頭の中で3次元の構築をしています

https://www.youtube.com/watch?v=ncAkc1yaJPw

肝臓がん術前カンファレンス 都立墨東病院

https://www.youtube.com/watch?v=nrYlsSldXSM&t=9s

前立腺ガン

Segmentation

Introduction• 医療画像セグメンテーション

– CT画像やMRIから特定臓器、病変部位を抽出

• 目的– セグメンテーションの自動化

• 手動/半自動のセグメンテーション– 自動診断システムの開発– 指標の定量化

• 盛んな研究分野の一つ– 機械学習・ディープラーニング技術の発達– 医療関連

先行研究/公開データセットの調査• ターゲット

– 前立腺、肝臓、膵臓、歯

• 先行研究– 2015年以降の16報

• 公開データセット– 17データセット

先行研究例• Holger R. Roth, et al. 2015

– 膵臓– SLIC + CNN

• O. Ronneberger, et al 2015– 歯科– UNet

先行研究例• P. F. Christ, et al. 2017

– 肝臓– UNet + CRF

• F. Milletari, et al 2016– 前立腺– VNet

医療画像セグメンテーションの特徴• データセット

– セット数が少ない: 大体数十セット• 論文16報• 公開データセット 15セット

– PROMISE12, 3DIRCADB

• Data Augmentation– 数十万オーダにデータを増やす– 対象の特徴に合わせた手法

• elastic deformationなど

• ネットワーク– CNN (U-net含む)– VNet, Cumedなど3次元セグメンテーションもある

• loss関数– クロスエントロピー, DICE係数など

• データフォーマット– DICOM形式 / MHD形式– CT値/MRI信号強度

実験データセット

• PROMISE12

– タイプ: MRI

–解像度: 320 x 320 x 20

–セット数: 50

https://www.youtube.com/watch?v=EeqacNJcEMA

こちらのMRIシーケンスから前立腺をセグメンテーションします。

セグメンテーションシステムの構成

前処理(正規化)

Data Augmentation(ヒストグラムマッチング、Image Deformation)

VNet

後処理(connected component analysis

画像入力

セグメンテーション結果

Data Augmentation• 数十セットの原画像を数十万セットに拡張

• ヒストグラムマッチング– ヒストグラムを変換し、原画像のコントラスト変える

• Image Deformation– B-spline変換

• B-splineでの近似曲線のパラメータを変換

VNet• 3Dのセグメンテーションモデル

• ネットワーク– Down Conv工程とUp Conv工程– Residual Function

• 学習条件・環境– 30000 step– azure GPU K80 – Caffe

後工程

• Connected Component Analysis

–空間連結

–非連結領域の除去

Segmentation result

https://www.youtube.com/watch?v=EeqacNJcEMA

元のMRIシーケンス

セグメンテーションされた前立腺

https://www.youtube.com/watch?v=6cLSFqF6Sgs

VR に組み込み

https://www.youtube.com/watch?v=afDmMKMucV4