Holoeyes Inc.

患者のCTデータから作成

肝臓がん術前カンファレンス 都⽴墨東病院   

オペ室ではMixed Realityを使う

術野に3Dを表⽰

VRで脊椎へのスクリューのインプラント

スクリューの位置からバーチャルな棒を⽴てる

⾚ちゃんの様⼦をMixed Realityで表⽰

CEO/CTO ⾕⼝直嗣 3D、VR、ロボットに 精通するテクノロジスト

COO 杉本真樹 外科医、 国際医療福祉⼤学准教授

CSO 新城 健⼀ AllAbout創業から 上場までプロデューサーとして参画。

Medical * Technology * Internet

HoloEyes は医療の世界で VRとAIで

デジタルトランスフォーメーションを推進します。

Machine Learningのニーズ

Segmentation

Marchine Cube

Polygon

Segmentation Challengeを発⾒

論⽂調査のポイント

肝臓、すい臓、⻭などの論⽂を調査

その後、先⽇ダウンロードした全24論⽂を 以下の点について横断的に調査

どんなデータセットを採⽤しているか？ フレームワークの種類、プログラムの公開状況、および計算の再現性。

医⽤画像セグメンテーションの特徴１

データセット セット数が少ない: ⼤体数⼗セット

Data Augmentation 数⼗万オーダにデータを増やす

対象の特徴に合わせた⼿法 elastic deformationなど

医⽤画像セグメンテーションの特徴2ネットワーク

CNN (U-net含む) VNet, Cumedなど3次元セグメンテーションもある

loss関数 クロスエントロピー, DICE係数など

データフォーマット DICOM形式 / MHD形式

CT値/MRI信号強

データセット

MRI 解像度 320 * 320 * 20

セット数 : 50

セグメンテーションシステムの構成画像⼊⼒

正規化

Data Augmentation

VNet

Connected component analysis

DICOM出⼒

Data Augmentation

ヒストグラムマッチング ヒストグラムを変換し、原画像のコントラスト変える

Image Deformation B-spline変換

B-splineでの近似曲線のパラメータを変換

他に医⽤画像系では、回転、反転なども

VNet3D(Volume)の

セグメンテーション Down ConvとUp Conv

学習条件・環境 30000 step

azure GPU K80 Caffe

Connected Component Analysis

空間連結 ⾮連結領域の除去

CaffeからChainerへCaffeのネットワークの記述はprototextに定義

全部Pythonのコードの⽅が気持ちがいい

マルチGPUを考えてChainerを採⽤

data augmentationはchainer.dataset.DatasetMixinクラスを⽤いて実装することで動的に⽣成できる。

これでGPUで全計算可能、かつcaffeではできなかった動的⽣成により精度向上も期待される。

CTスキャンデータをChainerベースの システムで学習、セグメンテーション