Mixed Realityではじまる

コラボレーティブ・コンピューティングな世界

デコ・シ

自己紹介

デコ・シ(@Ash_Yin)

氏名: 立原愼也

所属: 株式会社ホロラボ

役職: プログラマ/リサーチャー

経歴

2017/04 大手電機メーカー(SE) 入社

2017/05 Unite2017で逆ナンされる

2017/06 大手電機メーカー(SE) 退職/ホロラボ入社

自己紹介

個人の活動

FolloMap

スマホからGPS情報を送信し、

HoloLensでマップを見る

Buy FolloMap - Microsoft Store

FolloMap - YouTube

(ストア)

(使い方)

素材はパワポでつくった

HoloLab Inc.

会社概要

株式会社ホロラボ (HoloLab Inc.)

所在地：東京都品川区上大崎資本金：2,000,000設立日：2017年1月18日創業者：5名従業員：4名

創業メンバー

社員 & 仲間

外部研究員たるこす@tarukosu

平社員デコ・シ@Ash_Yin

代表社員アキヒロ

@akihiro01051

CTO/寿司職人ゆーじ@yuujii

CADエンジニア デザイナー アルバイト

JackMasaki@JackMasaki

会計社長夫人

業務内容

よくわかるホロラボ

Mixed Realityについて

Mixed Realityとは？ - 終わらない定義論争 -

Microsoft

Mixed reality is the result of blending the physical

world with the digital world.

https://developer.microsoft.com/en-us/windows/mixed-reality/mixed_reality

https://youtu.be/_xpI0JosYUk

HoloLens おさらい

HoloLensってなに？ -HoloLensおさらい-

・MS社が販売している頭部装着型のPC

・スタンドアロン・ケーブルレス

HoloLensのスペック -HoloLensおさらい-

項目

OS Windows 10

プロセッサ Intel Atom 32bit

Microsoft Holographic Processing Unit

(HPU 1.0)

ストレージ 64GB

メモリ 2GB

重量 579g

スペックはスマホ相当

https://www.microsoft.com/ja-jp/hololens/buy

HoloLensの固有機能 -HoloLensおさらい-

視線ジェスチャ

音声入力 空間認識

シェア空間

マッピング

https://developer.microsoft.com/en-us/windows/mixed-reality/development_overview

HoloLensの強い弱い -HoloLensおさらい-

ここが強い ここが弱い

•安定した位置追跡

•ケーブルレス、スタンドアロン

- 装着コストが低い

- 機動力が高い

• 視野角が狭い

- モデルの大きさや見せ方に工夫が必要

•CPU、GPU性能が低い

- モデルの作りに工夫が必要

•値段が高い

HoloLensのある生活 -HoloLensおさらい-

← お手本空間に自由にワークアプリを配置して作業できる

ダメな例 →空間に自由にtwitter、動画(アニメ)を配置できる

HoloLensの活用例 -HoloLensおさらい-

Point

・既存の車への重畳表示 (カラーリング・フォルムなど)

・角度のシミュレーション (センサがどう働くか)

・音声アノテーション (技術者やデザイナーの空間ログ機能)

・サイドミラーシミュレーション

Ford(自動車デザイン) https://www.youtube.com/watch?v=WZQ_DQD7F3U

HoloLensの活用例 -HoloLensおさらい-

Point

・事前シミュレーション

・現場での情報および保守項目リスト

・遠隔支援および第3者による確認

ThyssenKrupp (保守・管理) https://www.youtube.com/watch?v=8OWhGiyR4Ns

HoloLensの活用例 -HoloLensおさらい-

Point

・実寸大での表示

・構造の理解

JAL (航空) https://www.youtube.com/watch?v=GjZgI2oDcwM

HoloLensの活用例 -HoloLensおさらい-

Point

・Deep Learningを用いた顧客の好み抽出

・家具配置シミュレーション

・行動解析(見ていた場所のヒートマップなど)

LOWE’S (家具キッチン) https://www.youtube.com/watch?v=gC_4JxF0e_k

HoloLensの活用例 -HoloLensおさらい-

Point

・CTデータの閲覧

ロンドン大学 (医療) https://www.youtube.com/watch?v=TylDjQ1udZg

HoloLensの活用例 -HoloLensおさらい-

Point

・建設するモデルを3Dで表示(空間共有)

・工程管理

・文書や画像をHoloLens内に保存

小柳建設 (建設) https://www.youtube.com/watch?v=dW1amJLDwuQ

HoloLensの活用例 -HoloLensおさらい-

Point

・建物完成イメージの視覚的理解

ネクストスケープ (不動産) https://www.nextscape.net/news/2017/05/20170523

HoloLensで辛かったこと

・Air-Tapのやり方を説明してもきいてくれない

・勝手にBloomされる

・つけ方が悪くて何も見えてなかった

・モデルが重い

・位置がずれる

・シェアリングって簡単にできるんでしょ？

・HoloLensを無理やり外される

・ヘッドバンドが折れる

このあと

滅茶苦茶

セッチャクした

Immersive おさらい

廉価版のHoloLensなんでしょ？ -Immersiveおさらい-

・Gestureは使えません

・パススルーはできません

・環境マッピングは使えません

・スタンドアロンではない

HoloLensとImmersiveの機能比較 -Immersiveおさらい-

機能 HoloLens Immersive headset

入力

Gaze ✓ ✓

Gestures ✓

Voice ✓ ✓

Gamepad ✓ ✓

Motion controllers ✓

空間認識機能

ワールド座標 ✓ ✓

空間音響 ✓ ✓

Spatial Mapping ✓

https://developer.microsoft.com/en-us/windows/mixed-reality/development_overview

Mixed Reality Headsetの種類 -Immersiveおさらい-

https://www.microsoft.com/en-us/store/collections/vrandmixedrealityheadsets

項目

解像度 2880 x 1600

視野角 110度

ディスプレイ 有機EL

ヘッドフォン+デュアルマイクロフォンアレイ

IPD調整機構付き

$499.00

海外から輸入した結果 -Immersiveおさらい-

海外のDell Shopなら

単体で購入できる

しかも

技適の問題もなし

http://www.dell.com/en-us/shop/the-dell-visor/apd/536-bbbr/gaming

海外から輸入した結果 -Immersiveおさらい-

代行購入費用 送料

結果、倍した

うちのPCで動くの？ -Immersiveおさらい-

超簡単セットアップ -Immersiveおさらい-

難しいんじゃないの？- ケーブルを挿すだけ。だいたい10分で終わる。

コントローラがないんだけど- Xboxコントローラでも大丈夫。なんならマウスとキーボードでも操作できる。

外部センサーは？- いらなーい

2Dアプリと3Dアプリの違い -Immersiveおさらい-

2Dのアプリ

3Dのアプリ

WebVR -Immersiveおさらい-

心がぴょんぴょんする動画

Window Mixed Reality for SteamVR -Immersiveおさらい-

Immersiveで辛かったこと

・モーションコントローラが頻繁にトラッキングロストする

・コントローラがもはや認識すらしなくなった

・ファームウェアアップデートで動作不安定になる

・ファームウェアアップデートが強制

・Unityのバージョンが隔離される

・バージョンアップすると動いたものが動かなる

・Steamでよくね？と言われる

全部動かなくなったわ

ははっ

コラボレーティブ・コンピューティング

コラボレーティブ・コンピューティングとは

http://news.livedoor.com/article/detail/9747068/

アレックス・キップマン

頑張って日本語にしたやつ

分かりやすい記事

http://dhero.hatenablog.com/entry/2017/10/10/%E3%80%90%E7%BF%BB%E8%A8%B3%E3%80%91Mixed_Reality_Q%26A_

Kinectの開発者HoloLensの父

コラボレーティブ・コンピューティングとは - de:code -

https://youtu.be/JxCUyhjwHW0?t=9m40sThe World of Hololens in 24 Months

透過型HMD

PC

没入型HMD

Immersive と HoloLens

同じアプリケーションが動作する

空間配置

他のデバイスを使ったときの違和感が減る、互いになるべく同じことができるようになっている

他にも、・Gazeの利用・AirTapとコントローラの入力の互換・音声入力・空間音響

統一感のあるメニューなどのUI

Immersive & HoloLensの活用例

Cirque du Soleil (演劇)

Point

・HoloLens/Immersiveデバイスそれぞれのユーザーで一つのステージを作り上げる

https://www.youtube.com/watch?v=vNz5Rw6TwCw

Immersive & HoloLensの活用例

Mixed Reality 250 Windows Mixed Reality - Acer and HoloLens Side-By-Side - YouTube

Point

・HoloLens/Immersiveデバイスを使った協調作業のサンプルプロジェクト

MR脊椎・関節手術トレーニングシステム

マイクロソフトMixed Reality パートナープログラム

Microsoft Mixed Reality Partner Program／複合現実パートナープログラムは、

HoloLensやImmersiveヘッドマウントディスプレイ(以下Immersive HMD)他、

Mixed Reality(以下MR)技術によるシステムやソリューションを展開する優れた企業

に対してMicrosoft社から提供される認定制度

https://www.microsoft.com/ja-jp/hololens/commercial-build#agency-buckets

要するに

稲波脊椎・関節病院× HoloLab

稲波脊椎・関節病院について稲波脊椎・関節病院は、国内トップの年間1,590件(2015年実績)の脊椎内視鏡下手術実績を持つ岩井グループが、2015年7月に2院目として品川区東品川に開院した腰・膝の専門病院です。「高度で、かつ身体への負担が少なく、安心を与えられる医療」を実践することを目的とし、最新技術導入へも積極的に取り組んでいます。その一環としてHoloLens／Mixed Realityの手術トレーニング環境への導入をホロラボと共同で検証しています。•URL: http://www.iwai.com/inanami-sekitsui/

•Facebook Page : https://www.facebook.com/inanami.hospital/

•手術室にあるモニターを極力減らしたい。- モニターの設置コストを下げたり、広い場所がとれない手術室でも活用できる

•研修医を受け入れており研修が終わってからのサポートが課題。初期からHoloLensでトレーニングを行い、遠隔でもサポートできるようにしたい。

課題

稲波脊椎・関節病院× HoloLab -開発環境 -

https://www.slideshare.net/decode2017/mr04-unity-hololens/29

HoloLens側Unity 2017.1.2

Visual Studio 2015 update 3

Immersive側Unity 2017.2 MRTP3

Visual Studio 2017.15.3

60FPSのための指針

稲波脊椎・関節病院× HoloLab – Mixed Reality -

Mixed Reality Toolkitは、Microsoft

HoloLensとWindows Mixed Reality

headset を対象としたアプリケーションの開発を加速するためのスクリプトとコンポーネントの集まりです。このプロジェクトは、複合現実感アプリケーションを作成するための参入障壁を削減し、皆が成長できるようコミュニティに貢献することを目的としています。MixedRealityToolkit – UnityはMixedRealityToolkitをベースとしたコードを使用しており、Unityでの利用を容易にします。

統一感のあるUIのために

稲波脊椎・関節病院× HoloLab – Mixed Reality -

HoloLensでもImmersiveでも同じような動きが作れる

稲波脊椎・関節病院× HoloLab – Mixed Reality -

とりあえずこれを入れよう、3種のコンポーネント

MixedRealityCameraParent: CameraとBoundary

Managers: Gesture, GamePad, HandControllerの入力を扱うコンポーネント

Cursor: Gazeカーソル

HTKを直接いじるような実装をしていなければ、これらPrefabを入れ替える

だけでMRTK2017.2の環境に移植できます (ハズです)

今回もHoloLensベースで開発してImmerisveに移植した

稲波脊椎・関節病院× HoloLab - HoloLens側 -

・電子カルテをHoloLens画面内に表示

- モニターがなくなる

・トレーニング

- 3Dオブジェクトの操作 (Bounding Box)

- Sharing機能で同じ場所で同じモデルを見なが

らコミュニケーションを行える

Point使用時間が長いアプリには、バッテリーと時間が分かるようにしておくと便利

バッテリー残量は、SystemInfo.batteryLevel でとれる

稲波脊椎・関節病院× HoloLab

・ボイスアノテーション

音声を記録した位置と視線の先の位置の保存。「誰が」「どこから」「どこを見て」が記録に残る。

音声は記録された位置から再生されるので、声は空間音響によって記録位置が音源となる。

(Ford社の事例にあるものを独自に実装)

稲波脊椎・関節病院× HoloLab

・ビデオチャット (WebRTC)

HoloLensのMixed Reality Capture(MRC)映像とマイクか

らの音声をWebRTCで遠隔地のコンピューターに送信

(ThyssenKrupp社の事例にあるものを独自実装)

稲波脊椎・関節病院× HoloLab

・Immersive

同じ場所でのSharingは複数台のHoloLensが適しているが、遠隔地であればImmersiveデバイスでもよい。

ImmersiveデバイスでもHoloLensとほぼ同じ機能が実装されているので、音声アノテーションやビデオチャットを行うことができる

稲波脊椎・関節病院× HoloLab

透過型HMD

PC

没入型HMD

稲波脊椎・関節病院× HoloLab –まとめ -

・業界に依存しない、汎用的な仕組みづくりができた

・MRTKを使うと統一感のあるUIづくりができる

・でもツラミはいっぱい！

頭募集中