バーチャルリアリティ（ＶＲ）概要

国立研究開発法人

バーチャルリアリティ(VR)概要

蔵⽥武志123

1特定国⽴研究開発法⼈産業技術総合研究所⼈間情報研究部⾨サービス観測・モデル化研究グループ⻑

2筑波⼤学システム情報系教授（連携⼤学院）3⽇本バーチャルリアリティ学会理事

https://staff.aist.go.jp/t.kurata/


⽬次1.バーチャルリアティ（VR)について2.VR/拡張現実（AR）/複合現実（MR）

技術の活⽤・実証事例3.標準化に向けた動向4.VR研究の今後の展望

2


VRとは︖• VR (Virtual Reality)

–物理的には存在しないものを、感覚的には本物と同等の本質を感じさせる技術

–「バーチャル」は「仮想」ではない。物理的存在の有無の違いであり、本質は等しい

• 狭義のVR– 現実を遮断し，バーチャル世界の中に閉じた環境を実現

する．

⼀部提供︓筑波⼤学岩⽥先⽣（⽇本VR学会会⻑）3


ＡＲ，ＭＲ

ウェアラブルコンピュータ

映画，ＴＶＣＭ

ＶＲ

１）実像と⼈⼯像の合成 ⇒ ディスプレイ技術

リアル＋バーチャル

２次元ＧＵＩ

合成写真

３次元ＣＧ

リアルタイム

２）実時間のインタラクション ⇒ インタフェース技術

3D コンテンツ

３）３次元的な位置合わせ ⇒ トラッキング技術

R. T. Azuma, “A Survey of Augmented Reality,” in MIT Press Presence: Teleoperators and Virtual Environments Vol.6, No.4 (August 1997), pp.355-385.

拡張現実（AR）の３要件

提供︓⼤阪⼤学清川先⽣4


複合現実のスペクトル

5

複合現実（MR: Mixed Reality）

実環境拡張現実（AR: Augmented

Reality）

拡張VR（AV: Augmented

Virtuality）

VR環境

P. Milgram and F. Kishino, “A Taxonomy of Mixed Reality Visual Displays,” IEICE Trans. Information Systems, Vol.E77-D, No.12, 1994, pp.1321-1329.

1960年代アイバン・サザランド「究極のディスプレイ」

1980年代初頭舘暲「テレイグジスタンス」

1980年代前半東大石井威望研究室廣瀬先生：立体視の研究を始める岩田（大学院生）：

D論テーマ：顔画像を用いたインタラクション

1989年（平成元年） Virtual Reality という言葉が誕生

6提供︓筑波⼤学岩⽥先⽣（⽇本VR学会会⻑）

1996年日本バーチャルリアリティ学会設立

ARのコンセプトの提唱（1992年）

目的：飛行機組立作業の高度化方法：組立案内を直接対象物上に表示することによる作業の効率化技術：光学式シースルーディスプレイと頭部トラッキングセンサーの組み合わせ

T. Caudell and D. Mizell, Augmented reality: an application of headsup display technology to manual manufacturing processes, Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences, vol. ii, pp. 659-669 vol.2, Jan 1992

提供︓奈良先端⼤学院⼤学加藤先⽣7

NaviCam（1995年）

J. Rekimoto and K. Nagao, The world through the computer: Computer augmented interaction with real world environments, 8th Annual ACM Symposium on User Interface and Software Technology, pp.29-36, 1995.

提供︓奈良先端⼤学院⼤学加藤先⽣

H. Kato and M. Billinghurst, Marker tracking and hmd calibration for a video-based augmented reality conferencing system, 2nd IEEE and ACM International Workshop on Augmented Reality, pp.85-94, 1999

ARToolKit（１９９９年）

⽇本⼈の活躍

8


• PTAM [Klein et al 2007]http://www.robots.ox.ac.uk/~gk/PTAM/

• LSD(Large-Scale Direct)-SLAM [Engel et al 2014]http://vision.in.tum.de/research/vslam/lsdslam

25

提供︓慶応⼤学斎藤先⽣

⾃然特徴点を⽤いたSLAMの例

9


⽬次1.バーチャルリアティ（VR)について2.VR/拡張現実（AR）/複合現実（MR）

技術の活⽤・実証事例3.標準化に向けた動向4.VR研究の今後の展望

10


本⽥技術研究所四輪R&Dセンター（栃⽊）

写真提供：Christie Digital Systems日本支社

11


財団法⼈⾃動⾞研究所（JARI)

全方位視野（３６０度）ドライビングシミュレータ


12


国⽴研究開発法⼈⽇本原⼦⼒研究開発機構不拡散・核セキュリティ総合⽀援センター

13


飲⾷現場におけるケーススタディ

14提供︓慶応⼤杉浦先⽣

[動向] Virtual Realityを用いた顧客行動調査

マーケティング分野での活用事例増加– レイアウト設計段階で顧客行動を事前評価

– パッケージ検討段階で顧客の印象を事前評価

15Kimberly-Clark社のバーチャル店舗 [出典：In-store marketing instituteホワイトペーパー]

メリット1 実店舗調査に比べて「厳密な条件比較」を低リスク・低コストで実施可能

メリット2 新パッケージデザインを公共の場に出すことなく店舗設置時の印象を評価可能

AIST‐Service Field Simulator•VR技術を用いたサービス設計支援

– VR環境での人間行動計測によるサービス提供環境とプロセスの事前評価

16

詳細かつ信頼できるデータの獲得• 様々なセンサを併用可能• 実験のための環境制御が容易

脳波計測の様子

視線計測の様子

行動に影響を与える条件を現実に近づける

「方向感覚」を失わせない全方位画面提示

方向転換での遅延が０でＶＲ酔い抑制

現場で使う現実の道具を手に持っての体験

足踏み動作認識による自然な移動

「移動による疲れ」「移動にかかる時間」も評価

継続的に性能改善中

解像度（角度分解能視力0.7相当）

垂直視野角（90度以上）

設計のコンセプト

装置の外観（八角柱）

行動計測のための環境提示装置


再現性の検証︓同じ⾏動を取るか︖

17

Real

Virtual

Real Virtual


社会インフラメンテMR︓打⾳検査

18Note: 地方では市民参加型のメンテナンスも必要になりつつある

事例３：製造業様上下水道インフラ点検サービス

設備損傷発見時の判断・対処が属人化対応にばらつき、サービス品質の均一化が急務

上下水道インフラの点検、保守、維持管理業務内容

課題(現状)

位置ﾍﾞｰｽで部品仕様と保守履歴をタグづけ・関係付け､モノに情報を紐付表示(AR)

ビッグデータの分析(傾向・相関)・未来予測結果を装置に紐付けて表示(AR)､部品交換など予防保守

補修方法のﾅﾋﾞｹﾞｰｼｮﾝで作業品質を均質化過去の保守履歴から適な補修方法を表示、技能・技術の継承を促進

情報一元管理が急務(部品・保守履歴・修繕計画)損傷部品の型名が分からず在庫確認・発注処理が遅延、修復に遅れ

ビッグデータを活用できていないｸﾗｳﾄﾞに蓄積されたｾﾝｻﾃﾞｰﾀを分析・活用できていない

施策(AR適用後)

19


バーチャルマッピングパーティ

http://www.aist-ari.org/ristex-mavi/index.php

全⽅位映像・環境⾳記録

AR触地図による予習ナビアプリでの歩⾏⽀援

ピングマッピングのリクエストや

いいね︕を送信

いつでもどこでもマッピングパーティ

20

Note: クラウドソーシングで地理空間情報を整備

車いす利用者のためのMR着装シミュレーション・衣服設計支援

21

今後：形状計測⇒３Ｄプリンティング⇒プロジェクションマッピング

ボトムスの変形 http://www.aist-ari.org/kaken-a-clothes/search/

目次

1.バーチャルリアティ（VR)について

2.VR/拡張現実（AR）/複合現実（MR）技術の活用・実証事例

3.標準化に向けた動向

4.VR研究の今後の展望

22

人はなぜ酔うのか - 感覚不一致説 - 23

身体の動きについての感覚情報が、過去の経験に基づいて予測できる変化から逸脱したときに酔う

前庭感覚

視覚

触覚

聴覚

自己受容感覚（筋、腱、関節）

自分が前に進んでいるという感覚

通常は過去の経験に基づく予測による変化と

感覚情報の変化とが一致

提供︓産総研⼈間情報研究部⾨⽒家⽒、渡邊⽒

VRで（HMDで）人はなぜ酔うのか 24

roll

pitch

yaw オプティック・フローによる視覚的身体運動情報

ステレオ立体視表示による視覚的身体運動情報

両眼映像間の不一致

調節-輻輳の情報の不一致

明るさ、色、画像位置、画像形状等

ヘッドトラッキングによる映像切替の時間遅れ

時間遅れの大きさ

時間遅れの変動の大きさ

没入型立体表示のHMDを想定

及びその他、影響要因


動きの影響は実際の映像にも適用可能か？- 映像酔い評価システム -

25

（財）JKA機械工業振興事業補助金交付によるJEITAへの委託事業において大学関係者、産総研が連携して開発

映像モニタ

映像操作

映像情報

影響を与える可能性のある映像区間のリスト表示

カメラ要素運動の推定速度映像酔いレベルの時系列推定値

視聴環境条件

氏家（2010）


26

VR酔いを予測情報で軽減する

視覚運動の予測情報を提示することで、酔いを軽減できる可能性がある

t

加速を予告するサイン

0 2 4 6 8 10 121

1.5

2

2.5

3

3.5

Phase

Average LF/HF

No signInt. 750Int. 3500

○サインなし

△ 3500m秒前サイン

×750m秒前サイン

+ ＊＊

＊＊ + +

経過時間（分）

心拍から求めた心的負担度

Watanabe, Teramoto, and Umemura (2007)


MARのためのビジョンに基づく位置合わせ及び追跡手法の

ベンチマーキング

• ISO/IEC WD (Working Draft) 18520– 用語と定義

– ベンチマーキングフレームワーク

– ベンチマーク指標

– ベンチマーキングのための試行セット

27

Benchmark Indicators ＋

Benchmarking Framework

Trial Set(Dataset)＋

目次

1.バーチャルリアティ（VR)について

2.VR/拡張現実（AR）/複合現実（MR）技術の活用・実証事例

3.標準化に向けた動向

4.VR研究の今後の展望

28


理学・⼯学分野における科学・夢ロードマップ - ⽇本学術会議

29JVRSJ Vol.18 No.4, pp.73-74, December, 2013


“Large Space”の構造全周壁⾯と床⾯に⽴体映像を投影 (Christie Digital projector 12台 ) モーションキャプチャ (OptiTrack Prime41 20台）

多⼈数が同時にバーチャル空間を体験提供︓筑波⼤学岩⽥先⽣（⽇本VR学会会⻑）

７本のワイヤーにより映像空間を⾶⾏


MARで求められる整合性

31

幾何学的・時間的・光学的整合性

の次は

⽂脈的整合性


対象指向型ハプティックインタフェース装置⾃体が変形して、対象物を

模擬する。素⼿で映像に触れられる。

FEELEX 1 (1997)

提供︓筑波⼤学岩⽥先⽣（⽇本VR学会会⻑）32


ミライセンス

33

産総研LINK No.3 平成27年11月発行

三原触︓圧覚、触覚、⼒覚


ロコモーションインタフェース歩⾏感覚を与える装置(1) 移動の打ち消し︓その場で歩⾏運動できる。(2) ⽅向変換︓好きな⽅向に⾏ける。

提供︓筑波⼤学岩⽥先⽣（⽇本VR学会会⻑）

Virtual Perambulator(1989)

Torus Treadmil(1997～)

Robot Tile(2004～)

Virtuix Omni (2015)

34


嗅覚，味覚提⽰への期待

視覚聴覚触覚

⼒提⽰触感提⽰

平衡覚嗅覚味覚

五感への展開

“幽霊体験”(物理的相互作用なし)視聴覚偏重

“宇宙服体験”(空気を遮断)

真に総合的な体験へ

課題：• 化学刺激（物質が関与，濃度により感覚が質的変化）• 嗅覚は合成の考え方が成立しない（受容タンパク388種類）

初期のVR

提供︓名城⼤学柳⽥教授提供


嗅覚提⽰技術

香りの発生・調合香気の時空間制御

超音波（表面弾性波）東京工業大

インクジェット慶應義塾大

液面揮発・多種調合東京工業大

Smelling Screen（風制御）東京農工大

五感シアター（風制御）首都大学東京・東京大

ウェアラブル東京大

香りプロジェクタ（渦輪）名城大



味覚提⽰技術五基本味：甘，酸，塩，苦，旨

味認識装置：味覚の定量化九州大など

代替物質による味の合成？例：• プリン＋醤油→ウニ• 牛乳＋砂糖＋麦茶→コーヒー牛乳

摂食行動は五感をフル活用→まずは味の変調・制御から

電気味覚：味の変調明治大・東京大

クロスモーダル効果の利用

Meta Cookie見た目と匂いで一つの

ものを多種類に

東京大

拡張満腹感見た目のサイズを変え

少ない量で満腹に

東京大


国立研究開発法人 38


VR関連の学会やコンソーシアム

• 特定非営利活動法人日本バーチャルリアリティ学会 http://www.vrsj.org/

• 一般社団法人 VRコンソーシアム http://vrc.or.jp/

• 一般財団法人デジタルコンテンツ協会（DCAj） http://www.dcaj.or.jp/※DC EXPO主催団体

• 一般社団法人日本シミュレーション学会 http://www.jsst.jp/j/

• JST ACCEL 身体性メディアコンソーシアムhttp://www.jst.go.jp/kisoken/accel/research_project/ongoing/h26_05.html

• 一般社団法人コンピュータエンターテインメント協会（CESA）https://www.cesa.or.jp/ ※東京ゲームショーの主催団体

39


書籍「AR（拡張現実）技術の基礎・発展・実践」

第1章基礎編その１1 マーカベースの位置合わせ⽥中（産総研）、内⼭（東芝）2 ⾃然特徴ベースの位置合わせ内⼭（東芝）

第2章基礎編その２1 ヘッドマウントディスプレイ清川（阪⼤）2 SAR（プロジェクター）天野（和歌⼭⼤）、岩井（阪⼤）3 インタラクション⼤隈（産総研）、⼭本（奈良先端⼤）

第3章発展編その１1 シーン形状のモデリング⽇浦（広島市⽴⼤）、⼤⽯（東⼤）、池⽥（阪⼤）2 光学的整合性神原（奈良先端⼤）、⼀刈（産総研）3 ビューマネージメント、可視化岩井（阪⼤）、⼤隈（産総研）、牧⽥（産総研）4 ⾃由視点映像技術を⽤いたMR 北原（筑波⼤）

第4章発展編その２1 マルチモーダルAR 鳴海・⾕川（東⼤）2 ロボットや家電と連携するAR 杉本（慶⼤）3 屋内測位興梠・蔵⽥（産総研）、⽯川（サイトセンシング）4 ARによるコミュニケーション⽀援酒⽥・清川（阪⼤）

第5章実践編1 ARトラッキングのためのベンチマーク柴⽥（⽴命⼤）、牧⽥・蔵⽥（産総研）2 Casper ⻲⽥（筑波⼤）3 メディカルAR ⿊⽥（京⼤）、⼤星（近畿⼤）、⿊⽥嘉宏（阪⼤）、堀謙太（群⾺県⽴健科⼤）4 産業AR ⽯井（京⼤）

40

監修蔵⽥（産総研）、清川（阪⼤）編集⼤隈（産総研）出版︓科学情報出版株式会社


サービス⼯学もやってます︓測って図る

41


現場のラボ化とラボの現場化• Borrowing from “Terraforming”• Lab-forming Field: Transforming a real field into a lab-like place. • Field-forming Lab: Transforming a laboratory into a field-like place.

42


付録

43


マーカを⽤いた⽅式の⽋点（正⾯での姿勢推定）を克服したマイクロレンズシート⽅式

44

視線角度に応じた黒ピーク位置の移動の様子（左：LentiMark, 右：ArrayMark）

G空間EXPO2016(11/24-26でのデモ展示あり)書籍「AR（拡張現実）技術の基礎・発展・実践」より


Spatial Augmented Reality 略史• コンセプト (ʼ90以前)〜基本技術 (ʼ00)〜普及 (ʼ10)

Disneyʼs Haunted Mansion

1969

NaimarkʼsDisplacement

1980

Office of the Future

1998

DigitalDesk

1993 1999

Shader Lamps

2005

SmartProjector

2014

Once Upon a Timeat Tokyo Disney Land

2013

MicroSoft IllumiRoomCoded aperture

2010

提供︓⼤阪⼤学清川先⽣45


複数⼈で協調して空間をレイアウトするシステム「Dollhouse VR」

46

WBSトレたま（テレビ東京）2015/11/10OplusE，2016年2⽉号

東⼤・がんこフードとの連携事例

⿃瞰︓設計者⽬線 FPV︓顧客・従業員・⽣活者⽬線


復興⽀援・地域観光振興︓気仙沼横丁アプリ

47

http://www.fukko-yatai.com/appli/

Oculus Rift版、Web（WebGL）版が入手・体験可能

気仙沼横丁：2017年3月で閉村（未定）

ベンチマーキングのための試行セット

48

0.0

0.5

1.0

1.5

2.0

2.5

3.0

1 10 100 1000

Subj

ectiv

e sc

ore

Rotation speed (deg/s)

PitchYawRoll

* **

* * * *(*p<.05, Mann-Whitney)

n = 39

* *

酔いを引き起こしやすい動きとは？- ヨー、ピッチ、ロールの分析 -

49

特定の速度帯域で、酔いが生じやすい速度が、遅すぎても、早すぎても、酔いは生じにくい

ドラムの回転速度（deg/s）

胃電

図に

よる

特定

の帯

域（4~

6 cpm

）の

動き

酔い

の主

観評

価ス

コア

胃電図

主観評価

ヨー回転

60 deg/s

82 deg

67 deg

70 deg/s30 deg/s

一方向に回転

60 deg/sとは 1秒間に6回転または

3Hの距離で、画面の端から端まで約0.5秒

n = 39

Ujike, Yokoi, and Saida (2004)Hu et al. (1989)


50人間工学的指針の作成に向けて

人間工学的指針の国際標準化

・「映像酔い」の観点で、現在検討中2016年度中に国際提案、3年後を目途に国際規格

発行をめざす

ISO/TC159国内対策委員会ISO/TC159/SC 4

経済産業省国際標準化事業

産総研

JEITA電子情報技術産業協会

産業技術総合研究所・ゲームメーカー・映像制作者・ポス･プロ関係者・放送関係者・ディスプレイメーカー・医療関係者・研究者等々

快適映像基盤技術研究推進委員会

本件お問合せ：氏家（[email protected]）, 渡邊（[email protected]）


ISMAR2016発表事例:遠隔空間共有

51


神⼾⼤学統合研究拠点「π-CAVE」スパコン「京」と連携したVRシステム


52


過去から学ぶ

53

大元隆志のウェアラブル・ビジネス活用前線, IT Leaders (2014/11/14)http://it.impressbm.co.jp/articles/-/11841

バーチャルリアリティ（ＶＲ）概要

Engineering

Transcript of バーチャルリアリティ（ＶＲ）概要