国立研究開発法人

バーチャルマッピングパーティ: 歩行環境のVR再現による

視覚障害者向け地図の共創的作成

一刈良介 蔵田武志

産業技術総合研究所

1

2016/10/11 産総研臨海センター

SIG-MR研究会＠支笏湖 2016年10月14日 09:25-09:50

国立研究開発法人

マッピングパーティにおけるICTの活用例1 2016/3/7 05:30神戸新聞NEXT

国立研究開発法人

みんなでつくる バリアフリーマップ

b-Free

マッピングパーティにおけるICTの活用例2

遠位型ミオパチー患者会

国立研究開発法人

現状のブラインドマッピングパーティ

触地図による予習 ナビアプリでの歩行支援

参加者全員が現地に集合して マッピングパーティを開催

国立研究開発法人

バーチャルマッピングパーティ

全方位映像・環境音記録

AR触地図による予習 ナビアプリでの歩行支援

マッピングの リクエストや いいね！を送信

いつでもどこでも マッピングパーティ

国立研究開発法人

関連研究 欧州の数か国において，紙の地図，モバイルアプリケーションを用いたアクセシブル情報収集のためのマッピングパーティを実施

Mapillary（クラウドソースの写真共有サービス）を利用した現場に行かないマッピングパーティも実施

7 [C. Voigt et al., ICCHP2016]

国立研究開発法人 8

マッピング活動の比較 種類

活動 場所

活動 時期

特徴

マッピングパーティ 現地 同期

コミュニティ形成を目的としたF2F交流 深い現地の状況理解が可能 GPS端末操作などのスキルが必要 天候に依存

スマートフォンアプリを活用した現地でのマッピング

現地 非同期

通勤中など自由な時刻に簡単にマッピング 深い現地の状況理解が可能 登録情報の位置登録精度が測位手法に依存

インターネット上の画像等を用いたマッピング

どこでも 非同期

クラウドソーシング いつでもどこでも 事前にマッピング対象の写真がある前提 写真だけではよくわからないことも

バーチャルマッピング パーティ

どこでも 非同期

クラウドソーシング いつでもどこでも参加が可能 登録情報の位置登録はシステムがサポート 事前に環境を収録しておく必要あり ＶＲ技術を用いて臨場感高く現場を体験 ＡＲ触地図により視覚障害者も参加可能な共創型

国立研究開発法人

バーチャルマッピングパーティの構成要素

A. 現場での全方位動画像・音 声収録 B. 全方位動画像・音声による 歩行環境のVR再現 C. POR/POI情報の収集とDBへ の登録 D. 登録された情報を俯瞰的に 確認できるMap画面 E. AR触地図・音声ナビゲー ションとの連携 9

国立研究開発法人

A.現場での全方位動画像・音声収録

• 全方位動画像と多チャンネル音声 収録による歩行現場の収録 –全方位：リコー THETA S (解像度：動画FullHD)

–音声: Zoom H2n • 3次元プリンタで出力した筐体 • 計測方法：離散的な位置で収録

– 1地点30秒ほどの収録 – 10-50ｍほどの間隔で収録

10

国立研究開発法人

B.全方位動画像・音声による歩行環境のVR再現

• ゲームエンジンのUnityを 活用してVR空間を構築

• パノラマ再構成 –球にテクスチャマッピング

• 3次元音声再構成 – 4つの仮想音源をユーザの周りに配置

• 収録点毎に球，仮想音源を定義し，視線変更や移動（収録点切り替え）を実現

11

国立研究開発法人

VRに利用するデバイス • HMD (Head Mount Display):

PCの外部ディスプレイ接続/スマホ 画面を活用してVR没入体験 – Oculus Rift (PC) –ハコスコ (スマホ) – GearVR (スマホ)

• ＰＣ（デスクトップ版）: 画面上にパノラマ表示

• リモコン：HMD利用時の操作用IFとして 12

ねらい ・現場に近い感覚で体験をすることで気づきを誘発 ・視線を変更するようなＩＦに手間を取られないＶＲ体験 ・デバイスの特徴（UI，普及度）を考慮して複数選択肢

国立研究開発法人

Ｃ.POR/POI情報の収集とDBへの登録(1) マッピングパーティで取集対象 • POI(Point of Interest): 店舗や施設等のランドマーク的なもの、目的 地となる場所など • POR(Point of Reference): 点字ブロック、段差、花壇、ポール、自動ドア等、主に視覚以外の感覚で認識可能な、歩行ルート上で現在位置の手掛かりになったり、安全な歩行に役立つ情報 13

国立研究開発法人

Ｃ.POR/POI情報の収集とDBへの登録(2)

• POR/POIの登録手順 – VR空間内に再現された歩行現場でPOR/POIを捜索 – POR/POIの位置のポインティング – POR/POIの属性情報の入力

• 本人/他参加者が登録したPOR/POIは画面内に重畳 • AR触地図の利用者のリクエストは円柱（赤）で表示

14

国立研究開発法人

Ｃ.POR/POI情報の収集とDBへの登録(3)

• POR/POIの位置のポインティング • パノラマ画面上をポインティングすることで，システムが自動的に3次元位置を計算して緯度経度算出

• 近い位置：地面との交点を算出 • 遠い位置：複数のパノラマ画像から同一点を見て三角測量

15

近い位置のポインティング 遠い位置のポインティング

国立研究開発法人

Ｃ.POR/POI情報の収集とDBへの登録(4)

• POR/POIの属性情報の入力 • デスクトップ版：キーボードで入力→（一番簡単） • HMD版：音声メモで一度録音しておき，後から清書

16

国立研究開発法人

D. 登録された情報を俯瞰的に確認できるMap画面 • OpenStreetMap/OpenLayersを用いた地図

Webアプリ –登録されたPOR/POIの緯度経度確認/内容修正 –パノラマ画像位置の確認

• 弱視の方への拡大地図表示 • AR触地図の視覚フィードバック提示

17

国立研究開発法人

E. AR触地図との連携（1） • 触地図：凹凸をつけることで，触って内容を確認することができる視覚障害者用地図

• AR触地図［ichikari et al. ICCHP2016］ – しゃべる触地図 – 触地図内の触っている位置をシステムが検知 – インタラクション方法を導入することで， 触地図をインタラクティブに拡張

– 触地図のトレーニング

18 18 Casio’s 2.5D printer UV offset print PIAF Casio’s 2.5D print

国立研究開発法人

E. AR触地図との連携（2） • RGB-DカメラとタブレットによるAR触地図

– RGB-D画像を用いたジェスチャ認識 – タップ位置を読み上げ/ダブルタップでリクエスト送信

19

国立研究開発法人

E. AR触地図との連携（3） • HPのSproutを用いたAR 触地図 –タッチパッドの上に 触地図を置いてタッチ認識

–画面/プロジェクタで視覚 的拡張

20

国立研究開発法人

AR触地図の形態の比較

21

RGB-DカメラによるＡＲ触地図 Sproutを用いたAR触地図

ジェスチャ認識

RGB-Dカメラを用いたジェスチャ認識

タッチパッドによるタッチ認識

情報拡張提示 音声＋拡大表示 音声+拡大表示+ プロジェクション

システム構成とコスト

PC($500~) + RGB-D camera($200) → 今後はRGB-Dカメラ付きタブレットに置き換え可能

Sprout($1500)

制約 蝕地図上への視覚的重畳はできない

マップの大きさや操作ＩＦ

利点 可搬性, ユーザビリティやマップの自由度，価格

視覚提示, 高精度タッチ認識

国立研究開発法人

バーチャルマッピングパーティワークショップ

22

• 東京未来館 • March 18th-19th, 2016. 1h x 6回 (合計：42人の参加者) • 各HMDやデスクトップ版，AR触地図（RGB-Dカメラ版）を用いてPOR/POIを集めてもらう取り組み

• 合計POR/POI数: 598 • ワークショップの後に，アンケートを実施

国立研究開発法人

参加者からのフィードバック

23

国立研究開発法人

まとめ • 視覚障害者向けの共創的な地図作りの取組としてバーチャルマッピングパーティを紹介 –パノラマ画像・音声収録による現場のＶＲ再現によりいつでもどこでもマッピング可能

– AR触地図を用いることで，視覚障害者も参加可能な共創的マッピング活動

• ワークショップ –全方位動画像や音声を用いた高臨場感での現場再現や，AR触地図を用いて視覚障害者の参加を可能とした側面に対して好意的な反応

24

国立研究開発法人

今後の課題 • パッケージ公開

– パノラマ・音声の登録作業の簡単化 • 登録情報の選別・フィルタリング • 通常のマッピングパーティとの客観的比較 • AR触地図のシステム改良

– 入力ジェスチャ・タップ操作精度向上 • 新たなマッピングパーティでの新規試み

– 世代間の違い（得意なこと）を考慮したマッピング – 遠隔でのマッピングパーティ

25

国立研究開発法人

今後のイベント案： 多世代マッピングパーティ？！

パノラマ画像に写っているPOI/PORをどんどんポインティング（タップ）する。 [ゲーム感覚で細かい操作を担当。数や質で競う。短期集中型]

選ばれたPOI/PORが正しいかどうかを確認する。 [細かい操作ではなく、画像の内容の判断を担当。じっくり型]

子ども世代 年長世代

国立研究開発法人

今後のイベント案： どこでもマッピングパーティ？！

例えば・・・ 九州の映像・音を使って、石川と北海道の参加者がマッピングし、未来館で実況イベント？！

国立研究開発法人

例えば… 使い慣れた触地図をもってきてもらって、コンピュータに覚えてさせて、しゃべる触地図にするイベント

今後のイベント案： いつもの触地図でAR？！