新型パノラマ両眼立体視のプロトタイプシステムについて

動機づけ - 360パノラマについて

•非ゲーム用途の、体験型パノラマ動画サービス例

•ハコスコストア（+ハコスコ）→ スマホ向け

• Youtube 360°ビデオモード → PC向け

• Oculus 360（+GearVR）→ GearVR向け※Oculus 360は視差付きスイングパノラマ動画に対応

•レンダリング済みもしくは実写の映像を使った、両眼立体視が行なえるシステムはあまり多くない

両眼立体視を行なうには、解決すべき問題が残っている

視差付き両眼パノラマシステムについて①

•いわゆる非ジンバルスイングパノラマ円上にカメラを置き、回転させて記録する

視差付き両眼パノラマシステムについて②

•左右の視点は常に反対側にあるため、IPDは固定する視点はそれぞれの360度パノラマに対応する

現行の両眼パノラマ式の問題点

•現行の普及型システムは固定視差で、水平方向の頭部の旋回と伸展に対応する

•視点位置が側屈で変化する時にIPDの関係が変化する

垂直方向への視点変化、IPDの変化は対応できない

今回提案する手法

• Omni(Directional)StereoCameraシステム

•広い視野を持つカメラの映像を、リアルタイムにつなぎ合わせて、視点位置に相当する視界の映像を合成する

提案手法では水平方向だけでなく、上下にもカメラを配置する

ヒントになったシステム

•球状に複数のカメラを配置したカメラシステムキーワード：omnidirectional camera, spherical cameraなど

今回提案する手法はNokia OZOでも考えられている可能性がある

Nokia OZOJaunt VR

なぜリアルタイムにスティッチするのか

•左右の眼球の視点位置に最も近い映像を取り出すIPDを変化させるということは、左右の視差も変わ

るので、眼球位置に近いカメラから映像を切り出す必要がある

例えば、特定方向の視点を取り出したい場合、左右の視点はA, B, C, Dそれぞれから選べ、A-B間, A-C間, A-D間, ..., という風に視点が選べ、離散的にIPDが変えられる

数学的な解法について

•線形代数を使って解けるので、シェーダーでほとんど実装できる

•詳細は別の機会で

保存の方法について

•視点別にレンダリングされた映像を保存する• 現行は140°ぐらいの視野角が必要だが、減らせるかも)

画像を分割保存

•すべての視点をバラバラに保存すると管理が大変なので、１枚にまとめるか数枚に分割する

試作のGearVRのデモでは、2048x2048のテクスチャを4枚使用。視点数は16になる

© Unity Technologies Japan/UCL

画像群から復元する①

•左右の画面をそれぞれ別に描画する•現状ではスティッチの目が出ているが、軽減するための方法は考えることができる

画像群から復元する②

•つなぎ合わせた領域

現行の課題と問題点

•全視点を合計した解像度は4K相当、もしくは1画面1024x1024は最低欲しい。合計して8Kぐらいの解像度があれば満足に見れるはず

•ビデオに対応したいが、4Kをデコードできる環境は少なく、8Kは現行でデコードできる環境はほぼ無い

•視点数が多くなるとIPDのバリエーションが多くな

るため、継ぎ目が目立たなくなるが、シェーダーでの計算量が増える

• GTX970レベルのGPUなら現行でも可能かもしれない。スマホだとかなり工夫しないと難しいかも

技術的な問題点について①

•現在はパースペクティブでそれぞれの視点をレンダリングしているため、両眼に復元した時にピクセルの解像度にムラがある

•視点数を増やす

解決できる。魚眼か正距円筒図法を部分的に取り入れれば、解像度は均等になるはず

PCではGPUの能力が高いので比較的増やしやすいスマホではGPUが貧弱なので実現が厳しくなる視点数は最低12(検証済み)、最高で32ぐらいが良さそう(未検証)？

技術的な問題点について②

• GearVRで満足に動かす事はできるか？

•動画で画像を保存／復元する

シェーダーを最適化することである程度fpsは稼げると考えられるが、Galaxy s6程度では60fps維持する事は難しいと思う。できれば新型の機種が欲しい

4096x4096未満の解像度で動画を出力して、様子を見る。8K(7680x4320)をデコードできる環境はPCでも聞いた事が無いので候補に入れられない。複数の画面に分割して動画を保存する方法は検討中

その他、考えられる応用

•実写を使って記録、復元する事が可能Jaunt VRやNokia OZOのようなカメラセットがあれば、実写でも同じような事ができるはず

多数のビデオ映像をフレーム落ち無しに取得する方法は今後の課題

Nokia OZOJaunt VR

今後の展望とまとめ

•比較的簡単な実装でIPDの変化を再現できるため、PCでシステムを作るのは既に射程圏内。高解像度の動画をデコードする環境を整える必要がある

•復元するためのシェーダーを最適化する。高速化と鮮明化の手法は、まだ改善の余地がある

• 4Kビデオをスマホでデコードできる環境が出つつあ

るので、早いうちにスマホでも実現できる可能性は高い（スマホのGPUがどれだけ良くなるかにも懸る）

•現行の360°パノラマ動画がスマホのカジュアルVRの位置づけであるなら、ポストカジュアルVRを目指す