NTT技術ジャーナル　2017.9 21

特集

人に迫るAI，人に寄り添うAI——corevo®を支えるコミュニケーション科学

ステレオ映像提示における問題点

一般的なステレオ映像＊では，少しだけ離れた視点から撮影した2つの画像列を左右の眼に別々に提示します．2つの視点から見たときの画像間の差異（視差）に基づいて，視聴者は奥行きを持った3D映像を知覚します．通常こうしたステレオ映像は，ディスプレイ上では左目用と右目用の映像が重なって表示されており，3Dメガネをかけることで初めて左右の眼に分離されて届きます．したがって，3Dメガネをかけずにステレオ映像を見ると，異なる視点から見た映像どうしが重なり合うことでぼけや2重像が生じ，画質が大きく低下します．そのため，視聴者は2D映像を楽しむか3D映像を楽しむかによって，表示方法を選択する必要があります．もし，複数の視聴者の中に 1人でも3D映像を楽しめない人が含まれていれば，3D映像表示の選択は避けなければなりません．また，3D映像の視聴中に疲れてしまっても，自分だけ2D映像に切り替えることはできません．

2D画像との完全な互換性のあるステレオ画像生成法

私たちは，人間が奥行きを知覚する

際に働く視覚メカニズムの科学的知見を応用して，2D画像との完全な互換性を持つステレオ画像生成技術を開発しました（1）．本技術では，両眼のちょうど中間の視点から見たときの2D画像に対し，人間に奥行き情報を与える働きをする視差誘導パターンを加算・減算することで左目用・右目用画像を生成します（図 ₁）．左右画像どうしを足し算すると視差誘導パターンが打ち消されて完全に元の画像に戻るため，3Dメガネをかけない視聴者はクリアな2D画像を見ることができます（図 ₂）．一方，メガネをかけた視聴者には，視差誘導パターンの効果でその

画像に奥行きがついているように見えます．

技術のポイント

立体視は，左目と右目の視点の違いが生み出す網膜像の微妙なずれ（視差）を，人間の脳が奥行きとして解釈した結果です．本技術では，この視差を持つ左右像を，1枚の画像に視差誘導パターンを足したり引いたりすることで近似的につくり出します．ここでは，位相の異なる 2つの正弦波を足し合

両眼視差 ステレオ画像生成 後方互換

＊ ステレオ映像：左右の眼に別々に提示することで人間に₃D映像を知覚させるような2D映像のペア．

図 1 　提案技術によるステレオ画像生成の流れ

L

R

2I

3Dシーン

2Dシーン

左目用画像 L=I+D

右目用画像 R=I-D

視差誘導パターン D

視差誘導パターン-D

元画像（中間視点） I

裸眼で2D映像がクリアに見える3D映像生成技術NTTコミュニケーション科学基礎研究所は，3Dメガネをかけない視聴者には2D映像がクリアに見え，メガネをかけた視聴者には自然な3D映像が見えるというステレオ映像の生成技術を開発しました．本技術は既存の3D表示装置をそのまま用いますが，メガネなしで見ても画質が全く低下しません．この技術により， 1つの表示コンテンツに対して，その場にいる視聴者 1人ひとりが楽しみ方を自由に選択できるという「人にやさしい3D表示」が実現できます．

吹ふきあげ

上大た い き

樹 /河か わ べ

邉隆たかひろ

寛

西に し だ

田眞し ん や

也

NTTコミュニケーション科学基礎研究所

NTT技術ジャーナル　2017.922

人に迫るAI，人に寄り添うAI——corevo®を支えるコミュニケーション科学

わせると，その中間の位相の正弦波になるという単振動合成の性質を応用しています．具体的には，元画像の明暗の空間的な変化を 4分の 1周期分ずらしたパ

ターン（90度位相シフトパターン）を加算することで位置をずらし，左目用画像を生成します（図 3）．同様に，反対方向に 4分の 1周期分ずらしたパターン（−90度位相シフトパターン）

を加算することで右目用画像を生成します．こうしてできた左右画像間の位置ずれの差が，両眼立体視に必要な視差に対応します．さらに，足し合わせるパターンの重みを操作することで位置ずれ量を変えることができるため，所望の視差を再現することもできます．左右画像を足し合わせて合成すると，位相シフトパターンのみが相殺されるため，元画像に戻ります．

実画像への適用

実画像に適用する際は，入力画像を複数の空間周波数帯（サブバンド画像）に分解したうえで同様の処理を行います．各サブバンド画像の90度位相シフトパターンをまず計算し，これに所望の視差が得られるように重み付けを与えてから再構成することで，視差誘導パターンが得られます．このようにサブバンド画像ごとに重みを調節することで，精緻に視差をコントロールすることが可能となります．ステレオ画像として作成された既存の3Dコンテンツを，本手法の方式に変換することも可能です．この場合，入力したステレオ画像のうち，左右どちらかの画像を中間視点画像ととらえます．ここでは左画像を中間視点画像とした例に基づいて説明します（図4）．まず，入力したステレオペアを共にサブバンド画像に分解し，サブバンドごとに左右画像間の位相の差分を計算します．この位相差は，そのサブバンド画像が持つ空間周波数帯における視差を表していると考えることがで

（a）　これまでのステレオ画像 （b）　提案技術

図 2 　3Dメガネをかけずに見たときの画質比較

図 3 　提案手法で視差を生み出す仕組み

元画像

90度位相シフト成分

－90度位相シフト成分

水平位置

重み×A

重み×A

画像の明度

NTT技術ジャーナル　2017.9 23

特集

きます．次に，左画像の各サブバンド画像の90度位相シフトパターンを求め，計算しておいた位相差を再現するのに必要な重みを与えます．その後，重み付けを行った90度位相シフトパターンを再構成することで視差誘導パターンが得られます．最後に，得られた視差誘導パターンを入力した左画像に加算・減算することで，本手法のステレオ画像が生成できます．もちろん，同様の処理をすべてのフレームに適用すれば，静止画だけでなく動画の変換も行うことができます．以上のような画像操作は，人の視覚系の仕組みをうまく利用できるように考慮されています．人の視覚系は，本技術の画像操作で行うのと良く似た方

法で，左右の網膜像それぞれをさまざまな空間周波数帯に分解して解析を行い，目の前のシーンを知覚しています．奥行き知覚に関しては，左右網膜像間の各空間周波数帯について位相差を検出するようなメカニズムを備えており，この位相差情報を基に両眼立体視を行っていると考えられています．本技術の視差誘導パターンで位相をずらすことで生成された左右画像は，実際に視点を左右にずらしたときの左右画像と必ずしも一致しませんが，視覚系の視差検出メカニズムを直接刺激して奥行き知覚を誘引できるようになっています．本技術と似た発想でメガネをかけずに見たときのぼけをなくす方法としては，1枚の原画像にエッジ強調

（微分）成分を加算・減算することにより擬似的な視差を生成する技術（2）はこれまでにもありましたが，本技術では空間周波数ごとの精緻な位相調節を行うことで，物理的に正しい本当のステレオ画像とほとんど区別することができない，自然な奥行きを与えることができます．

従来手法との比較

3Dメガネをかけた視聴者とかけない視聴者が同時に映像を楽しめるような従来技術としては，イメージキャンセレーションによる方法（3），（4）と視差圧縮による方法（5）が提案されてきました．イメージキャンセレーション法では，左右画像のうち一方の画像をコン

図 4 　既存ステレオ画像の変換の流れ

入力画像（左）=中心視点画像

入力画像（右）

位相差計算

サブバンド画像 90度位相シフト成分

3Dメガネをかけずに見たときの画質

元のステレオ画像 変換後のステレオ画像

位相差に基づく重み付け

×A1 ×A2 ×A3視差誘導パターン

再構成

NTT技術ジャーナル　2017.924

人に迫るAI，人に寄り添うAI——corevo®を支えるコミュニケーション科学

トラスト反転した画像で打ち消すことで，メガネをかけない視聴者に他方の画像だけを見せることができます．しかし，画像を完全に打ち消すために，元画像のコントラストを大きく圧縮する必要があるほか，特殊な3Dメガネや提示装置を使うため，現在普及している3DTVなどと互換性がありません．一方，視差圧縮法は左右画像間の視差を可能な限り小さく圧縮することで，メガネをかけずに見たときの画像のボケを最小限に抑えます．この手法ではこれまでの3DTVと互換性はありますが，ボケを完全になくすことはできません．これに対し，私たちの技術では現在普及している3DTVがそのまま利用できるうえ，メガネなしで見る2D画像の劣化をほぼ完全になくすことができます．また，一方の画像全体を打ち消すのではなく，視差誘導パターンのみが打ち消せれば良いため，元画像のコントラストの圧縮は必須ではありません．

今後の展開

本技術を使うと，映画館などで大勢の人が同時に2Dと3Dの映像を楽しむことができます．既存の3Dコンテンツを本技術の方式に変換することも可能です．しかし，実用化に向けてうまく対処する必要のある問題も残されています．本技術は従来のステレオ画像に比べて，3Dメガネで見たときに再現できる奥行き量（視差）に制限があり，大きな奥行きを再現しようとする

と，正しく再現できないだけでなく，画質の低下（ぎらつき）が生じます．画像変換アルゴリズムのハードウェア化や，画像圧縮技術への応用なども今後の検討課題です．一方で，本技術は今までの3D表示とは少し違った使い方ができます．例えば，PC画面や操作モニタなどに利用すると，普段はメガネなしで2D映像として作業し，2Dだけでは見分けにくい部分を見るときに，ルーペを使う感覚で3Dメガネを使う，といった使い方が考えられます．このような使い方では，奥行きの限界はそれほど問題になりません．また，3Dプロジェクタで視差誘導パターンだけを投影すれば，メガネをかけないときには全く気付かれず，メガネをかけたときだけ奥行きがつくような提示ができます．美術館などで，オリジナルの2D作品と，奥行きをつけた改変版を同時に展示するようなことも可能です．

■参考文献（1） T.Fukiage,T.Kawabe, andS.Nishida：

“HidingofPhase-BasedStereoDisparityforGhost-FreeViewingWithoutGlasses，” ACMTransactions onGraphics，Vol.36，No.4，pp.147:1-17，LosAngeles，U.S.A.，July2017．

（2） ソニー株式会社：“画像処理装置，および画像処理方法，並びにプログラム，” 特許第5794335号，2014．

（3） W. Fujimura, Y. Koide, R. Songer, T.Hayakawa,A.Shirai,andK.Yanaka: “2x3D:RealTimeShader forSimultaneous2D/3DHybridTheater，” Proc.ofSIGGRAPHAsia2012EmergingTechnologies，Nov.，2012．

（4） S.Scher,J.Liu,R.Vaish,P.Gunawardane,andJ.Davis：“3D+2DTV:3DDisplayswithNoGhostingforViewersWithoutGlasses，”ACMTransactions onGraphics，Vol.32，No.3，pp.21:1-10，2013．

（5） P.Didyk，T.Ritschel，E.Eisemann，K.Myszkowski，andH.-P.Seidel: “ApparentStereo:TheCornsweetIllusionCanEnhance

PerceivedDepth，” Proc. ofSPIE，HumanVisionandElectronicImagingXVII，IS&T/SPIE’sSymposiumonElectronic Imaging，Vol.8291，pp.1-12，Burlingame，U.S.A.，2012．

（左から）西田眞也/ 河邉隆寛/ 吹上大樹

本技術は人間の視覚系の理解に基づいた発想により生まれました．今後も視覚科学の基礎研究に邁進しつつ，それを土台にした情報提示技術を提案していきたいと思います.

◆問い合わせ先NTTコミュニケーション科学基礎研究所 人間情報研究部　感覚表現研究グループTEL　046-240-4550FAX　046-240-4716E-mail　fukiage.taiki lab.ntt.co.jp