RGB-D カメラから得られる部分物体形状と影に基づ...

7
シンポジ (MIRU2012)2012 8 RGB-D カメラから られる 影に づく 大学大学院 2238522 3141 E-mail: †{ikeda,charmie,saito}@hvrl.ics.keio.ac.jp, ††[email protected] あらまし 感において, 多く われている.そ るこ 体を ある. する 体から じる影か する がある.しかし, けれ いう がある. RGB-D カメラを いて した 影に づいた 案する. 易に 体か えるため, 体を いる する きる.しかし いため,そ よう 体が する った. より, された を概 い位 するこ きた. キーワード 感, Lambert モデル,RGB-D カメラ 1. はじめに から して する拡 感(Augmented Reality,以 ARんに われている [1]AR において違 するに るこ ある. 一つ して げられる. しく し,そ 体に対して陰影 影を するこ れた AR するこ きる. する いくつか 案され ており,2 つに大 するこ きる.一つ する ある. レンズ きカメラを いるこ 影する [2], [3] れた される映 し, する [4], [5] げられる.しかし,これら レンズ いった デバイスが いうデメリットがある. う一つ から じる影を して する [6] げられる.しかし,こ 案した する いう っており, にある いる ある. そこ らが 案した する する. する デバイス して,RGB-D カメラが げられる.RGB-D カメラ したデプス からシーン き, ある. において, された RGB-D カメラを いて び影に づく 案する. ,まず 体を した から 体,影 域を する. 3 から, において にサンプリングした 体が しているか うか する. に影 から き,それを くこ する. しかし したカメラを いるため, している 3 い.そ しく めるこ きず, じる えられる.そこ 体を わせて いて う. よう 体に対して 易に きる いう があり, 体が す影を きる. おり ある.2. する について る.3. 影に づく する る. 4. 案する する.5. し, る.6. むすびを る. 2. 関連研究 した して, レンズ きカメラを いた いた 影に づいた について る. 2. 1 魚眼レンズ付きカメラを用いた手法 レンズ きカメラを いて 影した から している [2]レンズを いるこ 囲にわたり きる いうメリットがある.また, をステレオ 影するこ ,各

Transcript of RGB-D カメラから得られる部分物体形状と影に基づ...

Page 1: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

「画像の認識・理解シンポジウム (MIRU2012)」 2012 年 8 月

RGB-Dカメラから得られる部分物体形状と影に基づく光源推定池田 拓也† 小山田雄仁† 杉本 麻樹† 斎藤 英雄†

† 慶應義塾大学大学院理工学研究科 〒 223―8522 神奈川県横浜市港北区日吉 3―14―1E-mail: †{ikeda,charmie,saito}@hvrl.ics.keio.ac.jp, ††[email protected]

あらまし 拡張現実感において,実空間との整合性を取る研究は多く行われている.その中で光学的整合性を実現することで違和感のない仮想物体を重畳可能である.実空間の光源環境を取得する従来手法では,物体から生じる影から光源分布を推定する手法がある.しかし,予め物体の形状を測定しなければならないという制限がある.本研究では,RGB-Dカメラを用いて観測した物体の影に基づいた光源推定を提案する.提案手法では,容易に任意の物体から光源推定を行えるため,複数の物体を用いる事で誤推定を軽減する事ができる.しかし物体背後の形状を取得できないため,そのような領域は物体が存在すると仮定し推定を行った.本実験より,室内に配置された光源を概ね正しい位置に推定することができた.キーワード 拡張現実感,光源推定,Lambertモデル,RGB-Dカメラ

1. は じ め に

現実空間に情報環境からの情報を重畳して表示する拡張現実感(Augmented Reality,以下 AR)の研究は盛んに行われている [1].ARにおいて違和感なく仮想物体を重畳するには,現実空間との整合性を取ることが必要である.現実空間との整合性の一つとして光学的整合性が挙げられる.実空間の光源分布を推定もしくは観測し,その情報を元に仮想物体に対して陰影処理や影を重畳することで,光学的整合性のとれた現実と違和感のない ARを実現することができる.実空間の光源分布を取得する手法はいくつか提案され

ており,2つに大別することができる.一つ目の手法は周囲の光源分布そのものを直接的に取得する手法である.視野角の広い魚眼レンズ付きカメラを用いることで周囲の光源分布を撮影する手法 [2], [3]や,実空間上に配置された鏡面球に反射される映像を観測し,光源分布を取得する手法 [4], [5]が挙げられる.しかし,これらの手法では魚眼レンズや鏡面球といった特殊なデバイスが必要というデメリットがある.もう一つは間接的な手法で,物体と光源の遮蔽関係から生じる影を利用して光源分布を推定する手法 [6]が挙げられる.しかし,この手法を提案した佐藤らは,予め観測する物体の形状が既知という状態で推定を行っており,身近にある形状が不明な物体や複雑な形状の物体は推定に用いるのが困難である.そこで,本研究の目的を佐藤らが提案した従来手法の

制限を軽減する事とする.物体の形状を手軽に取得するデバイスとして,RGB-Dカメラが挙げられる.RGB-Dカメラで取得したデプス画像からシーンの幾何情報を取得でき,佐藤らの手法を適応可能である.本研究では室内環境において,固定された RGB-D カメラを用いて物体の形状及び影に基づく光源推定を提案する.提案手法

では,まず背景画像と物体を配置した画像との差分から物体,影領域を取得する.物体と影の 3 次元点群から,実空間において離散的にサンプリングした光源と影の点の間に物体が遮蔽しているかどうか算出する.最後に影の明度と,物体の遮蔽関係から光源輝度が未知数となる連立方程式を導き,それを解くことで光源輝度分布を推定する.しかし本手法では,固定したカメラを用いるため,観測している物体の背後の 3次元情報は取得できない.その結果,遮蔽関係を全て正しく求めることはできず,誤推定が生じると考えられる.そこで,本手法では様々な形状の物体を合わせて用いて推定を行う.我々の手法では,どのような物体に対しても容易に形状を取得できるという利点があり,様々な形状の物体が落とす影を用いる事で,誤推定の軽減が期待できる.本論文の構成は以下のとおりである.2.章で光源推定に関する関連研究について述べる.3.章で影に基づく光源推定及び仮想物体の影重畳に関する背景理論を述べる.4.章で提案する手法を説明する.5.章で実験結果及び評価を示し,考察を述べる.6.章でむすびを述べる.

2. 関 連 研 究

本章では実空間の光源推定に関連した研究として,魚眼レンズ付きカメラを用いた手法,鏡面球を用いた手法,物体の影に基づいた手法について述べる.

2. 1 魚眼レンズ付きカメラを用いた手法

佐藤らは魚眼レンズ付きカメラを用いて撮影した全方位画像から実空間の光源分布を取得している [2].魚眼レンズを用いることで光源分布を広範囲にわたり直接的に観測できるというメリットがある.また,全方位画像をステレオで撮影することで,各画像の特徴点の対応を

Page 2: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

取っている.特徴点の対応によって得られる 3次元点群を利用して 3次元メッシュを作成することで,直接光源から 3次元的に生じる間接光源の位置及び輝度を計算し,直接光源と間接光源を含む光源分布を求めている.

Knechtらも同様に魚眼レンズ付きカメラを用いて,光源分布を取得しリアルタイム (20-30fps)に光学的整合性を実現した ARシステムを提案している [3].得られた撮影画像から光源分布を取得し,インスタントラジオシティ法を用いて仮想物体の陰影や影の重畳を行っている.また,各フレームにおいて差分描画を行うことで,高速化に成功している.

2. 2 鏡面球を用いた手法

Debevecらは High Dynamic Range(以下 HDR)カメラを用いて鏡面球を観測することで実空間の光源分布を取得している [4].鏡面球は周囲の環境を反射するため,魚眼レンズ同様広範囲にわたり光源分布を取得することができる.また,HDRカメラにより得た鏡面球の画像からイメージベースモデリングを行っており,カメラでは写しきれない周囲の環境も含めて,現実との整合性のとれた仮想物体を生成している.

Derekらは鏡面球から観測される周囲の環境から球面調和関数を用いて光源分布を表現している [5].鏡面球に写り込んだ画像から直接光源,大域光源を球面調和関数で表現し,それらを組み合わせて用いている.仮想物体の重畳では,得られた光源分布から仮想物体の陰影処理を行い,仮想物体から生じるソフトシャドウとハードシャドウを組み合わせて影を重畳することで,違和感のない拡張現実感を実現している.

2. 3 物体の影に基づいた手法

佐藤らは,物体から生じる影を用いて実空間の光源分布を推定する手法を提案してる [6].実空間上に観測される影は,物体によって光源が遮蔽される事で生じると考えられる.画像中に観測される影の明度と,物体や影の幾何情報からどの方向の光源が遮蔽されているかを考慮することで光源輝度が未知数となる連立方程式を導きだし,それを解くことで光源分布を推定している.

3. 背 景 理 論

本章では,背景となる理論について述べる.本研究では,佐藤らが行った手法 [6]と同様の理論やモデルを用いる.まず,提案手法で用いる物体の影に基づく光源推定について述べる.特に,光源推定を行うために必要な幾何学的情報を用いる項について説明する.次に,本研究の実験で用いる推定された光源分布を用いた仮想物体による影の重畳について述べる.

3. 1 物体の影に基づく光源推定

室内の光源環境下では,蛍光灯などの直接光源のみで

図 1 半球上に分布する光源モデル

はなく壁や周辺の物体からの反射なども間接光源として存在している.全方向からの光源を考慮するため,図 1のような無限遠の半径を持つ半球上に光源が存在すると考える.物体による遮蔽関係を考慮した場合,実空間における平面上の点 xへの光源全体からの照度 E(x)は

E(x) =∫ 2π

0

∫ π2

0

V (x, θi, ϕi)L(θi, ϕi) cos θi sin θidθdϕ,

(1)となる.ここで,L(θi, ϕi)は (θi, ϕi)方向に存在する光源の輝度値,cos θi の項は光源の入斜角度による強度,sin θidθidϕi は点 E(x)からの微小立体角を表している.また,可視性関数 V (x, θi, ϕi)は,点 xから見た (θi, ϕi)方向の光源が物体によって遮蔽されている場合は V = 0,遮蔽されていない場合は V = 1とする.光源全体から点 xへ入射した光は輝度を持つ光として反射される.点xから (θr, ϕr)方向に位置する画像上の点uで観測される明度値 i(θr, ϕr)は,入射方向 (θi, ϕi)からの入射照度と反射方向 (θr, ϕr)への反射光輝度の比率を表す双方向性反射率分布関数 (Bidirectional ReflectanceDistribution Function: BRDF)を用いて

i(θr, ϕr) = k

∫ 2π

0

∫ π2

0

V (θi, ϕi)R(θi, ϕi, θr, ϕr)

L(θi, ϕi) cos θi sin θidθdϕ, (2)

と表せる.ここで,kは実空間中の反射光輝度と画像面点における明度の比を表す定数であり,カメラに固有のパラメータである.本研究では,光源輝度分布を係数 kを含むかたちで推定する.また,R(θi, ϕi, θr, ϕr)は BRDFを表す関数である.本研究では,影を落とす平面での光の反射は拡散反射のみであり,Lambertモデルに従うものと仮定する.そのため,BRDFは定数 Rd と置き換える事ができる

i(θr, ϕr) = k

∫ 2π

0

∫ π2

0

V (x, θi, ϕi)Rd

L(θi, ϕi) cos θi sin θidθdϕ. (3)

次に,光源推定のために,2重積分の項を離散的な積分で近似する.θi,ϕi の値を一定値ずつ増やすことで,半球面上に光源のサンプリング点を設ける.サンプリング点の数をN 個とすると,

Page 3: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

i(u) =N∑

n=1

Vn(x)RdLn cos θn

=N∑

n=1

SnLn,

(4)

ここで,i(u)は画像上の点uで観測される明度値,Vn(x)は n番目の光源に対する点 xの可視性関数,Rd は対象とする平面の反射特性,Ln は係数 kを含む n番目の光源の輝度値,θn は z 軸と n番目の光源へ向かうベクトルが成す角,Sn = Vn(x)Rd cos θnは光源輝度 Ln以外の未知数を表す係数とする.変数 Snが何らかの方法によって既知である時,未知の

光源数より多くの画素を観測すれば,すなわち N <= M

を満たせば,以下の連立方程式を Ln に関して解くことにより,光源の推定を行えることになる.

i = SL

i(u1)

...i(uM )

=

S11 · · · S1N

... Smn

...SM1 · · · SMN

L1

...LN

(5)

式 (5)で表される連立方程式を解く事で光源輝度分布を求める.本研究では,光源輝度は非負の値を持つという制約があるため,非負の最小二乗法 [7], [8]を用いて式 (5)を解き,光源輝度を算出する.しかし,連立方程式を解くためには,光源輝度 Ln 以外の未知数,Vn(x),cos θn,Rd を求める必要がある.平面の反射特性 Rd については,物体を配置していな

い背景画像と物体を配置した画像から,Rd をキャンセルする.物体を配置していない場合は Vn(x)の項を考慮する必要がないので,画像上の点 uで観測される明度値i′(u)は以下のようになり

i′(u) =N∑

n=1

RdLn cos θn, (6)

式 (4)と比を取ることで,Rdをキャンセルした以下の式を得る

i(u)i′(u)

=N∑

n=1

Ln∑Nj=1 Lj cos θj

Vn(x) cos θn. (7)

Rd が未知である場合,式 (7) より Ln の代わりにLn∑N

j=1 Lj cos θjという比を求める事で光源分布を推定す

ることができる.このように物体を配置していない背景の画像を用いることで,Rd をキャンセルすることができ,光源推定が可能となる.次に,Vn(x),cos θn の項を算出する.従来手法では,

遮蔽物体や影の 3次元情報が既知であるため,それらの項を算出可能であったのに対し,本研究では未知の状態

から問題が始まるため,何らかの手法を用いて計算する必要がある.4.章で述べる提案手法では,RGB-Dカメラから得られた情報からどのように Vn(x),cos θn の項を算出したか述べる.

3. 2 仮想物体による影の重畳

本節では,推定して得られた光源分布を用いた仮想物体の影重畳について述べる.物体を配置していない背景画像を入力画像とすると,実空間上に仮想物体を配置した際,影が生じる平面において変化を加える必要がある.仮想物体の影の明度は,入力画像の明度に対して仮想物体により遮蔽される光源によって決まる.入力画像では光源を遮蔽する物体が存在しないので,実空間における平面上の点 xの照度 Ein(x)は推定された光源輝度 Lを用いて以下のように表される

Ein(x) =N∑

n=1

Ln cos θn. (8)

次に,仮想物体が存在する場合の,光源分布からの照度を求める.仮想物体を配置した場合,式 (1)と同様に仮想物体によって光源が遮蔽されるかどうか考慮する.仮想物体が存在する場合の実空間における平面上の点 xの照度 Eout(x)は,以下のように表される

Eout(x) =N∑

n=1

Vn(x)Ln cos θn. (9)

ここで,Vn(x)は点 xから見た n番目の光源に対する可視性関数である.実空間点 xが入力画像内での点 uで観測されるとき,その明度 iin(u)は,光源分布全体からの照度が Ein(x)の時に観測される.一方,仮想物体を重畳した合成画像において点 uで観測される明度 iout(u)は,光源分布全体からの照度が Eout(x)の時に観測される.従って,Ein(x)とEout(x)の比を取ることで,仮想物体を重畳したときの影の明度 iout(u)を求める事ができる

iout(u) = iin(u)Eout(x)Ein(x)

. (10)

4. 提 案 手 法

提案手法では,室内環境において固定された RGB-Dカメラを用いて物体や影の 3次元情報を取得し,光源推定のために必要な Vn(x),cos θn の項を算出する.

Vn(x),cos θn の項を算出するために必要なのは,画像中に写りこんでいる物体と物体から生じる影の 3次元情報である.そのため,まず物体を置いていない状態で,背景の RGB画像及びデプス画像を取得する.次に,物体を配置した RGB画像及びデプス画像との差分を行い,物体領域と影領域をそれぞれ取得する.その後,光源のサンプリング点,物体の 3次元形状,影の 3次元点から

Page 4: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

図 2 物体,影領域取得の流れ

Vn(x),cos θn を算出することで L以外の未知数を求める.最後に連立方程式を解くことで,光源輝度値Lを求める.

4. 1 物体,影領域取得

提案手法では,まず物体及び影の 3次元情報を取得する.そのために,カメラから得られる RGB画像及びデプス画像から物体,影領域を取得する.各領域の取得には,4枚の画像 (cobj, cbg, dobj, dbg)を用い,物体の有無によって画像上に生じる変化を利用して各領域を検出する.図 2に物体,影領域取得の概要を示す.c, dはそれぞれ RGB画像,デプス画像を表し,下付き添え字 obj, bgはそれぞれ物体が写りこんだ画像と背景の画像である.なおデプス画像は,各画素に対するデプス値をグレースケールで示した画像で,距離が近いほど明度は明るく,遠いほど暗く表現している.各画像の差分画像は下付き添え字 diffによって以下の

ように定義する.

cdiff =

cobj if |cobj − cbg| > τc

0 otherwise(11)

ddiff =

dobj if |dobj − dbg| > τd

0 otherwise(12)

ここで,τ は各領域検出のための閾値を表す.物体領域はデプス画像のみを用いて検出する.物体の

有無によりデプス画像上に生じる違いは,物体の領域のみに限られる.よって,差分画像 ddiffの違いが顕著な領域を物体領域として検出する

aobj = ddiff. (13)

物体によって生じる影は RGB画像に観測されるため,RGB画像から影領域の取得を行う.しかし,物体の有無により RGB画像上に生じる違いには,影領域に加えて物体領域も含まれてしまう.そこで,RGB画像の差分画像 cdiff とデプス画像の差分画像 ddiff との排他的論理和を取る事で影領域の検出を行う

図 3 交差判定時の 3つのパターン

ashadow = cdiff

⊕ddiff. (14)

aobj,ashadowはそれぞれ物体,影の領域を表しており,各領域の画像面点はデプス画像 dobjよりデプス値を持っている.次の節では,それらを用いた Vn(x),cos θn 項の算出について述べる.

4. 2 Vn(x),cos θn項算出

ここでは取得した物体,影の 3次元点を用いた Vn(x),cos θn 項の算出について述べる.

Vn(x)項は物体及び,影の 3次元点を用いて算出する.まず影の点群から物体による影が生じる平面を推定する.推定された平面上の点 xから n番目のサンプリング光源へ向かうベクトルに対して物体が交差しているか判定する.この時,図 3に示すような 3つのパターンが検出される.1つ目は物体と交差する場合で,この時Vn(x) = 0となる.2つ目は物体と交差しない場合で,この時 Vn(x) = 1となる.3つ目は物体の背後を通過する場合である.本手法の場合,固定カメラなため物体背後の形状を取得することはできない.そのため,3つ目の物体背後を通過する場合,正確な Vn(x)の値を算出できない.このような場合,影の点を方程式から省くことが考えられるが,光源推定には物体周囲の情報を方程式に含める必要があるため,3つ目のような影の点も用いる.ここで,Vn(x) = 1だとすると,物体の背後は崖のように切り取った形状を意味する.しかし,このような想定はあまり現実的ではないため,3つ目の場合は Vn(x) = 1

Page 5: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

とする.Vn(x) = 1とすることで,物体により隠れて観測できない領域は物体が存在すると仮定される.

cos θn 項については,3次元点 xと n番目のサンプリング光源との角度 θn から算出する.

5. 実 験

本章では,提案手法を用いて行った光源推定実験について述べる.本実験では,形状が異なるいくつかの物体を用いて光源推定を行った.さらに,推定精度を評価するために,実物体と同様の形状をした仮想物体を配置し,推定された光源分布を用いて仮想物体の影を重畳した.

5. 1 データセット及び実験環境

実験には図 4に示す,様々な形状をした 8個の物体を用いた.各物体から生じる影及びシーンの幾何情報から提案手法を用いて光源推定を行った.また,各物体の結果だけでなく,複数の物体を用いて光源推定を行った.各物体の影の点から導いた式 (4)を式 (5)に含める事で,複数の物体を用いる事になる,本実験では,図 4のBoxを除く 7個の物体を用いて方程式を結合した.さらに比較のために,佐藤らの従来手法 [6]をBoxに適応し,光源推定を行った.従来手法の場合,Boxの形状を予め計測しておき,光源推定に必要な Vn(x),cos θn 項を算出する.事前に形状を取得する必要があるので,単純な形状をしたBoxを採用した.提案手法との違いとしては,従来手法では物体の全周の形状が分かっているのに対して,本手法では固定された RGB-Dカメラで観測できる範囲の物体の形状を取得できる,という点である.実験を行った室内の環境を図 5の 2段目右端に示す.

この図は魚眼レンズ付きカメラで撮影した室内の環境である.図中に示した青丸は室内に配置された蛍光灯の位置を示しており,赤丸はカメラの位置を示している.なお,本実験では RGB-DカメラとしてMicrosoft社のKinectを用いた.推定する光源サンプリング点については 0 <= θ <= 70

の間を 5度刻みずつ,0 <= ϕ < 360の間を 10度刻みずつサンプリングし,合計 505個の光源の輝度値を求めた.θについては,平面に近い高さに光源が分布していることは少ないため 70度までとした.

5. 2 光源推定結果

図 5に実験の結果を示す.一番上の段から光源推定に使用した物体,推定された光源分布,仮想物体の影重畳画像,エラーマップを表示している.各物体の画像及び光源環境を撮影した画像から,実験のシーンでは 2つの明るい光源が存在している事が分かる.なお図 5では,考察のために 3種類の各物体 (Box, Duck2,Hemisphere)を用いた結果及び,前述の 7種類の物体を用いた結果 (Combined),従来手法を Boxに適応した結果 (佐藤ら)を表示している.

図 5の 2段目の光源推定結果は,撮影された室内の環境と比較して見る事ができる.各結果はそれぞれ,共通の位置と異なる位置に光源が推定されていることが分かる.共通の位置として RGB-Dカメラ周辺に顕著に明るく推定されている.撮影された光源環境にはカメラ周辺に光源は無く,誤推定だと言える.これは,観測する物体によって見えない影の点がある事が原因だと考えられる.本来そのような点とカメラ方向に存在する光源とのVn(x)項を算出すると,Vn(x) = 0となるはずである.しかし,物体によってそれらの点が観測出来ないため,カメラ周辺の光源情報を連立方程式に含めらず,誤推定されてしまっている.また,物体の形状や物体によって生じる影も各々異なるため,各推定結果は異なっている.これは物体の形状の複雑さや,提案手法の制限となっている物体の背後の形状を取得できない事が起因していると考えられる.次の節では,光源推定結果を定量的に比較することで,物体の形状による推定精度について述べる.

5. 3 仮想物体の影重畳による定量的評価

提案手法では,光源分布の Ground truthを推定された光源分布と幾何学的に対応付けて取得するのは難しいため,推定された光源分布を用いて仮想物体に影を重畳することで,定量的に評価を行った.重畳結果を図 5の3段目に表示する.仮想物体は単純な形状をしたBoxと同様の形状とし,実物体と同様の位置に配置した.評価値として,影を重畳した画像において,Ground truthとの明度値の差分を計算した.図 5中の表は上から平均誤差,標準偏差,最大誤差の値を示している.本手法では,物体全周の形状が分かっている従来手法より精度が勝る事は難しいと考えられる.そこで,佐藤らの結果画像を Ground truthとする.影重畳結果においてReal sceneと比較すると,佐藤らは 2つの大きな影が重畳されており,精度良く光源推定ができている.一方,提案手法ではReal sceneより影が薄く,また 2つの影がはっきり重畳できていないように見られる.各光源推定結果は,推定に使用した物体画像において,どの位はっきり影が現れているかに依存する.Boxについては 2つ影がはっきり確認できる.その結果,提案手法と従来手法は実際の光源とほぼ同様の位置に推定されている.従来手法と提案手法の違いは不完全な形状情報であるため,Boxでの推定誤差は物体形状が一部しか観測できないことが起因している.またDuck2は,同様に 2つの影が現れているが,評価結果からBoxより精度が低い事が分かる.これは,Duck2はBoxに比べ,複雑な形状をしていることが起因していると考えられる.RGB-Dカメラから得られるデプス値は各画像面点で保持されているため,離散的に取得している事になる.観測できる範囲であっても物体の形状を正確に取得できることは難しいと思われる.そのため,推定時に

Page 6: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

図 4 光源推定に用いた物体.

算出する Vn(x)項が誤った値となり推定精度へ影響している.HemisphereについてはBoxと同様に単純な形状であるのに対して,推定結果は最も低い.前述の 2つのケースと比べると,物体画像において中央から左下方向にのみ影があり,また影の領域も小さい.このようなケースでは,影における情報が不足してしまい,正しく光源推定できなかったと考えられる.Combined はDuck2 と,ほとんど同じ精度となっており,Boxより低い.Duck2 と比較すると最大値差は小さく,平均誤差がわずかに減っている.複数の物体を用いた場合,各物体によって影の領域や形状が異なるため,連立方程式に多くの情報を含める事ができる.一方で,Duck2 のように取得した物体形状によるノイズ(ここでは,方程式に含まれる誤った Vn(x)項を指す)を含んでしまう.本実験から複数の物体を用いる事でそのようなノイズを軽減することができたと言える.

5. 4 考 察

本実験において,提案手法の特徴を示した.従来手法と比較すると本手法は一部の物体形状しか取得できないため,精度は低くなり従来手法に勝ることは難しい.また,物体の形状に関しても,Boxのような単純な形状の方が,Duck2のような複雑な形状をした物体より精度よく推定できる.これらの要因として 2つ考えられる.1つは物体形状の取得した範囲である.Boxに比べDuck2の方が物体の形状を取得した範囲は小さく,Vn(x)項を算出する際に図 3(c)のケースをより多く多く含んでしまうと考えられる.2つ目は物体の形状の複雑さである.前節で述べたように,本実験で用いたカメラでは複雑な形状を正確に取得することは困難なため,図 3(a)や (b)のようなケースであっても誤った項を算出する場合がある.このようなケースは取得した物体形状の輪郭部分で生じると考えられる.また,HemisphereとBoxの比

較から,単純な形状であっても画像中に映り込んだ影の領域が小さいと,方程式に含める情報が不足してしまい,十分な推定結果を得られない.本手法の貢献は,Combinedの結果が,結合に用いた各物体 (Duck2や Hemisphereなど)より精度が向上している点である.複数用いる事で,Hemisphereのように不足した情報を補うことができ,各物体が含むノイズを軽減することができる.

6. 結 論

本研究では,固定された RGB-Dカメラを用いて得たシーンの幾何情報から光源分布を推定する手法を提案した.提案手法では RGB-Dカメラから得られた物体の部分的な形状から Vn(x)項を算出し,光源推定を行った.実験より,影の点から光源へ向かうベクトルが物体の背後を通っている場合は,Vn(x)としたため,正確な値ではない.そのため物体個々の推定結果は誤推定を含んでいる.しかし,様々な形状の物体から生じる影を合わせて用いることで,そのような誤推定を軽減することができた.提案手法では,物体によるオクルージョンによりカメラ方向に光源が誤推定されてしまう. 従来の研究では,影に基づく光源推定の際に,球面調和関数を用いることで光源分布を近似している [9].球面調和関数を用いることで,各基底の線形和で光源分布を表現することができ,オクルージョンによる問題があっても安定して光源推定が行える.今後の研究方針として,光源分布の表現方法に球面調和関数を用いる事を視野に入れたい.

文 献

[1] R. Azuma, “A survey of augmented reality,” Pres-ence: Teleoperators and Virtual Environments, 6(1997).

[2] 池内克史,佐藤洋一,西野恒,佐藤いまり,“複合現実感における光学的整合性の実現,” VRSJ, 4, 4, pp.623-630

Page 7: RGB-D カメラから得られる部分物体形状と影に基づ …hvrl.ics.keio.ac.jp/paper/pdf/domestic_Conference/2012/...「画像の認識・理解シンポジウム(MIRU2012)」2012

図 5 実験結果及び定量的評価

(1999).[3] M. knecht, et al., “Differential instant radiosity for

mixed reality,” in Proc. ISMAR (2010).[4] P. Debevec, “Rendering synthetic objects into real

scenes: Bridging traditional and aimagebased graph-ics with global illumination and high dynamic rangephotography,” in Proc. ACM SIGGRAPH, pp.189-198 (1998).

[5] N. derek et al.,“Light Factorization for Mixed-Frequency Shadows in Augmented Reality,” in Proc.ISMAR,(2011).

[6] 佐藤いまり,佐藤洋一,池内克史,“物体の陰影に基づく光源環境の推定,” 情報処理学会論文誌,41,SIG10(CVIM1),pp.31-40(2000).

[7] Gillm R.E, W. Murray M.H. Wright, “Practical Op-timization”, Academic Press, London, UK(1981).

[8] Coleman, R.F, Y. Li, “A Reflective Newton Methodfor Minimizing a Quadratic Function Subject toBounds on Some of the Variables”, SIAM Journal onOptimization, 6, 4, pp.1040-1058(1996).

[9] 岡部孝弘,佐藤いまり,佐藤洋一,池内克史,“キャストシャドウを用いた光源推定法:球面調和関数展開に基づく解析,” 情報処理学会論文誌.CVIM,133,34,pp.201-208(2002).