論 文

拡張現実感による仮想物体操作過程を利用した適応的レジストレー

ション

角所 考 萩原 史郎 美濃 導彦

あらまし 本稿では，拡張現実感を用いて現実空間に重畳表示された仮想物体を，自分の手などの現実物体を介して直接操作するための幾何学的レジストレーションについて議論する．このような仮想物体操作では，立体ディスプレイによるユーザの立体知覚や，現実空間での位置計測等の過程において，それぞれ誤差が生じる．これらの誤差に対する対処として，従来から，事前処理による誤差補正の手法が提案されてきた．しかし，誤差補正の目的を仮想物体操作の実現に置く場合，許容される誤差の大きさは，物体操作の内容によって異なる．上のような事前処理によって誤差を予め特定の大きさまで補正しておいたとしても，その後の物体操作の内容によっては，その大きさでは許容できない場合が生じ得る．一方，任意の利用目的に耐えられるだけの完璧な誤差補正を実現しようとすれば，専門の設備やスキルが必要となり，それを実行するユーザの負担が大きくなる．本研究では，ユーザによる仮想物体操作の過程を利用して対話的に誤差補正を実行することにより，その物体操作において許容される誤差の大きさの設定と，それを達成する誤差補正の双方を，適応的に実現する手法を提案する．

キーワード 拡張現実感，物体操作，レジストレーション，対話処理，適応処理

ま え が き

バーチャルリアリティ の分野では，

従来から，ステレオ画像が時分割表示されたディスプ

レイを液晶シャッタや偏光フィルタ付きの眼鏡を装着

して眺めたり，ヘッドマウントディスプレイ

を装着する等，様々な方式に基づく立体ディスプレイ

によって，ユーザに仮想物体を提示することが試み

られてきた．近年，このような立体ディスプレイをさ

らに改造し，ステレオ画像が表示されたディスプレイ

をハーフミラーに映したり ， としてシース

ルー型のものを用いたりすることによって，仮想物体

を現実空間に重畳表示する，拡張現実感

と呼ばれる表示方法が利用されるように

京都大学 学術情報メディアセンター，京都市

京都大学大学院 情報学研究科，京都市

現在，ソニー株式会社

なってきた．拡張現実感を仮想物体の操作に導入すれ

ば，現実空間中で，仮想物体と現実物体とを区別する

ことなく，自分の手などの同じ現実物体を介して直接

操作できるため，仮想空間と現実空間がシームレスに

つながった実世界指向インタフェース が実現する．

このため，手術や工業製品の保守，ゲーム等，様々な

分野において，このような拡張現実感を用いた仮想物

体操作の導入が試みられている ．

拡張現実感では，仮想物体の， 位置や形状・大

きさ等の幾何学的属性， 色や輝度等の光学的属性，

と の時間変化に関する時間的属性，のそれ

ぞれを，現実空間と整合したものにするレジストレー

ションが必要となる ．この中で最も基本的なもの

が，幾何学的属性に関する整合性を実現するためのレ

ジストレーション（以下“幾何学的レジストレーショ

ン”と呼ぶ）であり，本稿では，上述のような拡張現

実感による仮想物体操作の実現を目的とした，幾何学

的レジストレーションの問題について議論する．以下

では，まず において，拡張現実感を用いた仮想物体

操作のための幾何学的レジストレーションの問題を定

電子情報通信学会論文誌 年 月

電子情報通信学会論文誌

式化し，そこに含まれる誤差について述べる．続く

では，この誤差への対処として，これまで提案されて

いるアプローチや，その問題点について議論する．こ

の議論を踏まえて， では，新たなアプローチとして，

幾何学的レジストレーションに含まれる誤差を，ユー

ザによる仮想物体操作の過程を利用して対話的に補正

する手法を提案する．さらに では，仮想物体の把持

と移動を具体例に，この手法の持つ特徴を，被験者に

よる実験によって検証する．最後に で，本研究の今

後の課題について議論する．

仮想物体操作の過程

現実空間と仮想空間の重畳提示

で述べたように，本稿では，拡張現実感を用いた

物体操作として，仮想物体を現実空間に重畳表示し，

仮想物体と現実物体とを区別することなく，自分の手

などの現実物体（以後 実ポインタ と呼ぶ）を介し

て直接操作する場合を考える．ただし，このうち，現

実物体を実ポインタで直接操作する過程は通常の現実

空間での物体操作と同じなので，仮想物体を実ポイン

タによって直接操作する過程に議論の焦点を当てる．

仮想物体操作には，物体の生成，把持，移動，回転，

変形，切削など，様々な種類のものが考えられる．し

かし，上のような操作の具体的な内容を特定する上で

必要な情報は，詰まるところ，操作対象物体の全部も

しくは一部の３次元位置，姿勢，形状であり，これら

は単一もしくは複数の点の３次元位置によって表現で

きる．例えば，パソコン上の２次元ドローイングツー

ル等では，描画，移動，回転，変形といった様々な２

次元図形の操作が，マウスで２次元位置を１つずつ入

力していくことによって実行可能となっており，同様

なユーザインタフェースを利用すれば，物体の回転の

ように，操作内容の指定のためには回転軸の位置・向

きおよび回転角といった多次元の情報が必要な操作で

あっても，回転中心，および別の１点の回転前後の位

置，の３つを，指示棒のような実ポインタで１つずつ

順番に入力するといった形で実行することできる．一

方，同じ操作をデータグローブを使って実現する場合

には，例えば，仮想物体を親指と人差指で把持して回

転させる，といったユーザインタフェースが考えられ

るが，この場合でも，ユーザは，２指の指先が，仮想

物体上の特定の２点の回転前後の位置を正しく示して

いるかを目視によって確認しながら，自分の手の形状

や位置，向きを制御することになるため，２指の指先

によって，３次元位置が２つずつ同時に入力されてい

るとみなすことができる．

すなわち，上に挙げたような種類の操作は，いずれ

も点の３次元位置が指示できれば，その系列あるいは

集合によって操作の具体的な内容を指定可能であり，

実ポインタは，このような情報を，様々なメタファを

用いて入力するものであると考えられる．どのような

操作の具体的内容を指定するために，どのような点の

３次元位置が何個ずつ同時に入力されるかは，実ポ

インタの種類やユーザインタフェースの設計の仕方に

よって様々に異なる．

そこで本研究では，仮想物体操作において，ユーザ

が物体操作の具体的内容を指定するために入力する情

報を，点の３次元位置を単位として考え，そのような

点を 操作点 と呼ぶ．このとき，同時に入力される

操作点の個数としては，最も少ない１個の場合を考え

る．すなわち，本稿で考える仮想物体操作とは，ユー

ザが，立体ディスプレイを用いた現実空間と仮想物体

の重畳表示に基づいて，操作点の系列を１点ずつ順番

に入力していくことにより，仮想物体に様々な操作を

施す状況を指す．このとき，ユーザが自分の意図した

仮想物体操作を正しく実現する問題は，ユーザが実ポ

インタによって各々の操作点の位置を正しく指示する

問題に帰着される．ここで，ユーザがある操作点の位

置を入力する過程は，以下のように定式化できる（図

）．

図 仮想物体操作の実現過程

現実空間を ，仮想空間を で表す． と の各

論文／拡張現実感による仮想物体操作過程を利用した適応的レジストレーション

点は，それぞれ３次元直交座標系によって表現する．

と の対応関係は，システム内部では， 中の点

と 中の点 が対応するように定められている

ものとする．この対応関係に基づく から への写

像を で表し， と の関係を次式で表現する．

この写像 は通常，原点の並進，座標軸の回転，およ

び拡大・縮小を組み合わせた変換となる．

現実空間 と仮想空間 は，上の対応関係に基づ

いて重畳され，立体ディスプレイを通じてユーザに提

示される．ユーザはそこから２つの空間が重畳された

状況を立体知覚する．このときユーザが立体ディスプ

レイから知覚する現実空間 ，仮想空間 の各点の

３次元位置を， や と同様の３次元直交座標系を

用いて表現するために，そのような座標系からなる空

間 を導入し，これを 知覚空間 と呼ぶ．いま，

中の実ポインタの位置を ， 中の操作点の位置を

で表し，これらが立体ディスプレイによってユー

ザに提示された結果， 中のそれぞれ ， に相

当する３次元位置に知覚されたものとすると，これら

の過程は， から への写像 ，および から

への写像 を用いて次式で表すことができる．

上の写像 ， は，それぞれ，ユーザが立体ディス

プレイを通じて現実空間 と仮想空間 を知覚する

過程であることから，これらの写像は同相写像であり，

これらの写像によって， ， と の間で，各点間の

距離が異なることはあっても，各点の位相的な位置関

係は変化しないものと仮定する．さらに，ユーザの知

覚は時間によって変動せず，したがって写像 ，

は時間的に不変であると仮定する．

上の知覚空間 は，幾何学的レジストレーション

の定式化のために，ユーザが立体ディスプレイから奥

行きを知覚する過程や，それによって知覚される点の

３次元位置を上のように数式表現するための便宜上，

導入した空間であり，ユーザの脳内表現として３次元

直交座標系が存在することを想定しているわけではな

い．立体ディスプレイからユーザが知覚する３次元位

置を を用いて表現することにより，仮想物体操作

のための幾何学的レジストレーションの問題は，次節

で述べるように， における操作点と実ポインタ位

置の位置関係の問題として定式化できる．

幾何学的レジストレーション

ユーザが仮想物体操作のためにある操作点の位置を

実ポインタを用いて入力しようとする場合，ユーザは，

知覚空間 中における操作点位置 と実ポインタ

位置 の位置関係に基づいて，自分の操作している

実ポインタが操作点と同じ位置にあるかどうかを評価

し，実ポインタをその位置に移動させることになる．

このためには，２つの点が同じ位置であるとみなせる

かどうかの判断基準が必要となる．この基準として，

ユーザが， 中で と同じ位置として許容する位

置ずれの範囲を で表すと，ユーザは，次式を

満たすように実ポインタの位置を定めることになる．

ここで， は， を中心とした球となると考

えられ，その半径を で表す．

上の結果定まった実ポインタの 中での位置

は，位置センサ等で計測される．このときの計測位置

を で表すと，この計測過程は現実空間 から

への写像 によって次式のように表すことができる．

この写像 は，現実空間 での位置計測過程であ

るから，この写像も，既に述べた現実空間と仮想空間

の知覚過程を表現する写像 ， と同様に，同相

写像であり，かつ時間的に不変であると仮定する．

仮想空間 での実ポインタの位置は，上のような現

実空間 中での実ポインタの計測位置 が，式

によって 中の位置に対応付けられた結果， と

なる．ユーザによる操作点位置の指示が，仮想物体の

移動等，仮想空間の状況を変化させるような物体操作

を表現するものである場合には，それによって に

仮想物体上の特定の点が配置されるといった状況変化

が生じ，ユーザはその結果を立体ディスプレイによっ

て確認することになる．このとき，ユーザが知覚する

の３次元位置が知覚空間 において である

とすると，式 ～ から，これは次式のように表現

される．ただし， は，写像 ， の合成写像を

表し， は写像 の逆写像を表す．

電子情報通信学会論文誌

システムからユーザへのこのような視覚的なフィー

ドバックが，ユーザにとって，自分が実ポインタで指

示した操作点位置に基づく物体操作の結果として許容

できるものとなるには，点 が，知覚空間 中で

操作点 と同じ位置になければならない．このため

の条件は，式 と同様に， 中での位置ずれの許容

範囲 を用いて，次式で表現できる．

以上のことから，拡張現実感による仮想物体操作の

ための幾何学的レジストレーションでは，操作点の位

置を正しく指示できるために，式 を成立させるこ

とが重要となる．この式が成立するかどうかは，式

から，現実空間 と仮想空間 の知覚過程を表現す

る写像 ， ， 中での実ポインタの位置の計測過

程を表現する写像 ，および，知覚空間 中で許さ

れる位置ずれの範囲の大きさ に左右される．もし，

と が同一写像で，かつ が恒等写像なら

ば，式 で となり，たとえ （完

全一致以外は許されない場合）であったとしても，式

より，式 は成立するが，次節で述べるように，

そのような理想的状況の実現は難しい．

なお，上の定式化で，ユーザの視点位置の変化を許

す場合には，さらに現実空間 中でのユーザの視点

位置の計測過程も表現する必要がある．この場合，

中でのユーザの視点位置に合わせて立体ディスプレイ

で提示する や の内容を変化させることになるが，

このようなより複雑な問題設定については本稿では議

論せず，視点の移動を伴わない場合のみを考える．

誤差の要因

拡張現実感による現実空間と仮想空間の重畳表示に

おいて，仮想空間 は， の中に，ユーザの両眼に

相当する仮想的なステレオカメラを設置し，それによ

る のステレオ画像を生成することによって提示され

る．一方，現実空間 の提示方法は，透過型ディスプ

レイを備えた やハーフミラー等によって を

直接ユーザに透視させる光学シースルー方式と， を

ステレオカメラで撮影したステレオ画像を利用するビ

デオシースルー方式の２種類に大別できる．

光学シースルー方式の立体ディスプレイでは，ユー

ザの眼と仮想ステレオカメラの配置の違いや，仮想空

間 のステレオ画像を提示する際に生じる眼球の輻

輳と焦点調節の矛盾（輻輳調節矛盾）等が原因となっ

て，仮想空間の知覚過程が現実空間の知覚過程とは異

なったものとなる場合も多く，その場合，２つの過程

の間には誤差が生じる．また，ビデオシースルー方式

の立体ディスプレイにおいても，現実空間 のステレ

オ画像を獲得するためのステレオカメラと，仮想空間

のステレオ画像を生成するための仮想ステレオカメ

ラのカメラ配置や結像過程が完全に一致していなけれ

ば，ユーザが現実空間，仮想空間それぞれを知覚する

過程は互いに異なるものとなり，やはりこれらの過程

の間に誤差を生じる．これらのような場合，前節の定

式化において，現実空間 から知覚空間 に至る２

つの写像 と は同一写像にはならない．

現実空間中の実ポインタ位置の計測過程 として

は，機械リンク方式，磁気方式，超音波方式といった

様々な計測方式による位置センサを用いる方法や，実

ポインタをカメラで観測して位置を求める方法などが

ある．これらは，利用条件やコストに応じて適当なも

のを自由に選択できることが望ましいが，その多くは

誤差を伴い， は恒等写像とはならない．

以上のような誤差のために， の時には式

が成立しない場合，逆にこの式が成立するような の

最小値を考えると，この値は ， で述べた仮想

物体操作過程全体を通した誤差の総量（以下 総量誤

差 と呼ぶ）に対応し，その大きさによって，ユーザ

がどこまで精密に操作点位置を指示できるかの精度が

決まる．したがって，仮想物体操作の実現を目的とし

た場合の幾何学的レジストレーションでは，この総量

誤差の大きさがどの程度であるかが問題となる．

従来アプローチ

事前処理による誤差補正

で述べた個々の誤差への対処として，従来研究

では，正確な位置が既知の基準点を設ける等の方法に

よって，それぞれの誤差を個別に補正するというアプ

ローチが採られてきた．例えば，光学シースルー方式

の立体ディスプレイで生じる現実空間と仮想空間の知

覚過程の間の誤差に対しては，立体ディスプレイに設

置された基準点に仮想空間 中の仮想ポインタの位置

を合わせたり， 中に設けられた基準点が現実空間

中のどこに知覚されるかを計測した結果に基づいて，

の表示パラメータを修正することなどが試みられて

いる ．また， の投影像の表示距離等を輻輳

角に応じて変化させ，立体ディスプレイの輻輳調節矛

論文／拡張現実感による仮想物体操作過程を利用した適応的レジストレーション

盾を解消するという試みも報告されている ．

一方，ビデオシースルー方式の立体ディスプレイに

おいて，現実空間と仮想空間の知覚過程の間の誤差を

解消するには，現実空間 の撮影に用いるステレオカ

メラの精密なキャリブレーションが必要となる．これ

については，コンピュータビジョンの分野において，

中の基準点のカメラ画像中での位置に基づいて，カメ

ラパラメータやカメラ配置を推定する様々なアルゴリ

ズムが，古くから現在に至るまで議論されている ．

の誤差への対処としては，やはり正確な位置が既

知な現実空間 中の基準点を位置センサで計測し，そ

の計測データを補正する方法が考えられる．

上のように各々の誤差を個別に補正した場合，総量

誤差がどの程度の大きさとなるかは，それぞれの誤差

補正によって補正しきれずに残った誤差の合計によっ

て決まる．一方，仮想物体操作において，どの程度の

大きさまでの総量誤差が許容されるかは，ユーザが実

行しようとする操作の内容によって様々に異なるため，

上のような誤差補正において，許容できる誤差の目標

値を予め一律に決めておくことは難しい．逆に，任意

の利用目的に耐えられる程，誤差を小さく抑えようと

すれば，個々の誤差補正処理の技術的難易度が高くな

る．特に仮想空間 の知覚過程 や現実空間 で

の実ポインタの計測過程 は，ユーザ個人や利用環

境にも依存することから，これらが影響する誤差は，

ユーザや利用環境が変わるたびにユーザ自身が補正

する必要があり，許容できる誤差が小さくなるにした

がって，専門の設備やスキルが要求されるなど，ユー

ザの負担が大きくなる．

物体操作過程を利用した操作支援

仮想物体操作のためのユーザ支援に関する従来研究

では， 物体は互いに他の物体の内部に入り込まない

といった仮想物体間の位置関係に関する物理的制約を，

物体操作における合意事項としてシステム－ユーザ間

で共有し，ユーザの操作に関わらず，対象物体がこの

制約を満たすようにその位置を制限することにより，

仮想物体操作を支援することが試みられている ．

上のアプローチは，力覚の欠如等によって生じる

ユーザの不正確な操作への対処を目指して提案された

ものであるが，同様のアプローチを，本稿で議論して

いるような仮想物体操作における誤差への対処に利用

することも可能であると考えられる．すなわち，上の

ような制約をシステム－ユーザ間で共有できる場合，

ユーザの物体操作はこの制約を満たすように行われる

ので，総量誤差の補正が不十分で，ユーザの意図とは

異なる物体操作結果が得られる場合に，この制約を満

たすように操作結果を修正することによって，ユーザ

が意図したような操作結果を実現するという方法が考

えられる．しかし，このように，総量誤差を補正する

代わりに，それによって生じる操作結果の誤りをその

都度補正するというアプローチは，近くに他の物体が

存在しない場合など，仮想物体間の位置関係に，操作

結果を補正できるに足る制約が存在しない状況では有

効でないため，利用できる操作の場面が限定される．

物体操作過程を利用した誤差補正

本研究のアプローチ

本研究では， のアプローチと同様に，仮想物体

間の位置関係に関する物理的制約を，物体操作におけ

るシステム－ユーザ間の合意事項として導入する一方，

この制約によって操作結果自体を直接修正するのでは

なく，総量誤差を補正して，その補正結果を以降の物

体操作に反映させることにより，仮想物体間の位置関

係に十分な制約が存在しないような物体操作の場面に

おいても，それまでの物体操作を通じて補正された総

量誤差に基づく操作結果を実現することを考える．さ

らにこの際，誤差補正における総量誤差の許容範囲を，

普遍的なものとして事前に定めるのではなく，ユーザ

による一連の物体操作の内容に基づいて定義すること

により，そのような許容範囲の設定と，それを達成す

る誤差補正の双方を，ユーザによる物体操作の過程を

通じて適応的に実現することを試みる．以下ではこれ

らの具体的な内容について述べる．

誤差の許容範囲

仮想物体操作のための操作点の指示において，ユー

ザが指示する操作点を，システムが，どのような操作

（把持，移動，切削等）に関する，どのような属性（位

置，姿勢等）を指定するものと解釈するかは，ユーザ

インタフェースの設計の仕方によって定まる．このよ

うなユーザインタフェースの設計では，操作点と仮想

物体の間の位置関係に関する何らかの物理的制約を，

物体操作におけるシステム－ユーザ間の合意事項とし

て導入できる場合が多い．このような制約の例として

は，“操作点は物体表面上に存在する （把持位置を操

作点とした把持操作の場合），“操作点は移動対象物

体が他の物体と衝突しない範囲内に存在する”（移動

先の位置を操作点とした移動操作の場合），“操作点

は物体表面もしくは内部に存在する”（切削境界点列

電子情報通信学会論文誌

の位置を操作点とした切削操作の場合）等が考えられ

る．このような制約を満たすために，仮想空間 や知

覚空間 中で操作点が存在し得る範囲を，それぞれ

， で表し， ， における 操作点範囲 と呼

ぶ．操作点範囲の形状や大きさは，操作の種類や仮想

物体の形状・配置等によって様々に変化する．

ユーザが，与えられたユーザインタフェースに基づ

く仮想物体操作によって，部品組立等のタスクを実現

する場合には，上のような制約が満足されるように，

実ポインタによって操作点の位置を順次指示していく

ことになる．このとき，知覚空間 中での実ポイン

タ位置 は，操作点範囲 の中から選択されるは

ずである．したがって，これに対する操作結果の

中での位置 が，レジストレーションに含まれる

誤差のために から外れてしまった場合，そのよう

な結果をもたらす総量誤差は，ユーザにとって許容で

きないものであるといえる．ただし，次の例からわか

るように，この逆は成立せず，ユーザが実ポインタに

よって指定した点が，操作結果において操作点範囲内

の点として反映されたとしても，そのときの総量誤差

が許容できるものであるとは限らない．

図 移動操作による部品組立の例

図 のように，部品 の穴が部品 の穴に合うよ

うに を に挿入し，さらにその穴に部品 を挿入

するという部品組立タスクを考える．このための部品

の移動操作において，ユーザは，“操作点は移動対象

物体が他の物体と衝突しない範囲内に存在する”とい

う物理的制約に基づいて，移動対象物体の移動先の位

置を操作点として入力するものとする．このとき，部

品 を挿入する移動操作の操作点範囲は， が部品

と衝突しないような操作点位置の集合となり，部品

， の位置関係や を に挿入する際の遊びの大

きさによって決まる．また，部品 を挿入する移動操

作の操作点範囲は， が部品 ， と衝突しないよう

な操作点位置の集合となり， ， に対する の位置

関係や， ， の穴に対する部品 の太さによって決

まる．このような移動操作において，幾何学的レジス

トレーションに含まれる総量誤差は，移動対象部品の

位置ずれとして現れるが，例えば，部品 を挿入する

移動操作で許容される の位置ずれは，その操作の操

作点範囲の大きさではなく，続く部品 の挿入の際の

操作点範囲との積に当たる大きさとなる．同様のこと

は，他の操作においても広く成り立つと考えられる．

以上の考察から，本研究では，幾何学的レジスト

レーションに含まれる総量誤差の許容範囲を，ユーザ

が実行する一連の物体操作の内容に基づいて定めるこ

とを考える．ユーザが，何らかのタスクを実現するた

めに一連の物体操作を実行する場合，その物体操作は，

で述べたように，操作点位置の系列を実ポインタ

で順次指示していく過程となり，各々の操作点位置に

対して で述べた定式化が適用できる．このよう

に操作点位置の指示が繰り返される場合の表記法とし

て，以下では，操作点位置の数を で表し，そのう

ちの 番目 の操作点位置に対する ，

， ， を，それぞれ， ， ， ，

で，また，そのときの操作点範囲 ， を，それぞ

れ， で表すことにする．このとき，このよう

な一連の物体操作において，そのときの総量誤差が許

容範囲内となっているための条件を，次式で定義する．

このように，幾何学的レジストレーションに含まれ

る総量誤差の許容範囲を，ユーザの行う仮想物体操作

の内容に基づいて定義した場合，誤差補正において，

式 の の半径 を，許容できる総量誤差の

大きさとして事前に陽に与える必要はなくなる．ユー

ザによる一連の物体操作において，式 を満たすよ

うに総量誤差の補正を行えば，それに伴って式 を

満足できる の最小値も変化し，その結果として定ま

る値が，そのときの物体操作において許容される総量

誤差の大きさに相当することになる．

仮想空間における誤差補正の条件

上のような誤差補正を目指す場合， の従来アプ

ローチのように，現実空間と仮想空間の知覚過程 ，

の相違や実ポインタの位置計測過程 に関する誤

差を個別に補正する必要はなく，以下のように，式

で定義した現実空間 から仮想空間 への写像 を

に補正して，式 の代わりに，式 が成立する

ようにできれば充分である（図 ）．ただし，上のよ

論文／拡張現実感による仮想物体操作過程を利用した適応的レジストレーション

うな誤差は，通常，空間全体にわたって均一なものと

はならないため，これらを補正する も， のように

座標系に対する一様な変換になるとは限らない．

図 現実空間から仮想空間への写像の修正

ここで， で仮定したように，仮想空間の知覚過

程を表現する は同相写像なので，知覚空間 中

の点の異同と仮想空間 中の点の異同は同一となる．

このとき，仮想空間 ，知覚空間 における操作点

範囲 ， の間には， の関係が成

立する．このことから， に対する式 の条件は，

さらに に対する次式の条件で代用できる．

以上より，ユーザによる一連の物体操作で許される

総量誤差を達成するための誤差補正は，式 の条

件が満足されるように を定める処理に帰着される．

事例の蓄積による誤差補正の対話的更新

上のような は，ユーザによる物体操作の過程を利

用して を更新していくという対話的な処理によって

定める．ユーザが 番目の操作点位置を指示する際に，

その時点で暫定的に定まっている を で表すと，

これによる 中での実ポインタ位置は，式 より，

となる．これが，そのときの操作点範囲

中に存在しなかった場合には，これに最も近い 中

の位置 を求め， を次式で定義する．

が獲得された 中の位置 を 事例点

と呼び， 番目の操作点位置の指示までに獲得された

事例点の集合を （ は事例点

の数）で表す． は， の増加に伴って， における

実ポインタ位置が操作点範囲に含まれないことが新た

に検出される度に増加していく．

事例点 に対する

は，個々の操作点位置の指示において，仮想空間中で

の実ポインタ位置が操作点範囲内に収まるように定め

られた誤差補正量であり，一連の物体操作で許容され

る総量誤差を達成するために式 の条件を満足す

るには，これらの誤差補正量を組み合わせ，任意の

に対して，仮想空間での実ポインタ位置が操作点範囲

内に収まるようにする必要がある．前節で述べたよう

に， による補正量は，座標系に対する平行移動や回

転といった，空間全体にわたって一様な変換によって

実現できるとは限らず，場所によって異なる可能性が

あるため， を， に含まれる各事例点までの距離

を重みとした補間を用いて次のように定義する．

　

ここで， は，この補間処理における近傍の大きさを

定める定数である．

以上の手法では，ユーザが同じ空間中で様々な物体

操作を繰り返すことによって， は，その空間におけ

る任意の操作点位置の指示に対して，常に実ポインタ

が操作点範囲に含まれるような誤差補正を実現するこ

とになり，その結果，ユーザの行う仮想物体操作にお

いて許容される総量誤差が達成されると考えられる．

なお，もし による誤差補正が，実際には空間全体

に対する平行移動や回転のような一様な変換となって

いた場合には，各事例点に対する補正量 は，その

点の仮想空間中での位置を，その平行移動あるいは回

転によって変換したときの変位を表すことになり，そ

れらの補間によって定まる も，仮想空間中の各点

をその平行移動や回転によって変換したときの変位を，

事例点の分布に応じた近似精度で表現することになる．

電子情報通信学会論文誌

実 験

物 体 操 作

本手法によって，操作点範囲や操作の繰り返しと総

量誤差の関係が，実際に期待通りのものとなるかどう

かを，被験者３名による仮想物体操作の実験によって

検証した．仮想物体操作の具体例としては，最も基本

的と考えられる，仮想物体の 把持 と 移動 の２種

類を取り上げた．これらの操作は，以下のようなユー

ザインタフェースに基づいて実行されるものとした．

［物体操作に関するユーザインタフェース］

（物体の把持）

実ポインタのポイントとクリックによって把持位置

を操作点として指示するものとし，その際，操作点は，

把持対象物体表面のうち，ユーザの視点から見える範

囲に存在しなければならない．

（物体の移動）

移動対象物体を把持後，実ポインタのドラッグによっ

て把持位置の移動軌跡を操作点の系列として指示する

ものとし，その際，操作点は，移動対象物体が他の仮

想物体と衝突しない範囲に存在しなければならない．

実 験 環 境

実験では，光学的シースルー方式の を立体

ディスプレイに，磁気方式の位置センサを位置計測に，

位置センサのペン型レシーバを実ポインタに，それぞ

れ利用した．仮想空間 の投影像を生成する際の仮

想カメラの基線長は，被験者の瞳孔間距離を考慮して

とし，被験者に依らず同一とした．このときの

現実空間 の知覚過程 と仮想空間 の知覚過程

の相違や， 中での実ポインタの計測過程 の誤

差を，事前に何らかの方法を用いてある程度補正して

おくといったことは特に行わなかった．ただし，

で述べたように，本研究ではユーザの視点位置の変化

は考慮しないので，現実空間中での実ポインタの計測

位置が，被験者の視点位置の変化に左右されないよう

に，位置センサのトランスミッタを に固定した．

このような環境を用いた仮想物体操作の様子を図

に，そのときの被験者の視界の様子を同図 に示す．

誤差補正前の から への写像 を定めるために，

， 共に，被験者の両眼ならびに仮想カメラ間の中

央を原点とし，それに対して水平方向右向きに 軸正

方向，垂直方向上向きに 軸正方向，奥行き方向手前

向きに 軸正方向をとり，互いの原点と各軸が一致す

るように と を対応させた．誤差補正の対象空間

仮想物体操作の様子 被験者の視界の様子

図 実 験 環 境

は，被験者が による立体視と実ポインタの移動

を完全に行えるように， の位置を中心

とした 辺 の立方体とした（図 ）．以後，

中におけるこの空間を で表す．なお，式 の

は，本実験では とした．

図 誤差補正の対象空間

誤差の計測

まず，誤差補正の対象となる，現実空間 の知覚過

程 と仮想空間 の知覚過程 の相違と，現実

空間 における実ポインタ位置の計測過程 の誤差

を，独立に計測した． 中の の各

水平面上に， ， 軸に沿って 間隔で

点の格子点（合計 点）を定め，それぞれの位置を

仮想空間 における操作点 と考える．この位置

に，図 のような 辺 の仮想の立方体の頂点

を順番に配置し，その頂点を被験者に実ポインタを用

いてできるだけ正確に指示してもらうことにより，

が既知で，かつ，それを実ポインタで指示する際の位

置ずれの許容範囲 の状態を実現する．

論文／拡張現実感による仮想物体操作過程を利用した適応的レジストレーション

このときの現実空間 中の実ポインタの位置を，本実

験に用いる磁気方式の位置センサと，計測誤差が環境

の影響を受けず，かつ計測精度が約 と高い機

械リンク方式の位置センサの両方を用いて計測し，そ

れぞれの結果を ， とみなす．これに対して式

から ， を求めると， と の差は

と の相違による誤差， と の差は による

誤差に相当する．各軸方向に沿ったこれらの誤差の各

被験者毎の平均値を表 に示す．

表 初期誤差の計測結果 単位

　 軸方向 軸方向 軸方向と の 被験者

相違による 被験者誤差 被験者による誤差

本実験環境での仮想物体操作では，力覚が存在しな

いため，実ポインタによる操作点の指示の際に手ぶれ

が生じやすいと考えられる．上の誤差には，このため

の誤差も含まれている可能性があるため，被験者によ

る実ポインタ操作において，どの程度の手ぶれが生じ

るか調べた．上で用いた格子点のうち，水平面

上から等間隔に つを選択し，これらに対して上と同

様に仮想の立方体の頂点を配置して，その頂点を指示

する操作を，被験者に，各点に対して 回ずつ行って

もらった．この結果に基づいて， の生起確率が正

規分布に従うと仮定した場合の 信頼区間である

は標準偏差 の値を求めたところ，下表のように

なった．

表 手ぶれの大きさ 単位

被験者 被験者 被験者手ぶれ

仮想物体操作による誤差変化

で述べた実験環境・被験者に対して誤差補正を

行った場合には，表 の手ぶれの大きさ程度が総量誤

差の限界値となると考えられる．一方，表 の誤差よ

り大きい総量誤差が許容されるようなタスクでは，誤

差補正自体を行う必要がない．そこで，操作点範囲が

これらの間の大きさとなる物体操作を 中で繰り返

した場合に， に対する総量誤差がどう変化するか

を，次のような実験によって検証した．

基準点の指示に対する実ポインタ位置の記録

総量誤差の変化を評価するための基準点として，

中に， ， ， 軸に沿って 間隔に並んだ格子点を

点定め，それぞれの位置を とする．

この位置に， と同様に一辺 の仮想の立方体の

頂点が位置するように配置して，被験者にこの頂点を

実ポインタでできるだけ正確に指示してもらい，その

ときの磁気方式の位置センサによる 中での実ポイ

ンタ位置の計測結果 を記録する．

操作点範囲の異なるタスクの実行

操作点範囲の異なる物体操作タスクとして，図 の

ような，一辺が ， ， の３

種類の仮想の正方形の挿入口に， 辺 の仮想の立

方体を挿入するという操作を設定する．

まず の挿入口を，挿入方向が 軸負方向となる

ように，上の 個の格子点の付近に順番に配置する．

そのとき，挿入口のすぐ手前に立方体を配置し，被験

者にその立方体の手前の面を把持し，挿入口の中へ移

動してもらう．続いて ， の挿入口に対して同じ

操作を繰り返す．

これらの操作のうち，立方体の把持操作の操作点

範囲は，把持する手前の面上に相当する範囲となり，

挿入口への移動操作の操作点範囲は， ， 軸方向に

は，挿入口 ～ に対してそれぞれ ， ，

の大きさ， 軸方向には，挿入口に依らず無制

限の範囲となる．

図 実験に用いた挿入口

操作点範囲の相違による総量誤差の相違の評価

上の操作のうち，各挿入口への移動操作によって，

それぞれの操作点範囲に応じた総量誤差が実現される

かどうかを調べた．移動操作のみに基づいて を補正

し，これを用いて上の 個の格子点の から

を求めると，その に対する差が総量誤差となる．

各被験者毎に， 回の操作後の総量誤差の ， 軸に

沿った大きさを，全格子点について平均した値を表

に示す．また，操作を繰り返した場合のこの値の変化

を，被験者 の場合について図 に示す．

電子情報通信学会論文誌

表 移動操作による総量誤差 単位

被験者 被験者 被験者補正前

軸 挿入口 への移動方向 挿入口 への移動

挿入口 への移動補正前

軸 挿入口 への移動方向 挿入口 への移動

挿入口 への移動

軸方向 軸方向図 操作の繰り返しによる総量誤差の変化

この結果が示すように，総量誤差は操作の繰り返し

に伴って減少する傾向を示し，操作点範囲に応じた大

きさに達した．ただし，操作点範囲と総量誤差は完全

には一致しなかった．この原因として，操作点範囲は

同じでも，実ポインタの位置によって の補正量が変

化することや，実ポインタの操作における手ぶれの影

響が考えられる．なお，この移動操作では， 軸方向

の操作点範囲に制限がないので，この方向に沿った総

量誤差は変化しない．

異なる操作タスクの組合せによる総量誤差の評価

次に，同じ空間 で操作点範囲の異なる操作を実

行した場合に，それらの操作点範囲の積に相当する総

量誤差が実現されるかどうかを調べるために，把持操

作と移動操作による操作点範囲を併用して を補正

し，それを用いて 方向の総量誤差を求めたところ，

その平均値は各被験者毎に表 のようになった．

表 把持操作による 軸方向の総量誤差（単位 ）

被験者 被験者 被験者補正前

立方体の把持

この結果が示すように，移動操作に把持操作を加え

た場合，総量誤差はさらに 軸方向に対しても減少

し，その結果，２つの操作の操作点範囲の積に相当す

る大きさとなった．ただし，この把持操作の操作点範

囲は， 軸方向に広がりがないため，厳密にはこの方

向に沿った総量誤差の大きさは になるはずであるが，

実際には手ぶれの大きさ程度の誤差が残った．

む す び

結果のまとめ

本稿では，拡張現実感における仮想空間と現実空間

との幾何学的レジストレーションのための一手法とし

て，拡張現実感の用途を実ポインタによる仮想物体操

作に定めた場合に，この操作の実現において問題とな

る操作点と操作結果の間の総量誤差を，ユーザによる

物体操作過程を通じて補正することを試みた．幾何学

的レジストレーションにおいて，どの程度の大きさの

総量誤差が許容されるかは，物体操作の内容によって

異なるが，本手法では，操作点と仮想物体の位置関係

に関する物理的制約をシステム－ユーザ間の合意事項

として導入し，それに基づく操作点範囲によって総量

誤差の許容範囲を定めることにより，物体操作に許容

される総量誤差の設定と，それを達成する誤差補正の

双方が，物体操作の過程を通じて適応的に実現される．

本研究では，本手法の持つこのような特徴を被験者

による実験を通じて検証し， 物体操作の繰り返しと

共に，操作点範囲の大きさに応じた総量誤差が実現さ

れていくこと， 操作点範囲の異なる操作によって，

操作点範囲の積に相当する大きさの総量誤差が実現さ

れること，の２点を確認した．ただし，総量誤差は操

作点範囲の大きさと完全には一致せず，その原因とし

て，被験者が実ポインタを操作する際の手ぶれの影響

が考えられるため，今後は，このような時間的変動を

伴う誤差要因への対応について検討する必要がある．

以上の議論では，仮想物体操作として，操作点の系

列を実ポインタによって１点ずつ入力する状況を考え，

それによって実現される物体操作の種類として，物体

の把持と移動という最も基本的な操作を例として取り

上げたが，今後はより多様な状況への本アプローチの

適用について検討する必要がある．また，本アプロー

チでは，幾何学的レジストレーションの目的を仮想物

体操作の実現に特化しているため，従来研究による幾

何学的レジストレーションとは処理の特性に違いがあ

る．以下では，これらの事項について議論する．

論文／拡張現実感による仮想物体操作過程を利用した適応的レジストレーション

多様な状況への適用

複数操作点の同時入力

仮想物体操作において，複数の操作点を実ポインタ

で同時に入力する場合，それぞれの操作点に対する操

作点範囲が独立に決まる場合には，本稿で述べた手法

を各操作点に対して並列に適用すれば対処可能である．

一方，各操作点の操作点範囲が，同時に入力される他

の操作点位置に依存する場合には，それぞれの操作点

を操作点範囲に収めるために，どの操作点の位置がど

の程度補正されるように各操作点に対する現実空間か

ら仮想空間への写像 の補正量を定めるか，について

検討する必要がある．

上の問題は，実ポインタによって操作中の仮想物体

が，さらに他の現実物体と相互作用する場合にも生じ

る．操作中の仮想物体を他の現実物体と相互作用させ

るには，その現実物体上の各点の現実空間中での位置

を何らかの方法で計測し，それを仮想空間中に対応付

けることが必要となり，このときの計測過程と対応付

けは， で述べた現実空間中での実ポインタ位置の計

測過程 と，現実空間から仮想空間への写像 に相

当する．このことからさらに，現実物体上の各点は，

実ポインタにとっての操作点に相当し，現実物体と仮

想物体の位置関係が物理的制約を満足するような現実

物体上の各点の位置範囲が，実ポインタにとっての操

作点範囲に相当することになる．したがってこのとき，

本アプローチに基づく誤差補正は，現実物体上の各点

と，仮想物体を操作している実ポインタの位置が，共

に操作点範囲内に収まるように，それぞれの位置にお

ける を補正する問題となる．

このように，操作点範囲が相互依存するような，複

数の操作点に対する の補正量を定めるための方法と

しては，各操作点の補正量を変数とし，各操作点が操

作点範囲に収まることを目標関数とした最適化によっ

て，各操作点の補正量を求める方法などが考えられる

が，具体的な議論は今後の課題である．

操作内容の多様化

物体の把持や移動以外のより多様な物体操作を実現

するには，それぞれの操作においてユーザとの間で共

有できる物体間の位置関係に関する物理的制約につい

て検討する必要がある．ロボットによる組立プラニン

グの分野では，物体の形状や配置に対する可能な姿勢

や移動軌跡に関する議論が行われており ，これら

の成果を利用して，操作点範囲や実ポインタ位置の補

正の仕方等を定めることにより，本手法に基づいた，

より多様な物体操作のための誤差補正が実現できると

考えられる．

視点の移動

物体操作では，机上での小型の部品の加工や組立の

ように，視点の移動を必ずしも必要としない状況も考

えられる一方，視点の移動が必要不可欠な状況も多数

存在する．本稿では，視点移動を伴う状況を議論の対

象から外したが，このような状況に対処できるように

処理を拡張することも重要な将来課題の一つである．

従来研究との処理の特性の相違

拡張現実感のレジストレーションに関する従来研究

では，現実空間と仮想空間が矛盾なく“見える”よう

にすることを目的としてきたといえる．これに対し本

研究では，現実空間と仮想空間を区別なく“操作でき

る”ことを目的としている．このようにレジストレー

ションの目的を，“見える”ことではなく，“操作でき

ること”に置いたことにより，本研究では，物体操作

で仮定されている物理的制約との矛盾を操作の過程で

検知し，適応的なレジストレーションを実現すること

が可能となっている．しかし，逆に，物体操作の過程

でそのような矛盾が生じなければ，たとえ見え方に矛

盾があったとしても，物体操作上は支障がないため，

誤差補正は行われない．

例えば，現実物体 と仮想物体 が拡張現実感に

よって重畳表示されているときに，仮想空間での２つ

の物体の幅が同じではないにも関わらず，ユーザには

同じに見えており，仮想空間と知覚空間における２つ

の物体の見え方に矛盾が存在している状況を考える．

このとき，ユーザが，両物体の側面が揃うように現実

物体 の上に仮想物体 を載せ，その揃った側面にさ

らに別の仮想物体 を横付けするといった操作を実行

しようとしても，仮想空間では の側面は揃わない．

したがって，もしこのときの物体の組立操作において，

ユーザとの間で， 物体同士は面接触する といった物

理的制約が共有されている場合には， ， と は面

接触せず，そのような物理的制約を満たさない操作は，

ユーザの意図したものとは考えられないため，仮想空

間でも の幅が一致するように補正が行われること

になる．しかし，このような状況が生じなければ，上

のような見え方の矛盾は補正されない．

以上のように，本研究のアプローチは，従来研究と

の目標の違いのために，従来研究のように，仮想空間

と知覚空間における物体の見え方の整合性を常に保証

するものではない．

電子情報通信学会論文誌

文 献

　

暦本純一 実世界指向インタフェースの研究動向 コンピュータソフトウェア

大島登志一，佐藤清秀，山本裕之，田村秀行， ホッケー：協調型複合現実感システムの実現 日本バーチャルリアリティ学会論文誌横小路泰義 拡張現実感における幾何学的位置合わせ手法 システム制御情報学会誌

大石峰士 舘暲 シースルー型 における視覚パラメータの補正法， 日本ロボット学会誌

内海章 ポール・ミルグラム 竹村治雄 岸野文郎 仮想空間表示における奥行き知覚誤差の要因について 信学技報中村学 村田浩之 緒方誠人 森本一成 黒川隆夫 現実・仮想融合空間における視知覚の整合化 信学技報

吉田俊介 宮崎慎也，星野俊仁 大関徹 長谷川純一，安田孝美，横井茂樹， ステレオ視表示における高精度な奥行き距離補正の一手法 日本バーチャルリアリティ学会論文誌杉原敏昭 宮里勉 中津良平 焦点調節補償機能を有する

日本バーチャルリアリティ学会論文誌岡崎克典 高原邦光 氏家弘裕 高瀬正典 注視点変化に伴う焦点ぼけ情報を与える立体画像表示システムとその知覚的効果 日本バーチャルリアリティ学会論文誌

浅田尚紀， カメラキャリブレーション コンピュータビジョン：技術評論と将来展望，松山隆司，久野義徳，井宮淳（編） 第 章 新技術コミュニケーションズ北村喜文 衝突検出を利用した仮想物体操作 ヒューマンインタフェース学会誌

　

（平成 年 月 日受付）

角所 考 （正員）

昭 名大・工・電気卒，平 阪大大学院工学研究科通信工学専攻博士課程了．平～ 日本学術振興会特別研究員，平 ～スタンフォード大ロボティクス研究所客員研究員，平 阪大産業科学研究所助手，平京大総合情報メディアセンター助教授，

平 同学術情報メディアセンター助教授．博士（工学）．視覚メディアを介した人間－計算機間のコミュニケーションの実現に関する研究に従事． ， ，電子情報通信学会，情報処理学会，人工知能学会，システム制御情報学会各会員．

萩原 史郎

平 年京大・工・情報卒．平 同大大学院情報学研究科知能情報学専攻修士課程了．同年ソニー株式会社入社．在学中，バーチャルリアリティを用いたヒューマンインタフェースの研究に従事．

美濃 導彦 （正員）

昭 京大・工・情報卒，昭 同大大学院工学研究科情報工学専攻博士課程了，同年同大学工学部助手，昭 ～ マサチューセッツ州立大客員研究員，平 京大工学部附属高度情報開発実験施設助教授，平同教授，平 同大学総合情報メディアセン

ター教授，平 同学術情報メディアセンター教授．工学博士．画像処理，人工知能，知的コミュニケーション関係の研究に従事． ， ，電子情報通信学会，情報処理学会各会員，日本ロボット学会各会員．