JSPS 未来開拓学術研究推進事業研究プロジェクト

1

JSPS Multimedia Contents Project

JSPSJSPS 未来開拓学術研究推進事業未来開拓学術研究推進事業研究プロジェクト研究プロジェクト

知能情報高度情報処理･マルチメディアコンテンツの高次処理の･

研究

大阪大学工学研究科情報システム工学専攻

西尾章治郎


2

マルチメディア・コンテンツ

ハードウェアソフトウェアの発･ハードウェアソフトウェアの発･達達

ハードウェアソフトウェアからコンテンツへ･

ソフト高機能

CPU 高速

大容量


3

コンテンツとは？コンテンツとは？

積み木

素材となるデータ素材となるデータ

赤、青サッカー

シュート原因

結果

構造化・意味付けされたデータ構造化・意味付けされたデータ

サッカー

ゴール !ストーリー


4

第１世代

マルチメディア・コンテンツのマルチメディア・コンテンツの管理管理

異なるメディアの統合管理

第２世代時間による関連を付加

第３世代空間的な関連を付加

第４世代内在する知識の導出機能を付加動画像データ動画像データ

画像画像テキストテキスト

音声音声

33 次元データ次元データ

男運動している･･男運動している･･ボールを持っているボールを持っている


5

統一モデル：統一的な表現モデル．完全には実現されていない．

統合モデル：複数レイヤの統合モデル．各レイヤに適した表現が可能．

データベースレイヤリンクレイヤ

プレゼンテーションレイヤ

マルチメディア・コンテンツの表現マルチメディア・コンテンツの表現モデルモデル


6マルチメディア・コンテンツのマルチメディア・コンテンツの流通流通

物理メディア CD-ROM, 　 DVD-ROM

通信メディア（１対１）広帯域ネットワーク移動体通信

放送メディア（１対多）ディジタル衛星放送無線ネットワーク

０１

１０

１

…

BroadbandNetwork


7

マルチメディアコンテンツ･

ＤＢ要求

ユーザ

コンテンツの創生

獲得蓄積･

検索・加工編集･

アクセス管理機構


8

研究組織機構図研究組織機構図

プロジェクトリーダー西尾章治郎大阪大学工学部教授

マルチメディアデータモデルとコンテンツの知的･構造

リーダー龍谷大学教授有木康雄神戸大学教授上原邦昭

マルチメディアコンテンツのアクセスアーキテクチャ･リーダー神戸大学教授田中克己

大阪大学助教授下條真司神戸大学助手田島敬史大阪大学助手春本要

マルチメディアコンテンツのデータベースからの仮想空間･･拡張現実空間の生成と活用（モーバイル DB を含む）

リーダー大阪大学教授岸野文郎広島市立大学助教授有川正俊大阪大学助教授北村喜文大阪大学助教授塚本昌彦大阪大学助手正城敏博


9マルチメディアコンテンツの高･マルチメディアコンテンツの高･次処理次処理

有木康雄 : マルチメディアデータモデ･ルとコンテンツの知的構造化

田中克己 : マルチメディアコンテンツ･のアクセスアーキテクチャ

岸野文郎 : マルチメディア・コンテンツのデータベースからの仮想空間拡･張現実空間の生成と活用　

10


マルチメディアデータモデルと･マルチメディアデータモデルと･コンテンツの知的構造化コンテンツの知的構造化

有木康雄 *1 　　上原邦昭 *2

*1 龍谷大学*2 神戸大学


11

メディアのディジタル化と統合

マルチメディア環境

マルチメディア環境マルチメディア環境

放送（テレビ）出版（新聞、書籍）娯楽・教養（映画、講義）

通信（インターネット）

電子図書館仮想博物館仮想美術館仮想キャンパス

知的活動を行う情報空間

[ 興味ある情報の収集と分析 ]


12

本

マルチメディア・コンテンツのマルチメディア・コンテンツの構造化構造化マルチメディア・コンテンツのマルチメディア・コンテンツの構造化構造化

アニメアニメドラマドラマ映画映画ビデオビデオ

ドキュメンタドキュメンタリリ

ニュース映像ニュース映像スポーツ映像スポーツ映像個人の映像個人の映像

索引（概念）

目次（構成）

要約（文脈・粗筋）

構造化されているデータ構造化されていないデータ

コンテンツへのアクセス・絞り込み

コンテンツの構造化


13（

知的構造化

）（

知的構造化

）

ハイフェー

ズ

ハイフェー

ズ

（

自己組織化

）（

自己組織化

）

ロー

フェー

ズ

ロー

フェー

ズ

コンテンツの知的構造化のプロコンテンツの知的構造化のプロセスセス

コンテンツ

データ

構造化／自己組織化

記述の抽象化＆意味付け

時空間における関係付け

認識＆索引付け

セグメンテーション＆分類パターン

信号

記号

状況

概念

従来の従来のデータベーデータベー

スス

因果関係の検索

状況検索

イベント検索

パターン検索

信号検索


14マルチメディア・データの自己組マルチメディア・データの自己組織化織化マルチメディア・データの自己組マルチメディア・データの自己組織化織化

– 映像中のイベント検索– 映像の分類、要約、編集

基本課題

コンテンツ構造化の要求自己組織化

– 人手を介さない大量データの処理人手を介さない大量データの処理

– ハイフェーズへのブラウザ提供ハイフェーズへのブラウザ提供

– 各種メディアのイベント統合各種メディアのイベント統合

– 階層間のイベント統合階層間のイベント統合

（信号・パターン・記号）（信号・パターン・記号）

– イベント系列を上位のイベントイベント系列を上位のイベント

へ統合へ統合

イベント統合構造抽出 [ 目次 ]

イベント抽出 [ 索引 ]– 音声・映像・文字メディア

– ショットやシーン


15

ＴＶニュース映像の自己組織化ＴＶニュース映像の自己組織化ＴＶニュース映像の自己組織化ＴＶニュース映像の自己組織化

ＴＶで放映されているニュース映像

多チャンネル化– ＮＯＤ– イベント検索

多様な検索要求– 関連する日本語ニュース– 関連する英語ニュース– ニュースの要約– ニュースの解説（背景・予想）

粒度時間

トピック


16

シーンカットとニュース記事の抽出

バイグラム音声認識による内容理解

テロップやフリップ文字認識による内容理解

顔やシーンの映像認識による情景状況理解･

ＴＶニュース映像の自己組織化ＴＶニュース映像の自己組織化ＴＶニュース映像の自己組織化ＴＶニュース映像の自己組織化

関係付け関係付け

認識認識索引付け索引付け

セグメンテーショセグメンテーション分類ン分類

パターン

信号

記号

状況

（信学論ＤＩＩ 97年 9月）

（ CoopIs97 ）

（ ICDAR97 ）

（ IPSJ97 ､ ACCV97 ）

表現メディアの特質– 音声

– 文字– 映像

内容を表現内容を要約情景・状況を伝達

コンテンツ構造化のプロセス


17

ニュース映像の情報検ニュース映像の情報検索索


18

ニュース映像の索引付けと分ニュース映像の索引付けと分類類


19（

知的構造化

）（

知的構造化

）

ハイフェー

ズ

ハイフェー

ズ

（

自己組織化

）（

自己組織化

）

ロー

フェー

ズ

ロー

フェー

ズ


コンテンツ

データ






信号

記号

状況

概念


スス


状況検索

イベント検索

パターン検索

信号検索

20


マルチメディアコンテンツの構マルチメディアコンテンツの構造化と概念獲得造化と概念獲得


21コンテンツプロバイダからの依･コンテンツプロバイダからの依･頼頼

CATV　会社（チャネルＫ）の場合 2,000 本の VCR　テープ秋の六甲山の風景を再利用したい

映画会社（東映）の場合 2,000 本の映画予告編いつでも見たいシーンをすぐに取り出したい


22マルチメディアコンテンツの構マルチメディアコンテンツの構造化と概念獲得造化と概念獲得

研究目標意味内容を考慮した映像検索方式

見たい映像をどのように検索するか

ビデオデータの内容記述形式の定式化ビデオデータの意味表現言語の開発

ビデオデータからの概念獲得ビデオデータの共有と再利用


23

内容記述モデル内容記述モデル

静的トップダウン的なモデル･（ CODAS-96）

シナリオが予め与えられている場合おとぎ話など、ストーリが単純な映像

動的ボトムアップ的なモデル･（DMIB-97）

ドラマなど、ストーリが複雑な映像

断片的記述によるモデル（DEXA-97）

映画の予告編、スポーツなど、ストーリが含まれない映像


24

ストー

リグラ

フ

ストーリの文法に基づくストーリの文法に基づくビデオデータベースの機能ビデオデータベースの機能

ストーリの因果関係に基づく検索ストーリ全体を見て必要なサブストーリを選択

登場人物や行動に基づく検索特定の人物や行動を検索

動画像のダイジェスト化意味的に余分なシーンを省略して、ビデオの

ダイジェストを作成


25

自然言語による検索文の入力自然言語による検索文の入力

検索設定用のウィンドウ検索設定用のウィンドウ

ストーリの文法による記述ストーリの文法による記述

出力映像出力映像

ストーリ文法に基づくストーリ文法に基づくビデオデータベースビデオデータベース


26

内容記述モデル内容記述モデル

静的トップダウン的なモデル･（ CODAS-96）

シナリオが予め与えられている場合おとぎ話など、ストーリが単純な映像

動的ボトムアップ的なモデル･（DMIB-97）ドラマなど、ストーリが複雑な映像

断片的記述によるモデル（DEXA-97）

映画の予告編、スポーツなど、ストーリが含まれない映像


27プロトタイプの概念に基づくプロトタイプの概念に基づくビデオデータベースビデオデータベース

内容記述の効率化意味的な関連性によるデータの抽象化

典型的なシーンの発見性質の似た内容記述のグループ化

典型的なシーンのクラスタリング

データ管理の効率化半構造性を持つデータ構造の管理視認性が高いデータ構造


28

プロトタイププロトタイプ

特徴静的なクラス定義を持たない

既存のオブジェクトをプロトタイプとして利用する

……オブジェクトオブジェクトコピー

オブジェクトのコピーにより新たなオブジェクトが生成される

修正プロトタイプ


29

典型的なシーンの選択典型的なシーンの選択

シーンの内容記述シーンの内容記述

映像に関する情報映像に関する情報

実際の映像実際の映像

ユニットの内容記述ユニットの内容記述

プロトタイプに基づく内容記述プロトタイプに基づく内容記述

プロトタイプの概念に基づくプロトタイプの概念に基づくビデオデータベースビデオデータベース


30

これまでの成果これまでの成果

静的・トップダウン方式による内容記述モデルストーリの文法に基づくビデオデータベースの開発

動的・ボトムアップ方式による内容記述モデルプロトタイプの概念に基づくビデオデータベースの開発

知識表現からの共通構造の発見と概念獲得への応用ネットワークと並列化による高速なグラフマッチングアル

ゴリズムの開発


31（

知的構造化

）（

知的構造化

）

ハイフェー

ズ

ハイフェー

ズ

（

自己組織化

）（

自己組織化

）

ロー

フェー

ズ

ロー

フェー

ズ

コンテンツ

データ






信号

記号

状況

概念


スス


状況検索

イベント検索

パターン検索

信号検索


32


マルチメディア・コンテンツのマルチメディア・コンテンツのアクセスアーキテクチャアクセスアーキテクチャ

田中克己 *1 田島敬史 *1

下條真司 *2 春本　要 *2

*1 神戸大学*2 大阪大学


33

コンテンツを取り巻く状況コンテンツを取り巻く状況

通信，放送の融合技術的にも政治的にも

デジタルコンテンツデジタル化による多様なサービス提供権利・課金管理の変貌メディアミックスによるコンテンツ再利用生産者と消費者の境がなくなっていく

新しいアクセスアーキテクチャが求められている


34

研究目的研究目的

コンテンツ情報の共有・再利用のための要素技術とアクセス・アーキテクチャコンテンツの構造化と検索コンテンツの流通管理コンテンツ配送と情報フィルタリング

知的構造化仮想空間・拡張現実空間

アクセスアーキテクチャ

深い意味レベルでの構造化自己組織化

DB からの空間生成空間上での検索


35

対象コンテンツ対象コンテンツ

ビデオ、文書、空間データ、モーションデータ、３ＤＣＧデータ、放送データ

テクスチャ素材実写映像

モーションデータ仮想スタジオ用素材

都市空間データ


36

研究内容研究内容

コンテンツの構造化と検索映像などの連続メディアの記述・検索モデルコンテンツベースの構造化機構半構造データの再構造化素材の組み合わせ検索

コンテンツの流通管理コンテンツのアクセス権管理コンテンツの版権管理

放送型コンテンツ配送コンテンツ検索と動的組織化 PUSH型に対応したNews　On　Demandシステム


37マルチメディアコンテンツの特マルチメディアコンテンツの特性性 (1)(1)

半構造性完全なスキーマを持たないデータ項目の出現位置が不定再構造化機構（コンテンツベースの分類、集

合型再構造化言語、ビュー定義）の必要性



多様性メタデータ（内容記述情報）の多様性（多レベ

ル性）ビュー統合、レイヤ構造、ハイブリッド化の必要性

表示・サービスの多様性マルチバージョン、自律的管理の必要性

利用者の視点の多様性印象や使用履歴に基づく類似検索、ビューの必要性



連続性情報単位や検索単位が連続的連続オブジェクトに適したオーサリング・検

索モデルの必要性


40

アプローチアプローチ半構造性

インスタンスベース、オブジェクトモデル（プロトタイプ、メディエータ）ビュー動的構造化、自己組織化

多様性ビュー・知識の統合分散オブジェクトインスタンス・オブジェクトのビュー印象・感性検索

連続性ストリーム＋半構造のデータ操作連続オブジェクトの記述・検索モデルストリームと内容記述の一体化（ MPEG7 ）


41コンテンツの構造化と検索コンテンツの構造化と検索－連続メディアの記述と検索－－連続メディアの記述と検索－

質問：「サイボーグが怪獣と戦っている区間？」

AND解釈：サイボーグ AND　怪獣 AND　戦闘区間１，２，３の intersection が解？

OR解釈：サイボーグ OR　怪獣 OR　戦闘 {区間１，２，３ } が解？

区間１，２，３の拡張 union が解区間解区間中でキーワードはどこかに出現（ somewhere ）解区間中のノイズの扱いと解の評価尺度

サイボーグサイボーグ

怪獣

戦闘

怪獣

区間１

区間２

区間３


42コンテンツの構造化と検索コンテンツの構造化と検索－内容記述モデル－－内容記述モデル－時刻印付きオーサリンググラ

フ区間指定の困難さへの対処 (DEXA97)

解区間の動的合成とキーワードの成立範囲・同時性を考慮したモデル記述の有効範囲と同時性記述の半順序関係による近似解検索情処国際シンポ 97 x*: everywhere

x^: surface (この範囲のみ）x : somewhere (どこか）x ・ y : x と y が同時

内容記述


43コンテンツの構造化と検索コンテンツの構造化と検索－コンテンツベースの構造化－－コンテンツベースの構造化－

ハイブリッド型構造化機構コンテンツとメタ情報併用によるコンテンツ群の自己組織化 (DMIB’97) 分類精度の向上メタ情報記述の軽減

Kohonenの自己組織化マップの 3D 化 (DASFAA’97)

インターネットで収集した文書・動画の動的な分類 (DASFAA’97)

３次元自己組織化マップ


44コンテンツの構造化と検索コンテンツの構造化と検索－半構造データの再構造化－－半構造データの再構造化－内容処理による再構造化

木構造、部分木が実体に対応同一タグの出現レベルが不定コンテンツベースの再構造化メイリングリスト , web, VRML

データ

半構造データの再構成半構造データ再構造化言語の開発 (情処全大 9709)

Web ・ VRML データのビュー定義

仮想空間上でのwalkthroughによる質問形成 ( 投稿中 ) サンプルによる質問ベクトル形成


45コンテンツの構造化と検索コンテンツの構造化と検索－映像制作素材の組み合わせ検索－－映像制作素材の組み合わせ検索－

３ＤＣＧ素材の組み合わせ検索 (DMIB97) 3D　CGオブジェクト（大道具・小道具）の組合せ検索印象語ベクトル空間モデルでの部分マッチング

VRMLデータの検索と合成 VRML検索エンジン ( 投稿中 )VRMLの論理構造に基づく検索

VRML空間の対話的生成 (実装中 )空間による型制約


46

仮想スタジオセット仮想スタジオセット


47

コンテンツの構造化と検索コンテンツの構造化と検索－モーションデータの内容記述と検－モーションデータの内容記述と検索－索－

拡張ビデオ代数の利用 (DMIB97) マルチストリームマルチレイヤ階層記述

VRML 空間での合成・表示


48コンテンツの構造化と検索コンテンツの構造化と検索－－ News　On　Demand　News　On　Demand　－－

マルチメディア情マルチメディア情報の意味抽出報の意味抽出マルチメディア情マルチメディア情報の意味抽出報の意味抽出


49コンテンツの流通管理コンテンツの流通管理－アクセス権管理－－アクセス権管理－

マルチメディアコンテンツのアクセス権管理（WWCA97）多レベルの詳細度を持つ利用者毎に異なる詳細度複雑な部分・全体関係従来の DBMS のアクセス権管理は

all-or-nothing

Non　all-or-nothingなアクセス権管理方式の必要性（投稿中）マルチメディア DB のための新しいア

クセス権管理手法の確立が求められる


50コンテンツの流通管理コンテンツの流通管理－版権管理－－版権管理－コンテンツと認証機構の分散オブジェクト化

自律的な認証・配送 DEXA97および投稿中

認証レベルに応じたサービス多様化

Level1 indexLevel2 IndexLevel3 Index

Methods

マルチメディアデータマルチメディアデータ

オブジェクト化オブジェクト化

認証された画像オブジェクト

認証された画像オブジェクト認証されていない

画像オブジェクト

認証されていない画像オブジェクト

認証要求認証要求


51

放送型コンテンツ配送放送型コンテンツ配送－コンテンツ検索と動的組織化－コンテンツ検索と動的組織化－－

デジタル衛星放送の電子番組ガイドフィルタリングと動的リンク付与：連続問合せ

機構動的再構築方式PACRIM97

ｔ送出システム

受信


52放送型コンテンツ配送放送型コンテンツ配送－－ AgentCast　AgentCast　－－

コンテンツにまつわるさまざまな問題を新しい放送をベースに考える。

ベースとなる技術コンテンツの記述と構造化エージェント（ Mobile　Code,　Intelligent　Agent) Mass/Community からのフィードバック (Data　Mining)

個人からのフィードバック (情報フィルタリングと学習 )


53

放送型コンテンツ配送放送型コンテンツ配送生産のための技術

再利用，再構成のためのメディア蓄積技術取材エージェント，編集エージェントコンテンツのモデル化

安全に流通させる技術課金，認証，委譲エージェントとセキュリティ

消費のための技術大量のマルチメディアコンテンツを短時間でアクセスするため

のメディア処理技術情報フィルタリング，情報エージェント

広域放送のためのネットワーク技術情報配送，異機種分散環境への適応， QoS


54放送型コンテンツ配送放送型コンテンツ配送－－ AgentCast　AgentCast　－－

AgentCastのアーキテクチャ

ﾋﾞﾃﾞｵ

CommunicationAgent

MediaAgent

ﾋﾞﾃﾞｵ

DirectoryServer

User Agent

down link

up link

User Terminal

AgentCastServer


・のからのﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂﾃﾞｰﾀﾍﾞｰｽ・のからのﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂﾃﾞｰﾀﾍﾞｰｽ仮想空間・拡張現実空間の仮想空間・拡張現実空間の

生成と活用生成と活用

岸野文郎 *1 西尾章治郎 *1 北村喜文*1

塚本昌彦 *1 正城敏博 *1 有川正俊 *2

*1 大阪大学*2 広島市立大学


56

・のからのﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂﾃﾞｰﾀﾍﾞｰｽ・のからのﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂﾃﾞｰﾀﾍﾞｰｽ仮想空間・拡張現実空間の生成と活仮想空間・拡張現実空間の生成と活用用

知的構造化された・を用い，ﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂ利用者の目的に応じた・配送方式によｱｸｾｽり，

利用者が所望する新たな・をﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂ生成する

利用者に解り易い・の提示ﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂ→仮想現実空間構築技術の積極的活用


57

リアリティに富む仮想現実空間のリアリティに富む仮想現実空間の生成生成

－実空間映像の積極的活用－－実空間映像の積極的活用－

仮想現実空間の一部に実空間映像を融合→拡張現実を基本とする・の提示ﾏﾙﾁﾒﾃﾞｨｱｺﾝﾃﾝﾂ

データビジュアリゼーション

実映像から仮想現実空間を生成、実空間に重畳→実映像を用いた 3次元の獲得と操作ｼｰﾝｲﾝﾀﾗｸﾃｨﾌﾞ

創造性支援

現実空間に仮想空間映像を重畳→ による拡張現実空間の構築ﾓｰﾊﾞｲﾙｺﾝﾋﾟｭｰﾃｨﾝｸﾞ

コミュニケーション支援


58

時空間情報ベースと時空間情報ベースと空間ハイパーメディ空間ハイパーメディアア

大規模仮想空間をネットワーク環境下で扱う技術の確立 [IWQOS97][SPIE-DVV97]

実時間ビデオ映像と３次元仮想空間の融合アバタの振る舞いに応じた仮想空間の動的

再構成


59

大規模仮想空間をネットワー大規模仮想空間をネットワークク環境下で扱う技術の確立環境下で扱う技術の確立


60

実時間ビデオ映像と実時間ビデオ映像と３次元仮想空間の融３次元仮想空間の融合合


61

アバタの振る舞いに応じアバタの振る舞いに応じたた仮想空間の動的再構成仮想空間の動的再構成


62リアリティに富む仮想現実空間のリアリティに富む仮想現実空間の生成生成－実空間映像の積極的活用－－実空間映像の積極的活用－




創造性支援




63

背景背景

現実世界

仮想世界

仮想・現実

混在空間

物体単位にモデリング

物体単位に操作可能

TV カメラで撮影

フレーム単位で操作

映像中の特定の対象に注目したコンテンツベースの操作

直感的・直接操作インタフェー

ス


64

実映像を用いた実映像を用いた 33次元のｼｰﾝ次元のｼｰﾝ獲得と操作ｲﾝﾀﾗｸﾃｨﾌﾞ獲得と操作ｲﾝﾀﾗｸﾃｨﾌﾞ

多視点実映像を用いた仮想・現実混在空間の生成

映像コンテンツの切り出しと 3次元トラッキング

映像コンテンツに対する直感的・直接操作のインタフェース

仮想・現実物体に作用する物理法則を考慮した統一的物体操作の枠組み [HIS97][VRST97]


65

野生動物園における野生動物園における各種インタラクションの例各種インタラクションの例

観察

接触

捕獲

餌付け

様々なｲﾝﾀﾗｸｼｮﾝ


66

ディジタル野生動物ディジタル野生動物園園

virtual worldreal world


67

ディジタル水族館ディジタル水族館

Real fishtank

Virtual world


68

水槽に対するインタラクティブ水槽に対するインタラクティブ操作操作

視点移動

魚の見え隠れの観察

魚を捕る

餌をやる，手を叩く，水槽を叩く… .


69

研究項目研究項目

多視点動画像解析・処理による対象物の追跡と切り出し， 3次元位置の計測

仮想世界とのインタラクション動物体との接触，隠蔽関係の処理動物体の把持，捕獲，操作 ⇒ 当該対象物を背景色でなどﾏｽｷﾝｸﾞ

視点に対する前後関係の判断 ⇒ 他の視点のを利用したの調整ｶﾒﾗﾚｲﾔ

動物体の生態に基づくの切り出し・蓄積と，ｼｰﾝの局面に応じた再生ｲﾝﾀﾗｸｼｮﾝ

実映像を用いた 3 次元のｼｰﾝ獲得と操作ｲﾝﾀﾗｸﾃｨﾌﾞ


70

仮想世界と現実世界の融合仮想世界と現実世界の融合

現実世界

仮想世界

仮想物体に対して一部の物理法則を模擬する

実物体に作用する物理法則に制限を設ける

融合世界妥協点を見つける

実・仮想物体が同一の枠組で扱える


71

仮想物体と実物体の統一的仮想物体と実物体の統一的なな操作実験環境操作実験環境

現実世界仮想世界

接合

物体の各面に磁石を貼付

け

衝突検出

・接触面で物体の運動を拘束

・物体同士の非透過性を確保

・正確な物体配置を支援

接合仮想的な磁石

を模擬

磁石のﾒﾀﾌｧ

利用


72リアリティに富む仮想現実空間のリアリティに富む仮想現実空間の生成生成－実空間映像の積極的活用－－実空間映像の積極的活用－




創造性支援




73

実空間から仮想空間の状況を，仮想空間から実空間の状況を知ることが可能

両空間からのインタラクションが可能利用例

　遠隔会議，在宅勤務，ホームオートメーション，旅行，旅行ガイド，電子秘書，アンパイアなど

透明人間環境透明人間環境

実空間と仮想空間を相互にマッピング

[DiCoMo97][ 信学研資 DE97][PacRim97]


74

実空間仮想空間

Existence-SensitivePad (ESP)

Invisible PersonHost (IPH)

透明人間 ESPer

実人間

透明人間環境透明人間環境


75

透明人間環境透明人間環境遠隔地のユーザ（透明人間）は，グラ

フィックワークステーションを用いて仮想的に実空間に訪れる．

実空間において，透明人間の姿は（もちろん）見えない．

実人間は， ESPを用いることで透明人間の姿が見える．

ESPを持つ人をエスパー（ ESPer）と呼ぶ．


76


77


78

年度別研究計画年度別研究計画

平成９年度マルチメディアコンテンツ処理のベースとな･

るマルチメディアデータモデルの構築･平成１０年度

マルチメディアコンテンツの共有再利用加･･工技術およびコンピュータネットワーク技術･に関する研究

国際会議 International Conference on Advanced Multimedia Contents Processing 　を企画中


79

年度別研究計画年度別研究計画平成１１年度

マルチメディアコンテンツの高次処理技術システムを構･築

平成１２年度マルチメディアコンテンツを含む情報ベースに知識シス･

テムを導入平成１３年度

研究成果の評価および、より高度なネットワーク環境におけるデータベースアーキテクチャの検討･

JSPS 未来開拓学術研究推進事業研究プロジェクト

Documents

Transcript of JSPS 未来開拓学術研究推進事業研究プロジェクト