高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究

中村 隆敏1，古賀 崇朗2，河道 威2，永溪 晃二2，米満 潔2

Study of Content Workflow Using High Resolution Video, MotionCapture System and Virtual Reality System

Takatoshi NAKAMURA, Takaaki KOGA, Takeshi KAWAMICHI,Kouji NAGATANI, Kiyoshi YONEMITSU

要 旨2016年度末に本学部に導入した「メディアコンテンツ総合教育研究システム」は、芸術的メディア

表現を生み出し、地域資源を分析し、アーカイブスを行い、芸術的視点からコンテンツ化を地域と共創し、作品や教材等として活用していく人材育成を強化するために必要な基盤設備である。導入された先端的コンテンツデザインに必要な撮影スタジオ、モーションキャプチャシステム、高解像度映像カメラ、高度3DCG システム、VR、MR システムを中心に、作品制作に欠かせないコンテンツワークフローの理解と修得について述べる。

【キーワード】 高解像度映像、モーションキャプチャ、VR、MR、コンテンツ開発

1．はじめに

本学では地域資産を基にしたコンテンツデザインやメディア芸術作品を制作する人材育成に資するため、芸術地域デザイン学部を2016年に設置した。また、創造的な人材育成を目的として全学部の学生を対象とした「デジタル表現技術者養成プログラム」を2009年度より実施している。

このような中、本学におけるメディア系およびコンテンツ系の教育や研究の需要は高く、地域か

らの期待も大きい。教育環境として映像機器や情報機器を用いたメディア系作品の制作設備は必須である。そのため、本学では先端的コンテンツデザインに必要な撮影スタジオ、モーションキャプチャシステム、高度な3DCG や VR・MR 開発等の機能を有した『メディア総合教育研究設備』を2016年度末に導入した。

本設備の導入においては、地域資産を基にしたコンテンツデザインやメディア芸術作品を制作する人材育成に資するため、地域の文化や歴史、産

1 佐賀大学芸術地域デザイン学部 地域デザインコースCourse of Regional Design, Faculty of Art & Regional Design, Saga University

2 佐賀大学全学教育機構Organization for General Education, Saga University

No. 1（2018）9～22 9

業、観光資源をメディアコンテンツとする具体的なデザインやアイデア、技術、感性価値、イメージ生産を自治体や企業との共創を踏まえ、実践的に学ぶ持続的な研究活動と人材育成の基盤を強化するために、以下の目的を遂行するために必要な設備の整備を行った。（1）学生への主体的学びとしてアクティブ・ラーニングの保証と先端的かつ実践的な学修環境ができるメディアコンテンツ制作環境を整えることができる。（2）芸術の発想や表現技法を基に感性価値を高め、知識産業として地域の資産をデジタルコンテンツ化することでイノベーティブな新領域の研究方略を地域と共に描きながら共創していく。（3）芸術的創造力、マネジメント力を主軸とした全学的な「クリエイティブ・ラーニング」と言う佐賀大学独自の特色のある教育、研究領域を生み出し、自治体、企業、民間団体等と地域独自のコンテンツ発信力や新産業構造を変革し、学生の地域就職率を向上させる。

導入した設備は、先端的コンテンツデザインに必要な撮影スタジオ、モーションキャプチャシステム、高解像度映像カメラ、高度3DCG システム、VR（ヴァーチャルリアリティ）、MR（ミクスドリアリティ）システムである。これらの機器やシステムを授業及び研究で活用するため、教員や教務スタッフが納入業者からの定期的なトレーニング及びセミナーを企画し、技術や操作技能を修得した。

高機能撮影カメラや先端映像生成デジタルツールやシステムにおいては、スキル移転としてプロからの支援を受けつつ、どのように効果的且つ効果的に修得するかが重要となる。その蓄積を授業や作品制作、依頼制作に応えられるよう再構築する必要があるからだ。この部分はツールやシステムをコンテンツ制作目的に応じてワークフローを検討することが肝要である。

本研究では、操作トレーニングを修得した上で、実際の授業や研究に活かせるよう個々の導入システムについて実際に作品を制作し、コンテンツ

ワークフローを検討し理解し、スキル修得資料としてまとめることを目標とした。本稿では第2章において本設備の構成内容や役割を解説し、第3章以降でその設備を用いたコンテンツ制作ワークフローおよびその活用例について詳細に述べる。

2．メディア収録スタジオ

メディア総合教育研究設備の大部分は、本学の総合研究1号館（クリエイティブ・ラーニングセンター）内のスタジオ β（メディア収録スタジオ）（図1）および隣接するスタジオ調整室（図2）に導入している。本章ではスタジオ βおよび調整室に導入した設備について、①映像・音声収録スタジオ②モーションキャプチャシステムおよび連携した VR・MR コンテンツ開発システムの2つの機能に分け、その概要を解説する。

2．1．映像・音声収録スタジオスタジオ βには、HD（High Definition）映像

対応のスタジオカメラ2台や4K 解像度に対応したシネマカメラ1台等を配置している。それらのカメラ映像と、グリ－ンバックと16台の LED 照明によるクロマキー合成に対応したバーチャルスタジオとしての機能も有している。

バーチャルスタジオの機能については、第4章で詳しく述べる。スタジオ βは設計時に防音対策を考慮した構造で、音声の収録にも対応している。標準で4ch の音声入力を調整室のミキサーでオペレーターが制御できる。

また、ナレーション音声の収録など、映像としての収録ではなく、1～2名程度による音声のみの収録の場合に使用できるアナウンスブースも調整室に設置し、調整室内の専用 Mac から音声収録・編集ソフトウェア（1）を使い、収録することができる。アナウンスブース内には2本のマイクが常設され、スタジオ β用とは別の専用の音声ミキサーで制御することができる。既に、本学部の学生がラジオドラマの収録や、映像作品のナレーション収録等で使用している。

10 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔

2．2．モーションキャプチャシステムおよび連携したVR・MRコンテンツ開発システム

スタジオ βには、映像の収録スタジオとしての機能だけでなく、光学式のモーションキャプチャシステムや、バーチャルカメラやヘッドマウントディスプレイ等を組み合わせて利用できるVR や MR 等の先端的コンテンツの開発に対応できるシステムを、スタジオ内に整備している。この MC システムを用いた CG アニメーションのコンテンツ制作や、VR コンテンツ制作については第5章および第6章で詳細に述べる。

これらの先端的な設備の導入により、本学部はもちろん、全学部の学生を対象とした、デジタルコンテンツ制作について学ぶインターフェース科目対応の教育プログラムである「デジタル表現技術者養成プログラム」においてもコンテンツ制作環境が格段に向上し、学生への主体的学びとしてアクティブ・ラーニングの保証と先端的かつ実践的なコンテンツ制作の環境が整った。

3．高解像度実写映像制作

3．1．4Ｋ映像制作の導入2011年に最初の4Ｋテレビが発売されて以来、

徐々にではあるが4Ｋテレビの需要は高まりつつある。TV 放送における4Ｋ実用放送の受信には対応するチューナーが必要であるなど、インフラ整備が追い付いていない側面があるが、これから2020年の東京オリンピックに向けて整備も進み4Ｋ放送も増えていくことが予想される。それと同時に、4Ｋ高解像度で制作されたコンテンツの需要も高まっていくであろう。本学のクリエイティブ・ラーニングセンター（以降、「CL センター」と記す。）においても2016年度より4Ｋシネマカメラを導入し、高解像度による映像制作に取り組んでいる。コンテンツの制作の際には、可能な限り4Ｋ高解像度による撮影を行っている。また、デジタル表現技術者養成プログラムの修了研究作品制作においても、4Ｋシネマカメラを使用し撮影を行っている。

本章では、4Ｋシネマカメラの特徴と4Ｋ高解像度映像の制作事例について、スタジオに新たに導入した4Ｋ編集機についても触れながら紹介する。

3．2．4Ｋシネマカメラの特徴4Ｋシネマカメラは、35mm フィルムと同等、

またはそれ以上の撮影素子（イメージセンサー）を持ち、主に映画撮影に用いられるカメラである。主な特徴は以下の4点である。

①4000×2000ピクセル前後の高解像度②高感度、低ノイズで撮影できる③浅い被写界深度④高いラチチュードを持つこれらの特徴を持ち、特に、明暗差が大きい被

写体や明るさが足りない被写体の撮影でも高画質で再現することが出来る。高解像度でより細やかな描写が出来るため、映画撮影以外でも、絵画や彫刻等の美術品や文化財の撮影に適している。また、伝統工芸品の制作風景など、細かい技術の撮影においても4Ｋシネマカメラは有効である。

図1 スタジオβの内観

図2 スタジオ調整室の内観

高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究 11

図4 EDIUS編集画面

3．3．コンテンツ制作の実例3．3．1．「佐賀の祭り」コンテンツ制作

「佐賀の祭り」は、佐賀県内に伝承されている様々な祭り（神事芸能）を記録し映像化、後世に残すことを目的としたコンテンツである。2017年度は、「小城山挽祗園祭」と「沖ノ島詣り」の2つの祭りを4Ｋカメラを用いて収録した。使用した機材は、Canon 社製4K カメラ XC10と DJI 社製 OSMO である。どちらの祭りも、行列を追いながらの撮影や不安定な船上での撮影の必要があったため、身軽に動くことができる XC10とスタビライザー付カメラである OSMO を併用した。また、4Ｋ高解像度のハイダイナミクスレンジをより生かすため、Log による撮影を行った。

編集は、メディア総合教育研究設備の1つとして導入された4Ｋ対応ノンリニア映像編集システム（表1）で行った。まず、Log で撮影した映像を Black magic Design 社の「DaVinci Resolve」を用いてカラーグレーディングを行った。「DaV-inci Resolve」は、ポストプロダクションの標準ツールとして用いられているソフトウェアベースのカラーグレーディングシステムである。これを用いて、映像のコントラストや彩度、色味を調整することで、挽山や提灯など祭りの風景を色鮮やかに表現することが出来た。「DaVinci Resolve」の編集画面を図3に示す。

編集には、Grass Valley 社の EDIUS を使用した。EDIUS の導入は初めてであったが、これまで CL センターにおける映像コンテンツ制作で主に使用してきた Adobe 社の Premiere Pro と基本

的な操作感覚は変わらないため、違和感なく編集作業を行うことが出来た。但し、タイムライン上でのクリップ（カット）の取り扱いやエフェクト（効果）のかけ方などは、異なる点もあった。EDIUS での編集画面を図4に示す。

3．3．2．「唐津くんちダイジェスト」の制作FRONTLINE2017というアウトカム用イベン

トのショーケース映像として上映する目的で、「唐津くんちダイジェスト」を制作した。夜間撮影になる「宵山」の撮影では Sony 社製シネマカメラPMW-F55を使用し、Log による撮影を行った。PMW-F55は、フォーカスや露出などの操作を全てマニュアル操作で行う必要があるカメラである。夜間撮影の際には、ISO 感度を上げ過ぎたためか、撮影した画の中の暗部でノイズが発生していた。現場では、モニタでのチェックのみで撮影していたが、きちんと露出計を使用するなどし、よりシビアに適正露出を設定することが必要であろう。

また、シネマカメラの特徴の一つは、被写界深度が浅くピントが合う範囲が狭い点である。使用するレンズの特性にもよるが、動く被写体の撮影においては、対象を追いながらフォーカスを合わ

表1 4Ｋ対応映像編集システムのスペック項目 詳細

OS Windows7 Professional 64bit SP1CPU Intel Xeon-E 5-2680 v3（12コア 2．5GHz）×2

メモリ 64GB DDR4SDRAM

ストレージシステム：240GB SSD｜データ：1．5TB SSD

（RAID5）｜DAS：18TB（RAID6）

光学ドライブ BDXL 対応ブルーレイドライブグラフィックス NVIDIA Quadro M4000

主なソフトウェア・Grass Valley EDIUS Pro・Blackmagic Design Davinci Resolve・Adobe Creative Cloud

図3 「DaVinci Resolve」編集画面

12 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔

図5 唐津くんち撮影の様子

図6 唐津くんちの一場面

図7 学生の撮影風景1

図8 学生の編集作業風景2

せ続けることが難しい。唐津くんちの撮影では、カメラ奥から手前に迫ってくる曳山に対してフォーカスを合わせ続けることが特に難しかった。ENG（Electronic News Gathering）撮影の場合は、シネマカメラで対応できるシチュエーションかどうか、また使用レンズの特性があっているかなど、十分に検討する必要がある。唐津くんちの撮影の様子を図5に、撮影した映像の一場面を図6に示す。

3．3．3．「デジタル表現修了研究」作品制作デジタル表現技術者養成プログラム第8期生の

修了研究において、地域プロモーションコンテンツ班の学生2名が PMW-F55を用い作品制作を行った。一人は佐賀デジタルミュージアムに掲載するための映像を、もう一人は御菓子司鶴屋のプロモーションムービーを制作した。特に野外撮影の際の露出設定やクローズアップ撮影時のフォーカスの調整が難しかったようである。

収録した映像は Log で撮影し、「DaVinci Re-solve」でカラーグレーディングを行った。編集は、Adobe 社の Premiere pro を使用した。学生

の撮影風景を図7に、編集作業風景を図8に示す。

4．映像合成用編集機器

4．1．TriCaster の導入CL センターでは、撮影スタジオの設備として、

NewTek 社 の「TriCaster460」を 導 入 し た。「TriCaster（2）」は、マルチカメラ・ビデオプロダクションシステムで、インターネットテレビの配信等にも利用されている。最大4つのカメラの映像や別途作成した映像素材、画像素材等を入力でき、それらを M/E（Mix Effects）チャンネルを用い、バーチャルセットと合成し収録することが出来る。また、インターネットと接続し「You-tube」や「ニコニコ動画」等の中継サービスと連携することにより、ライブ配信も可能である。

本章では、TriCaster のバーチャルセットを利用した映像制作のワークフローとコンテンツ制作の事例について述べる。

高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究 13

図9 TriCaster を使用した収録風景

⒜ Ａグループ作品

4．2．バーチャルセットワークフローTriCaster460には、ライブカメラ入力が4系統

あり、本スタジオではそのうち2系統を主に使用している。第2章で述べたように、撮影スタジオには2台の HD カメラが設置されており、この2台のカメラの映像をライブカメラ入力の Input1と Input2に充てている。

更に、DDR（Digital Disc Recorder）が2ch、GFX（静止画素材・タイトル）が2ch、M/E（MixEffects）が4ch 設定できる。M/E には、様々な種類のスタジオセットが組み込まれており、ライブカメラから入力した映像を組み合わせ、リアルタイムでクロマキー合成を行い、バーチャルスタジオを合成することができる（図9）。

4．3．コンテンツ制作の事例TriCaster のバーチャルセットを利用し、芸術

地域デザイン学部専門科目「映像デザインⅠ」の授業やデジタル表現技術者養成プログラムの修了研究において、作品制作を行った。

その他、「ICT エヴァンジェリストによる実践報告」において、佐賀市大和中学校のパソコン部がプレゼンテーション動画作成に TriCaster を利用した。また、広報室企画「きてみんしゃい！佐賀大学へ『わくわくメディア体験』」において、参加した中高生が TriCaster を用いたニュース番組制作を体験した。4．3．1．「映像デザインⅠ」での作品制作

芸術地域デザイン学部専門科目の「映像デザイ

ンⅠ」の授業のスタジオ番組制作演習において、5分間程度のオリジナル番組の制作に取り組んだ。TriCaster でどのようなことが出来るか研修した後、3グループに分かれて番組台本を作成、素材映像等を準備した後、収録を行った。ディレクター、出演者、カメラマン、音声、スイッチャー、効果（クロマキー）等の役割はグループ内で振り分けた。尚、テレビの生放送と同じように、スタジオで収録したものをそのまま最終の作品とし、編集等で改編しないことを条件とした。

Ａグループの作品は、写真素材を背景とし、3つのシチュエーションで演者がコミカルな演技をするものであった。背景に用いた写真とグリーンバック前での演技をマッチングさせることが難しかった。Ｂグループの作品は、リアルタイムで着飾りデザインを選ぶことが出来るシャツの CMであった。別途作成したアニメーションを合成により白地のＴシャツに表示させ、演者がリアクションを取る、という内容であったが、アニメーションとＴシャツ、演者の位置合わせに苦労していた。バーチャルセットを用いた作品作りのアイディアとしては面白いものであった。Ｃグループの作品は、コミカルな謝罪会見を報じるニュース番組というテーマであった。ニュース番組と記者会見場をバーチャルセットで設定し、それぞれを切り替え、ワイプで表示するなどし、リアルなニュース番組として作りあげた。バーチャルセットに加え、3つのカメラの映像を使用するなどTriCaster の特徴を生かす作品に仕上がっていた。完成した作品の一場面を図10に示す。

14 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔

4．3．2．デジタル表現修了研究での作品制作デジタル表現技術者養成プログラム8期生の修

了研究作品制作において、地域プロモーションコンテンツ班の2名が、TriCaster を用いて作品制作を行った。

1人目は、伊万里特産の長粒米・ホシユタカを紹介する番組を制作した。2人目は、佐賀県内の観光スポットを面白おかしく紹介する番組を制作した。どちらとも、バーチャルセット上で取材映像や解説用の画像を使い、キャスターが進行する情報番組風の作品である。

番組で使用する取材映像は、自ら現地で撮影・編集し、Ｈ264形式の映像で書き出して DDR に読み込み使用した。また、解説用のフリップ画像は Illustrator で作成し、JPEG 形式で書き出してGFX に読み込んで使用した。収録台本もオリジナルで作成した。また、映像切り替えのタイミング等の TriCaster の操作手順も自ら考え、収録に臨んだ。

5．モーションキャプチャシステム

5．1．システム導入の背景2年間でデジタル表現技術分野の科目を履修す

るデジタル表現技術者養成プログラムにおいて、必修科目「映像・デジタル表現Ⅳ（デジタル表現修了研究）（以降、「修了研究」と記す。）」はその集大成として位置づけられる。修了研究のテーマの中には3DCG コンテンツの制作があり、統合型の3DCG 制作ソフトウェア「3dsMax（3）」を使用した3DCG アニメーションの制作も行っている。

3DCG アニメーション制作において、キャラクターを動作させる方法のひとつに、モーションデータの利用がある。これまでライセンスフリーのモーションデータを使用してきたが、モーションキャプチャシステム（以降、「MC システム」と記す。）の導入により、より目的に合った理想的なデータを自ら収録し、使用することが可能になった。

本章では、本学スタジオ βでの MC システムについて扱う。一口にモーションキャプチャと言っても様々なものがあるが、MC システムでは、モーションデータの計測対象に貼付したマーカーの3次元位置座標情報を高精度に出力することができ、計測対象の動作も比較的自由度が高く、人間の動作だけでなく、物体の動きも取得することができる光学式のモーションキャプチャシステムを導入した（4）（5）。MC システムでは複数同時に計測対象のモーションデータを取得することができ、リアルタイムに出力することもできるため、VRコンテンツとの連携も可能である。

MC システムでは、スタジオ β天井のバトンに、4隅とその間に2台ずつ、計12台のカメラ（図11）を、スタジオ内側を囲むように設置している。モーションデータを取得する際は、スタジオ中心部分である数 m 四方の精度が最も高いが、スタジオ全体を使えば4m 四方程度の範囲であれば、モーションデータを取得できる。

⒞ Ｃグループ作品図10 作品の一場面

⒝ Ｂグループ作品

高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究 15

図11 MCシステムのカメラ

MCシステムでの作業①事前準備・MCエリアの構築・キャリブレーション・マーカーの貼付け

②モーションデータの収録・ROM体操・モーションデータの収録

③モーションデータの処理・（必要に応じて）ギャップやノイズ等の処理・データ出力（BVH形式）

PCでの作業④3DCGアニメーション制作・3dsMax での CG制作・MotionBuilder でのMCデータの適用・出力（FBX形式）・3dsMax でのMCデータの適用

図12 コンテンツ制作のワークフロー

5．2．人型キャラクターの収録ワークフローMC システムを用いた、人型キャラクター用

モーションデータの取得と、それを用いた3DCGアニメーションコンテンツ制作のワークフローを図12に示す。大きく分けると MC システム上度行う「事前準備」「モーションデータの収録」「データ処理」と、MC システム外の3DCG 制作ソフトウェア上で行える「3DCG アニメーション制作」に分けることができる。

以降、MC システムにおける人型キャラクターのモーションデータの取得と、それを用いた3DCG キャラクターへの適用について述べる。

5．2．1．事前準備・モーションキャプチャエリアの構築

MC システムの場合、カメラは常にバトンに固定しており、MC システムを操作するソフトウェアがインストールされたワークステーションも室内に常設しているため、機器の設置・配線や初期調整は基本的に不要であるが、普段はビデオ収録スタジオを兼ねているため、ビデオ収録用カメラの移動や、取得する動作に合わせた空間の確保や、必要に応じて動作位置を示す目印の設置作業が必要となる。また、アクターやオペレーター等、スタジオ内の作業者は光を反射するものは外しておくなどの注意も必要となる。・キャリブレーション

MC システムでは、カメラの位置関係は基本的に変わらないが、周囲の環境は毎回異なるため、MC システムを利用する際は基本的に毎回キャリブレーションを行う必要がある。キャリブレーションでは、エリア中央の位置や床面の位置、ワンドと呼ばれるマーカーを貼り付けた棒を振り、システムに作業範囲等の空間の情報を認識させる。・アクターのセットアップ

モーションデータを取得する対象物に専用のマーカーを取付ける。マーカーには赤外光を反射する塗料が塗布されたテープが張付けられている。導入したシステムでは、マーカー数や名前、配置について特に制限はなく、撮影内容に応じて自由に編集可能である。

例えば、指の動き等の細かい部分を除き、人間の全身を使った動作を収録する際は、モーションキャプチャ専用のスーツを着用し、主要な間接の位置に合わせ、標準で53個のマーカーを貼り付ける。その際補助マーカーは前後左右の認識をするために、非対称に貼り付ける必要がある。5．2．2．モーションデータの収録・ROM体操の収録

マーカーを貼り付けても、いきなり目的の動作のモーションデータの収録を行うのではなく、最初にモーションキャプチャ用の ROM（Range OfMotion）体操で基本的な動作を収録する。この

16 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔

図13 3dsMax のボーンシステム「biped」

データを利用して、アクターによって異なる各関節の可動域等のデータを計測する。ROM 体操は、10～15個の身体の動きから構成された ShortROM と、25～30個の身体の動きから構成されたLongROM がある。

その後、目的のモーション動作を収録するが、各動作を収録する際は、必ず最初に3DCG で人型のキャラクターを扱う際の基本となるポーズであるＴポーズから始める。

導入したシステムでのＴポーズでは、両足を拳一個分ほど開き、つま先を平行になるように揃える。正面を向きながら背筋を伸ばして直立すし、両腕を一度前に曲げてからまっすぐ真横に広げる。といった点がポイントとなる。・モーションデータの収録

モーションデータは、3DCG アニメーションを制作する学生それぞれのシナリオに応じて一人のアクターが演じ、収録する。収録されたモーションデータは、後日学生に対して個別に配布する。また、収録したモーションデータは一回の使用で終わるのではなく、随時アーカイブ化していくことで、後々他のキャラクターにも利用できるようにする。5．2．3．モーションデータの処理・データ処理

収録したモーションデータを確認し、データ収録の際に生じたギャップ（欠損）やノイズ等が発生した場合、ここで、正しいマーカー情報の指定や不要データの削除等の処理を行う。・データ出力

筆者らが3dsMax で制作する3DCG のキャラクターは、Biped というボーンシステムを使用して制御していることから、現状では Biped のモーションに関する全ての情報が記録できる bip ファイルでの保存が適している。（図13）

し か し、MC シ ス テ ム で 使 用 す る ツ ー ル「Blade」から書き出された BVH 形式のモーションデータは、筆者らが使用している3dsMax のような3DCG 制作ソフトウェアで直接読み込むことはできない。そこで、同じく Autodesk 社の

3DCG キャラクターアニメーションソフトウェアの MotionBuilder（6）を経由し、BVH 形式から bip形式へデータ形式の変換を行う。

5．2．4．3DCGアニメーション制作ここでは、MC システムから書き出したモー

ションデータの BVH ファイルを bip ファイルに変換し、3DCG キャラクターモデルに適用するまでのプロセスを示す。

モーションデータを利用する上で、最も問題になるのがプロポーションの異なるキャラクター間でのモーションデータの受け渡しである。Motion-Builder は、その過程をスムーズ、かつ正確に行うことができるソフトウェアで、モーションキャプチャシステムと3DCG 制作ソフトウェアとの橋渡し役として利用される代表的なソフトウェアである。

まず、MotionBuilder の viewer 上にモーションデータを読み込む。モーションデータは、ボーン形状で表示される。次に3dsMax から FBXファイルで書き出した Biped を同 viewer 上に読み込む。Biped をモーションデータに連動させることで、Biped にモーションがコピーされる（図14）。

モーションデータを Biped にプロット（焼きこみ）し、FBX ファイルで書き出す。FBX ファイルは、ソフトウェアやコンピュータプラットフォームに関係なく、多くの3DCG 制作ソフトウェア間で相互運用できるファイル形式である。

高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究 17

図14 モーションデータと biped

図15 モーションデータ適用後の biped

図16 bip ファイル適用後のキャラクター

次に、3dsMax で MotionBuilder に書き出したものと同じ Biped を開く。MotionBuilder で書き出した FBX ファイルを読み込み、Biped にモーションデータが適用される（図15）。

モーションデータ適用後、bip ファイルでモーションデータを保存する。Biped を使用して制作されたキャラクターは、bip ファイルを読み込むことで収録したモーションデータと同じ動きを再現することが可能となる（図16）。

5．3．MCシステムの活用例MC システムが導入され、様々な場面で活用さ

れている。ここでは、MC システムを活用した2つの事例について簡単に紹介する。5．3．1．VRコンテンツとの連携

モーションキャプチャ用のマーカーを HMD（Head Mounted Display）に張り付けることにより、MC システム上で HMD の位置情報もリアルタイムで取得、配信できる。また、同様にマーカーを貼り付ければ、同時に他の人や物の位置情報も取得・配信できるため、VR コンテンツにも利用できる。

筆者らは、オープンキャンパスや地域貢献イベント等での VR コンテンツの体験等での利用を意識し、比較的低年齢でも楽しめる「勇者の剣」と題した簡単な VR コンテンツを制作した。HMDとスポンジ製のおもちゃの剣にモーションキャプチャ用のマーカーを取付け、それらの位置情報をゲームエンジンである Unity（7）へと渡すことができる。Unity で制作された仮想の3DCG 空間上に出現するモンスターを、自分が操作できる仮想の剣（実際には人や物にあたっても問題ないスポンジ製の剣）を使って倒す簡単なゲームになっている。このコンテンツの詳細については次章で述べる。5．3．2．CGとの連携2017年度の修了研究において、3DCG アニメー

ションを制作する学生の作品制作で MC システムを使用した。その際のモーションキャプチャ時の様子と、3DCG キャラクターにモーションデータを当てはめた場面を図17に記す。

図17 モーションデータ取得時と適用した場面

18 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔

表2 VR/MRコンテンツ開発用WSのスペック項目 詳細

OS Windows7 Professional 64bit SP1CPU Intel Xeon E 5-2620 v 4（8コア 2．1GHz）×2

メモリ 32GB DDR4SDRAM

ストレージ・システム：500GB HDD・データ：1TB HDD

光学ドライブ DVD スーパーマルチドライブグラフィックス NVIDIA GeForce GTX1080

6．VR・MR映像開発システム

6．1．システム導入の背景これまで3DCG の動画は、3DCG 制作用ソフ

トウェア上で、キャラクターや車など物体の動きをソフトウェア上に移動経路やアングルを設定されたカメラから撮影した映像が多かった。いわゆる、テレビの番組や映画のような映像である。映画などでは3Ｄメガネなどを利用した3Ｄ映像コンテンツも制作されてはいるものの、一般家庭や個人が容易に利用できるまでの普及はしてこなかったと思われる。

しかし、ここ数年来 VR 製品は、スマートフォン を 装 着 す る HMD や、Oculus Rift（8）、HTCVIVE（9）などパソコンに接続するタイプの HMD、PlayStation VR（10）などコンシューマーゲーム機に接続する HMD など、急速にそのバリエーションを増やしている。また、VR/MR コンテンツを制作するためのソフトウェアとしてゲームエンジンでもある Unity の利用が増えてきている。本章では、このような情勢を踏まえてスタジオ βに導入された HMD や、VR/MR コンテンツを制作するためのワークステーション（以降、「WS」と記す。）やソフトウェアについて述べる。

6．2．導入した機器6．2．1．HMD

はじめに、以下の3種類の HMD を導入した（図18）。

1）HEWDD-2（VR 専用クレッセント社製HMD）（11）

2）Oculus Rift（VR/MR 対応）3）Oculus Rift（VR 専用）いずれも Unity がインストールされたワークス

テーションに接続して VR コンテンツを体験するタイプのものである。1）と2）には、モーションキャプチャ用のマーカーが付けられており、MC システムによりスタジオ β内で動きを捉えることが可能となっている。

3）は、専用のセンサーを使用することで顔の向きなどを捉えるようになっているため、モーションキャプチャシステムには依存しない。その後、スマートフォンを装着する HMD や、VR 用HMD として HTC VIVE も導入し、多様な VRコンテンツへの対応を可能とした。6．2．2．VR/MR用WS

前章で述べた MC システムやそれらと連携した VR・MR コンテンツ開発を行うため、3台のハイエンドの WS を導入した。VR/MR コンテンツの動作確認や開発用 WS のスペックについて表2に示す。

1）VICON によるモーションキャプチャ用2）1）と連携し MotionBuilder や Unity によ

る VR/MR・3DCG コンテンツ開発用3）VR/MR コンテンツの動作確認や開発用上記1）と2）の WS は MC システムでトラッ

キングされたモーションデータをリアルタイムで処理して3DCG アニメーションや Unity コンテンツの体験を行なう必要があるためネットワークで接続されている。3）の WS は、モーションキャプチャシステムとは連動していないため、単独で動作確認や開発で利用されている。

⒝ Oculus Rift（VR/MR対応）

⒜ HEWDD-2図18 導入したHMD

高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究 19

図19 バーチャルカメラ

図20 仮想空想築城コンテンツ実行画面

図21 VRによる体験の様子

6．2．3．VR/MR関連周辺機器HMD や WS 以外に、以下の周辺機器を順次導

入した。1）バーチャルカメラ2）Faceware（12）

3）Insta360 Pro（13）

上記1）は、モーションキャプチャ用マーカーが取り付けられたワイヤレスカメラ（図19）で、モーションキャプチャエリア内を自由に動き回り、仮想空間内の撮影を行なうためのツールである。実際のカメラとは異なり、仮想空間の風景とその中で動いているキャラクターなどを仮想カメラで撮影することができる。

これは、実際の映画製作においてはプリビズ（Pre Vis）と呼ばれる作業にあたる。プリビズとは、映像業界の造語である Pre-Visualizationが元であり、その意味は「あらかじめ目に見えるようにすること」です。つまり、映像制作において、本格的な制作に入る前に、「あらかじめ」どういう映像をつくるか「目に見えるように」しておこうという作業にあたる。

2）の Faceware は、顔の表情、特に眉・目・鼻・口の位置や動き、あるいは頭の向きをキャプチャして、3DCG キャラクターにあてはめることができる。キャプチャする方法は、ヘッドセットにカメラを固定して顔を撮影する方法と、机上においたカメラに正対して顔を撮影する方法の2つがある。

正確なキャプチャを行なうためには、体全体の動きをキャプチャするのと同様に、顔のパーツや可動範囲をシステムに記録するための、顔の体操

（表情のキャリブレーション）を行なう必要がある。

3）の Insta360 Pro は、360°全天球の映像を撮影するためのカメラで、アルミニウム製の球型の本体に搭載された6つの魚眼レンズと4つのマイクにより、最大8Ｋ（7680×3840）という高解像な360°静止画／動画の撮影が可能である。上記以外にも、手のジェスチャーによってコンピュータの操作ができる入力機器 Leap Motion（14）や半天球カメラなどの機材が利用可能である。

6．3．制作したVRコンテンツ6．3．1．仮想空想築城プロジェクト（15）

佐賀大学の学生が中心となって、佐賀県立名護屋城博物館でのテーマ展「バーチャル名護屋城の世界Ⅱ」の中の「佐賀大学仮想空想築城プロジェクト」として作品の制作および展示を行うプロジェクトを実施した。仮想空想築城コンテンツ実行画面およびコンテンツ体験の様子を図20および図21に示す。

20 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔

図22「勇者の剣」体験の様子

このプロジェクトで作成する展示作品は、オープンデータのひとつである名護屋城跡周辺の地形測量データを利用し、3DCG モデリングデータにインタラクティブな要素を追加し、見学者が展示物を自由に操作して鑑賞できるもの目指した。

そのため、3dsMax による3DCG モデリングに加え、ゲームエンジンである Unity の利用や、パソコンに触れることなく手によるジェスチャーでの操作を可能にする Leap Motion などのデバイスを組み合わせることで展示環境を構築した。実際に制作した仮想の城の数は9つであった。2017年7月7日～9月3日のイベント期間中の

来場者数は、7，000名を超え、大盛況であった。LeapMotion による展示方法も、先端的な仕組みとして好評であった。6．3．2．VR仮想庭園散策2017年11月25日に本学で開催された「第6回佐

賀大学ホームカミングデー」において、前項の仮想空想築城プロジェクトの展示とともに、9つの仮想の城のうち庭園状のものを2つ選んで、仮想空間を歩き回れるようなコンテンツにした。

その手順は Unity で作成されている仮想の城のデータを利用し、カメラの移動を Leap Motionではなく、視線の方向に移動するようカメラの動きをプログラミングした。これを、HMD にセットしたスマートフォンで実行することで、座ったまま庭園内を歩き回れるコンテンツとした。来場者は、Leap Motion による手のジェスチャーで動かすものと比較しながら楽しまれていた。6．3．2．勇者の剣

前章で述べた「勇者の剣」というゲーム体験コンテンツの制作も行なった。このコンテンツは、オープンキャンパスや、公開講座、FRONTLINE2017といったイベントや施設見学などで、来校された方々へのデモンストレーションでも好評であった（図22）。

6．4．今後のVR/MR現時点で、多くの HMD やハイエンドな WS の

価格が高いことから、多くの人達にとって手を出しにくいという状況に変化はない。

それでも、Oculus Rift や HTC VIVE などは値下がり傾向にあり、CG などで作られた仮想空間に現実世界の情報を取り込み、現実世界と仮想空間を融合させる技術である MR も普及の兆しを見せている。Windows10の「Fall Creators Up-date」では MR に正式対応している。

今後、全天球映像やゲームやアトラクションを含めた VR/MR の体験だけでなく、VR/MR コンテンツの制作の環境も整備されていくと考えられる。CL センターも、学内の学生や教職員だけでなく、他大学や佐賀県内の企業をはじめとする外部組織との共同研究などで、より有効な活用とコンテンツの制作に取り組んでいく予定である。

おわりに

本稿では先端的コンテンツデザインに必要な撮影スタジオ、モーションキャプチャシステム、高度な3DCG や VR・MR 開発等の機能を有した「メディア総合教育研究設備」の一部について、各設備を用いたコンテンツ制作におけるワークフローおよびその活用例について述べた。本設備が導入されまだ1年程度ではあるが、教職員および学生の教育・研究による様々な活用がされている。

芸術的視点から地域資源のコンテンツ化を地域と共創し、作品や教材等として活用していく上で、

高解像度映像及びモーションキャプチャと仮想現実映像によるコンテンツワークフローの研究 21

高度な制作システムの技術的な調査及び研究も重要なリソースとなる。さらに、これらのデータをオープンソースとして社会に提示することで、クリエイティブな共有資産を高度情報社会のプロットフォームとして構築していくことも視野に入れている。

本システムに続いてファブリケーション演習に係る設備整備も進めており、バーチャルとリアルを往還する先進的な創造環境構築として更に研究を続けていきたい。

謝辞本稿で紹介した様々なシステムの導入にあたり、

研修や、また設備を用いた研究の際には多くの方々に協力して頂いた。協力して頂いた方々にこの場を借りて感謝の意を示す。

参考文献⑴ Pro Tools

https://www.avid.com/pro-tools（2018／02／04ア クセス）

⑵ TriCaster（トライキャスター）http://tricaster.jp/tricaster/（2018／01／30アクセス）

⑶ 3ds Maxhttps://www.autodesk.co.jp/products/3ds-max/over-view（2018／01／26アクセス）

⑷ Motion Capture Systems | VICONhttps://www.vicon.com/（2018／01／26アクセス）

⑸ VICON 製品ページトップ｜Crescent,inc－株式会社クレッセントhttp://www.crescentinc.co.jp/product/vicon/p_top/（2018／01／26アクセス）

⑹ MotionBuilderhttps://www.autodesk.com/products/motionbuilder/overview（2018／01／26アクセス）

⑺ Unityhttps://unity3d.com/jp/unity（2018／01／29アクセス）

⑻ Oculus Rifthttps://www.oculus.com/rift/（2018／01／29ア ク セス）

⑼ HTC VIVEhttps://www.vive.com/jp/（2018／01／29アクセス）

⑽ PlayStation VRhttp://www.jp.playstation.com/psvr/（2018／01／29アクセス）

⑾ HEWDD-2製品ページトップ｜Crescent,inc－株式会社クレッセントhttp://www.crescentinc.co.jp/product/hewdd2/p_top/（2018／01／29アクセス）

⑿ Faceware 製品ページトップ｜Crescent,inc－株式会社クレッセントhttp://www.crescentinc.co.jp/product/faceware/p_top/（2018／01／29アクセス）

⒀ Insta360Pro｜ハコスコhttps://hacosco.com/insta360-pro/（2018／01／29アクセス）

⒁ Leap Motionhttps://www.leapmotion.com/（2018／01／29ア ク セス）

⒂ 佐賀大学仮想空想築城プロジェクトhttps : / / peraichi. com/ landing _ pages / view / sagau-virtual-project（2018／01／29アクセス）

本稿に記載されている社名および商品名は、それぞれ各社が商標または登録商標として使用している場合があります。

22 中村 隆敏，古賀 崇朗，河道 威，永溪 晃二，米満 潔