VR Game Jam 2015 大阪　VR指揮開発報告

『バーチャル・コンダクター』（指揮者になってみよう）

VRコンテンツ開発報告

2015年11月29日

矢野・八尾チーム

憧れの指揮者になりきって、フルオーケストラを指揮各パートに指示が出せ、指揮棒の振り方でテンポ変化 VR指揮者がお手本、その次に自分で指揮、採点機能付

最終形（目指す姿）

楽器は最大２つ（例：ピアノ・ヴァイオリン）腕の動きで演奏スピードが変わるできれば拍に合わせてタイミング良くスピードを変えたい

今回の制作目標

腕の動きの認識

→リアルセンス、ニューロン等拍に応じたスピード変更

→MIDIデータを順次デコード演奏感の表現

→音符が出てくるアニメ

技術課題と対策案


→リープモーション手振りに応じたスピード変更

→オーディオミキサーのピッチ ⇒音の高さが変わってしまう演奏感の表現

→音符が出てくるアニメＯＫ

対策結果

（実行画面をご覧下さい）

開発版のデモ


→6/8など様々な拍子の認識演奏感の表現

→バーチャル演奏者の演技拍に応じたスピード変更

→MIDIストリーミング再生

今後の課題

UnityはMIDIに非対応

→オーディオミドルウェア「Wwise」（ワイズ）で再生可能テンポの調整

→ WwiseのAPIで調整可能ストリーミング再生

→ 来年Wwiseで対応見込

MIDI ストリーミング再生（１）

www.klab.com/jp/technology/pdf/archive_140625.pdf

Wwiseでのテンポ調整

www.klab.com/jp/technology/pdf/archive_140625.pdf

UnityでのWwise導入事例

http://www.4gamer.net/games/210/G021013/20151026058/

UEでのWwise導入事例

http://www.4gamer.net/games/210/G021013/20151026058/

UEでのWwise導入事例（２）


→リープモーションで実現演奏感の表現

→手振りに応じたピッチ変更拍に合わせたテンポ変更

→Wwiseによる実現可能性

まとめ

ご清聴

ありがとうございました。

Technology