Project DAFTY 20140710 Tokyo MotionControl Network
-
Upload
satoshi-maemoto -
Category
Documents
-
view
2.045 -
download
7
description
Transcript of Project DAFTY 20140710 Tokyo MotionControl Network
![Page 1: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/1.jpg)
Project DAFTY
Dafty Live System α
![Page 2: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/2.jpg)
モーションを音と映像へ反映するライブシステム(αバージョン)
https://www.youtube.com/playlist?list=PLXYYxTi9FpNkGoFdG_RhjYdNljoY-Gqui
![Page 3: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/3.jpg)
Funny Village ライブ時のシステム構成
PC B(Mac)Max / MSP
N.O.R.K國本玲さん開発
Kinect V1 SensorKORG
Kaossilator Pro+
PC A(Windows)Unity Application
SystemFriendNUI Framework
Unity MIDI bridge
Kinectでセンスした腕の動きをMIDIコマンドに変換してカオシレーターのタッチパッドをリモートコントロール。Kinectでセンスした人物のDepth映像にシェーダーで効果をつけつつ表示。PC Bでは入力されたビートアタック音をMax/MSPでオーディオ信号→映像エフェクトへ変換。SF NUI FWはKinectV1、V2を透過的に扱えるSystemFriend社内ライブラリ。KinectV2をUnity Freeでも使える。Unity MIDI bridgeはこちら。 http://keijiro.github.io/posts/unity_midi_bridge/
DJ
Beat! Beat!
Video Mixer
PA
Screen
Speaker
![Page 4: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/4.jpg)
演奏空間
Front Side
Upper Touch Pad (SE1)
Side Touch Pad (SE2) Side Touch Pad (SE2)
Front Touch Pad
Front Touch Pad
Note OFF Note ON
![Page 5: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/5.jpg)
演奏空間
Side
DEMO
![Page 6: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/6.jpg)
演奏空間
Side
Funny Village ライブの裏側
22:00
DAFTYリハーサル開始機材設置が押して時間がない。緊迫した中取り乱すことなく冷静にリハを進めるDAFTY。KINECTパートの動作確認はすんなりOK。
しかし致命的な不具合が発覚。VJに映し出される映像が観客からみると左右反転している。これまではPCの画面に対して演者が向いてショーを行ていたが、本番では映像に背を向けて演ずるので。
![Page 7: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/7.jpg)
演奏空間
Side
Funny Village ライブの裏側
23:00
現場リカバリー開始。ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないまたはパフォーマンス的に無理そう
Unityのカメラのプロジェクション設定で左右反転→トライいけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ
ている状況では難しい。
ここでviviさんお弁当差し入れ(地獄に仏とはこのこと)
![Page 8: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/8.jpg)
演奏空間
Side
Funny Village ライブの裏側
23:00
現場リカバリー開始。ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないまたはパフォーマンス的に無理そう
Unityのカメラのプロジェクション設定で左右反転→トライいけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ
ている状況では難しい。
ここでviviさんお弁当差し入れ(地獄に仏とはこのこと)ライブ開発ルーム
![Page 9: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/9.jpg)
演奏空間
Side
Funny Village ライブの裏側
24:00
Fanny Village開演爆音のなるメインスピーカー裏のステージ袖、とても狭い空間で武内さん(巨体)が床に座ってプログラミング実施
Unity Pro限定のシェーダーをかけることで左右反転に成功(武内さんMacにて)
Kinect用WindowsPCにはUnity Freeしかはいっていない→急きょProのトライアルライセンスを取得して対応(会場e-mobileの電波入りにくくてかなり時間を食う。精神的によくないw)
exe書き出し→トライアルなので右下に「TRIAL」の文字が強制的に表示されてしまう!!!
![Page 10: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/10.jpg)
演奏空間
Side
Funny Village ライブの裏側
25:00
弊社の社内PCでUnity PROのライセンスを使っていたので社内PCにリモートログイン→リモートデスクトップでなぜかUnityのメニューが開けずライセンスの開放ができない→最終手段。武内さんPCのUnity Proライセンスを解放→一時的にライセンスを借用→exe書き出し→なぜかexe起動してもうまく動かない(Unityはライセンス変更するとそれまで動いていたプロジェクトがうまく動かないことがあるよう)→もう本番まで時間がない。プレビュー画面では動くのプレビュー画面をスクリーンいっぱいに広げて本番へ利用する強硬策発動しかしウィンドウ枠が表示されてしまう
→映像ミキサーの設定で画面を少し拡大して画面枠をはみ出させて表示してもらえるよう國本さんに特急対応してもらったここで26:00 本番直前
![Page 11: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/11.jpg)
演奏空間
Side
Funny Village ライブの裏側
26:00
最後の難関、デバッグのためステージ脇に持ち込んでいたセンサー、これをアプリを起動したままDAFTYのステージが始まるときにステージセンターまでもっていく必要がある
→床をはいつくばって持ち出すときにUSBケーブルや電源ケーブルがからまらないようにもつれを解いていった。
ケーブルをさわるとあれでもセンサーとPCの接続が切れてしまってアプリが止まると大打撃。爆弾を解体するような精神力が必要とされた。
![Page 12: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/12.jpg)
演奏空間
Side
Funny Village ライブの裏側
26:20
DAFTYステージスタート武内さんにセンサーを運んでもらう(1回目)→設置位置は良かったが微妙にセンサー自体がななめを向いている武内さんにセンサーの向きを調整してもらう(2回目)→もうちょっと微妙に位置調整がいりそう武内さんにセンサーの向きを調整してもらう(3回目) これで代替行けそうな雰囲気。ただし確信はないw→TMCNで2足歩行のキネクトセンサースタンド作りませんか?
→TMCNで2足歩行のキネクトセンサースタンド作りませんか?
![Page 13: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/13.jpg)
演奏空間
Side
Funny Village ライブの裏側
26:50
KINECTショー開始viviさんがステージ中央に立つ、、、、しっかりセンサー中央にとらえた。ステージ脇で武内さんとハイタッチ。センサーもシステムも動作しているがふと会場の巨大スクリーンを見るとノイズが乗ったような表示なっていて焦る→おそらくミキサー設定とPA卓設定がずれたためか?でもなんか結果的にカッコイイエフェクトになっていたので幸運の神の降臨をマジ感じた。マジリスペクト。
![Page 14: Project DAFTY 20140710 Tokyo MotionControl Network](https://reader030.fdocument.pub/reader030/viewer/2022020116/559848311a28ab5d168b46e1/html5/thumbnails/14.jpg)
演奏空間
Side
これからのProject DAFTY
あらゆる現場の最悪を乗り越えて、大きなステージで実績を残すことができました。
• まず打ち上げが来週ありますw• 「新しい楽器を創る」このテーマをさらに追求します。• 新曲の制作とリンクしたプロモーション映像作品の制作が始まろうとしています。
これからも応援してください!