デジタルコンテンツ研究会

2007/6/30 デジタルコンテンツ学研究会

徳井直生 PhD

International Media Research Foundation / リサーチャーwww.naotokui.com

http://www.naotokui.com

http://www.naotokui.com

コンテンツ

•自己紹介

•これまでの活動と基本的な問題意識

•最近の活動

• Phonethicaプロジェクト

• iMashupプロジェクト(仮)

•デジタルコンテンツの今後

徳井直生 - 略歴

• 1995 金沢大学教育学部附属高等学校卒業

• 2004 東京大学工学系研究科博士課程修了工学博士 (人工知能とCHI)

• 2004-2005 SONY Computer Science Lab パリ客員研究員

• 2005-2006 パリ国際大学都市レジデントアーティスト

• 2006/7～ International Media Research Foundation 研究員

•東京藝術大学, 東京工芸大学, 長岡造形大学非常勤講師

•音楽メディアの未来に関する研究

International Media Research Foundation

• 92年創設財団法人

•コンピュータ／ソフトウェア技術を用いた新しい表現技術に関する研究を行う

•産学共同研究の促進

•アーティスト／デザイナー／プログラマからなる少数の研究員

•詳しくは http://www.imrf.or.jp/ 実際にはアーティスト兼プログラマ, デザイナ兼

研究員兼ミュージシャン

http://www.imrf.or.jp

http://www.imrf.or.jp

研究員の作品の一例

武藤努 Optical Trajectory 2 tEnt (田中浩也+久原真人)

catch the white breath

古堅真彦motionExpress

研究員の作品の一例

John Maeda

Maeda @ Media

John Maeda

Reactive Digital Design

• DJ / プロデューサー (op.disc, PROGRESSIVE FOrM)

• 2001-2002 -最初のレコードをヨーロッパのテクノレーベルからリリース

• 2003 - アルバム “Mind The Gap”

• 2002 ヨーロッパツアーなどのDJ/ライブ活動

Nao Tokui - 略歴

コンテンツ

•自己紹介


•最近の活動




徳井直生 + Nao Tokui

バックグラウンド

•人工知能

•進化的計算手法 (遺伝的アルゴリズム)

•進化の仕組みをまねた最適化計算手法 (交叉，突然変異)

•人工生命

•コンピュータ上に「生命」のモデルを構築.

生命システムをシミュレーション的に解析する．「これらを DJや曲作りにいかせないか？」が出発点

修士研究

•「対話型遺伝的プログラミングを用いたリズムの生成」

•遺伝的アルゴリズムと遺伝的プログラミングを組み合わせたリズム表現

•ユーザが個体を評価する対話型進化計算

修士研究

研究の結果

•音楽の知識がなくても好みに近いリズムを獲得

! お手軽自動作曲ソフトウェア !

•新しいリズムのアイデアを誘発

! 自分の意図していたものとは違うものを返してくる

! 一般的な音楽ソフトウェア上でアイデアを発展させ，実際の曲につながることも

このシステムで生成されたリズムを元に，発展させて作った楽曲

V.A - Speaker Attack

Nao Tokui “Tokyo”

テーマ

•何らかのルールに基づく適度なゆらぎ／ランダム性を持つことによって，ユーザの内的な「気づき」を促す，可能性探索のためのインタラクティブシステムの開発

•創作活動のスタートとなる「スケッチ」となるシステム

•生成的インタラクション

- Generative Interaction

システムとの対話を通して，その結果をアウトプットすることではなく，ユーザへのフィードバックを重視

•集合的／社会的インタラクション

Collective / Social Interaction

テーマ



テーマ

コンピュータとのインタラクション



テーマ


コンピュータシステムを媒介とした人と人とのインタラクション

キーワード

人間の創造性/アイデア

キーワード

Generative生成的


キーワード

Generative生成的

人工生命／進化計算など


キーワード

Generative生成的

Collective集合的

人工生命／進化計算など


キーワード

Generative生成的

Collective集合的

人工生命／進化計算など Web2.0, Creative

Commons...


キーワード

Generative生成的

Collective集合的


Commons...



キーワード

Generative生成的

Collective集合的


Commons...

コンピュータとのインタラクションコンピュータシステムを媒介とした人と人とのインタラクション


徳井直生 - 略歴

• 2004 東京大学工学系研究科博士課程修了工学博士 (人工知能とCHI)

• 2004-2005 SONY Computer Science Lab パリ客員研究員

• 2005-2006 パリ国際大学都市レジデントアーティスト

• 2006/7～ International Media Research Foundation 研究員

•東京藝術大学, 東京工芸大学, 長岡造形大学非常勤講師

•音楽メディアの未来に関する研究

2006年7月1日に帰国／研究員着任明日で一周年！

コンテンツ

•自己紹介


•最近の活動




Phonethicaプロジェクト

• アーティスト遠藤拓己による「言語」に関するアートプロジェクト (2003~)

• 2005 - 2006年度徳井が参加

•「偶然性」を通して，世界／人類の文明に対する新しい見方，あるいは異文化に対する新しい視点への「気づき」を促すためのインタラクティブなシステムの開発

Phonethicaとは？

ロゼッタプロジェクトやユネスコが行っている危機言語の保存の活動とは，方法論が大きく異なる

Phonethicaとは？

• 言語を通して世界の文化の多様性を探る

• 言語を飛び越して、同音異義語を探す

• 偶然の音の一致 ! 想像力を刺激 ! 未知の文化への興味を誘発

• 危機言語に対する問題意識の向上ロゼッタプロジェクトやユネスコが行っている危機言語の保存の活動とは，方法論が大きく異なる

“ça va?”

21

“ça va?”

「鯖」

21

日本語フランス語

22


ロシア語

22


トルコ語

ロシア語

22


トルコ語

ロシア語

7

アラビア語

22


トルコ語

ロシア語

7

アラビア語インドネシア語

22


トルコ語

ロシア語

7

アラビア語インドネシア語

シンハラ語

22

言語の現状

54%

46%約半数はもうどこの小学校でも教えていない

96%

4%

総人口の96%が4%の言語を話す

世界の言語 5000～6000のうち

4%

96%

人口言語

Phonethica Project 全体像


“Rondo”

インスタレーション

2006.6 -

2007.3 IC

C


“Rondo”


2006.6 -

2007.3 IC

C

Phonethic

a Deskto

p

ソフトウェア


“Rondo”


2006.6 -

2007.3 IC

C

Phonethic

a Deskto

p

ソフトウェア

Phonethic

a Web

!テスト中


“Rondo”計画図


“Rondo”全景


“Rondo”スクリーンショット

技術的な背景

• 2005 Phonethica Desktop

•各単語のIPA発音記号列を比較

!発音記号がついた辞書のデジタルデータが非常に少ない

!比較の精度が悪い (IPA記号の恣意性)

• 2006 Phonethica Web

• Webブラウザ上から録音．音声データを収集

•音声データを解析，音声認識の技術の流用

•ユーザからの投稿/投票を活用 (Web2.0/CGC的アプローチ) デジタルデバイド

IPA発音記号

Phonethicaプロジェクトの今後!

• Phonethica NPO設立

• Phonethica Webの一般公開

• 2006年度の成果報告をかねた展示/シンポジウム (9月上旬を予定)

•詳しくは www.phonethica.net

http://www.phonethica.net

http://www.phonethica.net

コンテンツ

•自己紹介


•最近の活動




音楽をとりまく環境の急激な変化

•新しい技術が急激に広まる

• mp3, ネットワークラジオ，Napster, iPod, MySpace Music. LastFM,...

•「CDが売れない」

•ここ5年で市場が3分の2に

• CDのようなパッケージを基本とした文化／産業の形態を見直すべきときがきているのでは?? ! 新しい音楽文化を生み出して行く必要性

制作と聴取の境界 - 「マッシュアップ」の流行

•定義• 2つ（ないし複数）の曲を一つの曲に合成する音楽製作手法の一つ ...複数のアーティストの既存の曲を持ち寄り片方からは曲を、また片方からは詞を抜き出しそれを合成する...

(wikipedia)

•特徴•ループの組み合わせ(⇔サンプリング)

敷居が低い．

•消費者から制作者へ

•ただし，違法性がつきまとう

Jay-Z + The Beatles

制作と聴取の境界 - 「マッシュアップ」の流行

•定義• 2つ（ないし複数）の曲を一つの曲に合成する音楽製作手法の一つ ...複数のアーティストの既存の曲を持ち寄り片方からは曲を、また片方からは詞を抜き出しそれを合成する...

(wikipedia)

•特徴•ループの組み合わせ(⇔サンプリング)

敷居が低い．

•消費者から制作者へ

•ただし，違法性がつきまとう

Jay-Z + The Beatles

Destiny’s Chid + Nirvana

http://worldofwonder.net/insidedeepthroat/wimages/smells_like_booty.mp3




音楽ヒエラルキー演奏者

聴取者

制作者


聴取者

Mashup

制作者


聴取者

DJMashup

制作者

•ネットワークを利用したMashupシステム

•より手軽なMashup / Mashupの合法的なシェア

•大規模なオンライン上の音楽データベースを使う

•楽曲そのものはシェアしない

•ミックスの「ルール」のみの共有

iMashup(仮称) プロジェクト


楽曲データ

ユーザ2

ユーザ1

Mashup

A

Mashup

B

音楽データベース


ユーザ2

ユーザ1

ルールのみを交換



音楽データベース楽曲データ

ユーザ2

ユーザ1

Mashup

A

Mashup

B

Mashup

B

Mashup

A

iMashupプロトタイプ - iTMS-DJ

•問題点 - 音楽データベースをどうするか？

•テストケース - iTMS-DJ

• Apple iTunes Music Storeの30秒のサンプルを使う

•短いループでよい. 30秒のサンプルでも十分

•短い曲の有効活用 ! 着メロなどへの応用

iTunes Music

Samples

Analyzed

iTunes Music Store

Extracted Loops

Server

Mix List

User A

User B


ちょうどいいループの位置好みのループの組み合わせループの操作の記録などを

サーバに登録

Analyzed

iTunes Music Store

Extracted Loops

Server

Mix List

User A

User B

ちょうどいいループの位置好みのループの組み合わせループの操作の記録などを

サーバに登録

iTMS-DJ

- テクノロジー

iTMS-DJ


•ループ抽出

iTMS-DJ


•ループ抽出

•なるべくバラエティーに富んだループを小節単位できれいに取り出したい

iTMS-DJ


•ループ抽出


•曲調の変化の抽出 + アタック検出 + BPM検出

iTMS-DJ


•ループ抽出



•前提: 小節の切れ目で曲調が変わることが多い？！

iTMS-DJ


•ループ抽出



•前提: 小節の切れ目で曲調が変わることが多い？！

•誤認識はユーザが修正

iTMS-DJ


iTMS-DJ


•曲のセグメンテーション

iTMS-DJ



• FFTベクトルなす角度を2次元にプロット．画像処理的に抽出される「市松模様」がパターンを表す．

iTMS-DJ



• FFTベクトルなす角度を2次元にプロット．画像処理的に抽出される「市松模様」がパターンを表す．

• FFTベクトルの自己相関係数をプロット．テンポにあった間隔で相関が強く出る．

iTMS-DJ -

ソフトウェアインタフェース

音楽を取り巻く行動 (1980年代以前)

mix tape作り

CD／レコード

口コミ

演奏

制作／演奏聴取／消費

ライブ鑑賞

新しい演奏形態 (1980年～)

mix tape作り

CD／レコード

口コミ

演奏


DJ

ラップトップミュージック

新しい演奏形態とインタフェース (2000年～)

mix tape作り

CD／レコード

口コミ

演奏


DJ

ラップトップミュージックライブコーディング

協調的な演奏

新しいデバイス/インタフェース

Sine Wave Orchestra

Block Jam AudioPad SONASPHERE

SONASPHERE 徳井 2002-2003 @ 東大

DJ的な音声ファイルのミックスの仕方

各機能を3次元空間上のボールとして表現

位置とパラメータを関係づける

SONASPHERE

•音響生成／演奏ソフトウェア

•仮想三次元空間内でのビジュアルプログラミング

•三次元空間内の位置によってパラメータが変化

•オブジェクト間の相互作用

! 音に変換

SONASPHERE

•演奏用インタフェース

•プロセスの可視化

•ライブにある程度の予測不可能性／一回性の導入 ! 緊張感

•制作用のインタフェース

•音響合成にある程度の予測不可能性の導入 ! 気づき

ライブにおいていかに自分をあきさせないか...

新しい聴取形態とインタフェース (2000年～)

mix tape作り

CD／レコード

口コミ

演奏


DJ

ラップトップミュージック

部屋の記憶iPod

新しいデバイス/インタフェース

mixテープ作りがplaylist作りに

New

!

現状 (2000～)


ネットワーク

ライブコーディング

Napster ソーシャルプレイリスト

midomi

freesound

mix tape作り

CD／レコード

口コミ

演奏DJ


Sine Wave Orchestra

Block Jam AudioPad SONASPHERE部屋の記憶iPod

New

!

現状 (2000～)


ネットワーク

ライブコーディング

Napster ソーシャルプレイリスト

midomi

freesound

mix tape作り

CD／レコード

口コミ

演奏DJ


Sine Wave Orchestra

Block Jam AudioPad SONASPHERE部屋の記憶iPod

新しい可能性

問題点

" インタフェースの貧弱さ

•一般的な音楽ソフトを踏襲．魅力的とは言いがたい．

!専用ソフトウェアの必要性

• Webアプリに移行．SNS的なオンラインコミュニティを形成.

•携帯電話ユーザの取り込み (iPhone?)

•音楽データベース - 法的な問題

• Creative Commonsなどのライセンスの楽曲のみに制限する

•レコード会社と契約

こうしたシステムがもたらす恩恵

•音楽紹介／発見サービスへの拡張

•ロングテールの掘り起こし

•楽曲そのものの再発見

•組み合わせの「偶然性」よる「気づき」

•新しい音楽文化の創造

•消費者側にコントロールを移譲した音楽の新しい楽しみ方

•録音メディアを基盤にした「音楽」の概念が崩れる!?

! 「かつて音楽と呼ばれたもの」「Music 2.0」??

コンテンツ

•自己紹介


•最近の活動




デジタルコンテンツの未来

プロシューマの台頭

協調性 / 集積性

モジュール性

デジタルコンテンツの未来

ProsumerizationModularity

Collectiveness

プロシューマの台頭

協調性 / 集積性

モジュール性

“Prosumerization” - プロシューマの台頭


• “Prosumer”

= Producer + Consumer (「第三の波」 A.トフラー)


• “Prosumer”


•生産(者)と消費(者)の境界の崩壊


• “Prosumer”



•制作と聴取, コピーと編集の境界が曖昧に


• “Prosumer”



•制作と聴取, コピーと編集の境界が曖昧に

•例) YouTube, マッシュアップ

Modularity! - モジュール性


•類似するキーワード - Non-Linear 非線形的, Generative 生成的



•固定されたもの ⇔ モジュールの可塑的な集団




•相互に交換可能なモジュールの総体としてのコンテンツ





⇔始まりがあって終わりがある固定されたコンテンツ






•例) マッシュアップ, DJ, ゲーム






•例) マッシュアップ, DJ, ゲーム

母集団

Collectiveness - 集積性 / 協調性


•モジュールの集団がネットワークによって拡大／巨大化



•対象



•対象

•人間の協調作業そのもの



•対象


•例) MMOPRG, ネットワークごしのジャムセッション



•対象



•創作物／成果物



•対象



•創作物／成果物

•例) Creative Common, freesound,

マッシュアップ

デジタルコンテンツの今後

•コンテンツの二極化

•例) YouTubeとロードショームービー, ロックフェスティバル人気

•「偶然性」「偶有性」をいかに担保できるかがポイント

•アナログコンテンツの時代

•デジタル技術を使っていかに「アナログコンテンツ」と「人」を結びつけるか

偶有性 Contingency

「半ば偶然に、半ば必然に起こる」「ある程度は予想がつくが、最終的には何がおきるかわからない」ような性質

デジタルコンテンツ研究会

Technology

Transcript of デジタルコンテンツ研究会