吉川遼 49-126227文化・人間情報学コース｜山内研究室修士課程2年

2013.07.03 | 修士論文中間発表会

独習環境におけるギター演奏学習者の自己音楽表現を促す熟達者からの一人称視点映像を用いたシステムの提案

研究の概要

独習形態が採られる傾向があるギター演奏練習では多様な演奏表現を学ぶことができないため自己の演奏形成が困難だと考えられる．

本研究では，独習環境のギター演奏学習者が複数の熟達者演奏の視聴と模倣を通し，表現の多様性と身体動作について学習することで，演奏者自身の演奏表現への反映を促す学習システムの構築・実験をおこなう．

2

背景

社会的背景

各演奏家が記譜された楽曲を各自の解釈で演奏し，

自らの表現を創作することが「常識化」 （須藤・杵鞭, 2010）

研究的背景

演奏者各自の解釈による芸術的な表現を目的とした逸脱（Seashore, 1938; 奥村ほか, 2009, 須藤・杵鞭, 2010）

演奏と身体動作との密接な関わり（Wanderley, 2002; 丸山, 2007; 山田, 2008）

演奏表現習得における表現の多様性への接触と

身体動作学習の必要性

3背景・先行研究

自己の演奏表現

楽曲の解釈（波多野ほか, 1987）

推理：作曲者は何を表現しようとしたのか？

主張：聞き手に何を／どう伝えるか？

イメージ生成

曲想に起因する情緒的な情報（須藤・杵鞭, 2010）

→多くの音楽作品に触れる（波多野ほか, 1987; 渚, 2007）

イメージの演奏への実現

音のフィードバックによる修正（森尻, 2010）

→運動パターンと音との結びつけの蓄積（渚, 2007）

4背景・先行研究

現状

ギター演奏練習の問題点

専門家の指導を受けることなく独学による習得形態が選

択されやすい（数森ほか, 2010）

→楽曲の解釈，イメージが広がらない

従来の練習方法…三人称視点の教則ビデオ・教本

→身体動作の模倣には不適

5背景・先行研究

• 押さえるべきコードの提示 （Cakmakci et al., 2003; Löchtefeld et al., 2003; 元川ほか, 2006 など）

…初心者が対象，表現活動・身体動作に関する支援ではない

• 琴演奏時のHMD上への手本動作提示（Mitobe et al, 2012）

…身体運動の向上のみ測定

• 画像によるイメージ生成支援 　　　　　　　　（Yang et al., 2012）

…身体動作に関する教示なし

• 複数熟達者表現の模倣による”表現の自覚性”獲得（石黒・岡田, 2013）

…写真創作活動が対象

演奏独習場面において表現の多様性に触れ，かつ身体動作を考慮

した演奏支援はなされていない

先行研究

独習演奏練習支援

イメージ生成支援

表現の多様性

6背景・先行研究

目的

独習場面のギター演奏学習者が，

表現の多様性とその表現を生み出すための身体動作を

学ぶことによって，

自己の演奏表現：「何を／どのように演奏するか」

を実現するための学習支援システムの提案と検証

7目的

模倣による学習

観察によって今までの自分の行動レパートリーの中にな

かった新しい行動パターンが習得（Bandura, 1971）

身体を動かしながら作品の制作過程を追体験するダイナ

ミックな経験（石橋・岡田, 2004）

他者作品の模倣を通して作者の意図や制作プロセスの推

測を行うことによって新しいものの見方が得られ，それ

がその後の創造における表現内容の生成に影響を与える（Ishibashi & Okada, 2004, 2006; 石橋・岡田, 2010）

8支援原理・システムの設計

行為の中の省察（Schön, 1983）

驚きや予期しなかったことが刺激となり，行為について

ふり返る

音楽創造における省察

音楽に対する感触を通して省察を行い，自分が今おこな

っていることをプロセスの中で考え，自分の行為を進化物理的環境 社会的環境（特に，他者）

イメージ コンセプト 知識 感情

表象・感情

知覚

省察

行為

内的世界

外的世界

岡田（2013）によるモデル図

9支援原理・システムの設計

システムの設計

HMDでの一人称映像視点映像視聴による演奏の模倣

→演奏表現の模倣を通した意図・プロセスの推測

複数熟達者の演奏の提示・模倣

→熟達者の演奏の試聴・模倣による，自身の演奏の省察

を通した行為の進化

10支援原理・システムの設計

複数熟達者映像の提示

主軸一致条件（教示動作と被教示者の位置が一致）での

動作学習（木村ほか 2007）

部分的な動作イメージの構築・模倣に適している

一人称視点からの模倣学習の有用性

演奏者身体動作の視覚情報提示により，聴覚情報のみの

場合に比べ演奏の意図がより知覚可能になる（佐久間・大串, 1994; 渚, 2005; 大串, 2005; 片平, 2012）

複数の表現模倣を通した”表現の自覚性”の獲得（石黒・岡田 2013）

HMDによる一人称視点

11支援原理・システムの設計

システムの機能と役割

視覚情報

聴覚情報

ヘッドマウントディスプレイ上での一人称視点からの熟達者映像の視聴

マイクによる集音・イヤホンによる聴取演奏音のリアルタイムフィードバック

12支援原理・システムの設計

システム 認知プロセス身体運動

演奏者Aの演奏の意図・プロセスの理解

問い：「なぜこのように弾いたのか？」

仮説：意図の推測・仮説の生成

検証：行為の再現・追体験

演奏者Aの模倣

視聴しつつ，繰り返し

練習・試行錯誤

自身の表現基準の再構築

Aの演奏と［異なる・共感］

→自分が表現したいイメージとは？

相対化を通した意識化

演奏者Aの演奏映像の提示

一人称視点からの演奏動作

HMDによる視聴

A自分

自分

13学習のイメージ

演奏者Aの演奏の意図・プロセスの理解

自身の表現基準の相対化・再構築

演奏者A

演奏者C

演奏者Bの演奏の意図・プロセスの理解

自身の表現基準の相対化・再構築

演奏者Cの演奏の意図・プロセスの理解

自身の表現基準の相対化・再構築

認知プロセス演奏者Aの演奏動作の模倣

演奏者Bの模倣

演奏者Cの模倣

身体運動

演奏者B

A自分

自分 B

自分 C

自分

システム

自身の演奏意図の醸成

「自分はどのように弾くか？」の理由づけ

演奏意図を考慮した演奏

14学習のイメージ

実験計画

対象：ギター中級者 10人（実験群5人，統制群5人）

期間：5日間（90分練習×3日間）

実験群［一人称視点映像］×［複数熟達者］→HMD

統制群［三人称視点映像］×［単一熟達者］→ビデオ

積極的なプロセスの推測を促すため，

「なぜ／どうしてそのように演奏したのかを考えつつ練習

を進めて下さい」と教示を挟む（cf. 石黒・岡田, 2013）

1.演奏（プレ）インタビュー

2.練習：A模倣発話取得インタビュー

3.練習：B模倣発話取得インタビュー

4.練習：C模倣発話取得インタビュー

5.演奏（ポスト）インタビュー

15実験・分析

評価（検討中）

認知的プロセスの評価・分析インタビューによる発話分析作曲家・熟達者の演奏の意図の推理，曲調の考慮→「自分はどのように演奏するか」の理由づけ

身体動作の評価・分析演奏撮影，プレ-ポスト演奏の熟達者による評価

予想される結果プレ：抽象的，受動的→ポスト：具体的，能動的実験群が統制群に比べ，より具体的，能動的な自己の演奏表現を獲得

16実験・分析

今後の予定

17月 熟達者映像撮影・編集，プロトタイプ作成

18月 プレ実践，評価・分析手法検討，システム修正

19月 本実践

10月 データ分析・評価

11月 論文執筆

17今後の予定・課題

課題実験手法・評価手法の選定

より省察を深めるためのコンテンツの提示手法の検討

18今後の予定・課題

参考文献

•Bandura, Albert. (1971). Psychological Modeling : Conflicting Theories.　（アルバート・バンデューラ［著］, 原野 広太郎, 福島 脩美［訳］(1975). 『モデリングの心理学—観察学習の理論と方法』. 金子書房.）•Schön, D. A. (1983). The reflective practitioner: How professionals think in action.　（ドナルド・A・ショーン［著］ , 柳沢 昌一, 三輪 建二［監訳］(2007). 『省察的実践とは何か：プロフェッショナルの行為と思考』. 凰書房.）•祐宗 省三, 原野 広太郎, 柏木 恵子, 春木 豊. (1985). 『社会的学習理論の新展開』. 金子書房.•波多野 誼余夫, 阿部 純一, 平賀 譲, 村尾 忠廣, 大浦 容子. (1987). 『音楽と認知』. 東京大学出版会.•須藤 貢明, 杵鞭 広美. (2010). 『音楽表現の科学 - 認知心理学からのアプローチ』. アルテスパブリッシング.•佐久間 真理, 大串 健吾. (1994). 打楽器演奏における演奏者の意図の伝達 : 視覚と聴覚の相互作用. 日本音響学会誌, 50(8), 613–622.•Wanderley, M. M. (2002). Quantitative analysis of non-obvious performer gestures. In Gesture and sign language in human-computer interaction, 241-253.　•Cakmakci, O., Bèrard, F., & Coutaz, J. (2003). An Augmented Reality Based Learning Assistant for Electric Bass Guitar. augmented reality based learning assistant for 　

electric bass guitar. In In Proc. of the 10th International Conference on Human-Computer Interaction., 4–5.　•Löchtefeld, M., Gehring, S., Jung, R., & Krüger, A. (2011). guitAR – Supporting Guitar Learning through Mobile Projection. Proceedings of the 2011 annual conference 　

extended abstracts on Human factors in computing systems, ACM, 1447–1452.　•石橋 健太郎, 岡田 猛. (2004). 創造のための「芸術作品の知覚」経験 : 模倣に焦点をあてて. 認知科学, 11(1), 51–59.•大串 健吾. (2005). 演奏意図の伝達における視覚と聴覚の相互作用. 日本音響学会誌, 61(5), 284-288.•渚 智佳. (2005). ピアノ演奏技術習得のあり方について～ピアノ学習者は自分の演奏をどこまで客観的に認識できるか～. ヤマハ音楽研究所 2005年研究報告書.•元川 洋一, 斎藤 英雄. (2006). AR Guitar : カメラとディスプレイを利用した新しいギター演奏支援システム. 情報処理学会研究報告[音楽情報科学], 66, 58.•渚 智佳. (2007). ピアノ演奏技術習得のあり方について—音と運動のイメージ—. ヤマハ音楽研究所研究報告．•丸山 慎. (2007). 音楽を修辞する身体の技法 : 演奏家の身振りと表現に関する事例的検討. 認知科学, 14(4), 471–493. •森田 裕介, 藤木 卓, 寺嶋 浩介. (2008). 遠隔講義を想定した立体映像教材の作成方法に関する検討. 日本教育工学会論文誌, 32, 25–28. •奧村 健太, 酒向 慎司, 北村 正. (2009). 楽譜情報のコンテキストクラスタリングに基づく演奏者のモデリング手法. 情報処理学会研究報告. [音楽情報科学], 2009(11), 1–6.　•石橋 健太郎, 岡田 猛. (2010). 他者作品の模写による描画創造の促進. 認知科学, 17(1), 196–223.•数森 康弘, 江村 伯夫, 三浦 雅展. (2010). ギターコード演奏の練習支援を目的としたファジィ階層化意思決定法に基づく熟達度自動評価. 日本音響学会誌, 66(9), 431–439.•森尻有貴. (2009). ピアノ演奏学習者における自己評価活動の影響–演奏後の録音聴取によるフィードバックを通して. 人間文化創成科学論叢, 12, 111–119.　•XU Yang, 小林 智也, 小倉 加奈代. (2012). 集合的に構築された楽譜・画像関連づけデータベースを用いたピアノ演奏表情構築支援の試み. 情報処理学会シンポジウム論文集. 2012(3).•片平 建史. (2012). 音楽合奏における共演者の身体動作の役割に関する研究. 大阪大学大学院人間科学研究科紀要, 38, 171-195.•Kazutaka, M., Masahiro, T., Masachika, S., & Masafumi, S. (2012). Music Education using Augmented Reality with a Head Mounted Display. IEEE International 　

Symposium on Mixed and Augmented Reality 2012 Science and Technology Proceedings, 299–300.　•岡田 猛. (2013). 芸術表現の捉え方についての一考察：「芸術の認知科学」特集号の序に代えて. 認知科学, 20(1), 10-18.•石黒 千晶, 岡田 猛. (2013). 初心者の写真創作における”表現の自覚性”獲得過程の検討：他者作品模倣による影響に着目して. 認知科学, 20(1), 90-111.Z 19