SD Study0610 対話システム 5.5~5.6

SD Study(2016/6/10)対話システム5.5 マルチモーダル・マルチパーティ対話術5.6 人間と対話システムのインタラクション

M1 MORI TAKUMA(SP)

06/10/2016 TAKUMA MORI, AHC-LAB, IS, NAIST 1

Outline

5.5マルチパーティ・マルチモーダル対話技術

5.5.1マルチモーダルな話者交替

5.5.2マルチパーティ対話システムにおけるフロアマネジ

メント

5.5.3受話者推定

5.5.4共通基盤確立におけるマルチモダリティ

5.6人間と対話システムのインタラクション

5.6.1システム表現の拡張

5.6.2ユーザとの関係性の構造



マルチパーティ対話システム三者以上が参加した状態での対話を扱うシステム

マルチモーダル対話システム入出力にテキストや音声の言語情報以外のモダリティが追加される対話システム

⇒本節では対話管理の基本問題について扱う

話者交替

基盤化


経過時間[秒]

参加者A

発話ジェスチャ視線

参加者B


参加者C


5.5.1マルチモーダルな対話交替話者交替のシグナルとしてさまざまなモダリティを使う



１２０４３

B

その他

B

その他 C その他 A

「歴史的なもの？」

その他

A

「歴史的なものを学びたいんだけど」

5.5.1マルチモーダルな対話交替フロアマネジメント話者交替の統制

話者交替の統制をする言語・非言語行動をフロアマネジメント行為という

⇒音情報のみを用いるより円滑な話者交替を実現できると考えられる


フロアマネジメント行為

ターン保持相手から視線をそらす

ターン譲渡文法的な節の完了文末イントネーションの使用次話者への顔向きジェスチャの終了，手を基本位置に戻す

ターン取得現話者に視線を向け，アイコンタクトを確立

5.5.2マルチパーティ対話システムにおけるフロアマネジメント

マルチパーティでは次話者の候補者が複数ある現会話でターンを保有している話者が次話者を指定

人はフロアマネジメント行為，手のひらを差し向けるジェスチャ

⇒順番に視線を向け，アイコンタクトをとる


5.5.3受話者推定ユーザ対システムの二者間の対話を想定したシステムユーザが発話＝受け手はシステム

ユーザが複数発話が誰に向けられたものなのかを推定する必要がある


5.5.4共通基盤確立におけるマルチモダリティ1. 非言語シグナルによるコミュニケーションチャンネルの確立

対話への参加知覚的つながり

ユーザからのフィードバックを解釈

不十分である場合委は対話への積極的な参加を促す

話題を変える

ユーザの対話への参加態度を推定複数のモダリティを用いる

対話参加度を判断する対話ロボット（音声，立ち位置，フェイストラッカ）

アイトラッカによる注視対象の遷移，注視継続，瞳孔径


5.5.4共通基盤確立におけるマルチモダリティ2. マルチモーダル基盤化

ユーザ発話の言語情報をシステムが正しく理解できているか音声だけでなく頷きや視線による非言語情報からも推定


5.6人間と対話システムのインタラクション


5.6.1システム表現の拡張1. Subtle expression表情や微妙な言葉の使い分けで様々な情報を伝えること

人間が相手の発話を理解するとき，言葉7％，声38%, 表情55％の割合で重視

エージェントから人への情報伝達においても重要

エージェントが人間らしい振る舞いをすることでしられている(不気味の谷現象)

⇒ロボットの頭部の色で感情，ビープ音の高低で確信度


5.6.1システム表現の拡張2. パーソナリティ対話システムの多くは擬人化されている人間と言葉を用いてインタラクションを行うため

ユーザはシステムに何らかの性格(パーソナリティ)を感じている

⇒ユーザが違和感を感じないパーソナリティを与えることが望ましいビッグファイブ（外向性，情緒安定性，協調性，誠実性，経験への開放性）〔心理学〕

「○○みたいな」，「○○あたりに」のように主張を柔らかくする


5.6.1システム表現の拡張3. メディアの等式

人間はメディアに対して社会性を見出す画像，映像，音声，コンピュータ

人間同士の社会的関係が構築されるように現実とメディアに等式がなりたつ

システムの見掛けを人に近づけるジェスチャや表情などを出力の表現形態

⇒社会的存在として認識しているかを意識した設計が必要


5.6.1システム表現の拡張4. 外見とのギャップ

外見のリアリティが高い⇒期待感が高くなる期待した結果が得られないと失望感が高まる(適応ギャップ)

⇒適応ギャップを最小限に止めるデザインが必要


5.6.2ユーザとの関係性の構築対話システムがバーチャルエージェントやロボットなど身体的表現を有するインタフェースの形態をとるようになる

⇒ユーザとの関係性の構築において信頼関係が必要となるフィードバックを返すー笑顔，頷き

長期的な関係性を築くーユーザとの対話からユーザ特有の対話


SD Study0610 対話システム 5.5~5.6

Engineering

Transcript of SD Study0610 対話システム 5.5~5.6