対面朗読者と視覚障害者の対話の分析

西本卓也（東京大学）

小川佳奈子・渡辺隆行（東京女子大学）

2006-03-22

2

はじめに

視覚障害者のコンピュータ利用現状＝音声・点字／キーボード

コンピュータとの自然な音声対話への期待

どのような音声対話システムが必要か？人間同士の対話に学ぶべき

普通の人の会話ではなく「達人の技」に注目したい

対面朗読者視覚障害者を支援する「達人」

3

対面朗読者と視覚障害者の対話

課題：ケータリングサービスのメニューで昼食を選ぶ

4

38 3:20うん～。全体的にあのー、全部こう和食でその中から選ぶという

39そうですね、えーと全部、全体に和食でございますが

40 はいはい

41その中に、今日はお値段関係ないので、

42 えぇ

435000円のオードブルを頼んでもいいかも。

44 ははは・・・それはそれとして

45 総論がそうですね

46 はいはい

47 えーと、

5

82 5:05 あなたの食べたそうな

83 うーん

84全体が似てるのでお勧めする私も迷います。

85もう一度、すみません、もう一度大きな分類を読んでもらえますか。なんとか御膳とか。

86 5:19 特選御膳ていうのはですね、

87 はいはい

88そのなかの例えば、例えば申し上げてみますと、てんぷら御膳だったり、

89 あ～えぇ

90 ビーフステーキ御膳だったり、

91 はい、えぇ

92和風ハンバーグ御膳だったりってな感じですね。

う～ん

6

299 14:12 名前だけ

300 名前だけ言いますね

301 えぇどうぞ。

302 2、チキンカツ。

303 はい。

304 3、チキンカツ＆ハンバーグ。

305 はい。

306 4、天むす弁当。

307 おぉ。

308 5、洋風ミックス。

309 はいはい。

310 6、天ぷら。

311 はい。

7

603 34:02どれとどれは捨てますか？どれを浮上させますか？

604

いやー今のところ、もう私の中では、ビーフステーキ御膳か、カツカレーか、ステーキカレーか、天むすか、あとはなんだっけな、あとはその、、、松花堂の中かっていう気にはなってるんですが。

605 まだ到着地点は遠いですね～。

606あ～。そっかカレーはサラダが付くんですよね？

607あぁそうでしたね、サラダ付きとなってますけれどもその写真がないだけに

608 まあそんなに

609サラダのそのボリューム、たとえば海草サラダなのか、チキンサラダなのか、なんですか、

8

695 40:40 そうしましょう。

696そうですね。じゃぁ松花堂弁当、Eのあやめをお赤飯を入れてと

697 はいはい

698 こういうことになりましたが

699 はい

700 はい、よろしいですか？

701まぁね、あまり悩みすぎても仕方がない。けっこうなやんだなぁ。

702このようにしてメニューを選んだことがありますか？

703 ここまで熟考したことはないなぁ。

704じゃぁ以上決まったようでございます。ありがとうございました。

9

対面朗読技術の有効性（仮説）

1)ショッピングカートモデル

階層化メニューから何かを選択する

2)音訳技術

視覚に依存しないで情報を伝える

3)対面朗読技術

3a) 大局的理解（全体把握、比較、再構造化）

3b) 双方向性（確認、共同作業）

10

1) ショッピングカートモデル

階層化メニューから選択リスト：アイテム、カテゴリ

説明：アイテム、カテゴリ

操作：カートに入れる（出す）

操作：カート内容の確認、比較、決定

多様なアプリケーションとの類似性レストランのメニュー選択

操作マニュアルや辞書の検索

カツカレーステーキカレー天むす松花堂

特選御膳・・・

松花堂弁当スタンダード1

・・・・

階層化メニュー

ショッピングカート

11

音声対話によるモデル化

対象の全体把握

リストの読み上げ

気になったアイテムはカートに入れる

複数の候補アイテムがカートに入る

カート内容の詳細説明

詳細情報を聞いて取捨選択

カート内に残ったアイテムを確定

カツカレーステーキカレー天むす松花堂

特選御膳・・・

松花堂弁当スタンダード1

・・・・

階層化メニュー

ショッピングカート

12

2) 音訳技術

視覚障害者のための音訳図書の作成

ノウハウが蓄積されている

ボランティアのためのマニュアルの存在

視覚に依存しないで情報を伝える

言語情報 記号、同音異義語、ルビ、注など

図表や写真の説明

非言語情報 抑揚、ポーズ、アクセントなど

13

音訳マニュアルより：韻律

(H 私たち)の学校は(H 山の上)に(L あります)。

(H 今日は)(H 運動会)の予定でしたが、(H 朝から)(H 雨が)降っていたので中止に(L なりました)。

14

音訳マニュアルより：ポーズ

かわいい(P)女性のための喫煙具が人気の的です。

有名な(P?)大学の(P?)先生がいる。

太めの(P)時計のバンドを買った。

私の背の高さ位の(P)リンゴがたくさんなっている木。

15

3) 対面朗読技術

視覚障害者に本などを読むサービス

双方で相談しながら進める

家電操作、ケータリングなどの支援も

ノウハウを記した文献が少ない

熟練者の振る舞いを観察するべき

16

対話実験

手順：書き起こし、意図記述、タグ付与

対話の所要時間＝約40分

発話数の合計＝約700

相槌＝183 （頷き：ほとんどなし）

利用者の談話行為＝69%が「依頼」と「示唆」

利用者の傾向＝まず全体を聞く

朗読者の発話＝96%が「陳述」

利用者の質問や要望に答える

17

仮説1) の検討（カートモデル）

対話＝ショッピングカートモデル

ただしアイテムとカテゴリが混在可

アイテム「カツカレー」

カテゴリ「松花堂」（アイテム「あやめ」「橘」）

朗読者が戦略を提案

「今日はこれが食べたい・・・てなやり方もありますでしょ」（２６：５０）

18

仮説2) の検討（音訳技術）

詳細説明＝写真の言語化など

「お弁当の折り詰めの中の配置は・・」（０６：０５）

リストの読み上げ

アイテム総数の読み上げ（１３：４７）

アイテムの通し番号の読み上げ（１４：５２）

リスト読み上げの終了を宣言

19

仮説3a) 大局的理解＝全体把握

「何があるか」＋「何がないか」

「全体に和食です」

「麺類はなさそうですよ」

知識が必要（利用者が何を求めているか）

利用者は例外の有無を確認する

「冷やし中華とかはありますか？」

「うなぎは？」

20

仮説3a) 大局的理解＝メタな議論

カタログの構成

「１つのメニューに１つの写真がついている？」（０６：３４）

アイテムの命名

「名前から内容がわからないネーミング？」（０７：５４）

21

仮説3a)大局的理解＝比較の支援

他との比較による特徴の説明

天むすは「白いご飯にごまかけじゃなくて」（１９：０１）

２つのアイテムの差分による説明

２５００円と３０００円の違いは「フルーツのみ」（３８：２６）

22

仮説3a)大局的理解＝視点の変更

効率化：省略の利用

「御膳、省略しますよ。洋風ハンバーグ（御膳）・・・」（２１：５０）

ユーザの興味に応じて呼び方を変える

「AB若菜、桐」→「（価格で）1500, 2000, 2500, 3000・・・」（３６：１１）

23

仮説3b) 双方向性

要求の確認「希望は和風、洋風、中華、天むす、だいたいこんな感じ？」（２０：４９）

理解の確認＝用語を理解できるか「かんぴょう分かりますか？」（２９：５１）

記憶の確認利用者「天むすが３つで、あとは・・」

朗読者「そうですね」（２９：０５）

24

仮説3b) 双方向性＝共同作業

読み上げ中の相槌

朗読者の誤りを相槌の代わりに指摘 「５．鳥照り焼き」「はい」「５．ビーフステーキ」「あ、６ですね」（２１：５８）

発見（スタンダード１と２の違いは？） 「１と２の違いってわかりますか？価格帯ですか？」（１２：２１）

「700円800円代が１、２が1200円クラス、みたいですね」（１２：４０）（１３：０５）

25

考察：対面朗読者との目的指向対話

利用者の行為＝何らかの最適化

全体を把握して納得できる選択を

できるだけ少ない時間や労力で

対面朗読者＝利用者の最適化行為を支援

全体を見通して情報を伝える

実時間かつ双方向のやりとり

朗読者が利用者の要求を理解している

26

まとめ

対面朗読における対話の分析ショッピングカートモデル

音訳技術

対面朗読技術（大局的理解＋双方向性）

今後の課題被験者を増やす／仮説の詳細検討

実装と評価対話のモデル化／利用者要求理解