マイニング探検会#31 情報検索システムのユーザーのニーズを考える
-
Upload
yoji-kiyota -
Category
Technology
-
view
564 -
download
0
description
Transcript of マイニング探検会#31 情報検索システムのユーザーのニーズを考える
![Page 1: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/1.jpg)
情報検索システムの ユーザーのニーズを考える
株式会社ネクスト 技術基盤本部 リッテル研究所
清田 陽司
2013年1月11日 マイニング探検会#31 @国立情報学研究所
![Page 2: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/2.jpg)
テストコレクションによる評価のモデル
情報検索システム ヒットした テキストの
集合
検索質問 入力 出力
![Page 3: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/3.jpg)
情報検索システムの評価尺度
正解テキスト (A) ヒットしたテキスト (B)
正解 かつ ヒット (A∩B)
ABAR ∩
=)(再現率BBAP ∩
=)(精度
![Page 4: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/4.jpg)
現実のWeb検索エンジンの使われ方
![Page 5: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/5.jpg)
現実のモデル
情報検索システム ヒットした テキストの 集合+α
検索質問 入力 出力
![Page 6: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/6.jpg)
TREC
スタ
イル
の研
究
ユー
ザに
よる
適合
性評
価
フィ
ルタ
リン
グ、SD
I (情
報の
選択
的提
供)
ログ
解析
TREC
イン
タラ
クテ
ィブ
トラ
ック
の研
究
心理
学的
アプ
ロー
チに
よる
情報
行動
の実
験
情報
検索
シス
テム
にお
ける
情報
探索
行動
の分
析
コン
テキ
スト
にお
ける
情報
探索
行動
の分
析
システムへのフォーカス
人間への フォーカス
典型的な インタラクティブ情報検索
システムの研究
図1: 情報検索システムの研究アプローチの連続体 (Diane Kelly 「Methods for EvaluaHng InteracHve InformaHon Retrieval Systems with Users」 p.10 より引用
![Page 7: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/7.jpg)
ユーザーのニーズをどのように扱う?
• 検索キーワードに紐付くもの? • 最終的に探した情報に紐付くもの?
![Page 8: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/8.jpg)
![Page 9: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/9.jpg)
![Page 10: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/10.jpg)
![Page 11: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/11.jpg)
![Page 12: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/12.jpg)
ニーズを理解するためのヒント
• フレームワーク – AISAS、AIDMA
• ログデータ – 「どんな価値を提供しているのか」に立ち返って、
適切な評価体系を開発
![Page 13: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/13.jpg)
さがす目的の階層
週末に家族で 一緒に過ごす
未知の分野の 知識を深める
旅行先を 探す
自宅で楽しめる レジャーを探す
バーベキューに 必要なものを探す
現地での行動を 決める
用品の買い物先を 見つける ホテルを探す
面白そうな 分野を探す
古代ローマに ついて調べる
塩野七生の 本を探す
動機
ドメイン 分野
テーマ
具体的な 行動
13
![Page 14: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/14.jpg)
14
ダイアログナビhttp://www.microsoft.com/japan/navigator/
![Page 15: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/15.jpg)
15
ダイアログナビのユーザインタフェース
システムとユーザを 示すアイコン
大きめのテキストボックス ⇒自然文による質問の入力を誘導
対話履歴を表示するフレーム
![Page 16: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/16.jpg)
16
ダイアログナビのユーザインタフェース
選択肢(マッチしたテキスト)を表示するフレーム
テキストの種類とスコアを アイコンで表示
![Page 17: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/17.jpg)
17
A) 対話セッション単位の評価
成功 失敗 範囲外
知識有 知識無 知識有 知識無 適切 不適切
149 25 15 41 57 91 (65%) (11%) (7%) (18%)
174 (76%) 56 (24%) 148
230 (100%) 378
原因: リソースの不足 • テキスト集合 • 同義表現辞書
顕著な失敗例を分析し, 随時修正・作成 ⇒成功率 60%台 → 70%台
![Page 18: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/18.jpg)
18
B) ユーザ行動とシステム応答の分布 ユーザ質問の入力
(キーボード)
対話カード応答 (完結した応答)
(U: こんにちわ) S: こんにちは。
対話カード応答 (選択肢提示)
(U: エラーが発生した) S: エラーはいつ発生 しますか。
平均選択肢数: 3.24
テキストマッチング (該当あり)
(U: 行を追加したい) S: 以下の選択肢から 選んでください。
平均選択肢数: 14.81
テキストマッチング (該当なし)
(U: サービスパックを 入れたい) S: 該当する情報を見 つけることができま せんでした。
ユーザの選択 (マウス)
ユーザの選択 (マウス)
テキストの表示
32回 159回 66回 261回 計518回
58回 14回 (CARD) 6回
(RET)
38回 (SHOW)
198回
(98回) (420回)
![Page 19: マイニング探検会#31 情報検索システムのユーザーのニーズを考える](https://reader033.fdocument.pub/reader033/viewer/2022051610/5491b354b4795988218b460c/html5/thumbnails/19.jpg)
次のテーマ候補
• ログ分析手法 • ユーザーインタフェース • 仕様書を書くための知識
– 信頼性 – コスト – 仮想化
• 他には?