2012. 06. 04 / Saltlux, Inc.

氏家 真/ mujike@saltlux.com

Big Data Intelligence

Communicating Knowledge 1

ビッグデータとは？

2

3

つまり

4

巨大(Volume)

急激(Velocity)

そのため、理解し、活用しきれない

多様(Variety)

Big Data

Issues

(3V)

5

非構造化ビッグデータ関連のテクノロジー

自然言語処理

機械学習 テキスト

マイニング

クラウド、 NoSQL

情報検索 (Search)

可視化 セマンティクス

クローリング

統計分析 (R)

6

Web 1.0 Web 2.0 Web 3.0 Web of Data ??

検索 ソーシャル

ネットワーク 分析 予測

Information People Big Data Intelligence

収集 理解 最適化

2000 2005 2010 2015 2020

Webの世界で何が起きてきたか？

7

• ソーシャルシグナル分析

• 競合調査

• 評判管理

• 顧客の声(VOC)の理解

• ソーシャルネットワーク分析

• リスク/危機管理

• ビジネスディベロップメント

• eディスカバリ、内部監査

• ナレッジマネジメント

• 製品/技術革新 組織

内部

組

織外

部

ビッグデータインテリジェンスからのビッグバリュー

事業最適化 &

顧客満足

ビッグデータ分析とインテリジェンス

8

Communicating Knowledge 9

ビッグデータ分析の事例

通信事業会社向けのビッグデータ分析

10

11

通話履歴(CDR)を使ったソーシャルネットワーク分析

Pay for

Call

Call

Call Call

Call

Profile • Name: Jerry Obama • Age: 12 • Sex: Woman

Profile • Name: Elizabeth Cox • Age: 12 • Sex: Woman

Profile • Name: Jane Bush • Age: 12 • Sex: Woman

Profile • Name: Edward Adams • Age: 11 • Sex: Woman

Profile • Name: Jessica Bailey • Age: 13 • Sex: Woman

Profile • Name: Tom Obama • Age: 16 • Sex: Man

Profile • Name: Nancy Obama • Age: 42 • Sex: Woman

Call

lives in

lives in

attend

attend

attend attend

attend

lives in

主な居住地域

主な活動地域

家族 友人

モバイルソーシャルネットワーク分析事例

12

ネットワーク情報からのユーザプロファイル分析

Bimodal Normal

μ1 = 38 σ1 = 4.2 w = 0.83 μ2 = 13 σ2 = 2.4

Φ =

各年齢別（SMS/ VOICE）、(性別)、

(年齢) 120 クラスのパターンを用いたPI

の結果

13

オントロジー・ポピュレーション

14

レガシーデータ

レガシーデータからのオントロジーマッピング

50 クラス、58 関係性、15 プロパティ、57 ルール

ハイブリッド推論 DL + ルール

15

ソーシャルリレーションシップの発見

16

嗜好性の分析 ユーザの暗黙的な行動履歴の利用

暗黙的なユーザ 行動履歴の分析

ユーザ行動履歴の分類

ユーザ個人の 嗜好性の発見

明示的なユーザ 行動履歴の分析

個人の嗜好性の グループ化

代表的な嗜好性の グループ発見

社会的な嗜好性発見

CDR 分析

URL 分析

Collect CDR Extract

Company Name

Classify Business

Type

Map Business Types to

Preference Classes

Measure Preference based

on Frequency

Content / Service Domain

Preference

Collect URL Access Log

Classify URL

Domain

Extract Services from URL

Extract URL properties

Analysis property values

Content / Service

Preference

Map values to Preference

Classes

検索ワード 分析

Collect Search Log

Extract Search

Keyword

Classify Search

Keyword

Map Search Keyword to Preference Classes

Content / Service

Preference

Indentify Target

Services

会員カード 利用分析

分析

Collect CDR Extract

Company Name

Classify Business

Type

Map Business Types to

Preference Classes

Measure Preference based

on Frequency

Content / Service Domain

Preference

18

情報モニタリング

情報モニタリング

19

e-ディスカバリソリューション

21

ナレッジネットワーク分析

22

VOC(顧客の声)分析

23

KMS DB

US PAT DB

KMS ATT. FILE

ANALYSIS

- Top N

- 推移分析

- 関係分析

RESULTS

(インデックス)

ANALYSIS INDEX

PAPER DB

TECH. DOC DB

PAT. DB XML

10 T

80 GB

400 GB

100 GB

TECH DOCs

PAPERS

10 GB

RESULTS DB 5 GB

新技術の分析

24

新技術の分析

ハイブリッド推論 (Hybrid Reasoning)

強み + 強み

弱み – 弱み

25

ハイブリッド分析 : 混合手法

論理的推論手法

• 演繹的推論(Deductive Reasoning) 前提1: すべての人間はいずれ死ぬ 前提2: ソクラテスは人間である 結論: ソクラテスはいずれ死ぬ

• 帰納的推論(Inductive Reasoning) 前提: 太陽は今まで毎朝東から昇っている 結論: 太陽は明日も東から昇る

• 外転的推論 • 類推的推論

+

オントロジー及びルール

機械学習

26

ソーシャルネットワーク 情報ネットワーク

テキスト マイニング

(Induction/帰納法)

SNA (Deduction/演繹法)

ソーシャルメディア分析

セマンティックソーシャルメディア分析

Twitterに含まれる ソーシャルセマンティックス

28

位置情報

ユーザ情報

更新履歴

ツイート内容

ツイート頻度

フォロワー数

など

次のブームは？

30

サイズは問題か？

そうです、 しかしサイズ自体が問題ではありません!

ナレッジ・フラグメンテーション （知識の断片化）が問題です

VS.

ナレッジ・フラグメンテーション

31

出展：Wikipedia

32

拡張知能とは?

知能の拡張化(Augmented Brain)がもたらすもの:

• より大きな全体像の理解

• 文脈依存の知識のリアルタイムでの再構成

• 洞察の獲得

• 予測と意思決定

極めて断片的な知識の統合による実現

Apple Siri (iPhone 4S)

拡張知能における注目技術

IBM Watson (Jeopardy)

Google Voice Translator

34

バーチャル・パーソナル・アシスタントとは、下記を実

現するソフトウェアシステムである

• ユーザが何かを探すか、行うことを助ける(情報というよりも、

課題（タスク）に焦点)

• ユーザの意向と文脈・属性(位置、予定、歴史)を理解(言語を

解釈)する

• ユーザの代わりに作業し、複数のサービスと 情報ソースを調整

し、タスク完了を手助けする

言い換えると、アシスタントはユーザが何かすることを理解し、作業

することで支援してくれる (Tom Gruber, 2010)

バーチャル・パーソナル・アシスタンス？

自律的な主体/エンティティであり、センサを通して観察し、環境に応じて行動

目標の達成に向けて、その活動を指示

目標を達成するために蓄積された知識を学習し、使用

- Russell & Norvig

35

インテリジェント・エージェント？

日本では？

36

Siri (Apple)

しゃべってコンシェル（NTTドコモ）

音声アシスタント（Yahoo Japan）

西野ひかり（NTT西日本）

etc

37

インテリジェント・エージェント？ 1. Simple reflex agent

2. General learning agent

3. Model based reflex agent

4. Model and goal based agent

38

Siri?

Siri iOS上で、パーソナルアシスタントアプリ

ケーションとして機能する、インテリジ

ェントソフトウェアアシスタントかつ知

識ナビゲータ

Siri 自然言語UIを実装

• 質問への回答

• レコメンデーションの提供

• ウェブサービスを活用した行為

Siri 時間の経過とともにユーザの好みに適応し

結果をパーソナライズ

39

Siriに何を頼めるか？

• リマインド

• チャットの発信.

• 気象情報.

• 会議の設定.

• emailの発信.

• 計算.

• Wolfram|Alpha, or Wikipediaからの情報

1. サービスの代理実行 タスクの完遂に焦点

2. 会話型インタフェイス 会話を通じた意図の理解

3. 人的文脈認識 個人情報を学習し、応用

• アラームの設定.

• 道案内

• 株価情報.

• タイマーの設定.

• Siriについて.

対話と自然言語の理解

機械学習

証拠性及び確率性の推論

オントロジーと知識表現

計画、推論

サービスの委任・代理実行

40

Siriの技術

会話型 インターフェ

イス 人的文脈認識

サービス委任（代理実行）

41

Siriの技術の概要

42

会話ベースのインターフェイス

43

タスクに紐付く自然言語処理

44

オントロジーによるモデル統合

45

セマンティック・オートコンプリート

46

汎用的タスクとドメインによる 対話モジュールの構成

47

タスクモジュール

48

アップルによる特許申請 (230 pages)

なぜSiriは過去の類似サービスと違うのか

タスクに焦点 何かすることを見つけ、 友達と外出し、そして街を歩き回る、というような 人間的な結合したタスクの集合に焦点

データの構造化に焦点 Siriが特に得意とするタスクの種類は半構造化データを伴い、通常は 複数の条件と複数のソースを伴います

アーキテクチャに焦点 Siriは複数の先進技術をバーチャルアシスタントのために設計されたプラットフォームに統合する過程の豊富な経験に基づいて構築。特にCALOプロジェクトにおいて、Siriはバーチャルアシスタントの構築におけるAIの適応可能範囲に関してノウハウを蓄積

49

50

OpenTable (予約サイト)

Yahoo!Local （地域サイト）

Yelp (クチコミサイト)

etc

検索(キーワード、リンク) => 行動(会話、タスク)

『情報の紐づけ』

Siri

タスクに焦点

データの構造化に焦点

アーキテクチャに焦点

Googleも情報の紐づけ

51

【１】2通り以上の解釈ができる 検索ワードを明確化

【２】検索ワードに関する概要を表示

【３】より深く広い知識の提供から、 予期せぬ発見ができる

最新サービス：ナレッジグラフ

週刊アスキーPLUS 2012年5月17日 http://weekly.ascii.jp/elem/000/000/089/89282/

Saltlux新製品：[IN2]Discovery 2 分散した情報を意味的に統合/分析

統合した画面上で、直感的に知識生態系を把握可能

世の中すべての知識の 融合と検索

正しい意思決定のサポート

52

Q&A

Big Data Intelligence

ありがとう ございました