[Gree] dialogflowを利用したチャットボット導入事例

Copyright © GREE, Inc. All Rights Reserved.Copyright © GREE, Inc. All Rights Reserved.

Dialogflowを利用したチャットボット導入事例

Google Cloud Dialogflow Meet-up

2017/12/12

グリー株式会社開発本部応用人工知能チーム

鈴木隆史

Copyright © GREE, Inc. All Rights Reserved.

自己紹介

■氏名：鈴木隆史 (@t24kc)

■所属：開発本部応用人工知能チーム

JapanGame事業本部 ENチーム

■業務：Webプロダクト ENマネジメント

大規模データ活用した機械学習ツール開発

これまでに機械学習を利用したPUSH通知の最適化、

バナーのレコメンデーション、チャットボットなどを担当

2


1. はじめに

2. システム紹介

3. 会話精度向上

4. まとめ

はじめに

3


グリーのサービスと

応用人工知能チームの取り組みについて

はじめに

4


■2017年上半期リリースタイトルセールスランキング

グリーのサービスについて

5※ランキングは、App StoreまたはGoogle Playのセールスランキングより7月31日時点までの最高順位を採用


分析データ基盤

Hadoopベース

数TB / 1日

自社の大規模分析基盤を活用

6


利用している機械学習技術

■Deep Learning関連

CNN：美容メディア画像タグ付け、不適切な画像識別

RNN：レコメンデーション

■Machine Learning関連

分類：PUSH通知最適化、離脱ユーザ予測

クラスタリング：画像の領域抽出、ユーザセグメント分析

7


■Dialogflowとクラウドサービスのシステム連携

・導入したチャットボットを例に

・実際にDialogflowで利用しているシステム紹介

・Dialogflowでカバーできない範囲のクラウド連携部分

■会話精度向上のための取り組み

・ログ分析一例と会話精度向上のために実施したこと

本日のテーマ

8


システム紹介

1. はじめに



4. まとめ

9


プロジェクト紹介

10

2017年11月本リリース済http://orario-rapsodia.com/

事前登録ページのチャットボット ©大森藤ノ・SBクリエイティブ/ソード・オラトリア製作委員会

©GREE,Inc ©Super Appli,Inc

http://orario-rapsodia.com/


デモ

※開発段階のものです※現在はクローズしています

11Copyright © GREE, Inc. All Rights Reserved.

※開発段階のものです※現在はクローズしています

11


チャットボット仕様

12

概要詳細

感情投げられた会話により喜怒哀楽が変化

親密度ユーザとの会話内容によりキャラクター親密度が変化

クイズ会話が続くとキャラクターからクイズを出題

報酬親密度が閾値を超えたタイミングで報酬イベント発火

NGワード公序良俗に反することには適切に返答


チャットボットの仕様から

システムに落とし込む

システム検討

13


システム概要

14

プロダクションサーバ

クライアントチャットボットAPI


システム概要

15

プロダクションサーバ

クライアントチャットボットAPI

作成した部分をもう少し詳細に


チャットボットAPI構成

16

API部分監視部分


チャットボットAPI構成

17

API部分監視部分

API処理群

自然言語処理

ユーザ・マスタデータ

ログ関連自然言語処理はDialogflowを利用



18

概要詳細






Dialogflowで対応する箇所



19

概要詳細






クラウドサービスで

対応する箇所

Dialogflowで対応する箇所


他サービスの検証と比較をした結果

Dialogflowでシステム開発した経緯

20


NLPサービスについて

21

導入スピード

拡張性

APIサービス

NLPモジュールサービス

ML/DLライブラリサービス


Dialogflowの決め手

■導入スピード面

・APIサービスのため学習データ抽出・ラベル分類コストも必要最低限

・既存のMLライブラリを利用する場合の実装コストが発生しない

■料金面

・スタンダード版は無料で利用できる

・必要に応じて、エンタープライズ版でAPI制限の緩和などが可能

■精度面

・会話データのラベルミスを修正して再学習させることができる

・内部に多くの拡張機能があり、表現ゆれ解決や外部連携なども可能

22


■アルゴリズムのブラックボックス化

・内部の実装がブラックボックス化しやすい

・痒いところに手が届かないこともあるが、サービスの実装に集中できると

も捉えられる

■サービス安定性

・フリー版はAPIの停止や、利用上限が設定されているケースがある

APIサービスの懸念点

23

今回のプロジェクトではメリットが大きいためDialogflowに決定


Dialogflowとクラウドサービスの

利用箇所の紹介

システム紹介

24


■Intents

・多くの場合は例文を増やすことで対応

システム紹介#1（単純な質問と返答）

25Intents


■Entities

・ActionでIntentsとEntitiesを紐付けて表現ゆれに対応

システム紹介#2（表現ゆれの対応）

26Intents

Entities


■Events・Contexts

・eventをクイズイベント発火に利用

・contextをクイズ回答期間の管理に利用

システム紹介#3（クイズ出題）

27

additional

post

question

answer


■Cloud Management

・Fulfillmentのwebhookで外部連携も可能

・細かなセッション情報やIP設定などはバックエンド側で対応

システム紹介#4（セッション情報・IP管理）

28

IP settingdata


1. はじめに



4. まとめ

会話精度向上

29


会話精度が振り返られるように

ログ整理とデータ活用

会話精度向上のために

30


■ログの蓄積

・DialogflowのHistoryを利用して簡単な会話ログ分析も可能

・今回は大規模分析のため自社のDWHを活用

■会話精度パラメータを利用

・レスポンスのscore（会話精度）パラメータが利用できる

前提

31


■スコアセグメントごとの結果

・スコア（会話精度）を10%ごとに集計した会話数値

・精度が100%のものと悪いものに二極化しているのが分かる

全体会話の確認

32


■スコアが良かったもの

・単語や単純な挨拶のIntentsの会話精度が高い

個別会話の確認#1

33


■スコアが良かったもの（詳細）

・単語のみの発言が多く、登録したUser saysとのルールベース合致多い


34


■スコアが悪かったもの

・柔軟な会話や登録されたIntentsが類似している会話精度が低い


35


■スコアが悪かったもの（詳細）

・分かち書き「くれ」という単語に反応している様子

・「アイテム」などのIntent登録はないため、この例文に紐付いている


36


■スコアが悪かったもの（詳細）

・精度30%以下（Intentsに紐付かなかった）会話ログを確認

・同様にIntent登録がない例文や、単語の意味がないものが多い


37


■登録Intentsの拡張

・殆どの場合は例文の追加で解決できる

・ユーザの会話ログから、頻度の高い例文を新しく追加していく

■登録Entitiesの拡張

・表現ずれの改善のため、Entityにデータを追加していく

・ただし、IntentsやEntitiesには登録上限がある

実施したこと#1

38


実施したこと#2

39

■TrainingでIntents学習

・以前の会話やり取りが間違っていた場合には

DialogflowのTraining機能から正しいIntentsを学習させる事ができる


■対応する基準

登録する例文の基準

・IntentsやEntitiesには登録できる上限があるため

精度が低い全ての会話を登録できるわけではないこと

優先度の基準

・例文内容の検討やTrainingによる学習には人的コストがかかるため

全体のリソースを考慮した優先度を決めておく

・ここでは会話精度にフォーカスしていたが

チャットボットの事業目的に会話精度の重要度がどの程度あるか

注意するべきところ

40


1. はじめに



4. まとめ

まとめ

41


■導入コスト重視ではAPIサービスが最適

・独自モデルの場合と比較して、実装コスト・学習データ準備コストの削減

メリットが非常に大きい

・特定インテントの前処理工夫などの拡張要素部分も、クラウド連携で対応

できる

まとめ

42

[Gree] dialogflowを利用したチャットボット導入事例

Data & Analytics

Transcript of [Gree] dialogflowを利用したチャットボット導入事例