[data analytics showcase] B11:...

ビッグデータを高速に検索処理する「Elasticsearch」

～新プラグイン「Graph」を用いた販売データの関連分析～

2016/10/04

Acroquest Technology 株式会社

樋口慎

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 1

Copyright © Acroquest Technology Co., Ltd. All rights reserved.

自己紹介

樋口慎 (Acroquest Technology 株式会社)

情報学専攻• (情報検索、自然言語処理)

Elastic • テクニカルワークショップ講師

JJUG CCC(• 2016 spring, 2016 fall)

elasticsearch• 勉強会など

Elasticテクニカルワークショップ(https://info.elastic.co/japan-technical-workshop.html)

JJUG CCC (http://www.java-users.jp/?page_id=2377)

Data Analytics Showcase (http://www.db-tech-showcase.com/data-analytics-showcase)

Twitter : @shin0higuchi

2

https://info.elastic.co/japan-technical-workshop.html

http://www.java-users.jp/?page_id=2377

http://www.db-tech-showcase.com/data-analytics-showcase

アウトライン

1. はじめに

2. Elasticsearchとは

3. 可視化ツールKibana

4. Graphを用いたデータ分析

5. まとめ

3Copyright © Acroquest Technology Co., Ltd. All rights reserved.

1.はじめに (Acroquest紹介)

IoTプラットホーム「Torrentio」集中監視制御システム開発

Elasticsearchをベースにしたデータ分析基盤「ENdoSnipe」

Elasticsearch構築/コンサルティングサービス


A15 15:00～

1.はじめに

概要

1. 全文検索エンジン「elasticsearch」の概要

および活用事例の紹介

2. Graphプラグインを使った販売データの関連分析


2.Elasticsearchとは

http://db-engines.com/en/ranking_trend/search+engine

2016年3月から現在まで、DB-ENGINESのランキングにて、検索エンジン中、最高位の評価を得ています。

(今、最も注目されている検索エンジン)



2. Elasticsearchとは (事例：Uber)

7


2. Elasticsearchとは (事例：US Geological Survey)

US Geological Survey (USGS)では、マイクロブログサービスのテキストデータを地震の検出や被害の把握に役立てています。

9

以前(青線)はRDBMSにデータを蓄積して処理していましたが、データ量の増大に対応できなかったため、現在(緑線)では、Elasticsearchにデータを投入し、Kibanaで可視化して分析しています。時系列分析も位置情報分析もElasticsearchはネイティブで対応しており、規模、柔軟性ともに、RDBMSを凌駕します。

Twitterのようなマイクロブログサービスをデータソースとすることで、センサーの配備していない場所からも、広くデータが収集できるようになり、分析の範囲や精度を向上させることが出来ています。

画像データも収集することで、それぞれの個所での被害情報の把握にも役立てています。

Copyright © Acroquest Technology Co., Ltd. All rights reserved.10

2. Elasticsearchとは (事例：その他)


経営情報可視化

2. Elasticsearchとは (ユースケース

)

2. Elasticsearchとは (自社事例：星野リゾート)

14


15


16


17


Elasticsearch◆ の特徴

ドキュメント① 指向の検索エンジン

JSON② ベースのデータ構造

柔軟‣ なデータ構造での保存が可能

スキーマを‣ 厳密に定義する必要がない

index‣ という単位で検索などを行う

スケーリングが③ 容易

分散‣ を考慮した設計になっているため簡単にスケーリングできる



Elastic Stack

elasticserachの周辺ツールもオープンソース製品として提供されている。

①logstash：データの収集・加工・転送を行う

②kibana：elasticserach内のデータを可視化する


データ分析に用いる際のメリット

① データ分析に活用するための周辺プロダクトが充実している(ex. logstash , kibana , beats)

② ログデータのような非構造化データも分析して可視化することができる

③ 高速かつリアルタイムな分析が実現できる

21



3. 可視化ツール「Kibana」

Kibanaの特徴① Elasticsearchに蓄積されたデータを可視化するためのプロダクト

② 様々な種類の表やグラフが用意されている


4. Graphとは

◆Graphとは

①データ間の関連をKibana上で可視化することのできるプラグイン

②関連度の大きさがエッジの太さで表現される特徴のある関連のみ絞って表示できる。

※Graphの利用には別途X-Packのインストールが必要(https://www.elastic.co/jp/downloads/x-pack)


4. 分析データ概要

◆分析するデータの概要

‣ コンビニエンスストアのお菓子に関する販売データ

① 商品名(pname)

② 性別・年齢層(segment)

ex. 「w20_49」 → 「20歳〜49歳の女性」

③ 商品の説明書き(token)


4. 分析データ概要（segment別のデータ割合）


4. 分析データ概要（商品数）


4. Graphの使い方


Graph

◆Kibanaにアクセスし、Graphを選択する



index pattern

field(s)

query

◆index patternやfieldを設定する



segment

クリックする

指定◆ したフィールドのノードが表示される

segment



segment

fieldを追加できる

◆指定したフィールドのノードが表示される

pname

DEMO


5. まとめ

Elasticsearch1. のGraphプラグインを用いることでデータの関連の分析を行うことができた。

➡探したい情報をインタラクティブに可視化できるのが大きなメリットの一つ。

Graph2. で得られた知見や仮説は、他のvisualizationを使って深掘りするということも可能


6. おまけ


‣Graph以外の機能も充実している

We're hiring!

39

当社は国内最大の30名を超えるElastic使いが在籍しており、国籍問わずスタッフの募集をしております。

ぜひ興味がある方はご連絡ください。

https://www.wantedly.com/companies/acroquest/projects

Elastic勉強会での発表や、JJUGセミナーでの登壇

Elastic Technical Workshopも開催しております。

一緒にElasticを盛り上げましょう！


ご清聴、有難うございました。

アンケートのご回答をよろしくお願い致します

Infrastructures Evolution

[data analytics showcase] B11:...

Technology

Transcript of [data analytics showcase] B11:...