Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) -...
-
Upload
virtualtech-japan-inc -
Category
Technology
-
view
1.169 -
download
2
Transcript of Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど) -...
‹#›
2016/05/26 Evangelist at Elastic Jun Ohtani @johtani
Elastic Stackの紹介とOpenStackでの活用事例(Searchlightなど)
‹#›
アジェンダ
• Elastic stack紹介
• Logstash - Log収集
• Elasticsearch - 検索・解析
• Kibana - 可視化
• 事例紹介
• Searchlight
3
about
• Me, Jun Ohtani / Technical Adovocate ‒ lucene-gosenコミッター ‒ ElasticSearch Server日本語版の翻訳 ‒ elasticsearch-extended-analysisの開発 ‒ http://blog.johtani.info
• Elasticsearch, founded in 2012 ‒ Products: Elasticsearch, Logstash, Kibana, Marvel, Sheild
Professional services: Support & development subscriptions ‒ Trainings
4
検索から解析まで
5
Elastic Stack
6
Elasticは分散アプリケーションの構築を簡単にします
データ 複雑/多種多様
開発者要件を満たすことが可能
ユースケース 多数のユーザー / ユースケース
リアルタイムの利⽤可能性
迅速な クエリ実⾏
柔軟な データモデル
スキーマレス⽔平的なスケーリング
洗練された クエリ⾔語
バリュー/ビジネス影響 短期/中期/⻑期
位置情報
マシン/ログファイル
ユーザーアクティビティ
ドキュメント
ソーシャル 収益の増加新しいアプリや、収益化サービスを開始:ユーザーエクスペリエンスのパーソナライズ
コスト削減/リスク管理
アプリ検索
組み込み型の検索
ログ分析セキュリティ
分析
運⽤の分析 その他 次世代アーキテクチャ、既存システムの再ツール化、リスクおよびコンプライアンスの管理
7
Elastic Cloud
セキュリティ
監視
アラート
グラフ
X-Pack
Kibanaユーザーインターフェイス
Elasticsearch保存、インデックス、分析
取り込み Logstash Beats
+
Elastic スタック
Elastic社の製品ポートフォリオ
8
IT運⽤ アプリケーション管理
セキュリティ分析
マーケティング洞察
ビジネス配備
顧客センチメント分析
Webサイト検索内部/イントラネット検索
URL検索
内部システム / アプリケーション 外部システム / アプリケーション
開発者 IT / 運⽤ ビジネスユーザー
あらゆる業種で多数のユースケースを解決
ログ分析 アナリティクス 検索セキュリティ
9
10
保存、インデックス、分析
• 弾⼒性のある、スケールアウトを考慮した設計
• ⾼可⽤性、マルチテナンシー
• 構造化/⾮構造化データに対応
分散型かつスケーラブル
開発者にとって親しみやすい 検索と分析
• スキーマレス
• ネイティブなJSON
• クライアントライブラリ
• Apache Lucene
• リアルタイム
• 全⽂検索
• 集計
• 地理空間データ
• 多⾔語データ
11
Elasticsearchとは?
12
フリーワード検索
13
絞り込み
14
ハイライト
15
ソート
16
ページング
17
集計
18
サジェスト
17
19
簡単なCRUD
20
データ登録
curl -XPUT localhost:9200/books/book/1 -d '
{ "title" : "Elasticsearch - The definitive guide", "authors" : "Clinton Gormley", "started" : "2013-02-04", "pages" : 230}'
21
データ更新
curl -XPUT localhost:9200/books/book/1 -d '
{ "title" : "Elasticsearch - The definitive guide", "authors" : [ "Clinton Gormley", "Zachary Tong" ], "started" : "2013-02-04", "pages" : 230}'
22
データ削除
curl -X DELETE localhost:9200/books/book/1
データの取得
curl -X GET localhost:9200/books/book/1
curl -X GET localhost:9200/books/book/1/_source
23
検索curl -XGET localhost:9200/books/_search?q=elasticsearch
{ "took" : 2, "timed_out" : false, "_shards" : { "total" : 5, "successful" : 5, "failed" : 0 }, "hits" : { "total" : 1, "max_score" : 0.076713204, "hits" : [ { "_index" : “books", "_type" : “book", "_id" : "1", "_score" : 0.076713204, "_source" : { "title" : "Elasticsearch - The definitive guide", "authors" : [ "Clinton Gormley", "Zachary Tong" ], "started" : “2013-02-04", "pages" : 230 } } ] }}
24
検索 - Query DSLcurl -XGET ‘localhost:9200/books/book/_search' -d '{ "query": { "filtered" : { "query" : { "match": { "text" : { "query" : “To Be Or Not To Be", "cutoff_frequency" : 0.01 } } }, "filter" : { "range": { "price": { "gte": 20.0 "lte": 50.0 ... }}'
25
26
可視化と探索
• データ内に存在するパターンの探索と分析:任意のレベルへのドリルダウンが可能
• Elasticsearchの強⼒な分析機能を活⽤
洞察の発⾒ カスタマイズと共有
アプリ構築向けUXプラットフォーム
• 棒グラフ、折れ線グラフや散布図、マップ、ヒストグラムの作成
• ダッシュボードを共有し、運⽤ワークフローに組み込み
• 組込み可能なアーキテクチャ:ダッシュボードや可視化をアプリとして作成
• セッション管理、ユーザーロール、セキュリティ統合
27
Kibana 4
28
取り込み
29
取り込み
• データ収集とリッチ化:200種類以上のプラグイン
• 次世代データパイプライン:マイクロバッチ。イベントのグループを処理
ES-Hadoop
• 軽量型データシッパーを構築するためのプラットフォーム
• ホストベースの数値指標やあらゆるデータをElasticsearchに転送
• HDFS、Spark、MapReduceなどとの統合を⾏う双⽅向型のコネクタ
• Hadoopデータに関するリアルタイムの検索クエリを実現
30
収集、リッチ化、転送
ログおよび数値指標データ
センサーおよびデバイスデータ
Webおよびソーシャルデータ
データストアおよびストリーム
分析 Elasticsearch + 任意のデータストア
アラート Watcher+任意の通知ツール
監視 Marvel+任意の監視ツール
アーカイブ Hadoop+任意のクラウドストレージプラットフォーム
31
軽量型データシッパー
ホストベースの数値指標をElasticsearchに転送するためのライブラリ
Libbeat Packetbeat Topbeat
Web、データベース、任意のネットワークプロトコルに関するリアルタイムのネットワークパケット分析
CPUやメモリなどのリソース利⽤率に関するデータを収集
ログファイルの収集、前処理、転送を⾏う次世代のLogstashフォワーダー
Filebeat Winlogbeat {Future}beats
Windowsイベントログからシステム、アプリケーション、セキュリティに関する情報を収集
http、Redis、Nginx、Docker、Twitterなどのデータを収集するbeatsがコミュニティにより多数作成されている
Elastic stackによるデータ分析
32
データ Import/Parse/Export
Store/Search Visualize
elasticsearch-hadoop
33
20
-
• D E H• PD ecd
ER• g D
• CH
• Ca M DMSD FERC
cloud
Elastic Cloud
• Elasticsearch as a Service • Elasticsearchの機能が利用可能
• プラグインの利用も可能 • アップグレードも簡単 • カスタム辞書、プラグインも利用可能
• 14日間のお試し期間あり
• SLAベースのサブスクリプション+商用プラグインが利用可能なサービスも
35
36
活用事例
‹#›
Searchlight
38
Searchlightとは?
• OpenStackの様々な情報を検索可能にするためのプロジェクト
• バックエンドにElasticsearchを使用
• 様々なOpenStackのデータを検索可能に
• Novaのインスタンス
• Glanceイメージ、スナップショット
• Cinderのボリュームとスナップショット
• Neutronネットワーク、ポートサブネットなど
39
構成
40
Searchlight API
• Elasticsearchの前面にロールベースの認証機能を追加したAPI
• Keystoneの認証トークンを利用して認証可能
• 検索クエリ、検索結果のJSON構造についてはElasticsearchのDSLを利用
41
Searchlight Indexing
• 各種データをElasticsearchにindexing
• Bulk indexingとIncremental update
• Search pluginとしてインストール
42
リソース
• プロジェクト:https://wiki.openstack.org/wiki/Searchlight
• Demonstration of Searchlight Horizon integration• https://www.youtube.com/watch?v=2feC1njvZe0
43
ログ収集と解析
44
対象となるログ
• OpenStack上で動作しているサービスのログ
• 参考: https://hirokiaramaki.com/author/hirokiaramaki/
• OpenStack自体のログ
• Searchlight?
• Monasca• https://www.openstack.org/summit/tokyo-2015/videos/
presentation/elk-and-monasca-crossing-logging-as-an-openstack-service
参考文献
• Elasticsearch - The Definitive guide
‒ http://www.elastic.co/guide/en/elasticsearch/guide/current/index.html
• 書籍(日本語)
‒ ElasticSearchServer日本語版サーバ/インフラエンジニア 養成読本 ログ収集
45
参考サイト
• ユースケース
• https://www.elastic.co/use-cases
• Discuss(Webフォーラム)
• https://discuss.elastic.co
• Elastic{ON}のビデオと資料
• https://www.elastic.co/elasticon/videos • サポートメニュー
• https://www.elastic.co/subscriptions
46
Thanks for listening! Q & A
47
We’re hiring! https://www.elastic.co/about/careers/
We’re helping! https://www.elastic.co/subscriptions
http://training.elastic.co