www.treasuredata.com Copyright 2013

Board Meeting Presentation August 15th, 2013 - 3:30PM PDT

Presented by

Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, Marketing Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, Marketing

Treasure Agent Monitoring Service

Founder & CTO 太田 一樹

@kzk_mover <k@treasure-data.com>

会社概要 チーム概要

Hiro Yoshikawa – CEO Open source business veteran

Kaz Ohta – CTO Founder of Hadoop Group Japan

Sadayuki Furuhashi – Chief Architect MessagePack, Fluentd

Keith Goldstein – VP Sales & BD VP, Business Devt, Tibco and Talend

Rich Ghiossi – VP Marketing VP Marketing, ParAccel and HP

投資家概要

Bill Tai Renown investor, GP Charles River Ventures

Jerry Yang Founder, Yahoo!

Yukihiro “Matz” Matusmoto Creator, “Ruby” programming language

James Lindenbaum Founder, Heroku

Sierra Ventures – (Tim Guleri) Leading venture capital firm in Big Data

2011年12月創業、米国カリフォルニア州。創業者は日本人3人組。2013年12月現在、社員約30名。

ビッグデータの収集・保存・解析を一手に行えるクラウドサービスを提供。他のサービスと異なり、数日で始められるのが特徴。

サービスコンセプト •  すぐに使い始められる •  クラウドサービスとしての提供を行う •  シンプルな機能セット、手厚いサポート

•  “Trend Setting Products” in Data for 2014(Database Trends and Applications)

•  “5 Hot Big Data Startups”(Enterprise Apps Today)

”データ解析の世界をシンプルにする”

3

”データ解析の世界をシンプルにする”

4

”データ収集をシンプルにする”

Project

• もともとはTreasure Data のデータコレクタ部分を、オープンソース化 •  2013年、国内外で広く浸透 •  世界中でデータを解析可能な形で収集するのをお手伝い

5

"We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism."

Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe”

"We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems."

Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)

本日の話: Fluentdのモニタリング

• 公式ドキュメント •  http://docs.fluentd.org/articles/monitoring •  いくつかの方法が紹介されています。

• Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例 •  http://www.slideshare.net/GedowFather/fluentd-meetup-2-

fluentd •  Monitによる監視事例

• あまりまとまった資料が無く、よく質問される。監視してれば防げるデータ事故がかなり多い。 @ TD

6

そもそも何をモニタリングしないといけないか？ •  基本編

• プロセス監視 • ポート監視 • システム情報

• CPU/Memory/Network

•  Fluentd特化編 • buffer溢れ • buffer flushのリトライ回数 • Fluentd自体のエラー / ワーニングログ

7

モニターエージェント • Fluentdの内部情報をHTTP経由で取得可能にするためのプラグイン

8

# # 設定ファイルに下記を追加 # <source> type monitor_agent bind 0.0.0.0 port 24220 </source>

$ curl http://host:24220/api/plugins.json {"plugins":[ {"plugin_id":"object:3fec669d6ac4","type":"forward","output_plugin":false,"config":{"type":"forward"}}, {"plugin_id":"object:3fec66ae3dcc","type":"stdout","output_plugin":true,"config":{"type":"stdout"}},{"plugin_id":"object:3fec66aead48","type":"forward","output_plugin":true,"buffer_queue_length":0,"buffer_total_queued_size":0,"retry_count":0,"config”{"type":"forward","host":"192.168.0.11"}}]}

バッファ情報が取得可能、バッファ溢れを検知出来る。

アンケート: みなさんどこまでやっていますか？

•  プロダクションで使ってる人？ •  CPU/Memory等のシステム情報？ •  Fluentdのプロセス監視？ •  Fluentdのポート監視? •  Fluentdのログ？ •  Fluentdのバッファ溢れ？

9

”Treasure Agent Monitoring Service”

10

本日発表

Treasure Agent Monitoring Service •  td-agentのモニタリングサービス

•  Treasure Dataのクラウドサービスの一機能 •  fluent-plugin-td-monitoringをインストール

•  td-agent v1.1.18 にはこっそり既に入っております

11

td-monitoring

Treasure Data Service

統計情報の定期送付 (毎分) •  システム統計情報 •  Fluentd内部メトリクス情報 •  SSLによる送信

Treasure Agent

設定ファイルの書き換え (8行! 簡単!)

12

# # 設定ファイルに下記を追加 # <source> type td_monitor_agent # TD の APIキー apikey TREASURE_DATA_APIKEY # インスタンスID instance_id aggregator1 </source>

# # カウント処理を追加 # <match apache.**> type td_counter <store> type file path /path/to/apache.log time_slice_format %Y%m%d time_slice_wait 10m time_format %Y%m%dT%H%M%S%z buffer_type file buffer_path /path/to/buf </store> </match>

リスタート後、動作開始

デモ

13

提供形態: フリー (無料)

• Treasure Dataのフリープランの一機能 • 台数など、何らかの制限はフリープランにつけると思います

• まずはaggregatorノードから使ってみて下さい

• 本日はベータリリース • フィードバック頂けるユーザー様を探しています • k@treasure-data.com までメールを頂くか、終了後に Treasure Data の誰かに名刺を渡して頂けると嬉しいです！！！

14

まとめ • Fluentdのモニタリングサービスはじめます

• $ yum upgrade td-agent • $ apt-get upgrade td-agent • $ gem install fluent-plugin-td-monitoring

• フィードバックを頂ける先進ユーザーを探しています。 k@treasure-data.com までメール下さい！

15