World wide ssp delivery system
44
© Geniee, Inc. 世界分散配信システムと レポーティングシステム刷新のお話 2017/10/25 CTO 篠塚 英伸
-
Upload
- -
Category
Engineering
-
view
393 -
download
5
Transcript of World wide ssp delivery system
© Geniee, Inc.
世界分散配信システムとレポーティングシステム刷新のお話
2017/10/25
CTO 篠塚 英伸
© Geniee, Inc.
Self introduction
2
Name篠塚英伸
Life workTennis!! Tennis!! Tennis!!
Geniee CTO・SSP、DSP、DMP・インフラ・海外事業
複数データセンターで配信を行う為のアーキテクチャについてお話をします
+レポートの話もします
10ヶ国以上へサービス提供1万媒体以上のメディアで利用
Japan
China
Thailand
Malaysia
Singapore
Indonesia
Vietnam
レイテンシ
収益
ブラウザの近くにデータセンターを置こう
Japan
China
Thailand
Malaysia Singapore
Indonesia
Vietnam
Genieeのアーキテクチャについて
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計管理画面
SSP
DB
ブラウザ SSP
DB
10万QPS
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …数十万入札/sec
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
15TB/日
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計管理画面
ブラウザの近くにデータセンターを置こう
Japan
China
Thailand
Malaysia Singapore
Indonesia
Vietnam
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
管理画面
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
レイテンシ的に X
© Geniee, Inc.
海を越えられないと想定したもの
リアルタイムのトラフィック
ログ
19
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
ブラウザ
DBをレプリケーションする
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
SSPブラウザ
現地DSP 1
現地DSP …
DSPも現地でつなぐ
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログ
管理画面
ブラウザ SSP
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログDB
DB
このレプリケーションがムリ
© Geniee, Inc.
海を越えられないもの
リアルタイムのトラフィック
ログ
DBのレプリケーション
24
© Geniee, Inc.
主なDBの中身
配信設定
レポート
25
レポートがでかい更新頻度が高い= Binlogが巨大になる
わけてしまえ
ブラウザ SSP
CoreDB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
CoreDB
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログ
reportDB
OK
管理画面
Report DB がでかい
© Geniee, Inc.
Report DB の特徴
Dimension•時間毎•Zone毎•OS毎•地域毎•・・・
Measure• Imps•Click•CV•Revenue•・・・
30
© Geniee, Inc.
Report DB の特徴
Dimension•時間毎•Zone毎•OS毎•地域毎•・・・
Measure• Imps•Click•CV•Revenue•・・・
31
Dimensionのかけ算でrecord数が決まる
© Geniee, Inc.
Report DB の特徴
Dimension•時間毎•Zone毎•OS毎•地域毎•・・・
Measure• Imps•Click•CV•Revenue•・・・
32
Dimensionのかけ算でrecord数が決まる
24 x 700 x 4 x 数十万 x …
© Geniee, Inc.
Report DB の特徴
Dimension•時間毎•Zone毎•OS毎•地域毎•・・・
Measure• Imps•Click•CV•Revenue•・・・
33
Dimensionのかけ算でrecord数が決まる
24 x 700 x 4 x 数十万 x …
20億record 4TB とかになる
MySQLじゃむりぽ
© Geniee, Inc.
What is ClickHouse
35
ロシアの検索エンジン会社Yandex製
YandexやCERNのプロダクションで動いている
速度が自慢のカラムナDB
SG
Japan
ブラウザ
CoreDB
DSP 1
DSP 2
DSP …
CoreDB
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログ
SSP
ログ
集計reportDB
本当に1000倍速い容量も1/10以下
管理画面
次のチャレンジ
SG
Japan
ブラウザ
CoreDB
DSP 1
DSP 2
DSP …
CoreDB
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログ
SSP
ログ
集計reportDB
管理画面
SG
Japan
ブラウザ
CoreDB
DSP 1
DSP 2
DSP …
CoreDB
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログ
SSP
ログ
集計reportDB
配信から10秒でReportを反映!!
管理画面
SG
Japan
ブラウザ
CoreDB
DSP 1
DSP 2
DSP …
CoreDB
SSPブラウザ
現地DSP 1
現地DSP …
集計
ログ
SSP
ログ
集計reportDB
Streaming集計はとても大変
管理画面
© Geniee, Inc.
まとめ
海を越えられないもの•リアルタイムのトラフィック
•ログ•DBのレプリケーション•実は、他にも色々あります
レポートには、Clickhouse良いです
ストリーム集計大変だけど面白い
41
© Geniee, Inc.
まとめ
海を越えられないもの•リアルタイムのトラフィック
•ログ•DBのレプリケーション•実は、他にも色々あります
レポートには、Clickhouse良いです
ストリーム集計大変だけど面白い
42
広域高速高トラフィック
© Geniee, Inc.
まとめ
海を越えられないもの•リアルタイムのトラフィック
•ログ•DBのレプリケーション•実は、他にも色々あります
レポートには、Clickhouse良いです
ストリーム集計大変だけど面白い
43
広域高速高トラフィック
な3Kにタックルする仲間募集!!
ありがとうございました!!
