Post on 28-May-2015
ソーシャルゲームのデータ分析環境としてのAWS
2013-03-09 JAWS-UG三都物語KLab株式会社 開発制作本部 データ分析グループ
越智 修司
13年3月10日日曜日
自己紹介•越智 修司(神戸市長田区在住)
•開発制作本部 データ分析グループ所属• Felica/Edy,ガラケサイト,銀行アプリ,きせかえ• アプリ・サービスのプロトタイピング• 有名アーティスト・アイドルのファンクラブアプリ開発• 最近はデータ解析• python,Rなど
@ponpoko1968
13年3月10日日曜日
はじめに
• この発表は個人の見解であり、所属する組織の公式見解ではありません。
13年3月10日日曜日
作ったもの「クリップリーダー」
電子書籍リーダー
• 自炊PDFに特化
• evernote連携
• 段組書籍
「勤怠くん」
勤怠メールを素早く送信
iPhone版（無料）
iPad版（85円）
13年3月10日日曜日
21タイトル44サイト数千万PV/日/タイトル
KLabのソーシャルゲーム
13年3月10日日曜日
データ分析グループ
横断的にデータの面倒を見る技術者集団
13年3月10日日曜日
お知らせ
ブログ始めましたhttp://analysis.blog.jp.klab.com/
スタッフ募集中！！
13年3月10日日曜日
データ分析グループの提供するサービス
• Webサイト
• 各種データのグラフが閲覧できます
• 速報メール• 前日のkpi速報値がメールで送信されます。
• データのダウンローダー• 各種データのダウンロード機能
13年3月10日日曜日
分析システムコンテンツ側システム
S3
システム構成
Webserver
Contentsmaster
LogLog
MySQL
LogSales
01001001000111001100111011111011111111
01001001000111001100111011111011111111
EMR
RDS
EC2
Log
Sales
13年3月10日日曜日
使っている要素技術• Python
• 運用に用いる• 豊富なライブラリ• 可読性・保守性
•R• 探索的な分析
13年3月10日日曜日
工夫していること
• ログファイルのmsgpack化
• 一旦msgpack化することで検索・処理時間を軽減
msgpack web site (msgpack.org) より
13年3月10日日曜日
分析システムコンテンツ側システム
S3
システム構成
Webserver
Contentsmaster
LogLog
MySQL
LogSales
01001001000111001100111011111011111111
01001001000111001100111011111011111111
EMR
RDS
EC2
Log
Sales
13年3月10日日曜日
msgpack(2)
• EMR(Elastic Map-Reduce)で変換
• <app>.app.<Y-m-d>_hh.<dd>
• <dd>=hash(user_id) % 100
時刻 user_id URL(path) GET/POST param
13年3月10日日曜日
使用例:PVベースのヒートマップ
• 全アクセスから1/100をサンプリング
(0:7)
(0:23)
Mon Tue Wed Thu Fri Sat Sun
23222120191817161514131211109876543210
13年3月10日日曜日
課題• ゲームの高度化・市場の成熟化
• 競争激化
• データ分析のニーズが高まる
• インタラクティブなデータ分析のニーズ
• さらなる高速処理
• データ分析用DB Redshiftを検討中13年3月10日日曜日
ご清聴ありがとうございました
13年3月10日日曜日