ソーシャルアプリを分析してみた

Copyright Drecom Co., Ltd All Rights Reserved.

ソーシャルアプリを分析してみた

ゆとりデータマイニング～声優と結婚したい～


自己紹介

名前

選手

肩書き

データアナリスト (社内一人目)

目標

声優と結婚する


自己紹介

やってること

ソーシャルゲームのデータ分析

Raid, Battle等のバランス

カードパラメータの最適化

参加率、課金率


自己紹介

学生

C, Perl, Delphi, Java

前職

社内コミュニケーションツールの自社開発

Windows Server(2000, 2003)

JRun + SQL Server

WebSphere + DB2


自己紹介

ドリコム(B2B→B2C→・・・)

B2Bブログ

Debian, Apache, Tomcat, PostgreSQL

Struts, Hibernate

B2Cブログ

ほとんど一緒

違うのはアクセスログの流れる量


自己紹介

ドリコム(・・・→インフラ→・・・) インフラ

ソーシャルゲームのインフラ環境構築

リワード広告サービスの環境構築

EC2

2週間後リリース

MySQL Partitioning

億単位レコード

Android

?


自己紹介

ドリコム(・・・→データ分析)

Hadoop, MySQL, MongoDB

R, Knime

データマイニング、統計関数

Ruby, SQL

データ抽出、加工、シミュレータ


データ分析

クラスタリング


データ分析

主成分分析


データ分析

一方、立ち上げ時は・・・


データ分析

データはどこに・・・？


データ分析

社内Wiki, エンジニアの声, 噂・・・

「Hadoopにあるよ」


データ分析

Hadoopから開発用サーバにデータ持ってきて解析

→Hadoop糞重い

→HDD糞重い


データ分析

元インフラ部の特権を利用し

Intel SSDを取り付け専用サーバを構築

→解析速度2~5倍!


データ分析

Hadoopのデータでは物足りない

アプリデータのバックアップをリストアして詳細な行動分析

→リストア糞時間かかる

→SQLも数十分から数時間レベル


データ分析

インフラ部の戦友

「本番用の待機サーバ使わない？」


データ分析

http://www.fusionio.jp/images

/press-releases/fusion-io-

drecom.pdf

http://www.fusionio.jp/images/press-releases/fusion-io-drecom.pdf









データ分析

解析にFusion-IO・・・

→ゆとり贅沢ｗｗｗｗ


データ分析

CPU Coreの数だけのクエリを同時に実行しても速度がほとんど落ちな

い

→解析速度10～xx倍

→思考速度が追いつかない


データ分析

リアルタイムなデータもほしい・・・

→本番Slaveに直SQL

→社内で一番スロークエリを発行してます！


データ分析

インフラ部元上司

「専用サーバいらない？」

→専用の大容量Fusion-IO!!

→MongoDBいれたり、24時間シミュレータ動かしたり


データ分析

現在は人も増えて

データは整備されつつある


Rails?

どこでRails?


Rails?

分析・シミュレーション結果等を突っ込んでるMongoDBのViewerをつ

くってみた


Rails?

Ruby 1.9.3

Rails 3.2.3

Mongoid 2.4.10

k_means 0.0.7


Rails?

Scaffold後に簡単なMapReduce

書いて集計しただけ


Rails?


Rails?

分析者っぽくおまけで

k-means法でクラスタリング


Rails?


Rails?

Railsにかすりたかっただけなんです

ごめんなさい！

ソーシャルアプリを分析してみた

Documents

Transcript of ソーシャルアプリを分析してみた