DAUを評価指標から捨てた会社の話 #tokyowebmining

49
opyright Drecom Co., Ltd All Rights Reserved. DAU をををををををを

description

2013/05/18に#TokyoWebminingで話した資料です。 大人の都合でグラフの縦軸と横軸がありません。 基本的には横軸は時間(day)と、縦軸はUUです。

Transcript of DAUを評価指標から捨てた会社の話 #tokyowebmining

Page 1: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUを捨てた会社の話

Page 2: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

お前誰よ

@tokoroten株式会社ドリコム勤務ソーシャルゲーム事業部データ分析グループ

高機能雑用R&D&火消し&企画& PM補佐& PO補佐最近、インフラ業務が外れた

社畜グッズとか作ってますhttp://please.shachiku.me/

Page 3: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

休日の風景:アウトドア

Page 4: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

休日の風景:インドアタッチパネルのミドルウェア書き

http://www.youtube.com/watch?v=9ItrDVsfvsM

Page 5: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUとは何か?

Daily Active User一日に何人の人がサービスにアクセスしたかサービスの規模を表す指標のひとつよく ARPUと合わせて利用される

ARPUAverage Revenue Per User会社によって DailyだったりMonthlyだったりこのスライドでは ARPUは Daily ARPU

ユーザ平均課金額

Page 6: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUと ARPUはなぜ利用されるのか?

サービスの性質に依存しない指標アプリを跨いで比較可能ゲームでも SNSでもアプリでも使える

えらい人が大好き売り上げ= DAU*ARPUARPU=売り上げ /DAU経営管理に利用しやすい複数のアプリを比較できる他社との比較ができる

Page 7: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUや ARPUは他社と比較するための言語

http://internet.watch.impress.co.jp/docs/news/20120629_543732.html

Page 8: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUや ARPUを使って、アプリの改善ができるか?

だめぽよDAUはノイズが大きい定常的なホワイトノイズユーザの気まぐれ、休眠復活

スパイクノイズ広告出稿、インストールの増大

DAUのノイズがARPUを引きずるDAUは収益に結びつかないユーザを多く含む

えらい人が使うための指標を無理やり現場で使う必要は無いアプリの改善のためにはノイズを除去したサービス規模を表す指標が必要

Page 10: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUのホワイトノイズ

Page 11: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUのホワイトノイズはなぜ起こる?

ユーザの気まぐれ気が向いたので起動ログインボーナス目当て

曜日変動休日だから遊ぶ

サーバメンテでサービスダウン計画メンテサーバの突然の死

Page 12: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

ホワイトノイズの問題

昨日より高かった低かったで一喜一憂経験の少ないディレクターほど顕著経験の多いディレクターは DAUを見なくなるそれはそれでマズい

偉い人もこれをみて一喜一憂方針が朝令暮改でブレまくる

長期スパンで傾向を見る必要があるノイズ除去が必要

Page 13: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUのスパイクノイズ

Page 14: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUのスパイクノイズはなぜ起こる?

基本的にはインストールの増加広告出稿クロスプロモーション例)ケリ姫スイーツ×にゃんこ大戦争

http://www.gungho.jp/kps/event/130426nyanko_zjyq60fe8u.html

Page 15: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

インストール増がスパイクになるのは?

インストール直後に急激に離脱翌日: 50%、一週間: 15%(一例)

Page 16: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUのスパイクノイズの問題DAUの急増にえらい人が反応する指示の朝令暮改で現場が混乱

ARPUが著しく下がる新規インストールでDAU(分母)が急増

ARPU=売り上げ /DAU新規ユーザはサービスにお金を払わない傾向

えらい人が反応する「DAUが上がってるのにARPUが下がったら意味無いじゃないか!」ARPUの本質を理解せず、ただの指標として利用

DAUのスパイクノイズを除去して考える必要

Page 17: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

DAUのノイズ除去のゴール

2つのノイズホワイトノイズユーザの気まぐれが起因

スパイクノイズインストールの急増、広告出稿に起因

両者を除去できるアルゴリズムが必要移動平均などは定常的なノイズには対応できるがスパイクノイズには対応できない

Page 18: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

7日移動平均 (やってはいけない)

Page 19: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

他社事例: gloops

http://www.inside-games.jp/article/2012/08/21/59091.html

【 CEDEC 2012】ソーシャルゲームを牽引する gloopsが取り組むデータマイニングによる改善とは

Page 20: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

他社事例: gloops

DAUをBUと FUに分解DAU=BU+FUBU:Base Userインストール後 30日以上のユーザ

FU: Follow Userインストール後 30日未満のユーザ

BUを予測することで、広告の効果測定広告によって、 30日後継続率はバラバラ1日後継続率 /30日後継続率は広告によらず一定(らしい)1日後継続率から 30日後継続率を予測

Page 21: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

他社事例:コロプラ2013年 9月期第 2四半期決算説明会資料

http://colopl.co.jp/ir/library/presentation.html

要約:インストール後 7日以上経ったユーザを DAUとしてカウント

Page 22: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

gloopsとコロプラの違い

gloopsはインストール後 30日経過ユーザをカウント広告の効果測定の傾向が強いコロプラはインストール後 7日経過ユーザをカウント広告によるスパイクノイズ除去

本質的にはどちらも同じ今回はインストール後 7日経過ユーザのカウントを検証

Page 23: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

コロプラ式 DAUの検証

広告出稿

Page 24: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

コロプラ式 DAUの検証

広告出稿

Page 25: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

コロプラ式 DAUの結果

インストールによるスパイクノイズの除去は出来た

広告で休眠ユーザが戻ってきた場合対応できず同じ広告チャネルに、クリエイティブの異なる広告を出したところ、別のアプリだと勘違いして、過去にインストールした人が広告経由でプレイ

定常的なノイズは除去できず

Page 26: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

ドリコムで利用している指標ゲーム定着ユーザ

5日連続でプレイしたユーザをカウントgloopsさんのDAU=BU+FUから着想DAU=定着ユーザ+非定着ユーザ

インストールによるスパイクノイズを排除Install後5日たたないとカウントされないコロプラの7日後カウントとほぼ同等

ホワイトノイズを排除ホワイトノイズの原因はユーザの気まぐれ気まぐれでログインしたり、ログインしなかったりするユーザを排除毎日ログインしてくれるユーザは固定的

Page 27: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザ DAUの検証

Page 28: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザ DAUの検証

Page 29: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザ DAUの特性

スパイクノイズを排除広告による休眠復活にも対応

定常的なノイズを排除気まぐれなユーザを排除

ただし、DAUの 8割程度の値になる注)アプリによってこの値は異なる

ゲームに定着した優良顧客のみを抽出ゲームが面白くないと急激に下がるイベント運用の指標に出来る

売り上げの過半数を占めるこの人数が売り上げにほぼ直結

Page 30: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザ DAUは売り上げの大半を説明青:定着ユーザ /DAU緑:定着ユーザ売り上げ /全売り上げ

このアプリの場合、80%の定着ユーザで、95%の売り上げを説明注)アプリにより性質は若干異なる

Page 31: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

コロプラ式 DAUの場合赤:コロプラ式 DAU/DAU紫:コロプラ式 DAU売り上げ /全売り上げ

このアプリの場合、98%のユーザで、95%の売り上げを説明

Page 32: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザの利用状況

全アプリで定着ユーザを利用DAUは参考値定着ユーザをいかに増やすかに注力

定着ユーザに至るまでのユーザも出力過去 5日間に当該日を含んで何回プレイしたかでユーザを分類

DAU=5day+4day+3day+2day+1day1dayは休眠復活と installに分解

チュートリアル改善や広告効果も読める

Page 33: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

5day継続

当該日時

5日連続アクセス

Page 34: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

4day

当該日時

5日中 4日アクセス

Page 35: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

3day

当該日時

5日中 3日アクセス

Page 36: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

2day

当該日時

5日中 2日アクセス

Page 37: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

1day

当該日時

当該日時のみアクセス

Page 38: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

とあるリリース直後のゲーム

DAU減、定着ユーザ増加

↓広告出稿量を減らす

Page 39: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

広告出稿の効果を見る

↓広告出稿  +チュートリアル改善

↑広告流入が定着

↓広告出稿

新規インストールよりも休眠復活が多い↓

↑定着しない

Page 40: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザの特性 (good)

下がるときは翌日失敗したときにすぐ分かる

上げるときは 5日後成功はなかなか分からない失った信頼を取り戻せたと確信できるのは 5日後

Page 41: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザの特性 (bad)

定期メンテナンスで波打つ

↓定期メンテ ↓定期メンテ

定期メンテで数時間サービス停止すると、その時間にログインできなかった人の分の定着ユーザが減少

Page 42: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

定着ユーザの改善(試行錯誤中)

定着ユーザ= 4日プレイ+5日連続プレイ

4day+5dayにすると、メンテナンスによる 5日分の凹みが、 1日分だけになり、グラフが滑らかになる

↓定期メンテ ↓定期メンテ

Page 43: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

まとめDAUは他社と比較するための指標自分たちの改善のための指標が必要

DAUには二種類のノイズ人間の気まぐれから来る定常的なホワイトノイズ広告に伴うスパイクノイズ

他社事例(gloops、コロプラ)インストール後N日経過ユーザのみをDAUとしてカウント、スパイクノイズを除去定常的なホワイトノイズは残る

ドリコムで利用している指標5日連続プレイユーザ定常ノイズと、スパイクノイズを除去

Page 44: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

その他見ている指標5分以上プレイユーザ (紫の曲線 )ゲームの熱中度を計測

Page 45: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

#TokyoWebmining会場での Q&A

なぜ 5日なのか?ほかの日数では?社内の統計屋の出したモデルをベースにしてエイヤモデル例過去 n日間ログインがあると翌日プレイする確率は XX%プレイ、ログイン無し、のパターンでは XX%

モデルに基づいて、 5日でエイヤほかのパラメータも試したが、ノイズカットと応答速度の面から 5日を採用特定のアプリのアクセスパターンをベースにモデル化しているので、アプリが異なると 5日が最適解では無くなる可能性がある

Page 46: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

#TokyoWebmining会場での Q&A

これはブラウザアプリでのみ成り立つのか?ネイティブアプリでも成り立つのか?ドリコムの持っているネイティブのアプリでも利用している問題なく使えているアプリの性質によって定着= 5日というのは見直さないといけない

Page 47: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

#TokyoWebmining会場での Q&A

この指標を使って広告効果を調査しているのか?広告効果の計測にこの指標を使ってはいないグラフを人間が見て、異常値を見つけるのに使っている広告効果が分かる情報もこのグラフに載ることもある、というレベル

Page 48: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

#TokyoWebmining会場での Q&A

5日連続プレイを指標にした施策を入れることはあるのか?熱中した結果が定着ユーザの増加であるべき「 5日連続でプレイしたら、レアアイテムプレゼント」という企画を打つと一時的に定着ユーザは増えるが、その後著しく減る

KPIというのは、一定の範囲の入力に対する予測器、範囲を超える入力をしても意味が無い社内で KPIハックをするような奴がいたら殴り倒す

Page 49: DAUを評価指標から捨てた会社の話 #tokyowebmining

Copyright Drecom Co., Ltd All Rights Reserved.

補講: KPIとは何か人間の舌はKPI甘いや、酸っぱいという数種類のKPI数種類のKPIで栄養がある、腐っている、毒がある、などをかなり高い精度で判断する

KPIを満たすことは愚かかつて甘いというKPIによって、栄養があると判断していた現代、砂糖をとって肥満で苦しみ、合成甘味料はKPIを詐称するKPIが分かっているから、無味無臭の毒が造れる

KPIは満たされるものである、満たすものではないKPIは判断指標であり、ゴールではない。砂糖だけを食べる人間は死ぬ

自分の頭で考えないのであればKPIは無意味