Developers [Social Enterprise] Summit 2012 A1

Developers［Social Enterprise］ Summit 2012 (A-1)

CAC Corporation Systems Architect

facebook: kohei.kumazawa

ソーシャルデータストリームから垣間見る今後のエンタープライズアーキテクチャ考

夏サミ2012ハッシュタグ

◆夏サミ全体 #natsumi

【A-1】#natsumiA1

Profile http://www.facebook.com/kohei.kumazawa

職種： Systems Architect

名前：熊澤公平

1987年東北大学工学研究科機械工学専攻博士前期課程修了

数値解析

同年株式会社リクルートに入社

2003年株式会社シーエーシーに転職

（ネット業界におけるビジネスおよびシステムコンサル）

2003年東京大学工学部システム創成学科非常勤講師

～2009年（Javaプログラミング基礎演習）

2008年横浜国立大学院工学府非常勤講師

～2010年（システムマネージメント）

スパコン（並列処理）のアーキテクチャ

大規模ＷＥＢインフラのアーキテクチャ

ビジネスとシステムのアーキテクチャ

1.デブは伝染する！

デベ

知っていますか？デブは伝染するって

友人同士の会話

最近ふとっちゃって….

いやいやそんなことないよ

同じくらい

なら….

デブ閾値の増加

普通

同じくらい

なら….

デブ閾値の増加

普通

そして皆、デブになった…..。

米国、マサチューセッツ州、1万2067人を32年間追跡調査

あなたの親友が肥満になった場合、あなたが肥満になる確率は57％増加

また、兄弟姉妹が肥満になった場合、あなたが肥満になる確率は40％増加

夫婦は、37%増加

片方向のみ友人と思っている場合は、無関係。

丸の大きさがBMI値に比例

黄色が30以上、緑が30未満

都市伝説ではありません

黄色ばっかりに…… http://christakis.med.harvard.edu/

本日のお題はソーシャルエンタープライズ

企業におけるソーシャルコミュニケーションの活用？

メール、掲示板、グループウエア、昔からコミュニケーションツールはいろいろありますよね。

でも…..、あるだけになっていませんか？

活発ですか？面白いですか？

会話の流れを見る

活性化：会話を刺激する

仕組みって？

本日お話したいこと

２．アクティブなソーシャルって？

Timeline

上から下へ流れていくもの・・・・・？

ソーシャルデータはダイナミックな流れである

London周辺でのtweetの時間推移

ソーシャルデータ → ソーシャルデータストリーム

同時多発で動的なもの

典型的なソーシャルモニタリングツールといえば

http://www.radian6.com/

Time series analysis（時系列解析）

ソーシャルデータストリームの時系列パターン

４つのパターン

「ソーシャルストリーム・ビジネス Twitter、Facebook、iPhone時代の消費者を巻き込むビジネスの新ルール」より

http://www.amazon.co.jp/gp/product/4844328956/

閲覧数

時間

クォリティパターン

パルス

パターン

複数の

組み合わせ

ブレーク

パターン

F=80~100% F=20~80%

F=0~20%

時系列パターンとアクティブ度

再生数

時間

パルスパターン

平均CTR: 0.01%

クオリティパターン

平均CTR: 0.6%

ブレークパターン

平均CTR: 2.3% 複数の組み合わせ

これが

重要

3.アクティブなソーシャルの構造？

ソーシャルデータストリームにはグラフ構造がある

構造を見てみよう：グラフ分析ツール

Pajek http://vlado.fmf.uni-lj.si/pub/networks/pajek/

Graphviz http://www.graphviz.org

NetDraw https://sites.google.com/site/netdrawsoftware/

Graphi http://oss.infoscience.co.jp/gephi/gephi.org/index.html

NodeXL http://nodexl.codeplex.com/

network graph

igraph

inetowork

ソーシャルデータストリームの構造例

“ヒッグス”が含まれているtweetの伝播の様子 2012/7/4 17-18

NHK科学文化部

LHC アトラス実験

日本グループ

ソーシャルデータストリームの構造例

“ヒッグス”が含まれているtweetの伝播の様子 2012/7/4 17:28-17:43

伝播パターン

花火パターン数珠つなぎ

パターン

伝播パターン

花火パターン数珠つなぎ

パターン

時間差がある

議論が持続する

瞬間的に広がる

持続しない

伝播パターン：ブレークパターン=数珠つなぎパターン

“ヒッグス”が含まれているtweetの伝播の様子 2012/7/7 0:00-16:00

F=10.7%

時間差がある

議論が持続し、

盛り上がりがある

4.アクティブなソーシャルに仕向けられれば

ハッシュタグ：コミュニティ同志をつなげる

#devsum #rubyjp

デブサミに来ています！ #devsum

デブサミ面白いです！ #devsum

RT デブサミ面白いです！@aaa ありがとうございます！ #devsum

#rubyjp

媒介者になる

（媒介中心性） (Betweenness centrality)

例）浦安水情報

#urayasu_water #urayasu

浦安の水情報をオープンしました #urayasu_water

拡散希望浦安水情報 #urayasu_water

RT ありがとうございま

す！拡散希望浦安水情報 #urayasu_water

#urayasu

小さなコミュニティ大きなコミュニティ

例）#urayasu → #urayasu_water

100000

120000

140000

160000

180000

#urayasu+#urayasu_water

#urayasu_water単独

Gross Audience フォロワー数

#urayasuからの流入

例）#urayasu → #urayasu_water

初期(3/12-3/13 8:00)：シンプルな構造翌々日：複雑な構造

例）ブレークパターンに

7003月

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

-16時

-20時

-00時

-04時

-08時

-12時

5.アーキテクチャ考：データからストリームへ

ソーシャルコミュニケーションの活性化

ソーシャルデータストリームは生きている

→ 常に見ておかなければならない

ストリームデータ管理・CEP

ソーシャルデータのすべてが必要なのだろうか？

分析が終わっている時には流れは変わっていますよね

変化した時にアラートがでれば十分なのでは？

ストリームデータ管理・CEP

DATA Query

ソーシャルデータ → ソーシャルデータストリーム

Social data

database

Analytics Action

Action

stream

Monitor Action

Action

貯めて分析し、アクション

流れの変化を見つけ、アクション

事例）Streambase

http://www.streambase.com

twitterのtweetを

入力ストリームとして定義

検知したいことを定義

モニターにアラートを表示

全体を設計し、組み上げていく

Integration approach

必要な一部分のみを作り、逐次組み上げていく

Synthetic approach

大量データにも対応

Jubatus http://research.preferred.jp/2011/10/jubatus/

S4 http://incubator.apache.org/s4/

C-MR http://cs.brown.edu/~backman/cmr.html

MapReduce Online http://www.usenix.org/event/nsdi10/tech/full_papers/condie.pdf

DEDUCE http://www.edbt.org/Proceedings/2010-Lausanne/edbt/papers/p0657-Kumar.pdf

Big Data

Small Data

Real time

Big Processing

Stored

Legacy

MapReduce

DSMS,CEP

S4, C-MR, storm

MapReduce Online, jubat.us

DEDUCE

Streambase

Oracle, WS

Sybase/SAP

Distributed

Stream Management

BigDataも対応可能に!

Big Analytics

Big Analytics :

分散オンライン解析 → どんどん提案が！

単純な分散は頻繁な更新が発生してしまう

各サーバー内で計算されるモデルをどうやって緩やかに同期するか

例）グラフィカルモデルの分散処理

Residual Splash for Optimally Parallelizing Belief Propagation（2009） http://www.cs.cmu.edu/~ylow/paraml_aistats2009.pdf

On Dense Pattern Mining in Graph Streams（2010） http://www.cs.kent.edu/~jin/Papers/vldb10_gseq.pdf

GraphLab （2010） http://graphlab.org/

GraphLab: 機械学習のための分散処理API

Linux Cluster Services (Amazon AWS)

MPI/TCP-IP Comms PThreads Boost Hadoop/HDFS

Sync. Engine Async. Engine Fault Tolerance Distributed Graph

Map/Reduce Ingress

GraphLab Version 2.1 API (C++)

Graph Analytics

Graphical Models

Computer Vision

Clustering Topic

Modeling Collaborative

Filtering

http://graphlab.org/

CMUのMLグループが中心、HDFSとインテグレート、オープンソース

Graph processing

Triangle Counting

Pagerank

K-Cores

Collaborative Filtering

ALS,Weighted ALS

SGD, Biased SGD

Graphical Models

Loopy Belief

Propagation

Max product LP

Computer Vision

Image stitching

Feature extraction

Clustering

K-Means++

Twitter data

40M Users

1.2B Edges

1536台

423分

64台、1024 Cores

1.5分

ちょっと待って

ちょっと待て、でも必要なのはアラート情報

ソーシャルデータを自社にもってくる必要はあるのでしょうかね？

もともと外にあるソーシャルデータストリームは、もってこずに、単に監視できればいいのでは？

ストリームデータはどこに？

stream

Monitor Action

Action

Monitor Action

Action

Monitoring

in the enterprise in the enterprise

CEPも外へ

CEPは中

ストリームマイニングクラウド

Opera solutions

http://www.operasolutions.com/

ストリーム

検知装置

分析装置

ここにソーシャルデータストリームが入れば完璧だが…..。

国内でもストリームマイニングフレームワーク

小規模

単体大規模

分散処理

リアルタイム

バッチ

1993年

Special thanks to Preferred Infrastructure.

http://jubat.us/ http://preferred.jp

2006年

1998年

• Structured Perceptron [Collins, EMNLP 2002]

• Passive Aggressive / MIRA 2004～ • oll: online-learning library

[岡野原, 2008] ユバタス

プリファードインフラストラクチャー社

WEKA The University

of Waikato

2011年

SalesForce/Radian6 + Twitter Firehose

※Firehoseは、全公開ツイートをリアルタイムに取得可能な機能

まとめ：Enterprise social

Business application

Sub system

Data mart

Data mart ESB

Sub system

to public

データはためて分析（処理）するデータプロセッシング

Stream data analysis platform

まとめ：Social enterprise 見方を変えよう

Sub system Data mart

Data mart

ESB Business application

Sub system

Social enterprise cockpit

Legacy systems

CEP Cloud

パブリックなソーシャルデータ

ストリームからリアルタイムに情報を得る

まとめ:

ストリームデータデベロッパーにL.up!

データプロセッシングデベロッパーから

Thank you.

https://www.facebook.com/kohei.kumazawa

http://www.nasa.gov/mission_pages/sdo/multimedia/potw/potw-106.html

Shall we hack stream!

Developers [Social Enterprise] Summit 2012 A1

Technology

Transcript of Developers [Social Enterprise] Summit 2012 A1

AWS Enterprise Summit - 클라우드에서의 보안 - 양승도

Developers Summit 2013【15-E-3】モバイルファースト再考（Rethinking Mobile First）

AWS Summit Tel Aviv - Enterprise Track - Enterprise Apps and Hybrid

Developers Summit 2014【13-C-3】Smashing Android UI, Androidデザインの極意

Developers Summit 2015 センサーデバイス大集合

AWS Enterprise Summit - AWS로 IT 운영 및 관리 재편하기 - 양승도

勉強会、コミュニティの初まりと成長 Developers Summit 2017

Developers summit 2016 オフィシャルコミュニティ公募

2014年デブサミ (Developers Summit) - サーバーワークス 大石

Developers Summit 2014 PaaS Time Attack!

Developers Summit 2015 - Scala Monad

Developers Summit 2015

Delphiユーザ会準備会へのお誘い @ Developers Summit 2014

Developers Summit 2015 Summer - DevOpsって要は何なのか？

[FlashAir Developers Summit] FlashAirの紹介

AWS Enterprise Summit :: 빅데이터 워크로드를 위한 AWS 활용방법 (김기완 솔루션즈 아키텍트)

Developers summit-2017-day2-room d-chatops-with-b2b

Developers Summit 2016 kintone プラグイン開発ハンズオン

[Developers Summit 2017] MicrosoftのAI開発機能/サービス

Developers[Media]Summit 2009

Developers Summit 2015　センサーデバイス大集合

2014年デブサミ (Developers Summit) - サーバーワークス大石