pixivのインフラになって2ヶ月がたった

はるかさん / harukasan

NSEG feat. Kosenconf-053nseg 2012-06-23

高専カンファレンスの方から来ました！

はるかさん

・久留米高専制御情報工学科43期生

・NHK高専ロボコン

・ACM/ICPC

・筑波大学大学院卒業

・pixivのインフラ3ヶ月目

はるかさん

・Kosenconf-003tokyo

・Kosenconf-005kyushu

・Kosenconf-013salesio

・Kosenconf-014tokyo

・Kosenconf-020salesio2

・Kosenconf-031sciences

・Kosenconf-038tokyo

・Kosenconf-045tokyo

・Kosenconf-053nseg ←NEW!!

http://www.pixiv.net

・イラストコミュニケーションサービス ・2007年9月10日にスタート

会員数 444400万人

作品数 2288,,000000,,000000

平均投稿数 2288,,000000//日

ページビュー 3300億PPVV//月 　　　　　　　　　

pixivのインフラ

２拠点のハイブリッド構成

自作サーバー群

・AthlonX2 64 505e / Athlon II X4 605e ・B-28（ベニヤ）機 ・1Gbps線 6本

データセンターサーバー群

・hp DL120G7（DB、TS、Front） ・hp DL165G7（AP、Solr） ・1Gbps線10本

旧社屋クラスタ iDCクラスタ

アプリケーションまわりの構成

・旧社屋とデータセンタの２つで捌いている ・２拠点間を１Gbpsの専用線で接続

Slave

L3 L3

Slave

Slave

Slave

AP AP

FrontFront

LVS

KVS

Internet

Slave

Slave

Slave

AP AP

FrontFront

LVS

Internet

Master

KVS

旧社屋クラスタ iDCクラスタ

画像まわりの構成

・旧社屋に画像オリジンがある ・データセンタ側でキャッシュ（９５％） ・オリジナル、サムネイルの一部はiDCに

Dispatcher

Cache

Origin

L3 L3

Origin

Origin

Origin

Front

Dispatcher

Cache

Front

Dispatcher

Cache

Front

Internet

ThumbnailOriginal

iDCクラスタ

画像まわりの構成

・Front、Cache、Dispatcherを同居させて 　ネットワークコストを下げる ・tmpfsを利用してRAM領域にキャッシュ ・画像集約サーバーにサムネイルを集約

Front: Cache:

Dispatcher:

NGINX (RAM Cache) TrafficServer (SSD Cache) NGINXDispatcher

Cache

Origin

L3 L3

Origin

Origin

Origin

Front

Dispatcher

Cache

Front

Dispatcher

Cache

Front

Internet

ThumbnailOriginal

最近のプロダクト

・pixivでマンガの試し読みができるサービス ・2012年6月5日にスタート ・Ruby on Rails 3.2 / Unicorn ・インフラの担当をやっている

国際版

国際版

・海外向けpixiv ・日本ではプレミアム会員になれば見られる ・Rails/ActiveResource + PHP5.3/Restful API ・2011年12月末にスタート ・Ruby on Rails 3.2 / Unicorn ・PHP5.3 / Apache

PHP PHP

Rails Rails

FrontFront

Internet

pixiv.netのインフラ

まとめ

・データセンターの依存度高まってきた

・Ruby on Railsのプロダクト増えてきた

・バックアップちゃんとする

pixivではエンジニアを募集しています！！

http://recruit.pixiv.net/

サマーインターン申し込み受付中です！

http://recruit.pixiv.net/