Scaling

Scaling?Scaling?Cybozu Labs, Inc.

Kazuho Oku

What is Scaling?What is Scaling?

「スケール」とはどういうことなのか自分の過去を振り返った値をピックアップdetails may vary

2009年 9 月 25日 Scaling? 2

演算速度演算速度

ムーアの法則18ヶ月〜 24ヶ月でトランジスタの集積度は2 倍になる

Gordon E. Moore, Founder of Intel Corporation

1989年 : 80286 @ 12MHz / 1MB2 MIPS?

2009年 : Core 2 Quad @ 3GHz / 4GB60,000 MIPS?


2010年には 20GHz?2010年には 20GHz?

http://pc.watch.impress.co.jp/docs/2003/1105/intel.htm2009年 9 月 25日 Scaling? 4

フラッシュメモリフラッシュメモリ

ファンの法則フラッシュメモリの容量は 12ヶ月で 2 倍黄昌圭 Samsung Electronics 社長

1998年 : 4-8MB (MemoryStick発売時 )

2009年 : 1-32GB (SDカード )


HDDHDD

1989年 : 40MB2009年 : 500GB


インターネット回線インターネット回線

1999年 : 56Kbps-128Kbps (ADSL直前 )

2009年 : 1.5Mbps-100Mbps


スケールしないものもあるスケールしないものもある

HDDのレイテンシ≒回転数20年で約 ½

インターネットのレイテンシ東京〜サンフランシスコは約 8,300km光の速度で 55msec (RTT)


4Gbps って速いの ?4Gbps って速いの ?


￥ 4,350-のハブでも 12Gbps￥ 4,350-のハブでも 12Gbps

「スイッチング・ファブリック 12Gbps」4Gbps なら￥ 1,450-


Perl で書いた HTTP サーバで 10GbpsPerl で書いた HTTP サーバで 10Gbps

Plack::Impl::Standalone::PreforkHTTP パーサ部分は Cベンチマーク条件

linux 2.8.27 (x86_64; Core 2 Quad @ 3GHz)約 2MB の画像を HTTP GET


HDDからランダムリードなら ...HDDからランダムリードなら ...

HDDから平均 1KBのデータをランダムリードしているなら0.5Gbytes/sec ÷ 1024bytes ÷ 240io-ops./sec ＝約 2,000台


遅いのは HDD?遅いのは HDD?

HDD にアクセスするソフトウェアRDBMSファイルストレージ

SSD は部分的解決策問題点は価格

他に CPU intensive な処理もある例 : XML のパース


なぜ「スケールアウト」が流行るのかなぜ「スケールアウト」が流行るのか

スケールアウトは 2000年代のトレンドソフトウェア製品からソフトウェアサービスへマスメディアからコミュニケーションツールへ

例 : Yahoo! vs. Mixi

多人数間の、疎なソーシャルグラフユーザーが 1,000万人いても、友達は 100人とか規模は増大したが、グラフは疎になった

↓( 従来よりも ) スケールアウトが容易な課

題2009年 9 月 25日 Scaling? 14

代表的な「スケールアウト」技術代表的な「スケールアウト」技術

RDB ShardingMapReduce / Hadoop

もしくは Webクローラ等

KVSmemcached, Flare, kumofs, ...

Message QueueActiveMQ, AMQP, Q4M, ...


3 層構成3 層構成

HTTP サーバ静的コンテンツのハンドリングアプリケーションサーバへの中継

アプリケーションサーバプログラマの作業をここに集中生産性の高さが重要

ストレージRDBMS, memcached, MQ, ...


「スケールアップ」の逆襲「スケールアップ」の逆襲

規模の拡大 vs. ムーアの法則


1 2 3 4 5 6 7 8 9 10

Year

Data SizeMoore's LawSystem Cost

Scaling

Technology

Transcript of Scaling