1

2009/3/3 1

分散コンピューティングによるデータセンタの実現

京都教育大学

産業技術科学科

多田 知正

2009/3/3 2

インターネットとWWW

今や生活に欠かせないインフラに

情報収集

ショッピング

チケット予約

2009/3/3 3

WWWの仕組み

HTMLファイル

リクエスト

WWWサーバ

クライアント（パソコン）

2009/3/3 4

WWWページの分類

静的ページ

あらかじめ存在するHTMLファイルをダウンロードして表示

動的ページ

リクエストに応じてその都度HTMLファイルを生成

2009/3/3 5

静的ページ

人間がHTMLファイルを直接編集

サーバ

アップロード

2009/3/3 6

動的ページ

検索エンジン検索結果を表示

掲示板書き込みを随時反映

オンラインショッピング顧客に合わせた最新の商品情報を表示

サーバ

ページの生成に必要なデータを保存している

リクエストのたびに，サーバがHTMLファイルを自動的に生成して送る

2

2009/3/3 7

WWWアプリケーション

WWWブラウザ上で動作するアプリケーション見るだけでなく操作も出来る

作成したデータの保存も可能

WWWアプリケーションの例メールの送受信

gmailなど

スケジュール管理Googleカレンダーなど

ワープロや表計算Google Docs & SpreadSheets

2009/3/3 8

サーバ負荷の増大

動的にページを生成するには多くの処理が必要

データベースの読み書き

計算処理

HTMLファイルの作成

サーバにかかる負荷が大きい

2009/3/3 9

データセンタの重要性

このような流れの中で，データセンタの重要性が増しつつある

サーバやネットワーク装置を設置する建物

http://jp.sun.com/communities/0803/feature02.html

2009/3/3 10

データセンタで必要とされるサーバの相対的な増加予測

http://www.e-port.gr.jp/org/data/07013105.pdf 2006 2007 2008 2009 2010 2011

今後必要とされるサーバ数は向こう5年間で9倍に

インテルの発表資料

2009/3/3 11

国内通信事業者のインターネットデータセンタ市場売上額予測

http://www.idcjapan.co.jp/Press/Current/20080818Apr.html

IT専門調査会社IDC Japanの発表

市場規模が5年で1.7倍に

2009/3/3 12

データセンタのアウトソーシング

いずれ自前のデータセンタを構築する企業が世界最大手50社のみになる日が来る

主に金融・インターネットサービス企業

残りはすべてこの業務をアウトソーシング

ITの成長に伴ってデータセンタはかつてないほど複雑に

データセンタの構築と維持は負担が重過ぎると判断する組織はますます増えている

http://techtarget.itmedia.co.jp/tt/news/0709/11/news01.html

米Tier 1 Researchの副社長兼上級アナリストダニエル・ゴールディング氏

3

2009/3/3 13

大規模化するデータセンタ

計算需要の増大

動的ページ，WWWアプリケーションの一般化による計算需要の増加

データセンタのアウトソーシング

各企業のデータセンタ機能がデータセンタ専業の企業に集約

データセンタは大規模化へ

2009/3/3 14

Googleのデータセンタ

http://www.flickr.com/photos/41576139@N00/178604665/

2009/3/3 15

データセンタの拡大

サーバ数の増加

サーバの性能向上

サーバの高密度化ラックマウントサーバからブレードサーバへ

2009/3/3 16

データセンタの危機

拡大しつつあるデータセンタが今重大な危機を迎えている

このままでは破綻する？

2009/3/3 17

データセンタの冷却問題

データセンタにおける計算機の消費電力が急激に増大しつつある

計算機の消費電力＝発熱

「冷却」が非常に深刻な問題に

2009/3/3 18

性能とエネルギー効率のギャップ

現在のコンピューティングの性能向上:24カ月で3倍エネルギーの利用効率の向上:24カ月で2倍

両者の差がこのまま大きくなると、発熱量の問題から現在と同じ筐体やラックに収めることができなくなる

「1U」あたりの消費電力2000年には8W→2006年には109W

約14倍に急増

増加ペースは、指数関数的に増える傾向にある

2012年の値を400W近くになると予想

http://itpro.nikkeibp.co.jp/article/NEWS/20070521/271692/

米Uptime Instituteのケネス・ブリル氏

4

2009/3/3 19

ブレードサーバの冷却コスト

42Uのラック１本にブレードサーバをフルに詰め込むと

18kWの電力と18kWの冷却機能をラックに供給しなければならない

現状（2003年時点）のセンタ運用実績の約10倍

このラックをオーバーヒートさせないためには、１分間に70立方メートルの冷風をラックに供給ラックから出る熱気が循環しないよう除去

冗長性をもって継続的に（停電時でも）

これを実現するには，通常の4倍以上の初期投資と運用経費

http://www.bcm.co.jp/itxp/2006/08/cat08/30172446.php

2009/3/3 20

高密度実装の限界

サーバの高密度実装には限界がある

ラック１本あたりの消費電力が4～5kWを超えると電力と冷却設備に必要な面積の方が大きくなる

それ以上のスペースの縮小はできない

http://www.bcm.co.jp/itxp/2006/08/cat08/30172446.php

2009/3/3 21

Googleのデータセンタ

http://www.flickr.com/photos/41576139@N00/178604665/

冷却用設備

2009/3/3 22

データセンタの電力消費の割合

http://www.apcmedia.com/salestools/NRAN-72754V_R0_EN.pdf

データセンタで消費される電力のうち、約45％が冷却・空調装置、約25％が電源・照明に使われ、IT機器が使うのは約30％

APC（UPSのメーカ）のWhite paper

2009/3/3 23

データセンタの危機

従来型の冷却方式では，近い将来サーバの発熱量の増大に対応できなくなる

何らかの対策が必要

新しい冷却方式の開発

他のアプローチは...?

2009/3/3 24

アイデア

分散コンピューティングのアプローチをデータセンタに取り入れてみてはどうか？

5

2009/3/3 25

分散コンピューティングとは

多数のパソコンの空き時間を利用して大規模計算を行うスーパーコンピュータに匹敵する計算能力を達成ユーザが自主的にプロジェクトに参加する

ボランティアコンピューティングとも呼ばれる

オープンソースの専用ソフトウェアが存在するBOINC（Berkeley Open Infrastructure for Network Computing）

既存の分散コンピューティングプロジェクトSETI@home

地球外生命体の探索

LHC@home加速器の粒子の動きをシミュレート

Rosseta@homeたんぱく質の立体構造の予測など

:

2009/3/3 26

分散型データセンタ

データセンタで行う計算処理を多数のPCの空き時間を利用して行う

2009/3/3 27

当面の目標

社員が普段利用するパソコンの空き時間を利用して社内データセンタの機能を補完，代替

社内データセンタの縮小

2009/3/3 28

従来の社内データセンタ

サーバ ストレージ データセンタ

社員が利用するパソコン

2009/3/3 29

縮小された社内データセンタ

サーバ ストレージ データセンタマネージャ

社員パソコンの空き時間を利用してサーバの負荷を分散

パソコンを管理し負荷の割り当てを行う

2009/3/3 30

分散コンピューティングの冷却問題

分散コンピューティングでも従来型データセンタでもCPUが発生する熱量は同じ

分散コンピューティングで冷却の問題が発生しないのはなぜか？

6

2009/3/3 31

冷却とそのコスト

冷却とは熱を自然の流れに逆らって移動させること

熱をなくしてしまうことではない

特定の場所を一定の温度以下に保つのが目的計算機の動作温度に上限があるため

人為的に移動させる熱量が大きいほど大きなコストがかかる

熱源の大きさとその配置

要求される温度分布（外気温との差）

に依存

2009/3/3 32

冷却コストと熱源の有無

冷却コストは熱源の量だけで決まるのではない

外気温28℃室温28℃ 室温20℃

冷却コスト0円 冷却コスト100円/h

外から入ってこようとする熱の自然な流れに逆らって部屋の温度を低く保つためのコスト

ともに熱源のない部屋

熱源が大きいほど冷却コストは高くなる

2009/3/3 33

熱源の周りの温度分布

熱は熱源の周りに拡散していき，やがて定常状態に達する

実際の空気中では熱は空気の対流によって移動するため熱の分布はもっと複雑になる

このままの状態で放っておくのであればコストはかからない

2009/3/3 34

熱源の物理的配置と温度の関係

熱源が集中すると温度の高い場所が出来る

2009/3/3 35

なぜ冷却が必要か？

熱源を集中させると，熱量が集中し温度があがる

温度が許容範囲を超える

冷却が必要

熱源が分散していると，温度上昇もわずか温度が許容範囲内

冷却は不要

2009/3/3 36

サーバルームとオフィスの違い

PCは平面的に分布上にスペースがある

サーバがラックに積み重ねられている

7

2009/3/3 37

ホットスポットの発生

サーバルーム内で温度の高い場所をホットスポットという

http://www.impressrd.jp/idc/point/idc2007s/apc

熱源の偏りと空気の流れによって生じる

ホットスポットを許容温度以下にするために部屋全体を過剰に冷やさなければならない

冷却コストの上昇

2009/3/3 38

熱の回り込み

[tang08energy]Q. Tang, S. K. S. Gupta and Georgios Varsamopoulos,Energy-Efficient, Thermal-Aware Task Scheduling for Homogeneous, High Performance Computing Data Centers: A Cyber-Physical Approach.Transactions on Parallel and Distributed Systems, Special Issue on Power-Aware Parallel and Distributed Systems (TPDS PAPADS)2008

2009/3/3 39

分散コンピューティング導入の利点

従来型データセンタ

冷却コストは大きい

現在の冷却方法には無駄が多い

分散コンピューティング

個々のパソコンは特別な冷却が不要

2009/3/3 40

分散コンピューティング導入の他の利点

資源の有効利用

技術進歩への対応の速さ

2009/3/3 41

資源の有効利用

パソコンのCPUは大半の時間仕事をしていない（アイドル状態）

ユーザの操作を待っている

パソコンの「空き時間」を有効に利用する

2009/3/3 42

新技術への対応の速さ

計算機は日々性能が向上する処理速度，省エネルギー性

サーバは信頼性を高めるためにコストがかかっている壊れにくいが高い→買い替えサイクルが長い性能が陳腐化してしまう

パソコンは信頼性を犠牲にしてコストを下げている壊れやすいが安い→買い替えサイクルが短い技術の進歩に追随しやすい

法定耐用年数サーバ：５年パソコン：４年

8

2009/3/3 43

実現上の困難

分散システムは本質的に障害の予測，発見，対策が困難構成要素の相互作用が複雑再現性のない障害

既存の分散コンピューティングプロジェクトほとんど管理をしないタスクを送って結果を返してもらうだけ

返って来なくても良い

用途が限定される多数の独立したタスクに分割可能な計算処理リアルタイム性は要求されない

データセンタの機能を実現するには管理が必要緻密な管理は非現実的ロバスト性の高い管理手法を開発する必要がある

不確定な変動に対して，現状を維持できる特性

2009/3/3 44

課題

計算ノードの管理信頼性の低いPCを多数使って全体として信頼性の高いサービスを実現する

負荷分散，スケジューリング

プログラムのインストール

データの移動

セキュリティ社員のパソコンで機密情報を扱える仕組み

2009/3/3 45

計算ノードの管理

ソフトステートを用いた管理定期的なメッセージ交換

タイムアウトによる初期化

通信量は増えるがロバスト性が高い

2009/3/3 46

将来の目標

一般のユーザのPCのCPUを利用してクラウドコンピューティングを実現

2009/3/3 47

クラウドコンピューティング

WWW上のさまざまなアプリケーション乗り換え案内

地図

電子メール

ワープロ

表計算

計算処理やデータの保存はクライアント側からサーバ側へ

このような動きを表す言葉として，「クラウドコンピューティング」が近年注目を集めている

Web2.0の次はクラウド？

2009/3/3 48

クラウドコンピューティングとは

雲の中，すなわちインターネットの“あちら側”にあるITリソースを，ユーザーがWebブラウザなどを介して簡単に，なおかつ必要なときに利用できるようにする

ITリソースをサービスとして利用し，使った分だけ料金を支払うどこで処理が行われているのかユーザーは意識する必要がない

1つのプロバイダ（サービス提供者）がITリソースを集中管理する

http://www.itarchitect.jp/news/-/108969.html

雲（cloud）はインターネットのたとえとして良く用いられる

「中がどうなっているのかよくわからない」という意味

9

2009/3/3 49

現在利用可能なクラウドコンピューティング

Google App EngineWWWアプリケーションを作成できる

Amazon EC2 (Elastic Computing Cloud)仮想マシンを提供

2009/3/3 50

Google App Engine

WWWアプリケーションのスケーラビリティを提供言語はPythonのみ

将来的には他の言語も

各種APIが利用可能

プレビュー版は無料で利用できるストレージ容量が500Mバイト1日あたりのデータ転送容量が10Gバイト1日あたりのプロセッササイクル2億MHz

月間500万ページビューに対応できる程度の処理能力

http://www.atmarkit.co.jp/news/200805/29/cloud.html

2009/3/3 51

Amazon EC2

PCに近い仮想環境を提供開発言語どころか，どのOSを使うかも自由AMI（Amazon Machine Image）と呼ぶ仮想OSイメージを使うことで，Red Hat Linux，Ubuntu，SolarisなどのOSが利用できる

ユーザー自身がイメージを作成可能

あらかじめカスタマイズしたイメージを用意しておけば、同一の開発環境を100台用意するといったことも可能

http://www.atmarkit.co.jp/news/200805/29/cloud.html

2009/3/3 52

クラウドの背景

ネットワークの高速化

光ファイバーの普及により，広帯域のネットワークが一般化

遠くの計算機が近くの計算機と同じように利用可能に

仮想化技術の発達1台の計算機の中に複数の仮想計算機を構成複数の計算機を1台の仮想計算機として構成

計算資源の効率的な利用が可能に

2009/3/3 53

クラウドコンピューティングの推進

クラウドコンピューティングの発展により，計算処理はクライアント（パソコン）からサーバ側に移りつつある

このことが今後のクラウドコンピューティングの発展を妨げるかも知れない

2009/3/3 54

クラウドを可能にしたもの

低コストの場所に市販計算機を用いた非常に大規模なデータセンタを建設し，運用したことがクラウドコンピューティングを可能にした

「規模の経済」により5倍から7倍のコスト削減電力，ネットワーク帯域，操作，ソフトウェア，ハードウェア

http://www.eecs.berkeley.edu/Pubs/TechRpts/2009/EECS-2009-28.pdf

10

2009/3/3 55

Googleの初期のサーバ

http://gigazine.net/index.php?/news/comments/20090224_single_google_query_1000_machines/

2009/3/3 56

クラウドコンピューティングの成功

パソコンの需要増大

市販計算機の発達（高性能化，低価格化）

市販計算機を用いた大規模データセンタ

クラウドコンピューティング

2009/3/3 57

パソコン需要の変化

これまでの計算機の急激な進歩はパソコンの発達と普及によるものが大きい

大量生産によるスケールメリット

近年パソコンの処理能力に対するニーズが低下している

ネットブックの流行

買い替えサイクルの長期化

処理能力のニーズ自体は増大しているが，計算処理がデータセンタ側に移りつつある

結果を表示するだけのパソコンには性能を必要としない

2009/3/3 58

クラウドコンピューティングの停滞？

パソコンの需要が伸びない

市販計算機の性能の停滞

データセンタのコストが上昇（専用CPUの導入）

クラウドコンピューティングの停滞？

2009/3/3 59

パソコンをクラウドに巻き込む

ユーザは自分のパソコンの処理能力をクラウドに提供しつつ，自分もクラウドを利用する

個々のパソコンの処理能力がクラウドの処理能力に結びつく

パソコンの処理能力に対する需要を喚起し，パソコンの進歩を促す

利用者（パソコン）の増大に伴ってクラウドが利用可能な計算資源が増大する

今後の計算能力の需要の拡大に対応できる

2009/3/3 60

コンピューティングの変遷

一般ユーザによる計算資源の利用形態

「分散」→「集中」→「管理された分散」

エネルギー利用のアナロジで考えることができる

11

2009/3/3 61

エネルギー利用の変遷（過去）

自分で燃料（薪など）を用意する

エネルギーを提供するインフラが存在しない時代

2009/3/3 62

エネルギー利用の変遷（現在）

電力網の整備

発電所で作られた電気が送電される必要な分だけ購入して利用

2009/3/3 63

エネルギー利用の変遷（未来）

自家発電と売電

自分で発電できる電気の売買を柔軟に行うことが可能に

2009/3/3 64

計算資源利用の変遷（過去）

自給自足の時代

それぞれのパソコンが独自に計算を行う

ネットワークはデータのやり取りのみに用いる

2009/3/3 65

計算資源利用の変遷（現在？）

クラウドコンピューティングの時代

データセンタ内のサーバで計算を行うパソコンは結果を表示するのみ

2009/3/3 66

計算資源利用の変遷（未来？）分散計算とデータセンタによるクラウド

パソコンの計算能力をクラウドに提供計算資源を柔軟にやり取り

12

2009/3/3 67

課題

通信遅延の問題帯域は増大しても遅延は変わらない

ユーザ計算機の信頼性ユーザが突然電源を切るかも知れない

タスク分配の問題タスクの配分自体の処理が大きくなりすぎる？

セキュリティの問題一般ユーザのパソコンにデータを送ることになる

ユーザ参加の動機付け

2009/3/3 68

ユーザ参加の動機付け

既存の分散コンピューティングプロジェクト

参加はユーザの自発的な意思による

自分が興味，関心のあるプロジェクトに参加地球外生命を見つけ出す

科学の進歩に貢献する

難病の治療に役立てる

クラウドを支える処理は「意義のある」ものではない

ボランティアでは参加者は集まらない？

2009/3/3 69

エコシステムに組み込む

クラウドにユーザはお金を払う現在はほとんどが無料だが将来的には有料のサービスが主となる（はず）

例えばMS Officeを3万円で買う代わりに月300円支払ってWWWアプリケーションを使う

パソコン計算資源のやり取りをクラウドのエコシステムに組み込む

計算資源を多く提供するほどクラウドからサービスを安く受けられる

2009/3/3 70

ありがとうございました

発表資料のURLhttp://homepage2.nifty.com/htada/jkk.pdf

メールアドレス

htada@kyokyo-u.ac.jp