コンピュータネットワーク 第9回授業

大規模ネットワークの構築と運用

WEB公開版のため、

内容は抜粋・修正してあります。

WEB公開版

法政大学情報科学部 ２０１２年度コンピュータネットワーク

２０１２年４月１０日～２０１２年７月１９日

第１回

イントロダクション第２回

デジタル伝送技術

第３回

誤り訂正と通信の信頼性第４回

イーサネットとデータリンクの仮想化

第５回

LANの拡張と無線技術

第６回

遠距離通信とインターネットへの接続第７回

後半授業の準備

第８回

通信の種類とフロー制御の基本第９回

大規模ネットワークの構築と運用

第１０回

４種類のルーティング第１１回

制御パケットとセッション層のネットワーク

第１２回

データグラムとストリームの処理第１３回

インターネットのインフラストラクチャ

第１４回

ネットワークのモニタリングとチューニング

WEB公開版

新しいトポロジー：７種類のトポロジー

大規模ネットワークではこの２つをよく使う。

メッシュ

リング

ラインバス

スター

フルメッシュ

ツリーWEB公開版

復習（第５回）OSI参照モデル：IPアドレス とMACアドレス

ネットワーク層IPアドレス（論理アドレス）で

通信する。

データリンク層MACアドレス（物理アドレス）で

通信する。

スイッチ、ルータはＩＰとＭＡＣの対応付けをする！

WEB公開版

復習（第７回）：ＬＡＮとＷＡＮの特徴 １対１と多体多

ＷＡＮ ＷＡＮ

ＬＡＮ内は多対多の通信をする！

ＷＡＮとＷＡＮの間は１対１の通信をする！

WEB公開版

LANとWANの特徴 (6/14)

ARPパケットはLAN内のみで流

通する！基本は多対多（ブロードキャスト）

ARPパケットは、スイッチや

ルータの外へ中継されない！

IPパケットはス

イッチやルータを

越えて流通する！基本は１対１（ユニキャスト）

WEB公開版

ＩＰアドレス設定の読み方

１1 １５5 15 １83. . .

00001011 10001011 1011011100001111

255 255 254 0. . .

00001011 10001011 0000111 1 10110111

ネットワーク部 ホスト部

WEB公開版

２種類の分割の仕方

クラスＡ～ＣとＣＩＤＲ

• クラス分割

オクテットごとに分割する。

２５５＾３

/ ２５５＾２

/ ２５５＾１大雑把な分割しかできない。

• ＣＩＤＲ分割

Classless Inter-Domain Routingオクテットによらず分割する。

サブネットを細かくして分割できる。

WEB公開版

ＩＰアドレスから、ネットワークの大きさ クラスＡ～Ｃ

０ １４4 13 １32. . .

ネットワーク部：８ ホスト部：２４

= 16777216台

１０ 144 13 １３２. . .

100 144 13 １3２. . .

ネットワーク部：１６

ネットワーク部：２４

ホスト部：１６

= ６５５３６台

ホスト部：８

= ２５６台

A

B

C

Ｐ２Ｐネットワーク

スーパーノード３つのトポロジー

分散ハッシュテーブルの検索

国内のＰ２Ｐネットワーク：数十万台全世界のＰ２Ｐネットワーク：推定１億台

WEB公開版

Ｃ／ＳモデルとＰ２Ｐモデル

C/S（クライアントサーバ）モデル

トポロジー：スター型

P2Pモデル

トポロジー：メッシュ型

WEB公開版

ファイルとキー

ファイル本体

ファイルのハッシュ値更新時刻

ファイルのサイズファイルの位置（ＩＰアドレス）

キー

ファイル

Ｐ２Ｐではこちらを拡散させ、検索に

使う！

FileA

鍵A

WEB公開版

ハッシュ関数

Ｘ

Ｙ

f（ｘ）

空間Ｘは大きいので、ハッシュ関数fでより小さい空間

Ｙに押し込める。

元に戻せない！

Ｘ[i]とY[i]は１対１対応している。

WEB公開版

ハッシュ関数（一方向性関数）WEB公開版

Ｐ２Ｐの自己組織化

その１帯域

ファイルや情報は上の方（広帯域の回線）行く傾向がある。

高速回線

中速回線

低速回線

使っている回線の

帯域によって階層ができる！

WEB公開版

Ｐ２Ｐの自己組織化

その２

キーの拡散

ファイルの所有者

ファイルでは

なくキーを拡

散させる！

鍵A

鍵A

鍵A

鍵A鍵B

FileA 鍵B

鍵B鍵B

FileB

WEB公開版WEB公開版

Ｐ２Ｐの自己組織化

その２ ファイルの検索

キーを持ってい

なければ隣に転送する！

キーの所有者に繋がったら検索終了！

キーの所有者は

ファイルの場所

を知っている！鍵A

鍵A

鍵A

鍵A鍵B

鍵B

鍵B

鍵B

FileAFileB

WEB公開版

トポロジーCAN： 隣接ノードをトーラスで表す。

Aさんが

ファイルを検索している

ファイル（そば,うどん）

ハッシュ値(0.8, 0.9)

を持っている。

AはB,C,Dさんを

知っている。

トポロジー

Chord

Stoica, Ion et al. (2001). "Chord: A Scalable Peer-to-peer Lookup Service for Internet Applications". Proceedings of SIGCOMM'01 (ACM Press New York, NY, USA).

ノードをリング状に並べる。

検索がヒットするまで左へ巡回する。

ファイルのハッシュ値を計算し、ファイルを格納する

サーバを割り当てる。（ハッシュ、コンピュータ番号）

WEB公開版

トポロジー Kademlia2^Nでノードが

枝分かれしていく木構造を

２分木(binary tree)という。

２分木に応じて符号（ビット列）を割り当てる。

ノード間の距離はXORで計算する。

001 xor 100 = 101 = 5

WEB公開版

Basic architecture of tracker network

① Ask Node A (newcomer) ask the tracker for searching the file.

② torrent downloadTracker provides torrent file.

③ join Node A queries node B.

④ downloadNode A can downloads pieces of file on swarm network

Seeder has a complete file.Leecher has pieces of file.

WEB公開版

ＩＰアドレス以外のアドレス管理

分散ハッシュテーブルの検索

WEB公開版

コンテンツサービスプロバイダー が使うネットワーク

Google BigTableとAmazon DynamoMapReduce

Amazon EC2：45万台Google: 推定1200万台

WEB公開版

データストアとCAP定理

C:整合性

ネットワーク上のすべてのノードから同じ値が返る。

A:可用性

ネットワーク上のノードはすべて常にアクセスできる。

P:ネットワークの一部がダウン、または分断されても機能する。Eric Brewer, “Towards Robust Distributed Systems” PODC 2000

WEB公開版

クラウドのデータストアの特徴

あらかじめ書き込んでおく

• クラウドシステムの設計方針

書き込むときに沢山の処理をする。

→あらかじめ、検索語（インデックス）など対 する検索結果を作成しておき、データストアに

格納しておく。

読み込む時の処理をより簡単にする。

→読み込み用に大量のサーバを用意する。

WEB公開版

Google Big Table

ファイル、ストレージへ

の書き込み

を担当する。別名

チャンクサーバ

ユーザのブラウザ

経由の入力（検索語）を受け付ける。

ノード群の管理をする。状態管理、割り当て

WEB公開版

Amazon Dynamoマスタサーバはなく、P2PのChord型の

アーキテクチャを利

用している。

ユーザの検索語

を受付け、Ｐ２Ｐネットワーク

内を検索する。

WEB公開版

Input

Map

Map

Map

Reduce

MapReduce is the algorithm for coping with Big data.

map(key1,value) -> list<key2,value2>reduce(key2, list<value2>) -> list<value3>

MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay GhemawatOSDI'04: Sixth Symposium on Operating System Design and Implementation, San Francisco, CA, December, 2004.

Reduce

Reduce

Output

Map Reduce スケーラビリティに対応したビッグデータ処理フレームワーク

基本は論理プログ

ラムなどで使われ

分割統治法

WEB公開版