PlanetLab PlanetLab の計測結果を用いたの計測結果を用いたオーバーレイルーティングの性能評価オーバーレイルーティングの性能評価

長谷川 剛 長谷川 剛 (( ごうごう )) 大阪大学サイバーメ大阪大学サイバーメディアセンターディアセンター村田 正幸 村田 正幸 大阪大学大学院情報科学研究科大阪大学大学院情報科学研究科

目次目次

• 研究の背景と目的研究の背景と目的– オーバレイルーティングオーバレイルーティング

• 研究内容研究内容– PlanetLabPlanetLab の計測データの計測データ– 経路選択のメトリック経路選択のメトリック– 評価結果評価結果

• (( ネットワークただ乗り問題ネットワークただ乗り問題 ))• まとめと今後の課題まとめと今後の課題

22

33

オーバレイルーティングオーバレイルーティング

• オーバレイネットワークで行われるアプケーオーバレイネットワークで行われるアプケーションレベルの経路制御ションレベルの経路制御– オーバレイノード間でネットワーク性能の計測オーバレイノード間でネットワーク性能の計測– エンド間エンド間 (( オーバレイノード間オーバレイノード間 )) の性能が向上すの性能が向上す

るように経路を選択るように経路を選択• 直接経路：送受信ノード直接経路：送受信ノード

間を間を IPIP に任せて配送に任せて配送• 迂回経路：途中、迂回経路：途中、 (( 単一、単一、

または複数のまたは複数の )) 別のノー別のノードを経由させて配送ドを経由させて配送

オーバレイルーティングの効果オーバレイルーティングの効果

• エンド間性能の向上エンド間性能の向上– 遅延時間の短縮遅延時間の短縮

• 全体の全体の 30-40%30-40% の転送において改善可能の転送において改善可能• 最悪値が大きく改善最悪値が大きく改善

• 「遠回りした方が近い」「遠回りした方が近い」– 現状の現状の ISPISP 間の経路制御が原因間の経路制御が原因

• ISPISP 間リンクの課金体系間リンクの課金体系– トランジット／ピアリングトランジット／ピアリング

• BGPBGP による経路制御による経路制御– ユーザ性能ではなく、ユーザ性能ではなく、 ISPISP のコスト構造を第一とした設定のコスト構造を第一とした設定

– アプリケーションレベルで行われるオーバレイアプリケーションレベルで行われるオーバレイルーティングルーティング• 単純にエンド間性能を指標として経路制御を行う単純にエンド間性能を指標として経路制御を行う• トランジット・ピアリングの区別なくネットワークを利トランジット・ピアリングの区別なくネットワークを利

用用44

15 msec

10 msec

20 msec

発表内容発表内容

• ネットワーク帯域に関する指標を用いたオーネットワーク帯域に関する指標を用いたオーバレイルーティングの評価バレイルーティングの評価– 帯域に関する指標を使った場合の効果は？帯域に関する指標を使った場合の効果は？

• 利用可能帯域、利用可能帯域、 TCPTCP スループットスループット– 転送データサイズの大きなアプリケーションにとって重転送データサイズの大きなアプリケーションにとって重

要な指標要な指標

– 帯域と遅延の相関関係帯域と遅延の相関関係– 33 ホップ経路の効果ホップ経路の効果– Etc.Etc.

• オーバレイルーティングの負の側面の評価オーバレイルーティングの負の側面の評価– ネットワークただ乗り問題ネットワークただ乗り問題

66

使用データ使用データ

• データ元：データ元： Scalable Sensing Service (S-Scalable Sensing Service (S-cube)cube)– http://networking.hpl.hp.com/s-cube/http://networking.hpl.hp.com/s-cube/– ネットワーク環境： ネットワーク環境： PlanetLabPlanetLab– 計測日時：計測日時： 20062006 年年 1010 月月 2525 日日– 参加ノード数：参加ノード数： 588 588 (AS(AS 数 数 179)179)– 参加ノード間の遅延時間，物理的キャパシティ、参加ノード間の遅延時間，物理的キャパシティ、

利用可能帯域，パケット廃棄率などが計測され、利用可能帯域，パケット廃棄率などが計測され、結果が公開されている結果が公開されている• 44 時間ごとに更新されている時間ごとに更新されている

77

データ処理データ処理

• 参加ノードを 参加ノードを AS AS 番号ごとにグルーピング番号ごとにグルーピングし、し、 11 ノードにまとめるノードにまとめる– AS AS 間の計測データが複数存在するときはその値間の計測データが複数存在するときはその値

の平均値を用いるの平均値を用いる• 計測誤差の影響を避ける計測誤差の影響を避ける• 同一ネットワーク内で中継することは無意味同一ネットワーク内で中継することは無意味

88

• AS AS ごとにオーバレイごとにオーバレイノードが ノードが 11 つずつあるつずつあると仮定と仮定

• 計測結果が存在するオー計測結果が存在するオーバレイノード間のパスがバレイノード間のパスが利用可能と考える利用可能と考える

オーバレイルーティングの指標 オーバレイルーティングの指標 (1)(1)

• 迂回経路は迂回経路は 33 ホップパスまでを利用ホップパスまでを利用• 遅延時間遅延時間

– S-cubeS-cube の計測データを利用の計測データを利用– 迂回経路：和を利用迂回経路：和を利用

• 利用可能帯域利用可能帯域– S-cubeS-cube の計測データを利用の計測データを利用– 迂回経路：最小値を利用迂回経路：最小値を利用

99

オーバレイルーティングの指標オーバレイルーティングの指標 (2)(2)

• TCPTCP スループットスループット– 遅延時間、利用可能帯域から算出遅延時間、利用可能帯域から算出

– ロス率はパラメータとするロス率はパラメータとする• S-cubeS-cube の測定結果は精度が良くないの測定結果は精度が良くない• 22 種類のモデル種類のモデル

– 経路の経路の ASAS ホップ数に比例ホップ数に比例– オーバレイレベルのホップ数に比例オーバレイレベルのホップ数に比例

– 迂回経路迂回経路• 中継ノードで中継ノードで TCPTCP を終端する場合：各途中経路の算出を終端する場合：各途中経路の算出

値の最小値値の最小値• TCPTCP を終端しない場合：迂回経路の遅延時間、利用可能を終端しない場合：迂回経路の遅延時間、利用可能

帯域から算出帯域から算出

1010

直接パス，迂回パスの性能比較 直接パス，迂回パスの性能比較 (( 利用可能帯域利用可能帯域 ))

1111

• 迂回パスが直接パスより有効となる割合迂回パスが直接パスより有効となる割合– 22 ホップ迂回パス： ホップ迂回パス： 96.696.6％、％、 33 ホップ迂回パス： ホップ迂回パス： 97.797.7％％

• 33 ホップ迂回パスの有効度ホップ迂回パスの有効度– 22 ホップ迂回パスで改善せず，ホップ迂回パスで改善せず， 33 ホップ迂回パスで改善するホップ迂回パスで改善する割合： 割合： 46.946.9％％

– 22 ホップ迂回パスで改善し，ホップ迂回パスで改善し， 33 ホップ迂回パスでさらに改善ホップ迂回パスでさらに改善する割合： する割合： 51.651.6％％

直接パス，迂回パスの性能比較 直接パス，迂回パスの性能比較 (( 遅延時間遅延時間 ))

• 迂回パスが直接パスより有効となる割合迂回パスが直接パスより有効となる割合– 22 ホップ迂回パス： ホップ迂回パス： 87.587.5％、％、 33 ホップ迂回パス： ホップ迂回パス： 85.485.4％％

• 遅延時間の改善度が利用可能帯域と比べて小さい遅延時間の改善度が利用可能帯域と比べて小さい

1212

直接パス，迂回パスの性能比較 直接パス，迂回パスの性能比較 (TCP(TCP スループッスループットト ))

• 中継ノードで中継ノードで TCPTCPを終端しない場合、を終端しない場合、迂回経路はあまり良迂回経路はあまり良くならないくならない– RTTRTT 、パケット廃、パケット廃

棄率が増加するた棄率が増加するためめ

• 終端することで迂終端することで迂回することのデメ回することのデメリットが消えて、リットが消えて、オーバレイルーテオーバレイルーティングの効果が現ィングの効果が現れるれる

1313

廃棄率：ＡＳホップ数比例TCP コネクション： e2e

廃棄率：オーバレイホップ数比例TCP コネクション： e2e

廃棄率：ＡＳホップ数比例TCP コネクション：中継

廃棄率：オーバレイホップ数比例TCP コネクション：中継

33 ホップパスの効果ホップパスの効果

• 33 ホップ迂回パス ホップ迂回パス / 2/ 2 ホップ迂回パスは、ほホップ迂回パスは、ほとんどがとんどが 11 付近付近– 33 ホップ迂回パスを利用することでより良いパスホップ迂回パスを利用することでより良いパス

が見つかる場合はあるが，その改善度は低いが見つかる場合はあるが，その改善度は低い– 22 ホップと同じぐらいの性能のホップと同じぐらいの性能の 33 ホップパスは多ホップパスは多

数存在するため、マルチパス転送には数存在するため、マルチパス転送には 33 ホップパホップパスも有効スも有効

1414

帯域と遅延の相関帯域と遅延の相関

• 利用可能帯域がベストのパスを選択すると、そのパス利用可能帯域がベストのパスを選択すると、そのパスの遅延は直接パスに比べて悪化の遅延は直接パスに比べて悪化

• 遅延がベストのパスを選択すると、そのパスの利用可遅延がベストのパスを選択すると、そのパスの利用可能帯域は直接パスに比べて良化能帯域は直接パスに比べて良化– しかし、利用可能帯域がベストのパスに比べると悪いしかし、利用可能帯域がベストのパスに比べると悪い

1515

利用可能帯域がベストのパスの遅延利用可能帯域がベストのパスの遅延 遅延がベストのパスの利用可能帯域遅延がベストのパスの利用可能帯域

まとめまとめ

• PlanetLabPlanetLab の計測結果を用いた、オーバレイの計測結果を用いた、オーバレイルーティングの性能評価ルーティングの性能評価– 利用可能帯域を指標とすると、遅延よりも迂回経利用可能帯域を指標とすると、遅延よりも迂回経

路の性能は良い傾向がある路の性能は良い傾向がある– TCPTCP スループットを向上させるためには、中継ノスループットを向上させるためには、中継ノ

ードでのコネクション終端処理が重要ードでのコネクション終端処理が重要– 33 ホップパスは、シングルパス転送においては用ホップパスは、シングルパス転送においては用

いる意味はないいる意味はない• マルチパス転送では利用価値があるマルチパス転送では利用価値がある

– 遅延の良いパスの帯域は良いが、帯域が良いパス遅延の良いパスの帯域は良いが、帯域が良いパスの遅延は良くないの遅延は良くない• 遅延で経路を探せば、それなりに帯域の良いパスは発見遅延で経路を探せば、それなりに帯域の良いパスは発見

できるが、本当に帯域が良いパスは帯域を見て探さないできるが、本当に帯域が良いパスは帯域を見て探さないと発見できないと発見できない

1616

ネットワークただ乗り問題ネットワークただ乗り問題

1818

ネットワークモデル ネットワークモデル (1)(1)

ISP CISP C

ISP AISP A ISP BISP B

Transit Link LTransit Link Laa

Bandwidth: Bandwidth: CCaa

Utilization: Utilization: ρρaa

Transit Link LTransit Link Lbb

Bandwidth: Bandwidth: CCbb

Utilization: Utilization: ρρbb

Peering Link LPeering Link Labab

Bandwidth: Bandwidth: CCabab

Utilization: Utilization: ρρabab

Host aHost a Host bHost b

Host cHost cOverlay NodeOverlay NodeRouterRouter

•トランジットリンクトランジットリンク–上位上位 ISPISP に対する接続に対する接続–通常、上り・下りにかかわらず下位通常、上り・下りにかかわらず下位ISPISP から上位から上位 ISPISPへ利用料金を支払うへ利用料金を支払う

•トランジットリンクトランジットリンク–上位上位 ISPISP に対する接続に対する接続–通常、上り・下りにかかわらず下位通常、上り・下りにかかわらず下位ISPISP から上位から上位 ISPISPへ利用料金を支払うへ利用料金を支払う

•ピアリングリンクピアリングリンク–同程度規模の同程度規模の ISPISP 間を接続間を接続

•直接接続・直接接続・ IXIX 経由での接続経由での接続–通常、回線コストのみを両通常、回線コストのみを両 ISPISP が折半で負が折半で負担担–両両 ISPISP を始点・終点とするパケットのみをを始点・終点とするパケットのみを流す流す

•両両 ISPISP 間のトラヒックが多ければ、トラン間のトラヒックが多ければ、トランジットコストの削減につながるジットコストの削減につながる

•ピアリングリンクピアリングリンク–同程度規模の同程度規模の ISPISP 間を接続間を接続

•直接接続・直接接続・ IXIX 経由での接続経由での接続–通常、回線コストのみを両通常、回線コストのみを両 ISPISP が折半で負が折半で負担担–両両 ISPISP を始点・終点とするパケットのみをを始点・終点とするパケットのみを流す流す

•両両 ISPISP 間のトラヒックが多ければ、トラン間のトラヒックが多ければ、トランジットコストの削減につながるジットコストの削減につながる

1919

ネットワークモデル ネットワークモデル (2)(2)

ISP CISP C

ISP AISP A ISP BISP B

Transit Link LTransit Link Laa

Bandwidth: Bandwidth: CCaa

Utilization: Utilization: ρρaa

Transit Link LTransit Link Lbb

Bandwidth: Bandwidth: CCbb

Utilization: Utilization: ρρbb

Peering Link LPeering Link Labab

Bandwidth: Bandwidth: CCabab

Utilization: Utilization: ρρabab

Host aHost a Host bHost b

Host cHost c

Direct PathDirect PathRelayed PathRelayed Path

Overlay NodeOverlay NodeRouterRouter

host a host a から から host c host c へのデータ転送へのデータ転送

2020

オーバレイトラヒックのコスト負担オーバレイトラヒックのコスト負担

• Direct pathDirect path を使う場合を使う場合– ISP A ISP A 内の 内の host a host a が、が、 ISP AISP A のトランジットのトランジット

リンクを使ってトラヒックを運ぶリンクを使ってトラヒックを運ぶ• host a host a から課金可能から課金可能

• RelayRelay pathpath を使う場合を使う場合– ISP A ISP A 内の 内の host a host a が、が、 ISP A-B ISP A-B 間のピアリン間のピアリン

グリンクと、グリンクと、 ISP B ISP B のトランジットリンクを使のトランジットリンクを使ってトラヒックを運ぶってトラヒックを運ぶ• ピアリングリンク：ピアリングリンク： ISP A, BISP A, B で折半で折半• ISP B ISP B のトランジットリンク：のトランジットリンク： ISP BISP B が負担が負担

– ネットワークただ乗り問題ネットワークただ乗り問題• ISP A ISP A 内のホストが発生させたトラヒックのトランジ内のホストが発生させたトラヒックのトランジ

ットコストを、直接的には関係のない ットコストを、直接的には関係のない ISP B ISP B が負担が負担– ピアリングリンク上のトラヒック量に偏りが発生ピアリングリンク上のトラヒック量に偏りが発生

すると、コスト負担を要求されることもあるすると、コスト負担を要求されることもある

2121

考えられる解決方法とその問題点 考えられる解決方法とその問題点 (1)(1)

• オーバレイネットワークに参加している オーバレイネットワークに参加している host b host b から課金するから課金する– ユーザは自分のユーザは自分の PCPC が中継に使われていることをが中継に使われていることを自覚してない自覚してない

• アプリケーションそのものを遮断・制限アプリケーションそのものを遮断・制限– Winny Winny であれば可能であれば可能– Skype Skype は？は？

• 「有用」なアプリケーション「有用」なアプリケーション の場合、ユーザの理解がの場合、ユーザの理解が 得られない可能性得られない可能性

ISP CISP C

ISP AISP A ISP BISP B

Host aHost a Host bHost b

Host cHost c

2222

考えられる解決方法とその問題点 考えられる解決方法とその問題点 (2)(2)

• Relayed pathRelayed path を使うトラヒックを検出し、を使うトラヒックを検出し、課金／遮断する課金／遮断する– 通常のトラヒック（通常のトラヒック（ ISP AISP A→→ ISP BISP B）と区別でき）と区別でき

ないない• どちらも どちらも src: host asrc: host a 、、 dst: host bdst: host b のパケットのパケット

ISP CISP C

ISP AISP A ISP BISP B

Host aHost a Host bHost b

Host cHost c

2323

考えられる解決方法とその問題点 考えられる解決方法とその問題点 (3)(3)

• ISP BISP B が設備投資を行い、トランジットリンク帯域が設備投資を行い、トランジットリンク帯域を増強を増強– オーバレイトラヒックのうち、中継経路（オーバレイトラヒックのうち、中継経路（ Relayed PathRelayed Path）が使われる割合が増える）が使われる割合が増える

• ISP AISP A 内のユーザが恩恵を受ける内のユーザが恩恵を受ける• ISP BISP B 内のユーザには思ったような効果が得られない内のユーザには思ったような効果が得られない

• 品質の良いネットワークを構築した結果、そこへオ品質の良いネットワークを構築した結果、そこへオーバレイトラヒックが集中するーバレイトラヒックが集中する– そのコストをトラヒックのそのコストをトラヒックの　発生元から回収できない　発生元から回収できない

ISP CISP C

ISP AISP A ISP BISP B

Host aHost a Host bHost b

Host cHost c

ただ乗り問題の評価指標ただ乗り問題の評価指標

ただ乗り量ただ乗り量– 迂回パスを構成するリンクの集合の中で直接パス迂回パスを構成するリンクの集合の中で直接パス

で使用していないトランジットリンクの集合の要で使用していないトランジットリンクの集合の要素数素数

• ノードペア ノードペア NNii, N, Njj 間のデータ転送間のデータ転送• 直接パスのトランジットリンクの集合 直接パスのトランジットリンクの集合 TTijij

• ノード ノード NNkk を中継する迂回パスのトランジットリンクを中継する迂回パスのトランジットリンクの集合 の集合 TTikjikj

• 直接パスで使用していない迂回パスのトランジットリ直接パスで使用していない迂回パスのトランジットリンクの集合 ンクの集合 FFikjikj

– FFikjikj の要素数 の要素数 ||FFikj ikj | | をノード をノード NNkk を中継する迂回を中継する迂回パスのただ乗り量と定義するパスのただ乗り量と定義する

2424

ただ乗り問題評価のためのデータただ乗り問題評価のためのデータ

• PlanetLab PlanetLab ノード間のネットワーク性能の計測結果ノード間のネットワーク性能の計測結果– S-cube S-cube が計測，公開しているデータを使用が計測，公開しているデータを使用

• 物理帯域，利用可能帯域，遅延時間，パケット廃棄率物理帯域，利用可能帯域，遅延時間，パケット廃棄率

• PlanetLab PlanetLab ノード間の経路を構成するリンクの種類ノード間の経路を構成するリンクの種類– AS AS 間リンクの種類間リンクの種類

• CAIDA CAIDA が調査，公開しているデータを使用が調査，公開しているデータを使用– BGP BGP テーブルの情報と テーブルの情報と AS AS の次数 の次数 (( 他 他 AS AS とのリンク数とのリンク数 ) ) かか

ら推測 ら推測 [*][*]

– PlanetLab PlanetLab ノード間の ノード間の AS AS レベルの経路レベルの経路• traceroute traceroute コマンドでルータレベルの経路を取得コマンドでルータレベルの経路を取得• traceroute.org traceroute.org のルートサーバから各ルータののルートサーバから各ルータの ASAS 番号を取番号を取得得

– リンクの種類が判別できない リンクの種類が判別できない AS AS 間リンクが多数存在間リンクが多数存在• [*][*] の調査で用いられた の調査で用いられた BGP BGP テーブルから得られないリンテーブルから得られないリン

クが多いクが多い⇒ ⇒ ピアリングリンクと仮定してただ乗りに寄与しないと仮定ピアリングリンクと仮定してただ乗りに寄与しないと仮定

2525

[13] X. Dimitropoulos, D. Krioukov, M. Fomenkov, B. Huffaker, Y. Hyun, K. claffy, and G. Riley, ‟AS relationships: Inference and validation,” ACM SIGCOMM Computer Communication Review, vol. 37, No.1, Jan. 2007.

26

0

0.05

0.1

0.15

0.2

0.25

0.3

0.35

0.4

0.45

0 1 2 3 4 5 6 7 8 9Number of free- riding transit links

Perc

enta

ge o

f th

e w

hole

node

pairs

Available BandwidthEnd- to- End LatencyTCP Throughput (L=0.01)TCP Throughput (L=0.001)TCP Throughput (L=0.0001)TCP Throughput (L=0.00001)

ただ乗り量の分布ただ乗り量の分布

• 性能のよい迂回パスの多くはただ乗りを発生させる性能のよい迂回パスの多くはただ乗りを発生させる• TCP TCP スループットをメトリックとしたときはただ乗り量のスループットをメトリックとしたときはただ乗り量の少ない少ない 最適迂回パスの割合が多い 最適迂回パスの割合が多い– AS AS ホップ数が小さいパスが最適迂回パスとして選ばれやすいからホップ数が小さいパスが最適迂回パスとして選ばれやすいから

27

ただ乗り量の上限と性能改善度の関係ただ乗り量の上限と性能改善度の関係

• ただ乗りを許容しない場合、オーバレイルーティングによる性能向上は限定ただ乗りを許容しない場合、オーバレイルーティングによる性能向上は限定的的

• ただ乗り量を ただ乗り量を 44 本まで許容することで、本まで許容することで、 85-90%85-90%程度の性能を得られる程度の性能を得られる• 利用可能帯域を用いる場合、より少ないただ乗り量で高い性能が得られる利用可能帯域を用いる場合、より少ないただ乗り量で高い性能が得られる

Y軸：ただ乗り量が上限以下の迂回 パス中で最適な迂回パスの性能

ただ乗り量の制限が無いときの 最適迂回パスの性能

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0 1 2 3 4 5 6 7 8 9

Pe

rfo

rma

nce

imp

rove

me

nt

ratio

ag

ain

st

be

st

2-h

op

re

lay p

ath

Number of free-riding transit links

TCP スループット( L=0.01)

TCP スループット( L=0.001)

TCP スループット( L=0.0001)

TCP スループット( L=0.00001)

利用可能帯域

遅延時間

まとめまとめ

• ネットワークただ乗り問題の定量的評価ネットワークただ乗り問題の定量的評価– 性能が改善する迂回パスの多くでただ乗りが発生性能が改善する迂回パスの多くでただ乗りが発生– 問題の緩和と性能改善の両方を実現するパスの評問題の緩和と性能改善の両方を実現するパスの評

価価• 利用可能帯域をメトリックとした場合，他のメトリッ利用可能帯域をメトリックとした場合，他のメトリッ

クに比べただ乗り量の上限数が少なくても性能が改善クに比べただ乗り量の上限数が少なくても性能が改善する割合が高いする割合が高い

2828

2929