<コンタクト先>
2014/10/31
Yahoo! JAPANのSDN/OpenStackへの取り組み~爆速を支えるネットワークインフラのこれまでとこれから~
ヤフー株式会社 高木 塁 [email protected]
YJ America, Inc. 市川 博隆 [email protected]
P2自己紹介
高木 塁• ヤフー株式会社(2010/04 - )
• システム統括本部インフラ技術1部プライベートクラウド 所属
• 入社後、2~3年サービス開発に従事
• その後、1年ほどデータセンターネットワークの運用
• 現在は社内クラウド環境まわりの開発・検証
市川 博隆• YJ America, Inc. (2014/10 - )
• Cloud infrastructure engineering division 所属
• ヤフー株式会社 (2010/04 ‒ 2014/09)
• ネットワークインフラ運用
• 社内クラウド環境のネットワークコンポーネント開発
P3アジェンダ
• クラウドへの取り組みの流れ• OpenStack利用環境のネットワークインフラ• SDNへの取り組み• 最新Yahoo! JAPAN OpenStack事例• まとめ
P4アジェンダ
• クラウドへの取り組みの流れ– 自社開発クラウドの提供– OpenStackの導入とその効果
• OpenStack利用環境のネットワークインフラ• SDNへの取り組み• 最新Yahoo! JAPAN OpenStack事例• まとめ
P5自社開発クラウドの提供
• 2011年から2013年前半にかけて全社提供• 全てをフルスクラッチで開発
– 既存のインフラと同様の構成で実現– 独自の構成管理システムとの連携
• 利用者がWEB上で全てを操作– リソースオンデマンド– VM、ストレージ、DNS、ACL、LB、GSLBの機能を提供
• 数万VMが稼働
P6自社開発クラウドにおける課題
• 独自インタフェースのAPI、原則非公開– 操作性に欠けるUI– OSSと連携させたいという社内からの要望
• 増強・運用で手一杯– 新しい機能が増えない
• ライフサイクルが回らない– ハードウェアの性能向上に載れない– 新しい機器への対応も0から自分達で開発
P7新たなクラウド基盤への方針転換
• 急速な勢いで成長• AWS互換API等、外部ツールとの連携性• 拡張開発の容易性• ネットワーク周りの機能はひとまずデグレード
• 依頼ベースのネットワーク設定• Quantum/Neutronの進化に伴いデグレを解消
OpenStack
P8OpenStackの導入による効果
• 2013年中期からOpenStackの導入を開始• 導入により課題の解決を実現
– 公開された標準のAPIを備える• UIなしでも操作可能、OSSと連携可能• 社内システムと連携させているが、APIフォーマットは変えない
– 運用に人、手間を掛けない構成を実現
– 抽象化を実現し、その時最適な物をユーザに意識させることなく導入• ハードウェアの性能向上を即座に享受可能• データセンタライフサイクルマネジメントの実現
– コストの大幅な削減– 機能をベンダーに開発してもらえる– サービス開発者はより早く開発サイクルを回す事が可能になった
P9アジェンダ
• クラウドへの取り組みの流れ• OpenStack利用環境のネットワークインフラ
• ネットワーク構成• ネットワークまわりで出てきた課題
• SDNへの取り組み• 最新YJ OpenStack事例• まとめ
P10ネットワークの構成
L3スイッチ
L2スイッチ
VMVM
Linux BridgeLinux Bridge
Neutron
VLAN
GWGW
VMVM
L2スイッチ
Linux BridgeLinux Bridge
VMVM VMVM VMVM VMVM
GWGW
Load BalancerLoad Balancer
・パフォーマンス重視の構成
・ひとつのVLANに様々なサービスのサーバが混在
P11ネットワークまわりで出てきた課題
• 構成次第で大きく変わる課題
P12ネットワークまわりで出てきた課題
• 構成次第で大きく変わる課題– Linuxbridgeではネットワークの柔軟性が課題
P13ネットワークまわりで出てきた課題
• 構成次第で大きく変わる課題– Linuxbridgeではネットワークの柔軟性が課題– OpenStackリファレンスのNWはパフォーマンスが課題
P14ネットワークまわりで出てきた課題
• 構成次第で大きく変わる課題– Linuxbridgeではネットワークの柔軟性が課題– OpenStackリファレンスのNWはパフォーマンスが課題
0.0Gbps
5.0Gbps
10.0Gbps
15.0Gbps
20.0Gbps
gre tunnel linuxbridge
0Kpps
1000Kpps
2000Kpps
3000Kpps
gre tunnel linuxbridge 0.00ms
1.00ms
2.00ms
3.00ms
gre tunnel linuxbridge
転送速度応答速度
通信速度
P15ネットワークまわりで出てきた課題
• 構成次第で大きく変わる課題– Linuxbridgeではネットワークの柔軟性が課題– OpenStackリファレンスのNWはパフォーマンスが課題
• ACLの適用、VIPの設定が依頼ベース– 利用者からの依頼を受けてから、ネットワーク運用者が設定– 設定変更に時間を要する
P16アジェンダ
• クラウドへの取り組みの流れ• OpenStack利用環境のネットワークインフラ• SDNへの取り組み
– ベンダーとの共創• プラグインの機能• パフォーマンス
• 最新Yahoo! JAPAN OpenStack事例• まとめ
P17ベンダーとの共創
• 構成次第で大きく変わる課題– Linuxbridgeではネットワークの柔軟性が課題– OpenStackリファレンスのNWはパフォーマンスが課題
• ACLの適用、VIPの設定が依頼ベース– 利用者からの依頼を受けてから、ネットワーク運用者が設定– 設定変更に時間を要する
• これらの課題を解決できるベンダーを探し、BrocadeとNeutronに以下のプラグインを実装– VDXプラグイン(ML2、SVI、FWaaS)– ADXプラグイン(LBaaS)
P18ネットワークの構成
VDX8770
VDX6740T
VMVM
Open vSwitchOpen vSwitch
Neutron
VLAN
GWGW
VMVM
VDX6740T
Open vSwitchOpen vSwitch
VMVM VMVM VMVM VMVM
GWGW
ADX1016ADX1016
P19ML2プラグインの機能
VDX8770
VDX6740T
VMVM
Open vSwitchOpen vSwitch
Neutron
VLAN
GWGW
VMVM
VDX6740T
Open vSwitchOpen vSwitch
VMVM VMVM VMVM VMVM
GWGW
ADX1016ADX1016
• ML2の機能– VLANの作成(ネットワーク作成時)– trunkの設定追加(インスタンス作成時)
P20SVIプラグインの機能
VDX8770
VDX6740T
VMVM
Open vSwitchOpen vSwitch
Neutron
VLAN
GWGW
VMVM
VDX6740T
Open vSwitchOpen vSwitch
VMVM VMVM VMVM VMVM
GWGW
ADX1016ADX1016
• SVIの機能– SVIの作成– VRRP– VRFにも対応(利用有無はコンフィグで指定)
P21FWaaSプラグインの機能
VDX8770
VDX6740T
VMVM
Open vSwitchOpen vSwitch
Neutron
VLAN
GWGW
VMVM
VDX6740T
Open vSwitchOpen vSwitch
VMVM VMVM VMVM VMVM
GWGW
ADX1016ADX1016
• FWaaSの機能– ルールの作成– ポリシーの作成– ACLの適用(テナント毎に存在するSVIで)
P22LBaaSプラグインの機能
VDX8770
VDX6740T
VMVM
Open vSwitchOpen vSwitch
Neutron
VLAN
GWGW
VMVM
VDX6740T
Open vSwitchOpen vSwitch
VMVM VMVM VMVM VMVM
GWGW
ADX1016ADX1016
• LBaaSの機能– メンバーの登録– ヘルスモニターの設定– VIPの作成
P23ネットワークのパフォーマンス検証
VDX 8770
VDX 6740T
VMVM
LinuxBridgeLinuxBridge
VMVM VMVM
Neutron
Neutron
gre tunnelgre tunnelVLAN
AvalancheAvalanche
Open vSwitch+ gre tunnel
Linux Bridge
OpenvSwitchOpenvSwitch
GWGW
GWGW
VMVM
LinuxBridgeLinuxBridge
VMVM VMVM
VDX 6740T
VDX 8770
VDX 6740T
VMVM
OpenvSwitchOpenvSwitch
VMVM VMVM
OpenvSwitchOpenvSwitch
VMVM VMVM
VDX 6740T
VMVM
VDX 8770
VDX 6740T
VMVM
OpenvSwitchOpenvSwitch
VMVM VMVM
Neutron
VLAN
Open vSwitch+ VDX
GWGW
VMVM
OpenvSwitchOpenvSwitch
VMVM
VDX 6740T
VMVM
P24ネットワークのパフォーマンス検証
• 今回の検証の構成
これらの環境の50VMに対してAvalancheから負荷を掛けて計測
応答速度はサーバからのレスポンスで最初の1バイトが返ってきた時の経過時間
構成 Kernel Open vSwitchML2 mechanism
driver
Open vSwitch+ VDX + K3
3.14.17 2.3openvswitch, brocade
Open vSwitch+ VDX
2.6.32 2.3openvswitch, brocade
Open vSwitch+ gre tunnel
2.6.32 2.3 openvswitch
Linuxbridge 2.6.32 - linuxbridge
P25ネットワークのパフォーマンス検証
• 50VMに対して実施。
0.00ms
1.00ms
2.00ms
3.00ms
gre tunnel linuxbridge VDX
0.0Gbps
5.0Gbps
10.0Gbps
15.0Gbps
20.0Gbps
gre tunnel linuxbridge VDX
転送速度
応答速度
通信速度
0Kpps
1000Kpps
2000Kpps
3000Kpps
gre tunnel linuxbridge VDX
P26
0Kpps
150Kpps
300Kpps
450Kpps
600Kpps
750Kpps
900Kpps
gre tunnel linuxbridge VDX VDX+K3
0.0Gbps
1.0Gbps
2.0Gbps
3.0Gbps
4.0Gbps
5.0Gbps
6.0Gbps
7.0Gbps
gre tunnel linuxbridge VDX VDX+K3
0.00ms
1.00ms
2.00ms
3.00ms
gre tunnel linuxbridge VDX VDX+K3
ネットワークのパフォーマンス検証結果
• 1VMに対して実施。Kernel 3.14も検証
50VMではワイヤレートになり比較不能なため、1VMでの比較になります
転送速度応答速度
通信速度
0.0Kcps
5.0Kcps
10.0Kcps
15.0Kcps
gre tunnel linuxbridge VDX VDX+K3
新規接続
P27ネットワークのパフォーマンス検証結果
• ネットワークの課題を解決– パフォーマンスは解決– ネットワークの柔軟性も解決– 構成がシンプルで、耐障害性向上
0.00ms
1.00ms
2.00ms
3.00ms
gre tunnel linuxbridge VDX
0.0Gbps
5.0Gbps
10.0Gbps
15.0Gbps
20.0Gbps
gre tunnel linuxbridge VDX転送速度
応答速度
通信速度
0Kpps
1000Kpps
2000Kpps
3000Kpps
gre tunnel linuxbridge VDX
P28Brocadeとの共創
• ネットワーク抽象化に利用が可能– スループット、安定性を重視した構成が構築可能– GREの利用なしにネットワークの柔軟性を確保– VLAN、ACLおよびLBの即時設定が可能な環境に
• Brocade VDX2台から始められる構成(LBaaSも利用の場合はADX1台追加)– 安価にスタート– 40HV程度の構成が可能
• 多くの企業には十分なサイズ
P29アジェンダ
• クラウドへの取り組みの流れ• OpenStack利用環境のネットワークインフラ• SDNへの取り組み• 最新Yahoo! JAPAN Openstack事例• まとめ
P30YJ Americaについて
• Yahoo! JAPANの米国子会社– 米国内のスタートアップ発掘・支援– Yahoo! JAPAN向け米国データセンターの運営– Yahoo! JAPANからのクラウド開発業務委託
• アメリカデータセンター立ち上げ– ワシントン州郊外– Yahoo! JAPANのインフラメンバーが現地へ赴任して運用
• 日本国内と比べ、以下のメリット– データセンター維持費用低減 (電気料金 etc.)– 機器メーカー等との連携、情報収集の容易さ– (遅延を考慮し、サービスに直結しないものを稼働予定)
P31USDC OpenStackクラスタ
• 各種Brocade製Neutronプラグインで構築中• Yahoo! JAPAN内で最新のOpenStackクラスタ• 128HV、約3840VMを提供予定
• VLAN、ACL、LB設定は全てNeutronで実施– SDNコントローラとしてのNeutron
• 抽象化ネットワークを実現するコントローラAPI
– H/Wオフロードでパフォーマンスを維持• 運用者の負荷軽減• サービス担当者の待ち時間短縮
– 開発・検証・リリースのサイクルを爆速に
P32アジェンダ
• クラウドへの取り組みの流れ• OpenStack利用環境のネットワークインフラ• SDNへの取り組み• 最新Yahoo! JAPAN OpenStack事例• まとめ
P33まとめ
• Yahoo! JAPANはOpenStackを採用し、インフラの抽象化を実現している
• Brocadeと共創し、ネットワークの抽象化を進めている
• H/Wオフロードすることでパフォーマンスを維持しつつ、柔軟性のあるネットワークを実現
• VLAN、ACL、LBについてOpenStack/Neutronから即時設定できるようになったことで運用者の負荷とサービス開発者の待ち時間軽減につながった
.
ありがとうございました
.
Top Related