OpenStackベースの大規模クラウド基盤 · OpenStackベースの大規模クラウド基盤 ... 大規模化や広域化、レガシーとのハイブリッド運用を実現
Red Hat OpenStackとMidoNetを使った クラウド構築 … · Red Hat...
Transcript of Red Hat OpenStackとMidoNetを使った クラウド構築 … · Red Hat...
Copyright ©2013 Midokura All rights reserved
発表者の自己紹介
2
ミドクラ システムエンジニア
•MidoNet、OpenStackの設計・構築・運用、およびそれらの支援を担当
Copyright ©2013 Midokura All rights reserved
本日の内容
3
会社紹介
ミドクラで開発してる製品 MidoNet
ミドクラの開発および検証環境
RHOSとMidoNetを使ったクラウドの構築
まとめ
Copyright ©2013 Midokura All rights reserved
ミドクラの拠点展開
5
スペイン 開発拠点
スイス HQ機能
日本 営業拠点 開発拠点
US 営業拠点 開発拠点
東京にも開発拠点を持ち、フロントからダイレクトに開発部隊にエスカレーション
タイムゾーンが異なる3拠点に展開し、問題が発生した際も迅速な対応可能
地図データ ©2013 Google, INEGI, Tele Atlas
Copyright ©2013 Midokura All rights reserved
MIdoNetは分散アーキテクチャを持つ製品
7
VM
Upstream ISPvP
ort
vPor
t
vPor
t
vPor
t
VM VM
vPor
t
vPor
t
VM VM
vPor
t
Tenant ARouter
Tenant ABridge 1
Tenant ABridge 2
Tenant BBridge 1
Tenant BRouter
The Internet
Logical Topology (Overlay)Logical Topology (Overlay)
BGP uplink
MidoNet は個々のNW機器ではなく、
論理トポロジ全体をエミュレート
ProviderRouter
Upstream ISP
The Internet
VM
MidoNet
Compute Node
VM
MidoNet
Compute Node
VM
MidoNet
Compute Node
MidoNet
Gateway Node
MidoNet
Gateway Node
Back-end NetworkNetwork
State Node
NW StateDBNW State
DBNW StateDB
Physical Topology (Underlay)Physical Topology (Underlay)
BGP uplink
API Node
Cloud Mgmt System
Only requirement is
an IP reachability!
Copyright ©2013 Midokura All rights reserved
しかしMIdoNetは一台でも動作してしまう…
8
VM
Upstream ISPvP
ort
vPor
t
vPor
t
vPor
t
VM VM
vPor
t
vPor
t
VM VM
vPor
t
Tenant ARouter
Tenant ABridge 1
Tenant ABridge 2
Tenant BBridge 1
Tenant BRouter
The Internet
Logical Topology (Overlay)Logical Topology (Overlay)
BGP uplink
ProviderRouter
Upstream ISP
The Internet
VM
MidoNet
Compute Node
Physical Topology (Underlay)Physical Topology (Underlay)
Copyright ©2013 Midokura All rights reserved
分散システムのテストはサーバがたくさん必要
9
VM
Upstream ISPvP
ort
vPor
t
vPor
t
vPor
t
VM VM
vPor
t
vPor
t
VM VM
vPor
t
Tenant ARouter
Tenant ABridge 1
Tenant ABridge 2
Tenant BBridge 1
Tenant BRouter
The Internet
Logical Topology (Overlay)Logical Topology (Overlay)
BGP uplink
ProviderRouter
Upstream ISP
The Internet
VM
MidoNet
Compute Node
VM
MidoNet
Compute Node
VM
MidoNet
Compute Node
MidoNet
Gateway Node
MidoNet
Gateway Node
Back-end NetworkNetwork
State Node
NW StateDBNW State
DBNW StateDB
Physical Topology (Underlay)Physical Topology (Underlay)
BGP uplink
API Node
Cloud Mgmt System
Only requirement is
an IP reachability!
Copyright ©2013 Midokura All rights reserved
開発者毎に多数のサーバを貸し出すのは不可能…
10
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
...
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
...
Copyright ©2013 Midokura All rights reserved
分散システムは構築も大変
11
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
...
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
...
Copyright ©2013 Midokura All rights reserved
クラウド製品を作っていたらEC2のお世話になる
13
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
powered by
Copyright ©2013 Midokura All rights reserved
ミドクラのデータセンタ
17
スペイン 開発拠点
日本 営業拠点 開発拠点
東京とバルセロナに構築済み
地図データ ©2013 Google, INEGI, Tele Atlas
Copyright ©2013 Midokura All rights reserved
が、ネットワークの遅延が大きい…
19
スペイン 開発拠点
日本 営業拠点 開発拠点
地図データ ©2013 Google, INEGI, Tele Atlas
300ms!!!
Copyright ©2013 Midokura All rights reserved
システムの物理構成
22
開発環境のサーバ 16台新規サーバ 25台物理コア 640コア
ストレージ 120TB10GSwitch 40port 2台
Copyright ©2013 Midokura All rights reserved
さて、どのOpenStackを使おう?
24Photo Credit: milos milosevic via Compfight cc
Copyright ©2013 Midokura All rights reserved
これに決めました!
25
"Red Hat"、"Red Hat Enterprise Linux" ロゴは、米国およびその他の国における Red Hat, Inc. の登録商標です
Copyright ©2013 Midokura All rights reserved
RHOSはインストールが簡単
26
1週間
3日
1日
15分
15分
10分
OpenStack コントローラー構築時間の遷移
RHOS 3.0, Packstack/Foreman
Copyright ©2013 Midokura All rights reserved
Packstack
30
$ sudo yum install -y openstack-packstack
$ packstack --install-hosts=192.168.2.12
**** Installation completed successfully******
Copyright ©2013 Midokura All rights reserved
RHOS+MidoNetでmyクラウドが実現できました
31
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
powered by
"Red Hat"、"Red Hat Enterprise Linux" ロゴは、米国およびその他の国における Red Hat, Inc. の登録商標です
Copyright ©2013 Midokura All rights reserved
改善してもらいたいこともある!
32
Nested KVMのサポート
物理環境と同じようにクラウドの中からもKVMを使いたい
VM
MidoNet
VM
MidoNet
VM
MidoNet
VM
MidoNet…開発者
powered by
Linux Kernal (3.11)とqemu-kvm(version1.2)
を組み合わせれば動く!
"Red Hat"、"Red Hat Enterprise Linux" ロゴは、米国およびその他の国における Red Hat, Inc. の登録商標です
Copyright ©2013 Midokura All rights reserved
今はこうやって使っています - その1-
33
QAテスト環境
• 東京とバルセロナチームで利用
• 様々な品質管理保証テストを、MidoCloud上で実施
• 以前利用していたEC2と同様、将来はVMを使ってスケーラビリティのテストを予定
Copyright ©2013 Midokura All rights reserved
今はこうやって使っています - その2 -
34
Sales Engineerのトレーニングや検証
• MidoCloud上でMidoNet+OpenStackやMidoNet+CloudStackを構築
• MidoNetの新機能トレーニング
• お客様検証環境の再現
Copyright ©2013 Midokura All rights reserved
今はこうやって使っています - その3-
35
営業のデモ環境
• お客様拠点からインターネット経由でアクセスし、デモを表示
• イベント展示でも遠隔から利用
• お客様にテナントアカウントを貸し出すことも
Copyright ©2013 Midokura All rights reserved
OSをAustinから触ったエンジニアとしての実感・・・
36
実用レベルのクラウドがOpenStackで作れようになった!
Austin Bexar Cactus Diablo Essex Folso
m Grizzly
ミドクラ: Midonet
新しい⼤規模分散アーキテクチャを提案・実現する技術者集団
Amazonを越えるクラウドサービス基盤ソフトの提供2010年1⽉設⽴会⻑ 加藤 ⽒、CEO DanURL: http://www.midokura.jp/
Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 40
• 物理ネットワークとホストとの間にインテリジェントなソフトの抽象化レイヤーを⾃⽴分散アーキテクチャを実現、L2機能に加え
L3(FW, LB)機能を提供・スケーラビリティ(BGP Gatewayも含む)・最適化されたネットワークトラフィック、オーバーヘッドの最⼩化・ソフトウェアでL2〜L7までをカバー予定、物理に依存しない
・クラスタアーキテクチャによる強⼒な耐障害性(SPOFがない)• ・ネットワークをリモート端末から⼀元管理(運⽤コス
ミドクラ
Midonet
ZookeperとCassandraを利用
Midonet自体の利用リーソスが最小かするように設計→大規模にスケールアウト
過去投資したインフラ資産を有効利用可能
BGP GWもスケーラブル
【IaaSクラウドに特化したSDN】
AWSを中のアーキテクト(2名)スピンアウト(Amazon Dynamo開発者含む)
次の日に Danさんが話されるので詳しくはそちらを聞いてください。
OpenStack 対応
ミドクラ: Midonet
対応バージョン: OpenStack 2013.1(Grizzly)【対応済】
提供機能:・L3 BGP/Static Gateway・L2 Gateway・Security Group、Floating IP・Metadataサーバ機能・CLI
今後の予定:OpenStack Havanaサポート、IPSec VPNLoad Balancer (L4)、Monitoring / sFlow(12⽉末)Elastic Load balancer(L4/L7)、L7 Fire WallMulti-Chassis LAG、LACP
Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 41
REST API
トンネリング: GRE
MNの画面を入れる
CloudStack 対応
ミドクラ: Midonet
対応バージョン: CloudStack 4.2β【対応済み】
提供機能:・Advanced IsolatedモードL2, L3, DHCP, Firewll, Source NAT,Static NAT, Port Forwarding(仮想ルータ機能をMidonetにて提供)・CloudStack GUI 統合(ネットワーク作成)
今後の予定:Citrix Cloud Platform support(12⽉末)XenServerサポートVPCモードサポートLoadBalancerサポートSecurityGroup、CloudStack built-in機能連携
Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 42
仮想ルータの代わりにMidonetが選べる
CloudStack 対応
ミドクラ: Midonet
アーキテクチャ(補⾜)
Copyright (C) Cloud Utilization Promotion Agency. All Rights Reserved. 43
Copyright ©2013 Midokura All rights reserved
データセンタネットワークの変遷と新技術
44
Legacy datacenterLegacy datacenter IaaS Cloud datacenterIaaS Cloud datacenter
Physical Server
Physical L2SW
Physical Server
Physical Server
Physical L2SW
Physical Server
Physical Server
Physical Network
Physical Server
Physical L2SW
Virtual SwitchVirtual SwitchVMVM VMVM VMVM
Virtual SwitchVirtual SwitchVMVM VMVM VMVM
Physical L2SW
Virtual SwitchVirtual SwitchVMVM VMVM VMVM
Virtual SwitchVirtual SwitchVMVM VMVM VMVM
Physical Network
Virtual SwitchVirtual SwitchVMVM VMVM VMVM
Virtual SwitchVirtual SwitchVMVM VMVM VMVM
Physical Network への要求Physical Network への要求Datacenter-Optimized L2
FabricPath広帯域でPort数が多い物理 Network
Port-to-Port の Traffic Engineering
Virtual Network への要求Virtual Network への要求
Software-Controlled Switch
Virtual Network の自動構成
VM-to-VM の Traffic Engineering
VM数に対応するスケーラビリティ
Network Virtualization
Competitors
Our Focus!
Copyright ©2013 Midokura All rights reserved
MidoNetの機能一覧
仮想分散スイッチングによるアイソレーションとパス最適化 L2 Gateway による VLAN Tag 接続
L2
仮想分散ルーティングによるアイソレーションとパス最適化
IPv6 support (2014年以降実装予定)L3
L4ロードバランシング (2013Q4実装予定)
L7ロードバランシング (2014Q2実装予定)L4-7
DHCPによるFloating IP自動割り当て
L2 Gateway を経由した外部アプライアンスとの連携運用性
BGP接続による上位ネットワークとのActive-Active冗長構成 Single Point of Failure の存在しない分散システム信頼性
OpenStack 連携 CloudStack 連携 ( CCP のサポートは2013Q4予定 ) Restful API
マネジメント
Security Rule による L4 フィルタリング IPSec VPN (2014Q2実装予定)セキュリティ
BGP接続による上位接続の任意本数への拡張 オーバレイ接続により L2, L3双方の上位接続をサポートし、
スケールアウトが容易拡張性
45
Copyright ©2013 Midokura All rights reserved
ロードマップ
46
2012Q4
2013Q1
2013Q2
2013Q3
初の商品版リリース OpenStack Folsomサポート L3 BGP/Static Gateway
2012/12 Caddo2012/12 Caddo
OpenStack Grizzly サポート
L2 Gateway CLI RHOS 3.0 (as Diyari patch)
2013/8 Diyari2013/8 Diyari
OpenStack Havana サポート CloudStack CCP サポート Load Balancer (L4) Monitoring / sFlow IPSec VPN
2013/12 E release2013/12 E release
将来の記載事項は現在の予定であり、予告なく変更される可能性があります。
2013Q4
2014Q1
2014Q2
2014Q3
+
2014Q4
+
OpenStack Icehouseサポート Elastic Load balancer (L4/L7) L7 Fire Wall Multi-Chassis LAG LACP
2014/6 F release2014/6 F release
Yoshi