ビッグデータとネットワークの深~い関係 ビックデータ時代に耐えうるデータセンターとは?
ブロケード コミュニケーションズ システムズ株式会社
システムエンジニアリング本部
システムエンジニア
中本 滋之
1 © 2014 Brocade Communications Systems, Inc.
Agenda
•ビックデータのトレンドとネットワークインフラの課題
•ビックデータを支えるファブリック
•ストレージ専用ネットワークのすすめ
•導入事例
•まとめ
© 2014 Brocade Communications Systems, Inc. 2
ビッグデータのもたらす価値
• PC,モバイル端末の普及
• 回線の高速化
• 半導体の性能向上
• 単位性能当りのコスト削減
• 多様なデバイスの電子化(ICカード、音楽プレイヤ、デジタルカメラ,ETC)
• 端末利用者層の拡大
高精度な予測に基づくビジネス展開
大量の情報処理 ITコストの効率化 多様な情報の解析
•リアルタイム •ストリーム
© 2014 Brocade Communications Systems, Inc. 4
ビックデータのトレンド
• IoT
• 過去の事象の発見
• ストレージ上の情報の解析
• バッチ指向。
• Query 駆動: 静的データに対するクエリの発行
• 現在(もしくは直近)の事象の発見
• 流れているデータを(ストアされる前に)解析
• 低遅延、リアルタイム指向
• データ駆動 : 流れるデータに対するフィルタ
5
リアルタイムに BIGDATA を扱うとは? ストリームコンピューティング
従来の処理 ストリームコンピューティング
Real-time Analytics
© 2014 Brocade Communications Systems, Inc.
6
リアルタイム + ビッグデータの課題
基盤は一体 どこまで拡大するのか?
超分散環境の構成 管理・運用はどうする?
リアルタイム +
ビッグデータ 基盤 DWH
Stream data
Social/Open data
• リアルタイム処理の要求 • ソースとなるデータ量が爆発
アプリケーション単位での可視化は?
効率のいい性能 維持方法は?
© 2014 Brocade Communications Systems, Inc.
ビッグデータ(Hadoop)用インフラの考察
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 7
効率的な帯域確保 が困難
パケット消失
増えたデバイスの 管理負荷増大
ビッグデータの特性
バースト性 リアルタイムトラフィック
予測できない拡張
Optimized Resource 機器の有効利用
Smart Management 運用負荷の低減
問題点 ソリューション
Simple Network シンプルネットワーク
増え続ける大量の サーバ間トラフィック
拡張計画が困難
トラブルシューティングの 複雑さ
•固定構成
•ヘアピン型トラフィック
•スパニングツリー
•ループ障害
•個別の機器管理
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 8
従来のネットワークの課題
従来の階層型アーキテクチャ
Core
A
ggre
gation
Acc
ess
50% VLAN ACL QoS
ヘアピン ループ障害
データセンタ・ファブリックによる課題の解消
9
Realtime/BIGDATA For Services
Simple/Autonomous For computing
Fabric
© 2014 Brocade Communications Systems, Inc.
ビッグデータを支えるファブリック
10 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
11
DATA CENTER FABRICs 高性能(広帯域・低遅延)
シンプル 安心
高ROI/低TCO
Ethernet Fabric
リアルタイム処理とリソース最適化のための基盤技術
Fiber Channel Fabric
ビッグデータ処理とリソース最適化、
アプリケーション可視化のための基盤技術
© 2014 Brocade Communications Systems, Inc.
そもそも ファブリック とは?
• “ファブリック”とは布地・生地のこと
• IT では、スイッチにより構成されるネットワーク全体を表す。
11/10/2014 12
ファブリック 布地・生地
© 2014 Brocade Communications Systems, Inc.
データセンタ・ファブリック技術の系譜
13
ファブリック技術の特長 • 自律的 :プラグ&プレイネットワーキング • 広帯域 :アクティブ・アクティブパス • 低遅延 :ハードウェア処理 • 高可用性 :フロー制御による順列保証 • 高信頼性 :障害時の収束時間の極小化
I/O チャネル技術
Fibre Channel Fabric 技術
Ethernet Fabric 技術
© 2014 Brocade Communications Systems, Inc.
オープン ネットワーク技術
(Ethernet)
Dat
a C
ente
r SA
N
Fibre Channel
Brocade 6520 Switch Brocade 6510 Switch
Dat
a C
ente
r LA
N
Ethernet/IP
Brocade VDX 6740/6740T/6740T-1G/6730
Brocade DCX 8510 Backbones
Brocade ICX Series
Brocade 6505 Switch
Brocade VDX 8770 Brocade MLXe Series
Traditional Ethernet (L2/3)
Ethernet Fabric (L2/3)
Brocade Blade Server Switches
製品ポートフォリオ データセンタ向け製品から抽出
14
Fiber Channel Fabric
ストレージ等のリソースエリア ネットワーキングに最適 →ファブリック
© 2014 Brocade Communications Systems, Inc.
データセンター・ネットワークで No.2!!
IDC Japan レポート
15
日本国内データセンター・ネットワーク
インフラ市場ベンダシェア
出典: IDC Japan, 2013年9月「国内データセンター向けネットワーク機器市場 2012年の分析と2013年~2017年の予測」(J13010107)
対象製品:
Ethernet switch
Layer 4–7 switch
WAN Application Delivery
Fibre Channel switch
“ブロケードは、データセンター向けネットワーク機器ベンダーとして、市場動向を左右するベンダ” - IDC Japan
国内データセンターのイーサネット・スイッチ市場でもNo.2!! - IDC Japan
31.4%
Brocade 30.2%
7.9%
© 2014 Brocade Communications Systems, Inc.
• 自由なスイッチの接続と簡単スケールアウト
• スイッチ間リンクは設定不要
• 複数リンクの自動アグリゲーション
• 複数経路の自動バランシング
• ループ排除のためのSTPの設定不要
2013/1/29 Enterprise Cloud Management Forum © 2013 Brocade Communications Systems, Inc. 16
シンプルネットワーク(Simple Network)
fabric port
edge port
ネットワーク デバイス
サーバ ストレージ
RBridge ID = 1
RBridge ID = 3
RBridge ID = 2
RBridge ID = 4
RBridge ID = 5
ポート属性の設定
設定の必要がないポート
ループの心配がなく 設定項目も少ない
機器の有効利用(Optimized Resource)
• アクティブ・アクティブマルチパスによる全帯域活用
• バーストトラフィック対応の深いダイナミックバッファ
• スイッチ間リンクの中をフレームレベルでロードバランシング
次世代の帯域管理と帯域効率を実現 (FC技術のEthernetへの転用)
© 2012 Brocade Communications Systems, Inc. 17
投資を無駄 にしない
自社ASICによるフレーム ベース、ロードベースの 負荷分散
5G 5G 5G
VDX
VDX
15G
深いダイナミックバッファ
© 2014 Brocade Communications Systems, Inc. 18
運用負荷の低減(Smart Managemnet) 1ファブリック内の全物理スイッチを、論理的に1台として管理・設定が可能
Virtual IP
CLI
運用管理者 オーケストレーションツール
API Open stack Restful API Netconf Openflow ...
ロジカルシャーシの主な特長
• 最大48台の物理スイッチ
• 1つの設定ファイル
• 各種APIをサポート
• 管理工数、運用負荷低減
オペレーションの 簡略化と自動化
Virtual IP ログイン
VDX
VDX VDX VDX VDX
Virtual IP ログイン
VDX
VDX VDX VDX VDX
Virtual IP ログイン
show xxx configuration
管理スイッチのフェイルオーバー
showコマンド、コンフィグを 一台のスイッチから実行
ファブリック内の全てのスイッチを 一台のスイッチからアップグレード
各スイッチへのログイン、 showコマンド等も可能
VDX VDX VDX VDX
© 2014 Brocade Communications Systems, Inc. 19
ロジカルシャーシ : 自律と一元管理の共存
VCS ファブリック の導入
• ファブリック形成プロトコルの手順:
• RBridge ID, VCS ID の設定
• デバイスポートの設定
• 冗長化(vLAG)設定
• 必要であれば VLAN 設定
シンプル!
© 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014 20
VCS設定 コマンド(全てのスイッチにログインする必要なし) sw0# vcs rbridge-id 3 vcsid 1 logical-chassis enable
sw0# vcs logical-chassis enable rbridge-id 2-3 default-config
sw0# conf t
sw0(config)# interface Port-channel 1
sw0(config-Port-channel-1)# vlag ignore-split
sw0(config-Port-channel-1)# switchport の設定
sw0# conf t
sw0(config)# interface TenGigabitEthernet 1/0/7 (ポート7の場合) sw0(conf-if-te-1/0/7)# channel-group 1 mode on type standard
RBridge ID = 1
RBridge ID = 2
RBridge ID = 3
必要な冗長化 チャネルの分だけ(RBID1,3)
vLAGで使用する インタフェースだけ
vLAG
vLAG vLAG
© 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014 21
ポート・オンデマンド(POD)、キャパシティー・オンデマンド(COD) で実現する超スモールスタート
VDX6740/6740T 48x10G, 4x40G
8x10G port
8x10G port
8x10G port
16-port CoD
16-port CoD
16-port CoD
必要なタイミングでPOD
によるアップグレードが可能
8ポート 10GPOD
16ポート COD
ライセンスベースアップグレードの採用により、 初期導入コストを抑制
2x40Gport
2x40Gport 2ポート 40GPOD
VDX6740T-1G 48x1G, 4x40G
2x40Gport
2x40Gport
2ポート 40GPOD
実際のポートアサインはダイナミック 実際のポートアサインはダイナミック
• Fibre Channel Fabric
• 簡単に構成、スケールアウト
• 低遅延がオールフラッシュアレイ(XtreamIO)の高IOPSを活用
• OLTPからOLAPまで広範囲にカバー
• Ethernet Fabric
• 簡単に構成、スケールアウト
• ノード分散、高スループット構成を単一ネットワークで構成
• スケールアウトストレージ・分散ストレージにベストマッチ
© 2014 Brocade Communications Systems, Inc. 22
Fabric を使う利点
Result Set
Hadoop, GlusterFS,
その他分散サービス
Hadoop Data Nodes, Streams Filter nodes
ストレージ専用ネットワークのすすめ
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 23
共有ネットワークは、ストレージに向いていない?
•ストレージは、厳密なSLA (IOPS、スループット、応答時間)により管理されている。
•ほとんどの場合、共有ネットワーク上には、一般用途 のネットワークトラフィックにより占められている。
•共有ネットワークでは、SLAを満たせない。
•ネットワークチームは、概してストレージに気をかけていない。
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only 24
アプリケーションが性能を満たさない場合でも、どうすることもできない。
• 特性の異なる様々なワークロード
• 単一のドメイン(運命共同体)
• 運用には、個別のワークロードオーナ間の調整が必須。
• 人手を介した作業によるミスが、ストレージへのインパクト。
• パフォーマンスを確保するために複雑なQoSを設定する必要がある。また、その設定が不完全であるリスクも。
• アプリケーションの性能が落ちた場合もしくは停止した場合の切り分けが困難。
• VLANでストレージトラフィックを分割しても、帯域は、共有されており、予測が困難。
共有ネットワークの課題
IP Storage
Data Center IP LAN
Servers
IP Core & Campus
LAN
© 2014 Brocade Communications Systems, Inc. Proprietary Information 25
ストレージ専用ネットワークはいかがでしょう?
• サービスレベルの確保
• 障害ドメインの分離
• コントロール範囲の独立
• ストレージトラフィックへの 十分な帯域の確保。
• IP LAN 管理者との調整が不要。
• 自動化。容易なデプロイ。
• 予測可能なパフォーマンス。
Storage
Data Center IP LAN
Servers
IP Core
Storage Network
IP Core &
Campus
© 2014 Brocade Communications Systems, Inc. Proprietary Information 26
ストレージネットワークはストレージの一部
スケールアウトNAS と IP ストレージネットワーク
サーバー
ヘッドを追加して規模を拡大
ネットワークも自動化されて、無停止で規模を拡張できることが求められる。
フロントエンド IPネットワーク
© 2014 Brocade Communications Systems, Inc. Proprietary Information 27
スケールアウト分散ストレージ
サーバーベースのストレージ
ネットワークがバックプレーンに
サーバー + ストレージノード
スケールアウト スケールアウト
自動化、広帯域、バースト耐性
© 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
28
導入事例
29 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
ビッグデータ処理の事例
• 課題
• 自社エンジニアでも構築可能なネットワーク基盤により、システム全体費用に対して30%を占める構築費用を内製化し、システム全体のコスト効率の追求
• ソリューション
• Hadoopサーバ群を束ねるL2ネットワークをVCSファブリック化
KDDI Hadoop 基盤
Brocade Data Center Innovation Seminar - 2013/2/6 © 2013 Brocade Communications Systems, Inc. 30
Hadoop ファブリック
http://www.brocadejapan.com/news/20120807
「Brocade VDXシリーズは、STPの排除以外に設定や運用 を自動化する機能が備わっています。実際、今回のプロジェクトでは 想像以上のシンプルさでネットワークの構築が完了し、従来に比べて 約2割のコスト削減を実現できました」 KDDI株式会社技術統括本部プラットフォーム開発本部プラットフォーム技術部長 石倉 雅巳氏
• アクセス分析とリコメンデーションのためのリアルタイム・ビッグデータ処理基盤
• 4000台の Hadoop/Storm サーバによる超大規模分散システム
リアルタイム・ビッグデータ処理の事例 Yahoo! Japan Hadoop/Storm/DWH 基盤
http://www.brocadejapan.com/news/20140403
「Hadoop間通信に加えてデータバック アップなど、サーバー間で生じる“東西 トラフィック”が増えてきた。 イーサネットファブリックなら、サーバー をスケールアウトしやすい(村越氏)」
© 2014 Brocade Communications Systems, Inc. ITインフラサミット 2014 32
ファブリック導入ユーザからみる効果 VDXユーザアンケートの結果
削減できた
削減できた 74.1%
削減できた 81.5%
ネットワークの設定・運用工数 サービス化にかかる時間
74.1%のお客様がサービス化に かかる時間削減を実感
81.5%のお客様が設定・運用 工数削減を実感
まとめ
33
まとめ
• ビックデータのトレンドは、リアルタイム&ストリーム
• ビックデータに最適なネットワークは、Fiber Channel も Ethernet もファブリック!!
• Simple Network
→ループの心配がなく設定項目も少ない
• Optimized Resource
→投資を無駄にしない
• Smart Management
→オペレーションの簡略化と自動化
• ストレージネットワークは独立ネットワークで
• ファブリックは、信頼と実績のブロケード 34 © 2014 Brocade Communications Systems, Inc.
Simple
Smart Optimized
Brocadeお悩み相談Café開催中! 毎日オープン
35 © 2014 Brocade Communications Systems, Inc.
• 「ビッグデータ」と「クラウド」に最適な IT インフラを設計・構築したい方のための「お悩み相談 Café 」です。直近の疑問や課題の解決から、10 年後を見据えたデータセンター・アーキテクチャ設計のヒントまで、業界経験と専門知識豊富な ブロケードのエキスパートが、最新技術、運用効率化、TCO 削減などの 視点から皆さまのお悩みにお答えします。 ぜひお気軽にお越しください。 おいしいコーヒーと共にお待ちしています。
♦Brocadeお悩み相談Caféはこちら♦
♦お悩みキーワード♦ 仮想化/VMware連携ファブリック/ネットワーク自動化 Hadoop/分散ストレージSDN/OpenDaylight等 NFV/仮想ルータ&LB等OpenStack/データセンター自動化
Thank You
36 © 2014 Brocade Communications Systems, Inc. CONFIDENTIAL—For Internal Use Only
Top Related