Multi Chassis LAG for Cloud builders

Juniper Japan

2015年9月

Agenda

• Muliti-chassis LAG 概要• 導入のメリット

• 類似技術

• 対応プラットフォーム

• 基本機能• 用語の整理と役割

• L3と組み合わせて使うには

• 設定方法• ベーシック設定

• L2設定

• L3設定(Option)

• トラフィックの管理

• リファレンス

Multi-chassis LAG概要Multi-chassis LAG (MC-LAG) とは

• Multi-chassis LAGは2台のスイッチをまたいでLAGを構成する技術

• M-LAG, vPC等ベンダー毎にいろいろと呼び名はあるものの、各社ほぼ同様の機能を提供

• JuniperはMulti-Chassis LAG(MC-LAG)と呼んでいます。

MC-LAG

L3L2

L3L2

L2 L2 L2

LAG

MC-LAG導入のメリット導入のメリット

従来のネットワーク

L3L2

L3L2

L2

L2

L2

MC-LAG

L3L2

L3L2

L2 L2 L2

• Loopしない冗長構成

•スパツリをやめられる

耐障害性の向上

•ブロッキングポートが無くなり、帯域が

2倍

•メンバーリンクの追加で更に帯域増

経済性の向上

• LAG(LACP)なので異なるベンダーでも

接続しやすい

•ベンダーロックインの排除

運用性の向上

Juniperの提供する類似技術スイッチまたぎのLAGが組める技術として、以下のアーキテクチャも提供しています。

MC-LAG Virtual Chassis Virtual Chassis Fabric

仮想化基盤やHadoop基盤等、Spine-Leafのファブリックトポロジーを構成したい方に

管理の負荷を下げたい、スイッチ間の10Gリンクを節約したい方

スパツリ、ループの悩みを卒業したい方に

10台まで、1台として管理

32台まで、1台として管理

アーキテクチャ選択MC-LAG vs Virtual Chassis

MC-LAG Virtual Chassis

1 2 1 10

MC-LAG Virtual Chassis

コントロールプレーン Active-Active Active-Standby

データプレーン Active-Active Active-Active

管理 2台別々 10台まで1台として管理

設定同期 手動(※Roadmap） 自動

対向デバイスから見たL2ネイバー １台に見える １台に見える

対向デバイスから見たL3ネイバー ２台に見える １台に見える

バージョンアップ １台ずつ(ISSU) NSSU/ISSU(※Roadmap)

Active Active

それぞれが独立して動き、

MAC、I/Fの状態を交換

Hot-stanbyConfigも常に

同期

スイッチ台数が増えてくると、管理面で差が出てきます。

アーキテクチャ選択Multi Tier MC-LAG vs Virtual Chassis Fabric

Multi Tier MC-LAG Virtual Chassis Fabric

トポロジーと広帯域化 ・LAG（渡りが必要)

・モジュラーシャーシ型へのアップグレード

・Ethernet Fabric・1Uスイッチでより広帯域・均一な遅

延を提供

管理台数 スイッチ台数分 32台まで１台として管理

マルチベンダーでのファブリック構成 他社とも混在可能 Juniperのみで構成

バージョンアップ １台ごとに NSSU/ISSU(※Roadmap)

Multi Tier MC-LAG Virtual Chassis Fabric

Similar Technology withNon Juniper Devices

２台まで Spineも４台まで可能

スイッチ台数が増えてくると、管理面で差が出てきます。

より広帯域なネットワークが必要な場合

アーキテクチャ選択Multi Tier MC-LAG vs Virtual Chassis Fabric

• Upgrade方法

(1) (2)

MC−LAGは１台ずつ、ISSUが可能 Virtual Chassis Fabricは２つのグループに分けてアップグレード（NSSU)

オレンジ→グリーンのグループ毎にバージョンアップされる。コマンドは１行

隣接のデバイスからは常にLAGのどちらかがUpしている状態。

ISSUのパケットロスはSubSecond!!

OS現行バージョン Junos VM (Backup)

OS新バージョン

x86 Hardware パケット転送部

Linux Kernel

ルーティングフォワーディング

ポートリセット無し！

QFX5100シリーズ

Spine 1 Spine 2 Spine 3 Spine 4

スイッチ ３２台まで

Virtual Chassis Fabric Virtual Chassis

スイッチ１０台まで スイッチ １２８台まで

QFabric

L3 Fabric

Layer 3 IP Fabric

…

MC-LAG

様々なトポロジーに柔軟に対応. サービスの成長に合わせてネットワークも成長できる.

• 資料まとめサイト

http://www.juniper.net/jp/jp/dm/cloud-builder/docs.html

【コンテンツ】• JUNOSはじめの一歩 DayOneブックレット

• 技術説明資料• Virtual Chassis for Cloud Builders

• Juniper NetworkGuru Plugin ～EX/QFX Switch CloudStack Integration～

• vSRX on Your Laptop ～JUNOSをさわってみよう！～

• Virtual Chassis Fabric for Cloud Builders（準備中）

• Qfabric for Cloud Builders（準備中）

• 共同検証資料

• ホワイトペーパー

• インフォグラフィクス

• 素材集

• データシート

Virtual Chassis、Virtual Chassis Fabricの資料もこちらにございます。

戻りまして、MC-LAG対応プラットフォーム

QFX 10000

QFX 5100

MX SeriesEX 9200

EX 4600

EX 4300

MC-LAG対応プラットフォーム

MXシリーズ QFXシリーズ EX9200 EX4600シリーズ EX4300シリーズ その他のEXシリーズ

MC-LAG

Active/Active構成

Active/Standby構成

VRRPとの組合せ

L2VPN(MPLS)との組合せ

VPLSとの組合せ

本ドキュメントではActive/Active構成とVRRPとの組合せについて解説していきます。

MC-LAG基本構成MC-LAGを構成する上での基本

• Node1・2の間はMACアドレスやLinkのステータスを同期しています。(ICCP)

• MC-LAGにつながるLAG機器とはLACPでステータスを交換します。

Node1 Node2

LACP

ICCP

MC-LAGを構成するスイッチはどちらもActive (Master/Backup等の関係では無い)ので、ここではNode1、Node2と呼びましょう。

MC-LAG基本構成

• スイッチTOR1から見るとMC-LAGは単なるLAGにしか見えません。

• LACPで見ても、どちらのMACも同じMACが見えます。

Node1 Node2

TOR1

LACP info: Role System System Port Port Port

priority identifier priority number key

et-0/0/48.0 Actor 127 54:1e:56:69:4e:00 127 1 3

et-0/0/48.0 Partner 127 00:00:ae:00:00:02 127 2 1002

et-0/0/49.0 Actor 127 54:1e:56:69:4e:00 127 2 3

et-0/0/49.0 Partner 127 00:00:ae:00:00:02 127 32770 1002

et-0/0/49.0 et-0/0/48.0

TOR1のLACPのステータス出力例

(Node1)

(Node2)

LACP

用語の整理MC-LAGは各ベンダーで用語が異なるので、ここで一旦整理しましょう。

• ICCP(Inter-chassis control protocol)といい、MACやLinkの状態をNode間で共有する為の制御通信で、TCPセッションです。

• ICL(Inter-Chassis Link)：スイッチ間の物理Link。ICL-PLとも言います。帯域拡張、冗長性が必要な為LAGにします。(次で詳述します)

• MC-AE(またはMC-links)：スイッチまたぎのLAGを指します。AEはAggregatedEthernetの略です。

• S-LINK(Single-homed Link)：冗長されてないLinkです。既存の収容、NW移行やメンテ等で一時的にこの構成になるかと思います。

MC-AEMC-links

S-Link

Node1 Node2

ICL

ICCP

用語の整理(つづき)ICLは結構重要です。

• ICLはS-link向けやMC-linksがダウンした際のBackup経路として使われます。

• 上記を除くと、ユーザトラフィックはICLを使わず、スイッチ自身で折り返します。(これをLocal Biasと呼びます)

• ICL自体もLAGが組めますので、Linkを増やして帯域を増やすことができます。

MC-AEMC-links

S-Link

Node1 Node2

ICL

ICCP

用語の整理(つづき)念のため、管理セグメントも使いましょう。

• ICCPが切れてしまう状況は、SpritBrainという絶対に避けたい状況です。

• ICLのバックアップとして、管理セグ

メントを使ったICCPのやりとりができます。(backup-liveness-detection)

• ただし、ユーザパケットは転送しません。あくまでSprit状態を避ける為のラストリゾートです。

MC-AEMC-links

S-Link

Node1 Node2

ICL

ICCP管理用セグメント

ICL故障発生時の動作の詳細は以下で確認できます。https://www.juniper.net/techpubs/en_US/junos15.1/topics/concept/lag-multichassis-feature-summary.html#jd0e106

L3の冗長構成は?ではデフォルトGWはどうやって冗長するの?

• 方式は2つあります。• VRRP over IRB方式

• Node同士でVRRPを構成

• MAC Sync方式• Node同士で同じIP、MACを構成

TOR1

別セグメント 別セグメント

実IP 192.168.1.253/24仮想IP(Active) 192.168.1.254

実IP 192.168.1.252/24仮想IP(Backup) 192.168.1.254

Default GW192.168.1.254

VRRP方式の構成例

irb.1 irb.1

irb.2 irb.2

L3の冗長構成は?Juniperでは以下の理由からVRRP方式を推奨しています。

1. TOR1からみると結局UplinkはLAGなので、トラフィックは分散できる。

2. VRRP Backup側でも受け取ったユーザトラフィックは転送できる実装の為、ICLを通ったり、Uplinkが偏ったりしない。

3. MAC Sync方式では、RoutingProtocolが話せない。(あくまでNode間で同期しているのはMC-LAG関連情報だけなのです) TOR1

別セグメント 別セグメント

実IP 192.168.1.253/24仮想IP 192.168.1.254 実IP 192.168.1.252/24

Default GW192.168.1.254

VRRP方式の構成例

(1)LAGなので分散されます。

(2)VRRPBackupでも転

送Irb.1Irb.1

Irb.2 Irb.2

設定方法解説

少し前置きが長くなりましたが、ここから設定解説です。

基礎となる設定

MC−Linksの設定(L2)

L3設定の追加（Option)

設定方法解説基礎となる設定 設定項目 Node1 Node2 備考

Device-count 10 10 必要なMC-LAG数+1を設定

switch-options service-id

16384 16384 2台とも同じ値

ネットワーク内ではユニークな値に設定してください。

ICCP用I/F irb.4000 irb.4000 irb + unit 番号(とりあえずVlan-idと一緒がおすすめ)

ICCP用Vlan 4000 4000 渡りのLAGにもこのVlanを所属させる

ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 ICCPだけで使いますので/30とかでも可

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

Node1 Node2

ICCP

set chassis aggregated-devices ethernet device-count 10

set switch-options service-id 16384

set interfaces irb unit 4000 family inet address 192.168.254.26/24

set vlans VLAN4000 vlan-id 4000

set vlans VLAN4000 l3-interface irb.4000

例はNode1だけですが、値を入れ替えれば、動作します。どちらか一方にだけ投入する設定はありません。

Node1設定コマンド

基礎設定その2設定項目 Node1 Node2 備考

ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 VLAN4000だけで使いますので/30とかでも可

ICL InterceのID ae0 ae0 aeはaggregated-ethernetの略で、LAG用仮想I/F名

ae0に所属させる物理I/F

et-0/0/22et-0/0/23

et-0/0/22et-0/0/23

その他 LACP FastモードVlan4000

LACP FastモードVlan4000

LACPとVlan4000をae0に設定et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

ae0

Node1 Node2

ICCP

set multi-chassis multi-chassis-protection 192.168.254.27 interface ae0

Node2のアドレスを設定set interfaces et-0/0/22 ether-options 802.3ad ae0

set interfaces et-0/0/23 ether-options 802.3ad ae0

set interfaces ae0 aggregated-ether-options lacp active periodic fast

set interfaces ae0 unit 0 family ethernet-switching interface-mode trunk

set interfaces ae0 unit 0 family ethernet-switching vlan members VLAN4000

Node1設定コマンド

基礎設定その3

設定項目 Node1 Node2 備考

ICCP用IPアドレス 192.168.254.26/24 192.168.254.27/24 VLAN4000だけで使いますので/30とかでも可

session-establishment-hold-time

100 100 ICCPセッション確立までの時間(秒)

BFD minimum-interval

1000 1000 お互いのICCP間で行うBFD死活監視の間隔(msec) 1000以上にしてください

BFD multiplier 3 3 回数minimum-interval x multiplier = ダウンまでの時間

backup-liveness-detection

172.27.113.26 172.27.113.27 管理I/Fに付与したIPアドレスを指定

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

ae0

Node1 Node2ICCP

set protocols iccp local-ip-addr 192.168.254.26

set protocols iccp peer 192.168.254.27 session-establishment-hold-time 100

set protocols iccp peer 192.168.254.27 liveness-detection minimum-interval 1000

set protocols iccp peer 192.168.254.27 liveness-detection multiplier 3

set protocols iccp peer 192.168.254.27 backup-liveness-detection backup-peer-ip 172.27.113.27

管理用セグメント

Node1設定コマンド

• 接続が間違えていなければ次のようにみえるはずです。

• よくあるうっかりミス：そもそもLAG(ae0)がUpしていない。▶最初にLAGの数を登録する必要があります。

10とするとae0～ae9までI/Fが作られます。

基本設定の確認

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

ae0

Node1 Node2ICCPlab@node1# run show iccp

Redundancy Group Information for peer 192.168.254.27

TCP Connection : Established

Liveliness Detection : Up

Backup liveness peer status: Up

Client Application: MCSNOOPD

Client Application: l2ald_iccpd_client

Client Application: lacpd

set chassis aggregated-devices ethernet device-count 10

• 次にTORスイッチを収容するLAGを設定します。

MC-Linksの設定

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

Node1 Node2

ae1

設定項目 Node1 Node2 備考

LAG I/F名 ae1 ae1

LACP system-id 00:00:ae:00:00:01 00:00:ae:00:00:01 同じ値を設定します。LAG毎に変更します。

LACP admin-key 1001 1001 同じ値を設定します。LAG毎に変更します。

mc-ae mc-ae-id 1001 1001 同じ値を設定します。LAG毎に変更します。

mc-ae chassis-id 0 1 Node毎に変えます。

mc-ae status-control Active standby

mc-ae init-delay-time 60 60 I/FがUpとなってからLACPがdistributingになるまでの時間です。電源投入時など、ProtocolがUpするまでの時間待たせることができます。

set interfaces et-0/0/0 ether-options 802.3ad ae1

set interfaces ae1 aggregated-ether-options lacp active periodic fast

set interfaces ae1 aggregated-ether-options lacp system-id 00:00:ae:00:00:01

set interfaces ae1 aggregated-ether-options lacp admin-key 1001

set interfaces ae1 aggregated-ether-options mc-ae mc-ae-id 1001

set interfaces ae1 aggregated-ether-options mc-ae chassis-id 0

set interfaces ae1 aggregated-ether-options mc-ae mode active-active

set interfaces ae1 aggregated-ether-options mc-ae status-control active

set interfaces ae1 aggregated-ether-options mc-ae init-delay-time 60

Node1設定コマンド

MC-Linksの確認

lab@node1# run show interfaces mc-ae id 1001

Member Link : ae1

Current State Machine's State: mcae active state

Local Status : active

Local State : up

Peer Status : active

Peer State : up

Logical Interface : ae1.0

Topology Type : bridge

Local State : up

Peer State : up

Peer Ip/MCP/State : 192.168.254.27 ae0.0 up

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

Node1 Node2

ae1

対向との設定が合っていて、正しく接続されていれば、次の様に表示されます。

MC-Linksの確認(つづき)

{master:0}[edit]

lab@node1# run show lacp interfaces ae1

Aggregated interface: ae1

LACP state: Role Exp Def Dist Col Syn Aggr Timeout Activity

et-0/0/0 Actor No No Yes Yes Yes Yes Fast Active

et-0/0/0 Partner No No Yes Yes Yes Yes Fast Active

LACP protocol: Receive State Transmit State Mux State

et-0/0/0 Current Fast periodic Collecting distributing

{master:0}[edit]

lab@node1# run show interfaces ae1 detail

Physical interface: ae1 (MC-AE-1001, active), Enabled, Physical link is Up

Interface index: 651, SNMP ifIndex: 537, Generation: 202

Link-level type: Ethernet, MTU: 1514, Speed: 40Gbps, BPDU Error: None,

:

: (中略)

LACP info: Role System System Port Port Port

priority identifier priority number key

et-0/0/0.0 Actor 127 00:00:ae:00:00:01 127 1 1001

et-0/0/0.0 Partner 127 54:1e:56:65:a7:00 127 1 2

LACP Statistics: LACP Rx LACP Tx Unknown Rx Illegal Rx

et-0/0/0.0 1288831 1345056 0 0

Marker Statistics: Marker Rx Resp Tx Unknown Rx Illegal Rx

et-0/0/0.0 0 0 0 0

Protocol eth-switch, MTU: 1514, Generation: 231, Route table: 4

Flags: Trunk-Mode

• VLAN1001をae1に追加します。ICL(ae0)にも追加するのを忘れないでください。

Mc-linksへのVlanの組み込み

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

Node1 Node2

ae1

set vlans v1001 vlan-id 1001

set interfaces ae1 unit 0 family ethernet-switching interface-mode trunk

set interfaces ae1 unit 0 family ethernet-switching vlan members v1001

set interfaces ae1 unit 0 family ethernet-switching storm-control default

set interfaces ae0 unit 0 family ethernet-switching vlan members v1001

設定項目 Node1 Node2 備考

Vlan名 V1001 V1001

Vlan-id 1001 1001

ae0

Node1設定コマンド

• Vlan1001にサーバのデフォルトゲートウェイとなるアドレスを設定します。

[Option]L3 Routing(Default Gateway)の設定

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

Node1 Node2

ae1

実IP 192.168.1.253/24仮想IP 192.168.1.254

実IP 192.168.1.252/24

設定項目 Node1 Node2 備考

I/F名 irb unit 1001 irb unit 1001

実IP 192.168.1.253/24 192.168.1.252/24

仮想IP 192.168.1.254 192.168.1.254

Priority 200 100

Accept-data 設定する 設定する

set vlans v1001 l3-interface irb.1001

set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 virtual-address 192.168.1.254

set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 priority 100

set interfaces irb unit 1001 family inet address 192.168.1.253/24 vrrp-group 1 accept-data

Node1設定コマンド

• Default Gatewayアドレスが冗長されているか確認します。

• 下記の様になっていない場合• ICL(ae0)にVLAN1001が設定されているか確認して下さい。

L3 Routing(Default Gateway)の確認

{master:0}[edit]

lab@node1# run show vrrp

Interface State Group VR state VR Mode Timer Type Address

irb.1001 up 1 master Active A 0.359 lcl 192.168.1.253

vip 192.168.1.254

et-0/0/0 et-0/0/0

et-0/0/22

et-0/0/23

Node1 Node2

ae1

実IP 192.168.1.253/24仮想IP 192.168.1.254

実IP 192.168.1.252/24

lab@node2# run show vrrp

Interface State Group VR state VR Mode Timer Type Address

irb.1001 up 1 backup Active D 2.718 lcl 192.168.1.252

vip 192.168.1.254

mas 192.168.1.253

Node1

Node2

ae0

トラフィックの管理

• MC-LAGのトラフィックを確認するポイントは2つあります。1. 物理Interfaceの流量を確認する。

2. MACアドレスをどちらのNodeで学習しているか確認する。

1. 物理Interfaceで流量を確認する

トラフィックの確認

east-qfx Seconds: 6 Time: 12:38:24

Interface Link Input packets (pps) Output packets (pps)

et-0/0/0 Up 13455148 (1312) 13117094 (1314)

gr-0/0/0 Up 0 (0) 0 (0)

pfh-0/0/0 Up 0 0

et-0/0/1 Up 80669711 (1000) 80687764 (1001)

et-0/0/22 Up 44992 (0) 0 (0)

et-0/0/23 Up 69248151 (3) 69488086 (3)

ae0 Up 69248151 (3) 69488086 (3)

ae1 Up 13455148 (1312) 13117094 (1314)

ae2 Up 80669711 (1000) 80687764 (1001)

west-qfx Seconds: 4 Time: 12:39:34

Interface Link Input packets (pps) Output packets (pps)

et-0/0/0 Up 68907326 (1) 132087817 (2)

gr-0/0/0 Up 0 (0) 0 (0)

pfh-0/0/0 Up 0 0

et-0/0/1 Up 65331861 (0) 2037920 (1)

et-0/0/22 Up 0 (0) 58487 (0)

et-0/0/23 Up 70013141 (3) 132811136 (2)

ae0 Up 70013141 (3) 132811136 (2)

ae1 Up 68907326 (1) 132087817 (2)

ae2 Up 65331861 (0) 2037920 (1)

Node1 Node2

コマンドlab@east-qfx> monitor interface traffic

Node1側のet-0/0/0でトラフィックが送受信されていることがわかります。

2. MACアドレスの学習を確認する

トラフィックの確認

Node1 Node2

コマンドlab@east-qfx> show ethernet-switching table

DLが動的なMACで自身が学習したことを示しています。

lab@node2> show ethernet-switching table

MAC flags (S - static MAC, D - dynamic MAC, L - locally learned, P - Persistent staticSE - statistics enabled, NM - non configured MAC, R - remote PE MAC, O - ovsdb MAC)

Ethernet switching table : 1 entries, 1 learnedRouting instance : default-switch

Vlan MAC MAC Age Logicalname address flags interfacev1001 00:00:1b:f9:b6:ae DR - ae1.0

lab@node1> show ethernet-switching table

MAC flags (S - static MAC, D - dynamic MAC, L - locally learned, P - Persistent staticSE - statistics enabled, NM - non configured MAC, R - remote PE MAC, O - ovsdb MAC)

Ethernet switching table : 1 entries, 1 learnedRouting instance : default-switch

Vlan MAC MAC Age Logicalname address flags interfacev1001 00:00:1b:f9:b6:ae DL - ae1.0

DRが動的なMACでICCPでNode1から学習したことを示しています。

リファレンス

• 設定方法https://www.juniper.net/techpubs/en_US/junos15.1/information-products/pathway-pages/mc-lag/multichassis-link-aggregation-groups.html

• IP Multicast設定(IGMP Snooping)https://www.juniper.net/techpubs/en_US/junos15.1/topics/task/configuration/igmp-snooping-mc-lag-active-active-mx.html

• スイッチのOSをUpgradeする時の手順https://www.juniper.net/techpubs/en_US/junos15.1/topics/concept/lag-multichassis--guidelines.html#jd0e265

Thanks!