SRX5000シリーズ for Cloud Builders ~Trailer version~ マクニカ＆ジュニパー共同資料

SRX5k for Cloud Builders〜急激に変化するサービス要件に迅速に対応せよ〜

JUN,2015

Macnica Networks Corp.

Juniper Networks, K.K.

Legal Disclaimer

本資料に記載されている機能や構成、ロードマップ情報などは、資料作成時点におけるジュニパーネットワークスの仕様や予定を示したものであり、事前の通告無しに内容が変更されることがあります。

本資料は技術情報の提供を目的としたものであり、機器、機器の機能、サービスなどに関して保証を行うものではありませんので、ご注意ください。

はじめに

• この資料の目的は、ジュニパーのデータセンター向けサービスゲートウェイであるSRX5000シリーズにおける特徴である“サービス稼働中に様々な拡張を行える”という利点をいくつかの想定構成にて動作確認を行い、サービスへの影響度と効果を明らかにしつつ情報を共有することにあります。検証はマクニカネットワークスとジュニパーとの共同で行いました。

• 出来る限り実際のUse Caseにおける環境を想定し検証を行いましたが、現実にはお客さま毎のアプリケーションを踏まえた想定環境での事前検証が必須となりますので、本資料はあくまで参考資料の位置付けになります。すべての動作を保証するものではないことご留意頂けます様お願い致します。

Agenda

• 評価環境と想定シナリオについて

• Base-Lineの測定

• サービス拡張シナリオ-1 : Network Bandwidth Upgrade（RETHとAEの拡張による帯域増強）

• サービス拡張シナリオ-2 : In-Service Hardware Upgrade（Dynamic Service Architectureの証明）

• サービス拡張シナリオ-3 : Low Latency Service（Express Pathによるサービスの低遅延化）

• まとめ

評価環境と想定シナリオについて

ジュニパーの提唱するCloud DCデザイン・アーキテクチャ

DC EdgeRouter

Service Gateway

FC StorageServers NAS

Ethernet /IP Fabric

The Internet DatacenterInterconnect

North/South & East/West Traffic w/o service

East/West Traffic w service

North/South Traffic w service

Evaluation Test Diagram

Service Gateway(SRX5600 Chassis Cluster)

Ethernet Fabric(QFX5100 Virtual Chassis)

Breaking Point（Traffic Generator）

10G

DC Edge Router(QFX5100)

10G

30G

30G

10G*3 10G*3 10G*1 10G*1

40G

40G

40G

40G

SRX5k Test Configuration Overview


XXG

OSPF/BGPGraceful Restart

XXG

XXG

XXG

10G*3 10G*3 10G*1 10G*1

ZoneBLUE

ZoneRED

ZonePURPLE

ZoneMGMT

SNMP/Syslog Server

North/South Traffic w serviceFrom-Zone BLUE To-Zone PURPLE*1000 FW Policies + Logging

East/West Traffic w serviceFrom-Zone BLUE To-Zone RED *1000 FW Policies+ Logging

Session Init Log

root@srx5600node0> show chassis hardware

node0:

--------------------------------------------------------------------------

Hardware inventory:

Item Version Part number Serial number Description

Chassis JN124E56CAGB SRX5600

Midplane REV 01 710-024804 ACRD7518 SRX5600 Midplane

FPM Board REV 01 760-058098 CADR6914 Front Panel Display

PEM 1 Rev 03 740-034701 QCS15030902F PS 1.4-2.6kW; 90-264V AC in

PEM 2 Rev 03 740-034701 QCS150309052 PS 1.4-2.6kW; 90-264V AC in

Routing Engine 0 REV 02 740-056658 9009220567 SRX5k RE-1800X4

CB 0 REV 01 750-056587 CADW3399 SRX5k SCB II

FPC 0 REV 18 750-044175 CABE7913 SRX5k SPC II

CPU BUILTIN BUILTIN SRX5k DPC PPC

PIC 0 BUILTIN BUILTIN SPU Cp

PIC 1 BUILTIN BUILTIN SPU Flow



FPC 5 REV 14 750-043157 CADX0824 SRX5k IOC II

CPU REV 05 711-043360 CADY8332 SRX5k MPC PMB

MIC 0 REV 08 750-049487 CADX2231 2x 40GE QSFP+

PIC 0 BUILTIN BUILTIN 2x 40GE QSFP+

Xcvr 0 REV 01 740-032986 QB300176 QSFP+-40G-SR4

Xcvr 1 REV 01 740-032986 QB120851 QSFP+-40G-SR4

MIC 1 REV 07 750-049488 CADY7577 10x 10GE SFP+

PIC 2 BUILTIN BUILTIN 10x 10GE SFP+

Xcvr 0 REV 01 740-032276 APF11130010K8E SFP+-10G-ACU3M

Xcvr 8 REV 01 740-030077 APF11040026935 SFP+-10G-CU3M

Xcvr 9 REV 01 740-030077 APF11040026942 SFP+-10G-CU3M

Fan Tray Enhanced Fan Tray

(snip)

root@srx5600node0> show version

node0:

--------------------------------------------------------------------------

Hostname: srx5600node0

Model: srx5600

JUNOS Software Release [12.3X48-D10.3]

(snip)

使用機材：SRX5600 ＆ JUNOS12.3X48-D10

使用機材：Breaking Point FireStorm@マクニカネットワークス・新横浜検証センター

Breaking Point FireStorm

Hardware• 4RU、3スロット• 10G 4port Network Processor x 2

Software• Software Version 3.4.2

想定シナリオ-1：Network Bandwidth Upgrade

DC EdgeRouter

Service Gateway


Ethernet /IP Fabric




North/South Traffic w serviceネットワーク帯域が逼迫してきたので拡張しなくてはならない。サービス稼働中に。

想定シナリオ-2：In-Service Hardware Upgrade

DC EdgeRouter

Service Gateway


Ethernet /IP Fabric




North/South Traffic w serviceサービスゲートウェイの処理負荷が逼迫してきたので拡張しなくてはならない。サービス稼働中に。

想定シナリオ-3：Low Latency Service

DC EdgeRouter

Service Gateway


Ethernet /IP Fabric




North/South Traffic w service新しいサービスでLow Latencyな通信要件を必要とするシステムを収容しなくてはならない。サービス稼働中に。

Base-Lineの測定

Base-Line

まず最初に、稼働中のサービス拡張へのインパクトを理解する前提のために、以下の点について解説します。

• SRX5k アーキテクチャ• SRX5k のChassis Clusterとスロットナンバリングについて• SRX5k 負荷状態の確認方法について• パフォーマンス測定方法• パフォーマンス測定結果• ダウンタイム測定方法• 各所ダウンタイム測定結果• Graceful Restartについて

SRX5kのコンポーネント

SRX5kのハードウェアは主に以下4つのコンポーネントから構成されます。

• IOC（I/O・カード）I/Oインターフェイスの選択を提供します。今回は40GbE*2、10GbE*10のMICカード構成で試験を行っています。

• SPC（サービス・プロセッシング・カード）SRX5kの筋肉でもあり、心臓部分でもあるパケットフォワーディングエンジンを搭載するカードとなります。ここで各種サービスを提供しながらパケットの転送を行います。詳細は後の頁で解説します。

• SCB（スイッチング・コントロール・ボード）IOCとSPCを結ぶスイッチング・ファブリックカードです。今回はラインカード毎に120Gbpsのバックプレーン帯域を提供するSCBEというファブリックカードを使用しています。真ん中にビルトインのREを挿入する部分があります。

• RE（ルーティング・エンジン）システム全体をコントロールする頭脳部分です。ここでJUNOSが稼働しています。今回はRE-1800X4と呼ばれる最新のREで試験を行っています。

SPU

SRX5kのコンポーネント : SPCについて-1

SRX5000シリーズの現行SPC “SRX5K-4-15-320” には、4つのSPU（サービス・プロセッシング・ユニット）と呼ばれるネットワークプロセッサーが搭載されています。SPUは、Core毎に4 threadを実行する 8つの eight-core プロセッサーから構成されており、各SPUが並列に各種サービスを実行する仕組みになっています。

SPC

SPU

SPU

SPU

SPU0

1

2

3

• Advanced Routing• Stateful Firewalling• IDP/IPS• NAT• ALG• VPN• Some Screens• LoggingEtc…

“SRX5K-4-15-320”

SPC

SPU

（Flow）

SPU

（Flow）

SPU

（Flow)

SPU

（Flow）0

1

2

3

SRX5kのコンポーネント : SPCについて-2

またSRX5kが起動する際、最も若番のSPC内の若番のSPUがCP（Central Point)と呼ばれる役目を担うこととなり、このCPが複数のSPUsに対してFlow処理の割り当てを行うロードバランサーとして動作します。この仕組みによりSRX5kにSPCが増設されるたびに処理能力を向上させることが可能となっています。

SPC

SPU

（Flow）

SPU

（Flow）

SPU

（Flow)

SPU

（CP）0

1

2

3

“SRX5K-4-15-320”がシステムに1枚の場合（1つのCPが、3つのFlowSPU間で負荷分散）

SPU

（Flow)

SPU

（CP）SPU

（Flow)

SPU

（Flow)

SPC

SPU

（Flow）

SPU

（Flow）

SPU

（Flow)

SPU

（CP）0

1

2

3

SPU

（Flow)

SPU

（CP）SPU

（Flow)

SPU

（Flow)

SPU

（Flow）

SPU

（Flow）

SPU

（Flow)

SPU

（Flow）

“SRX5K-4-15-320”がシステムに2枚の場合（1つのCPが、7つのFlowSPU間で負荷分散）

SRX5k Packet Flow-1 : 新規フローの1stパケット

IOC

/40 /10 G/1GMIC

/40 /10 G/1G

MIC

XF

LULU

SCB SPC

SPU

（Flow）

LULU

XMSPU

（Flow）

SPU

（Flow）

SPU

（CP）

100

100

1. 新規パケットを受信フローのルックアップを行い、No Match(New Session)と判断

2. パケットを CPへ転送

3. CP がパケットを転送するSPUを選択し、SPUがセッションをセットアップ

4. パケットがEgress Portに転送される

1

3

4

RE

2

SRX5k Packet Flow-2 : セッションセットアップ

IOC

/40 /10 G/1GMIC

/40 /10 G/1G

MIC

XF

LULU

SCB SPC

SPU

（Flow）

LULU

XMSPU

（Flow）

SPU

（Flow）

SPU

（CP）

RE

100

100

1. SPUがSession Setup MessageをCPに送信

2. SPUがSession Setup MessageをIOCに送信

1

2

SRX5k Packet Flow-３ : Fastパス・プロセッシング

IOC

/40 /10 G/1GMIC

/40 /10 G/1G

MIC

XF

LULU

SCB SPC

SPU

（Flow）

LULU

XMSPU

（Flow）

SPU

（Flow）

SPU

（CP）

100

100

1. パケットを受信フローのルックアップを行い、セッション情報にMatchパケットを処理を担当するSPUに転送

2. SPUはFast Path Processing（セキュリティなどの定義されたサービス）を実施

3. パケットがEgress I/Oから送出される

1

23

RE

RG0

RG1+

SRX5k Chassis Clusterとその構成要素

SRXは以下の要素を踏まえてChassis Cluster（CC）を構成することで冗長システム化することが可能です。ジュニパーのEX/QFXスイッチにおけるVirtual Chassisなどと同様、CC化されたSRXは1台の仮想シャーシ型システムとして動作し冗長性を提供することが可能となります。

• Control Link二台の物理シャーシ間でコントロールプレーンの伝達を行う。

• Fabric Link二台の物理シャーシ間でセッション情報のSyncを行う。必要に応じて（A/A構成時など）パケットの転送も行う

• RETH（Redundant Ethernet）外部ネットワークと接続するためのA/S冗長リンク。

• RG（Redundant Group）切り替わり範囲を指定する冗長グループ。RG0はコントロールプレーン（RE)のグループを示し、RG1〜はデータプレーン（RETH）のグループを示す。

Fabric Link

Control Link

RETH

Master RE

Node 1Node 0

Backup RE

SRX5k Chassis ClusterとI/Oスロット・ナンバリング

SRXがChassis Cluster（CC）化されると一台のシステムとしてみなされるため、Node1側のインターフェイスのスロットナンバリングが右図のように変化します。

右図の例でいうと、et-2/1/0とet-14/1/0でReth0を構成している、というイメージになります。

Master RE

Node 1Node 0

Backup RE

RETH0

Slot0

Slot1 Slot11 Slot12 Slot23

Base-Lineパフォーマンス測定

• SRX5600をChassis Cluster構成とし、East/Westトラフィックで10Gbps、North/Southトラフィックで5Gbpsのアプリケーション負荷をかけて機器の状態を確認する。

• SRXを経由するする全ての通信に対して、1000づつのFirewallポリシーを設定し、Session InitにおけるFirewall Loggingを取得している。

• Breaking Pointからのアプリケーションは以下を使用。• Application Simulator x 4 units

• Protocol TCP• HTTP GET [Contents size 10k] x 20 request / TCP connection• mss 1460 bytes

{primary:node0}

root@srx5600node0> show chassis routing-engine

node0:

--------------------------------------------------------------------------

Routing Engine status:

Slot 0:

Current state Master

Election priority Master (default)

Temperature 34 degrees C / 93 degrees F

CPU temperature 31 degrees C / 87 degrees F

DRAM 3313 MB (16384 MB installed)

Memory utilization 14 percent

CPU utilization:

User 0 percent

Background 0 percent

Kernel 3 percent

Interrupt 0 percent

Idle 97 percent

Model RE-S-1800x4

Serial ID 9009220567

Start time 2015-05-13 01:52:09 UTC

Uptime 34 minutes, 26 seconds

Last reboot reason 0x1:power cycle/failure

Load averages: 1 minute 5 minute 15 minute

0.00 0.01 0.06

JUNIPER-MIB::jnxOperatingCPU.9(REでのCPU Utilization取得MIB)

SRX5kの管理・確認コマンドと該当するMIB（RE）

SRX5kのコントロールプレーン負荷を確認するには、“show chassis routing-engine”コマンドで確認します。

{primary:node0}

root@srx5600node0> show security monitoring fpc 0

node0:

--------------------------------------------------------------------------

FPC 0

PIC 0

CPU utilization : 0 %

Memory utilization : 10 %

Current flow session : 0

Current flow session IPv4: 0


Max flow session : 0

Current CP session : 5

Current CP session IPv4: 5


Max CP session : 104857600

Total Session Creation Per Second (for last 96 seconds on average): 0

IPv4 Session Creation Per Second (for last 96 seconds on average): 0

IPv6 Session Creation Per Second (for last 96 seconds on average): 0

PIC 1

CPU utilization : 0 %

Memory utilization : 4 %

Current flow session : 3



Max flow session : 4194304

Current CP session : 0



Max CP session : 0

...

(snip)

JUNIPER-SRX5000-SPU-MONITORING-MIB::jnxJsSPUMonitoringCPUUsage(SPU毎のCPU Utilization取得MIB)

JUNIPER-SRX5000-SPU-MONITORING-MIB::jnxJsSPUMonitoringCurrentCPSession(システム全体=CPでの処理Session数取得MIB)

JUNIPER-SRX5000-SPU-MONITORING-MIB::jnxJsSPUMonitoringCurrentFlowSession(SPU毎の処理Session数取得MIB)

SRX5kの管理・確認コマンドと該当するMIB（SPC/SPU）

SRX5kのデータプレーン負荷を確認するには、“show security monitoring fpc X”コマンドで確認します。

root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentFlowSession

jnxJsSPUMonitoringCurrentFlowSession.0 = 0








{primary:node0}

root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCurrentCPSession

jnxJsSPUMonitoringCurrentCPSession.0 = 1127139








{primary:node0}

root@srx5600node0> show snmp mib walk jnxJsSPUMonitoringCPUUsage

jnxJsSPUMonitoringCPUUsage.0 = 1








{primary:node0}

root@srx5600node0> show snmp mib walk jnxOperatingCPU.9

jnxOperatingCPU.9.1.0.0 = 3


SRX5kの管理・確認コマンドと数字の見方

Node0の各SPUで保持しているSessionの数

Node1の各SPUで保持しているSessionの数（冗長用）

Node0のシステム全体（CP)で保持しているSessionの数

Node1のシステム全体（CP)で保持しているSessionの数（冗長用）

システムのデータプレーン負荷の状況：CC Node０（この例ではFast Pathプロセッシングでデータを転送している負荷で48％）

システムのデータプレーン負荷の状況：CC Node１（こちらは冗長によるスタンバイ側なので、Failover用にセッションのコピーをしているだけ、なので1％くらい）

システムのコントロールプレーン負荷の状況

SRX5k Baseline Performance-1

40G

40G


5G

5G

10G

10G

10G*3 10G*3 10G*1 10G*1

East/West

10G

North/South

5G




確認項目：約15GbpsのトラフィックをSRX5600-CCに印加し、各コンポーネントの状態情報をMIBで取得し状況を確認する

{primary:node0}










{primary:node0}










{primary:node0}










{primary:node0}




SRX5k Baseline Performance-1：15Gbps

システムのデータプレーン負荷としては約83％（Fast Pathプロセッシングでデータを転送している負荷が83％）

システムのコントロールプレーン負荷としては約3％

(SNIP)

Sorry, this is Trailer version.

SRX5k Baseline Performance-2

40G

40G


5G

5G

20G

20G

10G*3 10G*3 10G*1 10G*1

East/West

20G

North/South

5G




確認項目：印加するトラフィックを15Gbpsから25Gbpsへ上げて、各コンポーネントの状態情報がどのように変化するかを確認する

{primary:node0}










{primary:node0}










{primary:node0}










{primary:node0}




SRX5k Baseline Performance-2：25Gbps

システムのコントロールプレーン負荷としては約4％※データプレーンのCPUが限界近くまで高騰していたとしても、コントロールプレーンのCPUは低い位置に留まっているのでシステムとしては安定していることに注目！

システムのデータプレーン負荷としては約93％（Fast Pathプロセッシングでデータを転送している負荷が93％）※この環境（SPC1枚）でこれ以上の負荷をかけるとセッションがドロップし始めた。コントロールプレーンの使用率は3〜4％程度とStableなのでデータプレーンの性能限界である、と理解することができる。

(SNIP)


Base-Lineダウンタイム測定

• SRX5600をChassis Clusterの構成とし、East/Westトラフィック、North/SouthトラフィックとしてそれぞれUDPショートパケット(64byte)で秒間100,000パケット送信した状態で、各種障害・メンテナンスアクションを行ってみてドロップするパケット数をカウントする。

• SRXを経由するする全ての通信に対して、1000づつのFirewallポリシーを設定し、Session InitにおけるFirewall Loggingを取得している。

• Breaking Pointからのアプリケーションは以下を使用。• Routing Robot x 4 units

• Protocol UDP• packet size 64 bytes

Base-Lineダウンタイム測定

40G

40G


10G*3 10G*3 10G*1 10G*1

East/West

100000pps

North/South

100000pps




確認項目：UDPのショートパケットを100,000pps印加し、各ポイントでのアクションにおけるパケットドロップの有無、及びダウンタイムを確認する



Base-Lineダウンタイム測定ポイント・アクション

40G

40G


10G*3 10G*3 10G*1 10G*1


No. Action Event

1 Reth Member Link Down/Up

2 Control Link Down/Up

3 Fabric Link Down/Up

4 Fabric Link*2 Down/Up

5 Redundancy Group 0 Manual Failover (+OSPF/BGP Graceful Restart)

6 Redundancy Group 1 Failover

7 Chassis 0 Power Down/Up (RG0,1 failover at same time)

8 Chassis 1 Power Down/Up

9 In-Service Software Upgrade

1

23

4

5

6

7

8

9

Base-Lineダウンタイム測定ポイント・アクション解説

No. Action Event Desicription Expectation

1 Reth Member Link Down/Up Rethを構成するMember InterfaceのActive側を抜線する

CCのFailoverが発生して瞬断で通信が復旧する。

2 Control Link Down/Up Control Linkを抜線する CCの保護機能によりSecondary側のNodeがDisableStateとなる。通信には影響なし。

3 Fabric Link Down/Up Fabric Linkの片側を抜線するこの試験ではFabric Linkが冗長されているため何も起こらず。通信には影響なし。

4 Fabric Link*2 Down/Up Fabric Linkを2本とも抜線する CC間のセッション同期がされなくなる。通信には影響なし。


CLIからREのMaster・Backupを切り替えるこの試験構成ではNorth/Southトラフィックの宛先ルートをOSPF/BGPで受信しているため、通常であれば通信断が発生するが、Graceful Restartの設定によりルートが保持されて、通信には影響がでない。

6 Redundancy Group 1 Failover CLIからRethのメンバーリンクのA/Sを切り替える CCのFailoverが発生して瞬断で通信が復旧する。


RG0,1共にPrimaryを保持するNode0の電源をシャットダウンする

RG0,1共に同時にNode1へ遷移するので、多少のダウンタイムの後に通信が復旧する。

8 Chassis 1 Power Down/Up RG0,1共にSecondary を保持するNode1の電源をシャットダウンする

何も起こらず。通信には影響なし。

9 In-Service Software Upgrade CLIからISSUを使用してソフトウェアのバージョンをアップする

多少のダウンタイムの後にソフトウェアのバージョンアップが完了し通信が復旧する。

Base-Lineダウンタイム測定結果

No. Action Event Down Time @Down Down Time ＠Up OK/NG Log

1 Reth Member Link Down/Up 0.22 sec 0.37sec OK BackupSlide 1-1

2 Control Link Down/Up 0 sec 0 sec OK BackupSlide 1-2

3 Fabric Link Down/Up 0 sec 0 sec OK BackupSlide 1-3

4 Fabric Link*2 Down/Up 0 sec 0 sec OK BackupSlide 1-4


0 sec - OK BackupSlide 1-5

6 Redundancy Group 1 Failover 0.93 sec 0.5 sec OK BackupSlide 1-6


0.62 sec 0.42 sec OK BackupSlide 1-7

8 Chassis 1 Power Down/Up 0 sec 0 sec OK BackupSlide 1-8

9 In-Service Software Upgrade 1.74 sec - OK BackupSlide 1-9

(SNIP)


UDPショートパケットによるダウンタイム試験でCC切り替わり時における約1秒前後のパケットロスは、現実のTCP通信においてはTCPの再送機能により一時的にトランザクションの再送がなされるのみであり、実際のアプリケーション通信にはほとんど影響しない。

パケットロスアプリケーションのトランザクションには影響なし

Base-Lineダウンタイムトラフィック影響

(SNIP)


Protocol Graceful Restartについて

今回の試験構成では、North/Southトラフィックに関してはOSPF/BGPによって学習した経路宛の通信構成としています。この場合にSRX5k-CCのコントロールプレーン・フェイルオーバーをする際のダウンタイムを最小にするためにはSRX側でProtocol Graceful Restartの設定をおこなう必要があります。（JUNOSではDefaultでGraceful Restart Helper機能が動作しているため、QFX側では特別な設定の必要はなし。）

※参考までにGraceful RestartをDisableにした状態でテスト項番.5を実施したところ、ダウンタイムが0秒→約10秒という結果に変化しました。

OSPF/BGP



DG0: Primary

DG0: Secondary

Failover

Protocol Graceful Restart設定

{primary:node0}[edit]

root@srx5600node0# set routing-options graceful-restart

root@srx5600node0# set protocols bgp graceful-restart

root@srx5600node0# set protocols ospf graceful-restart restart-duration 190

root@srx5600node0# set protocols ospf graceful-restart notify-duration 40

サービス拡張シナリオ-1〜Network Bandwidth Upgrade〜(RETHとAEの拡張による帯域増強)

サービス拡張シナリオ-1：サービスゲートウェイのネットワーク帯域増強

Service Gateway


データセンターアーキテクチャに於いてサービスゲートウェイをIn-Line型ではなくOne-Arm型でデザインすることのメリットとして、

• サービス宛のトラフィックとサービスを必要としないトラフィックの通信経路を柔軟にデザインできる

• サービス宛のトラフィック容量を増加したい場合、LAGの拡張だけで簡単に増強が可能

という点が挙げられます。

サービス拡張シナリオ-1ではSRX5k-CCにおけるLAG増強時におけるサービストラフィックへのインパクトを確認します。

サービス宛ネットワーク帯域という観点では、管理者はここの使用率傾向をみておくだけで増強すべきタイミングを把握することが可能

40G

40G

サービス拡張シナリオ1：確認項目


5G

5G

10G

10G

10G*3 10G*3 10G*1 10G*1

East/West

10G

North/South

5G 40G

40G

確認項目：約15Gbpsのトラフィックを印加中のSRX5600-CCにおいて40G（40G＊2）→80G（40G＊4）へのLAGの増強を行う際のサービスインパクトを測定する




Chassis ClusterとVC間のReth/AEについて



RETH0

AE0

AE1

スイッチとSRX間のリンクは仮に初期導入時には1本だとしても、将来拡張時のために最初からスイッチ側をLAGで組んでおくと便利です。CCのRETHとVCのAEを繋げる場合の考え方は、以下のようにRETH1本に対して、対向のスイッチからは、AE0とAE1の2本のLAGで接続する形になります。この構成でLACPをEnableにすると、VC側はAE0、AE1のLACPは共にActiveとなります。（ただしSRXのBackup Link側ではARPへの返答は一切行われないので通信は流れない。）


root@srx5600node0# show interfaces reth0 |display set

set interfaces reth0 vlan-tagging

set interfaces reth0 redundant-ether-options redundancy-group 1

set interfaces reth0 redundant-ether-options lacp active

set interfaces reth0 redundant-ether-options lacp periodic slow

set interfaces reth0 unit 100 description public-servers

set interfaces reth0 unit 100 vlan-id 100

...

set interfaces et-5/0/0 gigether-options redundant-parent reth0

set interfaces et-11/0/0 gigether-options redundant-parent reth0

...

(snip)

root@srx5600node0# set interfaces et-5/0/1 gigether-options redundant-parent reth0

root@srx5600node0# set interfaces et-11/0/1 gigether-options redundant-parent reth0


root@srx5600node0# show |compare

[edit interfaces]

+ et-5/0/1 {

+ gigether-options {

+ redundant-parent reth0;

+ }

+ }

+ et-11/0/1 {

+ gigether-options {

+ redundant-parent reth0;

+ }

+ }


root@srx5600node0# commit

もともとのSRX5k側のReth周りの設定

サービス拡張シナリオ1：RETHメンバーリンクの追加

Rethにメンバーリンクを追加する設定※対向側のQFX-VCのAE0、AE1に対しても該当のインターフェイスを追加する


RETH0

AE0

AE1

VC Seconds: 154 Time: 07:12:37

Interface Link Input bytes (bps) Output bytes (bps)

vcp-255/0/94 Up 754459255781 (37840) 1740598039817 (105910776)

vcp-255/0/95 Up 754796473661 (3800) 1740507771103 (103747624)

et-0/0/96 Up 8120661272810(14836093520) 9078924651190(14836055992)

et-0/0/97 Down 4946543470 (0) 23304064081 (0)

gr-0/0/0 Up 0 (0) 0 (0)

pfh-0/0/0 Up 0 0

xe-0/0/0 Up 167105377313 (207321768) 2228398037067 (6957196304)

xe-0/0/10 Up 2602258830406 (6955225560) 294405787254 (415965712)

xe-0/0/20 Up 342881868509 (416320672) 2423469244320 (6957078704)

xe-0/0/22 Up 163668949402 (0) 1662569789115 (0)

xe-0/0/30 Up 2631571966230 (6954056448) 302839399244 (416194456)

et-1/0/96 Up 16558158617 (0) 33235332184 (640)

pfh-1/0/0 Up 0 0

xe-1/0/0 Up 168281278121 (209100024) 166589117046 (0)

xe-1/0/20 Up 48478234854 (0) 1289028153714 (0)

xe-1/0/30 Up 1832179452368 (0) 162362763586 (152)

xe-1/0/32 Up 1380403611244 (0) 63045625722 (952)

ae0 Up 8570960043651(14836093520) 9362824067411(14836055992)

ae1 Up 21504702087 (0) 56539396265 (640)

ae2 Up 335386655434 (416421792) 2394987154113 (6957196304)

ae3 Down 0 (0) 0 (0)

bme0 Up 0 240166848

bme1 Up 0 0

...

(snip)

サービス拡張シナリオ1：RETHメンバーリンクの追加前

※対向のQFX-VC側のトラフィックカウンターae0で約15Gbpsの通信量がカウントされている。et-0/0/96でも同様の通信量がカウントされている。

VC Seconds: 59 Time: 07:15:49


vcp-255/0/94 Up 568596 (36008) 18594476181 (1969726256)

vcp-255/0/95 Up 77359 (4704) 18523795513 (1922966080)

et-0/0/96 Up 68839732384 (7352206048) 135086502616(14515247648)

et-0/0/97 Up 512 (0) 3646 (1232)

gr-0/0/0 Up 0 (0) 0 (0)

pfh-0/0/0 Up 0 0

xe-0/0/0 Up 1934045234 (203858352) 31036983715 (3444979864)

xe-0/0/10 Up 64407539348 (6907155168) 3754780286 (412885648)

xe-0/0/20 Up 3889930739 (413892016) 62620891559 (6910800424)

xe-0/0/22 Up 0 (0) 2940 (472)

xe-0/0/30 Up 64518850419 (6911536600) 3790273040 (413914624)

et-1/0/96 Up 512 (0) 6014 (1072)

et-1/0/97 Up 68532507767 (7379725536) 2043495848 (220741432)

pfh-1/0/0 Up 0 0

xe-1/0/0 Up 1942307540 (209276240) 30928901956 (3462123304)

xe-1/0/20 Up 0 (0) 2940 (456)

xe-1/0/30 Up 0 (0) 1916 (608)

xe-1/0/32 Up 0 (0) 2315 (1408)

ae0 Up 137372240151(14731931584) 137129998464(14735989080)

ae1 Up 1024 (0) 9660 (2304)

ae2 Up 3876352774 (413134592) 61965885671 (6907103168)

ae3 Down 0 (0) 0 (0)

bme0 Up 0 498480

bme1 Up 0 0

...

(snip)

サービス拡張シナリオ1：RETHメンバーリンクの追加後

※対向のQFX-VC側のトラフィックカウンターae0で約15Gbpsの通信量がカウントされている。et-0/0/96とet-1/0/97（=ae0）で分散されながら同様の通信量がカウントされている。

サービス拡張シナリオ1：結果


10 Reth Member Link Add Rethを構成するMember Linkに新たにインターフェイスを追加し、併せて対向側のQFX-VCのAE0,AE1にもMember Linkを追加することで、40G*2＊2（80G-Act／80G-Stby）へとネットワーク帯域を拡張する

SRX5kのRethとQFX-VCのAE間でLACPのネゴシエーションが行われた後に、ネットワーク帯域が拡張され、トラフィックがバランスされる。通信には影響なし。


10 Reth Member Link Add - 0 sec OK BackupSlide 2-1

まとめ：稼働中のサービスに影響すること無く、サービス・ゲートウェイへのネットワーク帯域の拡張を行うことが可能であることが確認された。

(SNIP)


サービス拡張-2〜In-Service Hardware Upgrade〜(Dynamic Service Architectureの証明)

サービス拡張シナリオ-2：In-Service Hardware Upgrade（Dynamic Service Architecture）

SRX5000シリーズのDynamic Service Architectureは、収容するサービスへの需要によって変化するサービスゲートウェイへのパフォーマンス・スケール要件にたいして、SPCの増設だけでシステムとしての拡張性を向上させることが可能です。

サービス拡張シナリオ-2ではSRX5k-CCにおけるSPC増設時におけるサービストラフィックへのインパクトを確認します。

SRX5kのDynamic Service Architectureによりシステムの負荷状況に応じてSPCを追加するだけで、柔軟で迅速なシステムアップグレードが可能に”Pay as you Grow”というコンセプトを実現

増設する毎にリニアにシステムのパフォーマンスやスケーラビリティを上昇させることが可能な

SRX5kのSPC

40G

40G

サービス拡張シナリオ-2：確認項目-1


5G

5G

20G

20G

10G*3 10G*3 10G*1 10G*1

East/West

20G

North/South

5G 40G

40G

確認項目：約25Gbpsのトラフィックを印加中SRX5600-CCにおけるSPCの枚数を1枚（CCで2枚）から2枚（CCで4枚）へと増強を行う際のサービスインパクトと、SPCを増設した後の効果を確認する




In-Service Hardware Upgrade（ISHU）とは、

• ISHUとは、稼働中のSRXにSPCを追加してキャパシティをダイナミックに増加させる機能のこと（≒Dynamic Service Architecture）

• 新しく挿入したSPCを有効に活用するためにはNodeのRebootが必要となるため、いわゆるHot Insertではないただし、Chassis Clusterを構成するSRXにおいてトラフィックへの影響時間は、マニュアルによるRG0のFailoverレベルで実施することが可能となる

• 新しいSPCを挿入することのできるスロットには制限があるので（※後述）注意が必要

• HA & ISSU 機能には影響無し

• SPC InsertはChassis Clusterが構成されているSRXでのみサポートされ、Standaloneデバイスでは実行できない

1. ここでは、DG0、DG1共にNode 0 (N0) が primary 、Node 1 (N1) が secondary としてクラスターが構成されていると仮定します。

2. SPC Insertを実行する前には、両方のNodeが正常に動作していることを確認する。※ “show chassis cluster status” にて RG0 と RG+ のPriorityがオペレーションミスなどで0や255になっていないことを確認する。（重要！）

3. “request system power off” コマンドにてN1をパワーダウンさせた後、新しい SPCを挿入し、再びN1を起動する。

N1が完全に起動し、PICがOnlineになるまで待ち、“show chassis fpc pic-status”コマンドで正常状態を確認する。※ 再度“show chassis cluster status” にて RG0 と RG+ のPriorityがオペレーションミスなどで0や255になっていないことを確認する。

Node 0 Node 1

ISHUの手順-1

RG0 (Ctrl）Primary

RG1 (Data）Primary

RG0 (Ctrl）Secondary

RG1 (Data）Secondary

1st SPC 1st SPC

Node 0 Node 1

RG0 (Ctrl）Primary

RG1 (Data）Primary



1st SPC 1st SPC

※新しいSPCを挿入しN1を起動

2nd SPC

4. “RG+” をマニュアルでフェイルオーバーさせてデータプレーンをN1に移す。※“show chassis cluster status” にてRG0 と RG+ のPriorityが0になっていないことを確認する。

5. “request system power off” にてN0をパワーオフする。これによりRG0 のフェイルオーバーが実施される。※“show chassis cluster status” にてRG0 と RG+ のPriorityが0になっていないことを確認する。

ISHUの手順-2

Node 0 Node 1

RG0 (Ctrl）Primary

RG1 (Data）Primary



1st SPC 1st SPC

2nd SPC

Node 0



1st SPC 1st SPC

2nd SPC

Node 1

RG1 (Data）Primary

RG0 (Ctrl）Primary

6. 新しいSPCをN0に挿入し起動、PICがOnlineになるまで待ち、 “show chassis fpc pic-status”にて正常性を確認、その後“show chassis cluster status” でRG0 と RG+ のPriorityが0になっていないことを確認して完了。

ISHUの手順-3

Node 0



1st SPC 1st SPC

※新しいSPCを挿入しN0を起動

2nd SPC

Node 1

RG1 (Data）Primary

RG0 (Ctrl）Primary

2nd SPC

1st SPC 1st SPC

2nd SPC

Node 1

RG1 (Data）Primary

RG0 (Ctrl）Primary

2nd SPC

Node 0



• 新しいSPCを挿入する際には、既存のSPCが挿入されているSlotよりも高いスロットナンバーに挿入すること。仮にSPCがSlot4まで挿入されていた場合、Slot5以降を使用してSPCの追加を行う。

• ISHUを行う前に存在していたフローセッションは新しいSPCを挿入しても再度ロードバランスされることはない。新しいセッションがハンドリングされる時から新しく挿入されたSPCがロードバランスの対象としてCPに処理される形となる。

• ISHUを行う手順におけるトラフィックへの影響は、マニュアルでRG0のフェイルオーバーを実施するのと同等のインパクトに抑えることが可能。

• 新しいSPC は既存で存在しているSPCよりも高いSlotナンバーに挿入する必要が有る。もしそのような空きスロットがない場合は、一度システム毎パワーダウンした後にSPCを挿入する必要が有る。（つまりSRX5kの初期導入時に若番スロットよりSPCを挿入し始める事が推奨されます。）

ISHUの注意点

{primary:node0}


















{primary:node0}

root@srx5600node0>

{primary:node0}


















サービス拡張シナリオ2-SPC増加後：25Gbps＠2*SPC

※Node0、Node1共にCP*1、SPU*7に増えていることがわかる

{primary:node0}










{primary:node0}




SRX5k Baseline Performance：25Gbps＠1*SPC

システムのデータプレーン負荷としては約93％（Fast Pathプロセッシングでデータを転送している負荷が93％）

(SNIP)


{primary:node0}


















{primary:node0}

root@srx5600node0>

{primary:node0}




サービス拡張シナリオ2-結果：25Gbps＠2*SPC

システムのデータプレーン負荷としては約47％に低下している（Fast Pathプロセッシングでデータを転送している負荷が47％）

(SNIP)


40G

40G

サービス拡張シナリオ-2：確認項目-２


10G

10G

30G

30G

10G*3 10G*3 10G*1 10G*1

East/West

30G

North/South

10G 40G

40G

確認項目：2枚（CCで4枚）へと増強が行われたSRX5600-CCへ印加するトラフィックを40Gbpsまで上昇させて機器の状態を確認する





システムのデータプレーン負荷としては約74％くらいまで上昇（Fast Pathプロセッシングでデータを転送している負荷が74％）

{primary:node0}


jnxJsSPUMonitoringCPUUsage.0 = Gauge32: 6 percent
















{primary:node0}

root@srx5600node0>

{primary:node0}




(SNIP)


40Gbps処理時のSRXのインターフェイスカウンタ（参考）

srx5600node0 Seconds: 36 Time: 09:36:20


gr-0/0/0 Up 0 (0) 0 (0)

ip-0/0/0 Up 0 (0) 0 (0)

lt-0/0/0 Up 0 (0) 0 (0)

et-5/0/0 Up 2291161362082(28489324120) 1403864772971(20245234512)

et-5/0/1 Up 498838578288(11077633952) 1402210926092(20081481608)

xe-5/2/0 Up 645777 (1032) 10486532664 (88772216)

xe-5/2/1 Down 0 (0) 0 (0)

xe-5/2/2 Down 0 (0) 0 (0)

xe-5/2/3 Down 0 (0) 0 (0)

xe-5/2/4 Down 0 (0) 0 (0)

xe-5/2/5 Down 0 (0) 0 (0)

xe-5/2/6 Down 0 (0) 0 (0)

xe-5/2/7 Down 0 (0) 0 (0)

xe-5/2/8 Up 303668780 (2056) 18735247308 (161887208)

xe-5/2/9 Up 1238016 (2056) 1352550 (2280)

et-11/0/0 Up 4810431294 (0) 13365681431 (0)

et-11/0/1 Up 14403360854 (0) 13365649930 (0)

xe-11/2/0 Up 777788 (184) 252 (0)

xe-11/2/1 Down 0 (0) 0 (0)

xe-11/2/2 Down 0 (0) 0 (0)

xe-11/2/3 Down 0 (0) 0 (0)

xe-11/2/4 Down 0 (0) 0 (0)

xe-11/2/5 Down 0 (0) 0 (0)

xe-11/2/6 Down 0 (0) 0 (0)

xe-11/2/7 Down 0 (0) 0 (0)

xe-11/2/8 Up 18520858400 (155115008) 304797840 (2280)

xe-11/2/9 Up 1304046 (2056) 1460454 (2280)

avs0 Up 0 (0) 0 (0)

avs1 Up 0 (0) 0 (0)

dsc Up 0 0

Bytes=b, Clear=c, Delta=d, Packets=p, Quit=q or ESC, Rate=r, Up=^U, Down=^D

(SNIP)


40G

40G

サービス拡張シナリオ-2：確認項目-３


10G

10G

30G

30G

10G*3 10G*3 10G*1 10G*1

East/West

30G

North/South

10G 40G

40G

確認項目：約40Gbpsのトラフィックを印加中のSRX5600-CCにおいてSPCの枚数を2枚（CCで4枚）から3枚（CCで6枚）へと増強した際の効果を確認する





システムのデータプレーン負荷としては約47％に低下している（Fast Pathプロセッシングでデータを転送している負荷が47％）

{primary:node0}


























{primary:node0}




(SNIP)


サービス拡張シナリオ2：結果


11 Insert 2nd SPC with ISHU steps ISHUの手順で、サービス稼働中のSRX5kに2枚めのSPC増設を行い、システムキャパシティの向上を図る

多少のダウンタイムだけでにハードウェアの拡張が行われ、システムとしてのスケールアップが完了する。


11 Insert 2nd SPC with ISHU steps 1.0 sec - OK BackupSlide 3-1

まとめ：稼働中のサービスに対して最小限の影響度で、サービス・ゲートウェイのシステムキャパシティの大幅な向上を行うことが可能であることが確認された。

Traffic Number of SPCs SPU average Utiliztion RE average Utiliztion OK/NG

15Gbps 1 83％ 3％ OK

25Gbps 1 93％ 4％ OK

25Gbps / 2 47％ 4％ OK

40Gbps 2 74％ 4％ OK

40Gbps 3 47％ 7％ OK

(SNIP)


サービス拡張-3〜Low Latency Service〜(Express Pathによるサービスの低遅延化)

(SNIP P.66〜P.106)


続きはWebから…

本資料の完全版は以下にお客様情報を入力いただくことでご提供いたします。

ご興味のある方は以下からリクエストください！

https://www2.macnica.net/webapp/form/14276_cdv_324/index.do

※入力頂いたお客様情報は審査をさせていただいた上で、競合さまや企業に紐付かない個人・学生さまと判断された場合には資料の提供を見合わせていただくことがあります。予めご了承ください。

※「ご質問・ご相談」部分に“SRX5ｋ資料希望”と記載ください。

https://www2.macnica.net/webapp/form/14276_cdv_324/index.do

Reference Links

http://kb.juniper.net/InfoCenter/index?page=content&id=KB15694

http://www.slideshare.net/JuniperJapan/vsrx-laptop-201505

http://www.juniper.net/jp/jp/local/pdf/others/JNCIS-SEC-1_.pdf


http://kb.juniper.net/InfoCenter/index?page=content&id=KB15694

http://www.slideshare.net/JuniperJapan/vsrx-laptop-201505



マクニカネットワークス新横浜技術検証センター

SRXシリーズのシャーシモデル SRX1400、SRX5400、SRX5800などを使用したシステム検証が可能

http://www.macnica.net/contents/techcenter.html/

システム導入前のパフォーマンステスト環境をご提供160Gbpsスループットテスト（アプリケーションレイヤ）

L4-L7負荷分散

200種類以上のアプリケーションロードテスト

35,000種類以上の攻撃パターンのシュミレート(マルウェアを含む)

http://www.macnica.net/contents/techcenter.html/

Thanks!!!Your ideas. Connected.

SRX5000シリーズ for Cloud Builders ~Trailer version~ マクニカ＆ジュニパー共同資料

Technology

Transcript of SRX5000シリーズ for Cloud Builders ~Trailer version~ マクニカ＆ジュニパー共同資料