NTT技術ジャーナル　2018.5 47

Ｒ＆Ｄホットコーナー

オンデマンド性の高いネットワークへの課題

現在，通信事業者のネットワークは主にデータセンタ間を光ファイバで接続するための伝送レイヤとパケット転送制御を行うIPレイヤの 2 つのレイヤで構成されています．伝送レイヤとIPレイヤは，設備構築のリードタイムや使用している技術が異なるため，それぞれのレイヤで独立に設計，運用管理を行い最適化が図られています．今後，モバイルネットワークの5Gへの移行やクラウドサービスの普及に伴い，5Gの高速性や低遅延性を活かしたさまざまなサービスが提供され，ユーザの使いたいときに柔軟にクラウド上でサービスが展開される環境になることが想定されます．通信事業者のネットワークもユーザ〜クラウド間やユーザ間の通信をオンデマンドに提供することが今まで以上に必要となります．また，オンデマンド性の高いネットワークは，トラフィック交流の時間変化が大きく，ネットワークの特定区間にトラフィックの偏りが生じやすくなるため，ネットワーク全体で空いている回線等のリソースを計算し，払い出す仕組みやトラフィックの経路制御により偏りを

解消させる仕組みが必要になります．このような5Gやクラウドサービスの普

及に対応するために，従来個別に最適化されていた伝送レイヤとIPレイヤを統合的に制御し，オンデマンド性とネットワーク運用の自動化を行うためのマルチレイヤSDN（Software Defined Networking）制御技術に取り組んでいます．

マルチレイヤSDN制御技術マルチレイヤSDN制御技術は，SDN

コントローラから伝送レイヤとIPレイヤを統合的に制御することにより，ユーザからのサービス要求に応じて，IP-VPN

（Virtual Private Network）やイーサネット専用線等の異なるサービス種別のパスをオンデマンドで提供します（図 1 ）．また，各レイヤのリソースを最大限に活用するために，ネットワーク運用時にSDNコントローラがIPレイヤにおけるパケットの経路制御と伝送レイヤの光波長の経路制御を動的に行い，ネットワークを最適な状態に保ちます．これらを実現するために，NTTネットワーク基盤技術研究所では，オープンソースソフトウェア（OSS）のSDNコントローラであるONOS（Open Network Operating System）（１）をベースに図 2 に示す機能の

実装を行い，マルチレイヤSDN制御の技術確立に取り組んでいます．■オンデマンドの仮想パスの払い出し

オンデマンドの仮想パスの払い出しは，①ルータへのL3/L2VPNの設定機能，②IP経路と光波長経路の計算機能，③仮想パスの冗長化のためのプロテクション ・ リストレーション設定機能，④機器コンフィグ生成機能，⑤機器設定プロトコル，によって実現しています．また，オンデマンドの仮想パス提供は，単純なIP-VPNやイーサネット専用線等の回線提供だけでなく，障害対策としての冗長構成について複数のグレードを選択できるようにしています．

従来は，図 3 に示すように冗長構成はそれぞれのネットワークで単一の方式を採用するのが一般的でしたが，マルチレイヤ制御技術を活かしたネットワーク設計により，IPプロテクション＊ １，伝送リストレーション＊ 2の 2 つの冗長化の方式を １ つの物理ネットワーク上に共

＊1 IPプロテクション：IPレイヤにおいてあらかじめ現用系と予備系のリンクや装置を用意しておき，現用系に障害が発生した際は瞬時に予備系に切り替える技術．

＊2 伝送リストレーション：伝送レイヤにおいてリンクや装置に障害が発生した際に，障害個所を迂回する経路を計算し，光波長等の伝送経路を変えることで復旧させる技術．

IPレイヤと伝送レイヤを統合的に制御するマルチレイヤSDN制御技術NTTネットワーク基盤技術研究所

東とうじょう

條 琢た く や

也 /岡お か だ

田 真し ん ご

悟 /平ひ ら た

田 義よしゆき

幸 /安やすかわ

川 正せいしょう

祥

NTTネットワーク基盤技術研究所では，モバイルネットワークの5Gへの移行やクラウドサービスの普及に対応するために，伝送レイヤとIPレイヤを統合的に制御し，オンデマンド性とネットワーク運用の自動化を実現するためのマルチレイヤSDN

（Software Defined Networking）制御技術に取り組んでいます．ここでは，マルチレイヤSDN制御技術の概要と技術検証内容について紹介します．

R&D

マルチレイヤ SDN テレメトリ

NTT技術ジャーナル　2018.548

OXCOXC

OXCOXC

ルータルータ

OXC

OXCOXC

ルータ

ルータ

各レイヤのリソースを最大限に活用

1Gbit/s占有パス・二重化

1Gbit/s

データセンタ データセンタ

仮想パス①（電子証券取引）

10 Mbit/s共有パス・一重化

センサ

データセンタ

仮想パス② （センサデータ収集）

IPレイヤ

伝送レイヤ

OXC：Optical cross Connect

パス提供サービス要求

SDNコントローラ

統合制御

センサデータ収集（狭帯域・一重化）

電子証券取引（低遅延・二重化）

ルータ

図 1 　マルチレイヤSDN制御によるオンデマンドパス提供

ユーザ

サービス要求 パス提供

仮想パス品質管理＆経路制御 光波長デフラグ

仮想パス払い出し

L3/L2VPN設定IP経路設定 波長経路設定

プロテクション・リストレーション設定

機器コンフィグ生成（YANG）・経路生成（PCE）

機器設定プロトコル（NETCONF，REST等）

テレメトリプロトコル（gRPC等）

統合制御

IPレイヤ 伝送レイヤ

SDNコントローラ

アプリケーション機能

コア機能

インタフェース機能

＜仮想パス管理＞

リクエスト情報 仮想パス情報

＜装置・リンク管理＞

トポロジ情報 リンク情報

デバイス情報 波長情報

図 2 　SDNコントローラの機能概要

NTT技術ジャーナル　2018.5 49

Ｒ＆Ｄホットコーナー

存させ，仮想パスごとに任意の冗長構成の選択を可能にしました．

IPプロテクションは，IPレイヤと伝送レイヤの両方が二重化され，かつ高速な切替が可能なため，信頼性が高い反面コストが高くなります．

伝送リストレーションは，伝送レイヤのみで二重化され，切替にも時間がかかりますが，IPプロテクションに比べて安価なコストで冗長化が図れます．

このように，冗長構成はコストに影響するため，ユーザはサービス要件 ・ コストに応じて，適切な冗長構成の仮想パスを選ぶことができます．■ネットワーク状態のリアルタイム監視 ・制御ネットワーク状態のリアルタイム監

視 ・ 制御については，①テレメトリプロ

トコル，②仮想パスの品質管理 ・ 経路制御機能，③光波長デフラグ機能，によって実現しています．

（1）　テレメトリプロトコルSDNコントローラは，IPレイヤと伝送

レイヤの各装置からストリーミング ・ テレメトリプロトコル（gRPC等）＊ 3を用いて，リアルタイムでトラフィック量，遅延時間，パケットロス率，使用中の光波長等のネットワーク状態を取得します．

（2）　仮想パス品質管理・経路制御機能取得したデータからネットワークの品

質劣化（輻輳や遅延時間の増加等）を検出し，品質を回復させるために仮想パスの経路変更をオペレータは介さずに自律的に行います（図 4 ）．オンデマンドでパス提供を行うネットワークでは，ネットワーク状態が短時間で急激に

変化することが想定されますが，このような自律的な制御を取り入れることで，人手によるオペレーションでは対処しきれない変化にも柔軟に対応できることが期待できます．

（3）　光波長デフラグ機能使用中の光波長の情報から，光波長

のフラグメンテーション状態を検出し，光波長の再整理（デフラグメンテーション）のために使用中の光波長帯を別の光波長帯に変更する制御を行います．光波長帯の変更は一時的な通信断を引き起こすため，マルチレイヤSDN制御により，事前に伝送レイヤで移行先の光波長を設定しておき，IPレイヤで高速に切り替えることで，通信断の影響を極小化します．

技 術 検 証■マルチレイヤSDN制御の技術検証

マルチレイヤSDN制御の実現性を確認するために技術検証を行いました．技術検証では，図 5 に示す構成にてネットワークを構築し，SDNコントローラからの制御により，オンデマンドでの仮想パスの払い出し，ネットワーク状態のリアルタイム監視 ・ 制御を行いました．IPレイヤにおける経路制御とIP-VPNによる回線提供は，MPLS（Multi-Protocol Label Switching） ベ ー ス でSegment Routingを動作させることで実現しました．伝送レイヤにおける経路制御は，SDNコントローラからトランスポンダと光スイッチを個別に制御を行い，任意の対地間で光波長を開通させることで，イーサネット専用線の回線提供を実現しました．

SDNコントローラには，複数の光スイッチを組み合わせてROADM（Reconfigurable Optical Add/Drop Multiplexer）として動作させるためのDisaggregation型ROADMとしての管理機能を実装しており，技術検証ではbroadcast-and-select型＊ 4とroute-and-select型＊ 5の 2 種類のROADMアー

仮想パス品質管理＆経路制御

SDNコントローラ

ネットワーク状態の取得（テレメトリ）

最適な状態に経路制御（リアルタイム制御）

新たな経路設定

IPレイヤ

伝送レイヤ

光波長追加

ルータ

ルータ

ルータ

ルータ

ルータ

OXCOXC

OXCOXC

OXC

OXCOXC

図 4 　ストリーミング ・ テレメトリによるリアルタイム制御

（a）　IPプロテクション

ルータ ルータ ルータ ルータ二重化

OXC OXCOXC

OXC

予備系現用系

二重化 OXC OXCOXC

OXC二重化

（b）　伝送リストレーション

図 3 　IPプロテクションと伝送リストレーションの違い

＊3 ストリーミング・テレメトリプロトコル：装置から監視等に用いる情報を連続的に取得する仕組み．

NTT技術ジャーナル　2018.550

キテクチャ（2）の管理機能を実装しました．冗長構成の実現については，IPプロテクションはSegment RoutingのLFA

（Loop Free Alternate）を用いて障害時の高速切替を実現し，伝送リストレーションは，SDNコントローラが伝送リンクの障害を検出した際に，光スイッチの制御により光波長を迂回させることで実現しました．これらの仕組みにより，SDNコントローラから任意の対地間において，IP-VPNもしくはイーサネット専用線の回線提供を行い，冗長構成についてもIPプロテクションと伝送リストレーションの選択ができることを確認しました．

ネットワーク状態のリアルタイム監視 ・ 制御では，ストリーミング ・ テレメトリのプロトコルであるgRPCを用いて，トラフィック量 ・ 遅延時間 ・ パケットロス率をリアルタイムで取得し，仮想パスの品質が一定以下に劣化した場合に

SDNコントローラが自律的に仮想パスの経路を変更し，品質を回復させる制御ができることを確認しました．光波長デフラグについてもmake-before-breakの考え方に基づき，移行先の光波長をあらかじめ確立し，IPレイヤにおいてSegment Routingで新たな光波長のパスに経路を切り替えたうえで元の光波長を削除することで，通信断の影響を極小化して使用する光波長帯の変更を実現しました．■オーケストレータ連携の技術検証

ネットワーク制御に加えて，オーケストレータ連携の観点においても検証を行いました．拠点 １ と拠点 2 において，コンテナでサービス提供を行う環境を構築し，サービスの利用者数の増加に従い，コンテナ数を増加させてスケールアウトする仕組みをコンテナのオーケストレータとして実装しました．この環境において，利用者数が増加し，拠点 １ のコンテナでサービス提供に必要なリソースが十分でなくなった際に，SDNコントローラがオーケストレータとの連携により，拠点 2 の仮想パスを新たに確立し，拠点 2 のコンテナでもサービス提供を行うデータセンタ間をまたいだスケールア

ウトの仕組みについても実現しました．このような仕組みを用いることで，

サービスの急激な需要増加に対して，軽量なコンテナによる迅速なサービスのスケールアウトをデータセンタをまたいで実現し，新たなデータセンタに必要となるネットワークのパスも伝送レイヤからIPレイヤまでオンデマンドで確立することができるため，変化に強く経済的なネットワークサービスを提供することができます．

今後の展開今回のマルチレイヤSDN制御技術の

技術検証を踏まえて，5G時代のネットワークを支えるIPレイヤ ・ 伝送レイヤの基盤技術として，今後さらに必要となる技術の確立を進めていきます．

■参考文献（1） P. Berde, M. Gerola, J. Hart, Y. Higuchi, M.

Kobayashi, T. Koide, B. Lantz, B. O'Connor, P. Radoslavov, W. Snow, and G. M. Parulkar：“ONOS: Towards an open, distributed SDN OS，” Proc. of HotSDN 20１4，pp.１- 6 ，Chicago，U.S.A.，August 20１4．

（2） B. Collings：“New Devices Enabling Software-De f i n e d Op t i c a l Ne two r k s，” IEEE Communication Magazine，Vol.51，No.3，pp.66-7１，20１3．

SDNコントローラ

拠点２

統合制御

拠点3

拠点4

ROADMリング

ROADMリング

コンテナ型サービス提供

サーバ

ルータ

サーバ

ルータ

トランスポンダ トランスポンダ

光スイッチ 光スイッチ

コンテナ コンテナ コンテナ コンテナ

光スイッチ 光スイッチ 光スイッチ 光スイッチ

IPレイヤの経路制御（Segment Routing）

伝送レイヤの経路制御（光スイッチ）

Disaggregation型ROADM②（route-and-select）Disaggregation型ROADM①

（broadcast-and-select）

拠点１

図 5 　技術検証のネットワーク構成

（左から） 安川 正祥/ 平田 義幸/ 東條 琢也/ 岡田 真悟

　5G時代に向けてSDN制御によるネットワークの高度化に今後も取り組んでいきます．

◆問い合わせ先NTTネットワーク基盤技術研究所 ネットワークアーキテクチャ 技術革新SEプロジェクトTEL 0422-59-3431FAX 0422-59-6364E-mail　tojo.takuya lab.ntt.co.jp

＊4 broadcast-and-select型：光の送信側においてスプリッタを用いて全方路に光信号のブロードキャストを行い，受信側で光スイッチにより通過させる波長の選択を行うタイプ．

＊5 route-and-select型：光の送信側において光スイッチを用いて方路を選択し，受信側でも光スイッチにより通過させる波長の選択を行うタイプ．