ネットワークOS野郎 ~ インフラ野郎Night 20160414

(仮)このNetwork OS野郎!!

～ネットワークOSの作り方～

海老澤健太郎＠Ponto Networks, Inc.

Twitter: @ebiken

(仮) このNetwork OS野郎!! ＠インフラ野郎Night おかわり｜ 2017/04/14 ｜海老澤健太郎＠Ponto Networks, Inc. 1


世の中には２種類の野郎がいる

（*）野郎＝ジェンダーを問わず


自作する野郎

ネットワークOS（NOS）を

自作しない野郎

自ら道具を磨き進化させる野郎与えられた道具を使い続ける野郎


「ネットワークOS」とは？

自分、「ネットワークOS」作ってるんすよ

ネットワーク処理に特化した割込とか、コアの割り当てとか、スケジューリングとか欲しくないですか？

ようやく、BIOSから起動してコンソールに文字がでるまではできたんすよね

お、楽しそう。どんなの？

？！？ (￣Д￣;)！？！？


「ネットワークOS」とは？

ネットワーク処理に特化したカーネル

（スイッチ等）ネットワーク機器を動かすドライバ・アプリの集合

サーバー vs スイッチの中身


Edge-Core AS7512-32Xhttp://www.edge-core.com/productsInfo.php?cls=1&cls2=5&cls3=68&id=129

ネットワークの専門家しか理解できない特別な機械！？

http://www.edge-core.com/productsInfo.php?cls=1&cls2=5&cls3=68&id=129


PCI express

CPUMemoryMemoryMemory

ASIC

マザーボード

Switchボード

PCI express


ASIC

FAN

LED

Sensor

NICカード

CPUボード

サーバーの中身スイッチの中身

ASIC


スイッチのパケット処理

パーサー

（ヘッダ解析）

パケット処理パイプライン

変換・転送

エンジン

OF L2 L3 ACL

マッチ・テーブル

Subnet (LPM) Gateway Port

192.168.10.0 /24 10.0.0.5 5

192.168.20.0 /24 172.16.0.1 1

... ... ...

0.0.0.0/0 172.16.0.1 1

Layer 3 table

MAC Address Port

00-00-5E-00-53-01 1

00-00-5E-00-53-02 2

00-00-5E-00-53-03 3

00-00-5E-00-53-04 4

Layer 2 Tableパケット・ヘッダを解析

テーブル検索（Match）

処理（Action）

Action

Drop / ForwardRewrite

Push / Pop


ASIC（データプレーン）の処理

PCI express


ASIC

FAN

LED

Sensorパーサー

（ヘッダ解析）

パケット処理パイプライン

変換・転送

エンジン

OF L2 L3 ACL

マッチ・テーブル

ネットワークOS


ネットワークOSの中身

PCI express


ASIC

FAN

LED

Sensor

Base OS (ex: Linux)

User Interface(CLI, Shell, REST API)

misc drivers(Fan, LED, Sensor)

ASICdriver

Protocol AgentProtocol AgentProtocol Agent（BGP, OSPF ...)

ASIC ControllerConfig Manager

ASIC SDK (API)System Manager

ネットワークOS は（いわゆる）

オペレーティングシステムではない


ネットワークOSを作る↓

ASICに処理方法を教えるアプリを作る



↓皆さんが普段関わっている技術と比較してみましょう。

むずかしくない？


Reference:(*1) https://www.theregister.co.uk/2016/03/31/intel_broadwell_ep_xeon_e5_2600_v4/(*2) https://sebastianraschka.com/faq/docs/difference-deep-and-normal-learning.html(*3) http://ssmlwf.azurewebsites.net/(*4) http://www.syuheiuda.com/?p=3972

C O M P L E X S I M P L E ☺

(*1) Broadwell EP 24 Core Arrangement (*2) MLPs : multi-layer perceptrons

(*3) Azure Cloud IoT Solution Architecture

(*4) そうだコンテナーデータセンターを作ろう

Parse -> Match -> Action

なぜ今までは作れなかったのか？

なぜ今作れるのか？


なぜ今、ネットワークOSを作れるのか？

ハードウェアの調達

ASIC SDK/APIの入手

開発リソースの確保


ネットワークOS作成のハードル



ディスアグリゲーション＝ソフト・ハード分離Google• B4 (G-Scale Network)

• データセンター間のトラフィック管理

• コントローラーからトラフィック分布を管理可能なネットワークOSの自作

• 最も初期の “SDN”のひとつ

Facebook• Wedge + FBOSS

• サーバーと同じツール・手法でネットワーク機器を運用管理可能に

• サーバーと同じハード・ソフト（OS）に、ASIC及びASIC管理ソフトを追加

Microsoft• SONiC / SAI

• 自動化ツールと統合可能なネットワークOS

• ASIC APIの標準化を提唱（SAI）

LinkedIn• Project Falco

• 問題検知・解析を可能とする統計情報などをASICから取得可能に

• 社内で迅速なバグ修正が可能に


•サーバー運用管理で培ったイノベーションをネットワークへ• Linux ベースの自動化ツール• e.g. Chef/Puppet/Ansible/CFEngine ...•時代遅れの監視・ログツールへの依存を軽減• SNMP ⇒ Kafka (pub/sub messaging for telemetry)

•バグのタイムリーな修正（自社のプライオリティに応じた）

•自社で使用しない機能に由来するバグからの脱却

•ライセンスやサポート費用のスケーラビリティ


ディスアグリゲーションの目的

ODMベンダー中心に、ハードウェア「だけ」を購入可能に



スイッチハードウェアのホワイトボックス化



ASIC SDK/API のオープン化・標準化

Base OS (ex: Linux)





System Manager

ASICdriver

ASIC SDK (API)ASICベンダーによるロックイン



ASIC SDK/API のオープン化・標準化

Broadcom Mellanox Cavium

OF-DPAOpenNSL

OpenEthernet

OpenXPS SDK/API

ASIC Broadcom Mellanox Cavium

Switch Abstraction Interface (SAI)

Data Plane Abstraction

Broadcom Mellanox Cavium

Layer 2/3 Agents(OSPF, BGP, STP, LLDP ...)

Data Plane Abstraction

SAI

Layer 2/3 Agents(OSPF, BGP, STP, LLDP ...)

Plug-in

ASIC SDK/API のオープン化 ASIC SDK/API の標準化



オープンソースNOSの登場スイッチハードウェア向けベースOSの提供

Open Network Linux

フル・ネットワークOS

OpenSwitch (Dell + SnapRoute)

制御アプリ（プロトコル・エージェント）

SnapRoute (FlexSwitch)SONiC (Microsoft)| FBOSS (Facebook)


ハードウェアの調達⇒ホワイトボックス（ODM製ハードウェア）の購入

ASIC SDK/APIの入手⇒ APIのオープン化・標準化（SAI）

開発リソースの確保⇒オープンソースなネットワークOSの登場


ネットワークOS作成のハードル（解消）

Giants以外も独自NOSを利用可能に！！

ネットワークOSの作り方スクラッチから作りたい人向けに


1. スイッチ・ハードウェアの調達

2. ベースOSの選択

3. ASIC SDK/API 入手

4. ASIC コントローラー作成

5. お好みのUI を作成

•オプション• Protocol Agent

• Config Manager


ネットワークOSの作り方（５ステップ＋オプション）

Base OS (ex: Linux)



ASICdriver



ASIC SDK (API)System Manager

スイッチ・ハードウェア


1.スイッチ・ハードウェアの調達

http://www.colfaxdirect.com/store/pc/viewPrd.asp?idproduct=3019

http://www.colfaxdirect.com/store/pc/viewPrd.asp?idproduct=3019


2.ベースOSの選択

Linux Distribution

Open Network Linux

https://opennetlinux.org/

https://opennetlinux.org/


3. ASIC SDK / API入手

Broadcom

Mellanox

Cavium

Open Ethernethttp://www.mellanox.com/open-ethernet/

OpenNSLhttps://github.com/Broadcom-Switch/OpenNSL/

OpenXPShttps://github.com/XPliant/OpenXPS


4. ASIC コントローラー作成



ASIC Controller

ASIC SDK (API)(OpenXPS as an example)

sai_create_vlan_fn() sai_create_route_fn()

SAI (Switch Abstraction Interface)xpsVlanCreate()

VLAN作成ルート作成


5.お好みのUIを作成

“REST API” <お好みの言語>

サーバー系パッケージの流用（だってLinuxだもん）

野郎は黙って「自作」

http://qiita.com/isaoshimizu/items/71dd2ca2a08ddb607e31

http://qiita.com/isaoshimizu/items/71dd2ca2a08ddb607e31

1. スイッチ・ハードウェア• Edge-Core AS7512-32X (XPliant, 100G x 32 port)

2. ベースOSの選択• 某 Linux Distribution

3. ASIC SDK/API 入手• Cavium から直接入手

4. ASIC コントローラー作成• Golangで実装

5. お好みのUI を作成• CLI: Bash Extension (JunOS like)• REST API (Golang)

• Config Manager• 自作 (Zebra2.0)

• Routing Agent• Quagga, GoBGP, Zebra 2.0• GTP対応Match/Action （ASICプロファイルをカスタマイズ）


作ってみた（PontOS）

Modular RoutingAgents

REST API(WebAPI)

User Apps

Linux shell(CLI as an

Application)

Config Broker(data store)

Modular RoutingAgents

FEA (Forwarding Engine Abstraction)

Data PathProfile

Manager

Flexible Data Plane

User Apps

Management Plane

Data Plane

Flex ASIC(XPliant etc.)

Linux KernelNetwork Stack

SmartNIC, NPU, FPGA

Native Applications

Native Applications

Native Applications

SDK(Language API)


Slides by 石黒邦宏 at ONIC Japan 2016

"Zebra 2.0 – SDN, NFV, Container時代のNetworking Softwareの設計と実装"

http://onic.jp/program-detail/#f07

http://www.pontonetworks.com/

LocationsHead Quater

San Diego (USA)Development

Tokyo (Japan) + San Jose (USA)

InvestorsEx-exectutives of Internet and Mobile industry.


Ponto Networks, Inc.

http://www.pontonetworks.com/

• プログラマブルなデータプレーンでできる事• パーサーやマッチ/アクションのカスタマイズ⇒新しいプロトコルをASICで処理• テーブル設計のカスタマイズ⇒ リソースの有効活用⇒スケーラビリティの向上

• アプリケーション：• GTPなど、モバイル分野でのコモディティ機器の利用• In-band Network Telemetry • パケットのふるまいを実トラフィックで観測

• AT&T exploited the programmability of the chip to add In-band Network Telemetry (INT).• https://www.sdxcentral.com/articles/news/att-picks-barefoot-networks-programmable-switches

• Tbps級のLBを数百万円のハードで実現

• 参考："OPEN NETWORKING" に向けたManagement / Data Plane の動向• ENOG#41＠佐渡• https://www.slideshare.net/kentaroebisawa/open-networking-management-data-plane


プログラマブル・データプレーンの世界

https://www.sdxcentral.com/articles/news/att-picks-barefoot-networks-programmable-switches

https://www.slideshare.net/kentaroebisawa/open-networking-management-data-plane

ネットワークOSを取り巻く環境（まとめ）つくった感想


• ASICドライバやSDKはソースコードでは公開されていない⇒対応してないモデルやOS(Kernel)も。


現状の課題

• オープンソースはネットワークOSの一部分⇒ SONiC, FBOSS, SnapRoute

• SAIだけでは実現できない機能も⇒ ACL, Match/Action Rules, MPLS etc.

• Full NOS としての OpenSwitch の今後に期待

⇒ HPE -> Dell/SnapRoute 12月に移行開始

• 活発な機能追加提案進行中⇒ “SAI: Releasing the Potential of Switch ASIC”

OCP2017 Slide (*)

(*) http://www.opencompute.org/wiki/Networking/Summit-2017-03#0930_-_SAI:_Releasing_the_Potential_of_Switch_ASIC

http://www.opencompute.org/wiki/Networking/Summit-2017-03#0930_-_SAI:_Releasing_the_Potential_of_Switch_ASIC

ネットワークOSを取り巻く環境（まとめ）


ネットワークOSを作るためのパーツはそろった！！

オープンなハードウェアオープンな ASIC API/SDKオープンなネットワークOS

（サーバーのように）ネットワーク機器（ASIC）上で

自分のアプリを開発できる時代に！


世の中には２種類の野郎がいる

（*）野郎＝ジェンダーを問わず


自作する野郎

ネットワークOS（NOS）を

自作しない野郎

自ら道具を磨き進化させる野郎与えられた道具を使い続ける野郎

ネットワークOS野郎 ~ インフラ野郎Night 20160414

Technology

Transcript of ネットワークOS野郎 ~ インフラ野郎Night 20160414