MVP : 阿部 直樹

Windows Server 2012 における ネットワークインフラストラクチャ アップデート

• 氏名：阿部 直樹 • 会社：エディフィストラーニング株式会社 • マイクロソフト認定トレーナーとしてActive Directory、Network、Security、Hyper-V、Clusterなどのコースを担当

• MVP：Virtual Machine • Blog：MCTの憂鬱

http://naonao71.wordpress.com/

自己紹介

• ネットワークの新機能 • パフォーマンス • 仮想環境 • 管理

アジェンダ

ネットワークの新機能

RDMA SMB3.0 LBFO QoS RSS

RSC VMQ SR-IOV Private VLAN DCTCP

CDN DCB GRE IPsecTOv2 for VMs

ネットワークパフォーマンス

100M 1G 10G Network Speed

CPU

Network I/O 効率の向上

100M

1G 10G

高負荷なネットワークやアプリケーション

低遅延

ネットワークの最適化

Receive-Side Scaling (RSS)

TCP Chimney Offload

NetDMA

TCP/IP Offload Receive Segment Coalescing(RSC)

Jumbo Frame

CPUからNICに対するオフロードや効率的な処理

Scalable Networking Pack (SNP)

RSS

Network Data マルチCPUおよびマルチコアCPUを 利用している場合、TCP の受信処理を複数のコアに分散するテクノロジー

RSSが機能していない状態では、 たとえマルチCPUであっても、TCPの 受信処理は単一のコアで行われるので、特定のコアのみに処理が集中されるという課題があった

Windows Server 2012 の NIC チーミング対応

TCP Chimney Offload

TCPに関するネットワーク処理をNICで行うことにより、コンピューターのCPUの負荷を軽減するテクノロジー

一般的に、 TCP ポート番号、TCP シーケンス番号、TCP ACK 番号、TCP チェックサムの確認など TCP 通信に必要な情報の処理、送信データの分割、受信パケットの再構築、再送処理など

TCP Network Data

VM では使用不可 Windows Server 2012 の NIC チーミング非対応

NetDMA

ネットワークの受信データをネットワーク アダプターの受信バッファーから アプリケーションのバッファーへコピーする作業をCPU によって行うのではなく、チップセットを含むシステム全体が連携し、Direct Memory Access機能により行うためのテクノロジー

Intel I/O Acceleration Technology (I/OAT) NetDMAと一緒にTCP Chimney Offloadを使用することはできない。ハードウェアサポートおよび設定が両方とも有効になっていた場合はTCP Chimney Offloadが優先される

Windows Server 2012 では使用不可

TCP/IP Offload

TCP/IP Network Checksum tasks

パケットのチェックサム計算処理 IPsec Offload Version 1,2

IPSec 計算処理 Large Send Offload Version 1,2

データをネットワークフレームにセグメント化する機能

Connection Offload 適切なTCP/IPコネクションを選択

RSC

大量のネットワークI/Oトラフィックを処理する際のオーバーヘッドを削減する

具体的には複数の受信パケットをまとめて1つのパケットにして処理回数を減らす

A 処理

処理 B C 処

理

A B C 処理

Jumbo Frame

パケットのフレームサイズを拡大し、データ転送の効率を上げる

イーサネットMTU1500byte 多くの場合9Kまで対応 Gbit以上のネットワークで使用

メリット 処理オーバーヘッドの削減 フラグメント化の減少 割り込み処理回数の削減

A

A

SMB3.0

ファイル共有に接続するための プロトコル

Windows Server 2008 と Windows Vista は SMB 2

Windows Server 2008 R2 と Windows 7 は SMB 2.1

Windows Server 2012 と Windows 8 は SMB 3.0

透過フェールオーバー マルチチャンネル ダイレクト パフォーマンスカウンター パフォーマンスの最適化 PowerShell での管理 リモートファイル記憶域 ファイルサーバーのVSS スケールアウトファイルサーバー 記憶域の可用性とパフォーマンス

SMB 3.0 機能強化 SMB (Sever Message Block)

マルチチャンネル • SMB 3.0 を使用しているクライアント、サーバー間で複数パスが 利用できる場合、ネットワーク帯域幅の集約およびネットワーク フォールトトレランスを実現できる

ダイレクト

SMB3.0クライアント SMB3.0サーバー

アプリケーション

SMB3.0クライアント

SMB3.0サーバー

RDMAサポート付のネットワーク

RDMAサポート付のネットワーク

NTFS SCSI

DISK

•ローカルディスクに匹敵するパフォーマンスを ネットワーク共有で実現できる

Remote Direct Memory Access

DMA RDMA

MEM MEM CPU

APP APP

付随テクノロジー

HW

■Infiniband：広帯域・低レイテンシのインターコネクト技術 ■iWARP (Internet Wide Area RDMA Protocol)：RDMA over TCPを実現 する通信プロトコル群の総称 ■RoCE(RDMA over Converged Ethernet)：イーサネット上でインフィニバンドベースのネイティブ RDMA 転送サービスを適用

RDMA

OS

Infiniband iWARP RoCE

NetworkDirect（API）

SMB direct

Ethernet

NIC チーミング 要件

• Windows Server 2012

• 1つまたは複数のNIC

• 全てのNICが同じ速度

• 32 NIC

• 仮想はHyper-VのNIC制限（ネイティブ8+レガシー4）

非互換

• SR-IOV（ホスト側）

• RDMA

• TCP Chimny Offload

NIC チーミングとは

複数のNICを束ねて1つのNICとして扱えるようにする技術

LBFO(Load balancing and Failover )

帯域幅を集約する（ネットワーク・トラフィックの負荷分散）

NICのフェールオーバー ホストトラフィックをVLANで分離

NIC チーミング

NIC チーミングのこれまで

ドライバーや設定ツールはHWベンダー提供

チーミングのサポートは 各HWベンダーが担当

ホストのチーミング環境 でのVLANを使用した 仮想マシンサポートは

HWベンダー次第

仮想マシンでのチーミングは不可能

VLAN ,VM and Teaming Part 1

VLAN ,VM and Teaming Part 2

VLAN ,VM and Teaming Part 3

DEMO

NIC チーミングのこれから

Windows Server 2012 からOSで提供

チーミングのサポートはマイクロソフトで

行う

ホストのチーミング 環境でのVLANを使用した仮想マシンサポート

ホストマシンおよび 仮想マシンでの

チーミングサポート

仮想環境でのネットワーク

仮想環境では物理サーバーに 仮想マシンが複数台搭載

集約率の向上 仮想マシンのネットワーク パフォーマンスが課題

VM間のネットワーク トラフィック管理 物理環境同様の

ネットワークI/Oに近づける

ハードウェア

Hyper-V アーキテクチャ 親パーティション 子パーティション 子パーティション

IHV ドライバ

VSP VSC Linux VSC

カーネル カーネル

HyperCall カーネル

Windows ハイパーバイザー

VMBus

ネットワークの流れ

Ethernet

TCP/IP TCP/IP ルーティング VLANフィルタリング データコピー

ミニポート ドライバー

Port1 Port2

仮想スイッチ

VMBus

仮想NIC 仮想NIC

NIC

親パーティション 子パーティション 子パーティション

課題

ネットワークトラフィックの増大 によるCPU 0 の負荷

ルーティング VLANフィルタリング

データコピー

仮想スイッチの負荷

VMQ

イーサネット

TCP/IP TCP/IP

ミニポート ドライバー

Port1 Port2

仮想スイッチ

VMBus

仮想NIC 仮想NIC

NIC

親パーティション 子パーティション 子パーティション

デフォルトキュー

Q1 Q2

ルーティング VLANフィルタリング データコピー

スイッチ／ルーティング ユニット

VMQの理解 VMQを使用することに よって、物理NIC上に 仮想マシンに対応した「キュー」ができる

仮想マシン専用NIC として振る舞う

NIC上でルーティングや フィルタリングを行う

仮想スイッチはデータを 仮想マシンに コピーするだけ

CPU使用率とネットワーク

負荷に基づいて動的に

CPU負荷分散する

Windows Server 2012 より

動的にCPU負荷分散 （以前は静的なCPU負荷分散）

VMQの課題

VMQは処理の多くをNIC

内のチップにオフロードし、CPUの負荷を抑える

いくつかの処理はバイパスするが、全てではないので物理マシンと同等のスピードを得られない

仮想マシンが直接NICにアクセスできれば、NIC

固有の付加価値技術を全て使える

結果的に物理マシンと同等のスピードを得られる

VT-d

チップセットに搭載される機能

• I/Oデバイス（NICなど）を仮想マシンに直接割り当てる機能

• 親パーティションの仮想スイッチ（ハイパーバイザー）をバイパスして直接物理NICにアクセス可能

VT-d

物理NICが仮想マシン に占有される

課題

VT-c

NICに搭載される3機能

• I/O Acceleration Technology（I/OAT）

• Virtual Machine Device Queues（VMDq）

• Single Root I/O Virtualization（SR-IOV）

VT-c

物理NICを仮想化する機能

• VF（Virtual Function）をNIC側に作成し、仮想マシンはVFと直接通信する

• PCI-SIGのSR-IOV規格に準拠しているのでLive Migration可能

SR-IOV

SR-IOV

Ethernet

仮想スイッチ TCP/IP TCP/IP

仮想NIC 仮想NIC

PFミニポートドライバー

親パーティション 子パーティション 子パーティション

VFミニポートドライバー

VFミニポートドライバー

PF VF VF

NIC スイッチ

NIC

QoSのサポート

最小帯域幅を使用して、各タイプのトラフィックに対して特定の帯域幅を割り当て、輻輳時にフェア シェア(公正な共有) が確保される

Hyper-V が実行されているサーバー上の仮想マシンに予想可能なネットワーク パフォーマンスを実現するサービスを提供

出力トラフィックの制御

DEMO

仮想スイッチ

仮想スイッチ

キャプチャ/モニタ拡張

フィルタ拡張

WFP拡張

フォワーディング拡張

（出）トラフィック

（入）トラフィック

■サードパーティベンダーが自由に拡張 ■フォワーディングの例 -Cisco Nexus 1000V -OpenFlow

通常の仮想スイッチ

Hyper-V Hyper-V Hyper-V

物理スイッチ

仮想スイッチ 仮想スイッチ 仮想スイッチ

NW管理者

仮想スイッチの活用

Hyper-V Hyper-V Hyper-V

物理スイッチ

仮想スイッチ 仮想スイッチ 仮想スイッチ Cisco Nexus 1000V

NW管理者

NW管理者

Port ACL

仮想スイッチに対するACL機能

Windows Server 2012 Hyper-Vよりサポート

PowerShellによる設定

構成ファイルに格納 「Ethernet Switch Port

ACL Settings」 LiveMigration対応

VMNetworkAdapterAclコマンド

Add-VMNetworkAdapterAcl Action（アクション） Allow（許可）

Deny（拒否） Meter（計測）

Direction（方向） inbound（VMへの入力方向） outbound（VMからの出力方向） Both（VMの入出力両方）

VMName（VM名） ACLを設定するVMの名前（not コンピューター名）

Address（ACL Address） Local IP Address（VMのローカルIP Address） Local MAC Address（VMのローカルMAC Address） Remote IP Address（通信対向のIP Address） Remote MAC Address（通信対向のMAC Address）

VMNetworkAdapterName VMのネットワークアダプター名

DEMO

今までの DHCP 冗長化

複数台のDHCPを用意し、それぞれ同じスコープ（スコープ分割）を作成することによって冗長性を確保 ロードバランス 必要以上のIPアドレス範囲

複数台の DHCP

MSFC上にDHCPサーバーを構築 することによって、冗長性を確保 フェールオーバー MSFCが必要

MSFC の DHCP

これからの DHCP 冗長化

複数台のDHCPを用意し、冗長性を確保 ロードバランスおよびフェールオーバーサポート

DHCP フェールオーバー

DEMO

53

Q & A