HPC（ハイパフォーマンスコンピューティング）入門 第2回 くろちんトーク 「破：HPC on Azureを作ろう！」（仮） なのか「VRTX裏話」になるのかこうご期待』 わんくま 大阪勉強会#57 2013年12月14日 黒田 幸智

High Performance Computing

Microsoft Windows

HPC

HPC（ハイパフォーマンスコンピューティング）入門

序：HPCクラスターを作ろう！まずはオンプレで

2013/06/01

前回での トーク

本日のアジェンダ

自己紹介とかHPCとAzureとか

Azureに接続するためには MVPサミット2013行ってきたよ。 DELL VRTXとは。

3

自己紹介とかHPCとAzureとか

自己紹介 「株式会社ニュージェック」 情報システムグループに勤務。 HPCに関してはおしゃべりしてもいいけど、 「個人的な見解は会社には帰属してません。」（呪文） 現在、Microsoft MVP 「Windows Azure Administration」 として静かに活動中。 ・FaceBook は本名の「黒田幸智」です。 WEBsite http://kurodayk.wordpress.com/ 5

お祝いの言葉

前略 日本マイクロソフトさま Azure 日本データセンター設立 おめでとうございます。

6

Windows Azure の最新ネタを・・

HdInsight （Microsoft Hadoop）のサービスイン （12月） PowerPivot、Power View、およびその他の Microsoft BI ツールで Hadoop データを分析可能。 Oracle DB 仕込みの仮想マシンの提供（10月）

Windows Server 2012 R2版仮想マシンの提供（10月）

Visual Studio Online（Preview）☆

Windows HPC の最新ネタを・・

HdInsight （Microsoft Hadoop）のサービスイン （12月） 裏方でHPCクラスターが動作しているんですよ。 HPC pack 2012 SP1 提供開始（9月） 同時に、2012版で提供のなかった『Lizard（Linpack）』提供

Windows Azure でHPCに使える高性能仮想マシン計画中。

MicrosoftのHPC製品

フルWindowsで利用できる純正HPC製品

Windows OSに 「HPC Pack 2012 SP1」

（ダウンロードセンターで提供）

をインストールするだけ。 Windows Azure 連携！

無料

9

R2は 公式非対応

スパコンイベント “SC12” で 2012 年 11 月版発表 (年 2 回発表)

Windows Azure は 151.3 TFLOPS (効率 90.2%) で 165

位 (全 500 システム中)

2013 年 6 月版では 241 位 どんどん新しいスパコンがランクインしてくるので…ごにょごにょ

10

【注意】まだ、 従来VMですよ

Azureに接続するためには

AzureとのVPN接続について

Azureとの通信にはVPN接続が必要

OnPremise （事業所）

Windows Azure

インターネット

OnPremiseとAzureの接続形態

検証用など 一台のPCとAzureとの接続 （Local ComputerとAzure）

運用環境 HWルーター（VPNルーター）とAzureの接続

（１）Windows Azure は、唯一のデフォルトゲートウェイVM 以外は、外部と通信できない閉鎖空間である。 （２）事業所（オンプレ）は、セキュリティー確保のため 外部に直接接続できない。

【解決方法】

二つの塊間を、VPNトンネリングで結ぶ。

VPNトンネリング ＜参考＞ http://www.infraexpert.com/study/ipsec2.html

Azure は IPsecトンネリング

接続の概念図

OnPremise （事業所） ネットワーク

GWセグメント

セグメント１

セグメント２

GW-IPアドレス

GW-IPアドレス

暗号化通信について すこし復習しましょう

PKI（公開キー基盤）とは

共通キー暗号化方式 同じ鍵を使う。

公開キー暗号化方式 対になる二つの鍵を使う。

原則！公開キーしか表に出さない

どの手続きでも、「公開鍵」しか表に出さない！

秘密鍵は、何があっても秘密にする。

共通キー暗号化

双方で同じ鍵を使って、暗号化・複号化を行う。

特徴＝暗号化・複合化の際の負荷が小さくできる。 この方式だけだと安全性確保が容易ではない。

共通鍵 共通鍵

暗号化 複号化

電子署名

文書（データ）と暗号化された文書のハッシュ値

ハッシュ値

文書（データ）

送付主の秘密鍵で暗号化した文書のハッシュ値

電子署名（デジタル署名）

ハッシュ値A

文書（データ）

ハッシュ関数

送り主の 秘密鍵 送り主の

公開鍵

ハッシュ値A

ハッシュ関数

ハッシュ値B

ハッシュ値A ハッシュ値B

一致すれば、 ・伝送経路上でデータが改ざんされていない。 ・送信者が正しい

公開鍵を渡す

送り主の 公開鍵

送り主の 情報

署名付き公開鍵

署名付き公開鍵

公的認証局

確認！

・認証局は「信頼の基盤」 ・良い署名は、費用がかかる。

HTTPSについて

くろちん

くろちんの 秘密鍵

のぶくん

のぶくんの 秘密鍵

くろちんの公開鍵 のぶくん

の公開鍵

くろちんの セッション鍵

のぶくんの セッション鍵

くろちんの セッション鍵で暗号化

のぶくんの セッション鍵で暗号化

ここが重要！

電子署名をつけて、公開鍵を渡す。

公開鍵（データ）と、公開鍵のハッシュ値を暗号化したデータ

ハッシュ値

公開鍵（データ）

送付主の公開鍵を、 認証局に署名して もらっている。

署名付き公開鍵

オレオレ証明書について

くろちん

くろちんの 秘密鍵

のぶくん

のぶくんの 秘密鍵

署名付き公開鍵

くろちんの公開鍵

ハッシュ値

認証局なしで、自分で署名している。 （デバイス管理などのケース）

＜重要＞

この辺は試験に出ます。

・ＩＰＡ 「情報処理資格者試験」 ・マイクロソフト認定プログラム (MCP) ・・・・

Azureに接続するためには

AzureとのVPN接続をする

OnPremiseとAzureの接続形態

検証用など 一台のPCとAzureとの接続 （Local ComputerとAzure）

運用環境 HWルーター（VPNルーター）とAzureの接続

運用環境 HWルーター（VPNルーター）とAzureの接続の場合

１．前提条件の整理 ・オンプレ側固定グローバルアドレスやオンプレ内部情報 ・Azure側に設計するネットワークサブネット情報 など ２．Windows Azure での作業 ①仮想ネットワークの作成 ②仮想ネットワークにサブネットを追加 ③ローカル ネットワークの作成 ④ゲートウェイ サブネットの追加 ⑤ゲートウェイの作成 ・・・・で進めて行きます。

参考URL http://msdn.microsoft.com/ja-jp/windowsazure/jj945300.aspx

前提条件

今回は検証用として 一台のPCとAzureとの接続（Local ComputerとAzure）

Azure管理ポータルから、 仮想ネットワークの作成を行います。（今回省略） 以降の鍵交換作業を行って、VPN通信の準備をします。

MMCコンソール起動

・「証明書」 スナップインを追加 ・コンピューター アカウント ・ローカルコンピューター

「個人」 －「証明書」から コンピューター エクスポート .cer ファイル

「個人」 －「証明書」から コンピューター エクスポート .PFX ファイル （秘密キー）

MMCコンソール起動

・「証明書」 スナップインを追加 ・ユーザーアカウント

「個人」 －「証明書」から ユーザーへ エクスポートした .PFX ファイル （秘密キー）を インポート

.cer を Azure管理ポータルに 登録する。

.cer（自己証明書）をアップロードして IPsec通信が成立するようにする。

手順として少し荒っぽいです。すいません。

誤りがあったら、そっと教えてください。

後日、私のWEBSITEにしっかりした手順書を公開します。

“cer”はcertificateの意味で、

主に自己証明書（ルート証明書）に使用。

証明書の内容は直接視可。

“pfx”はマイクロソフトの電子証明書の規格。

cer形式の電子証明書とRC2方式で暗号化した秘密鍵が

パッケージされたもの。

パスワードで保護されている。

＜予告＞次回こそAzureでVMとHPC

MVPサミット2013行ってきたよ。 Microsoft MVP Program について

MVP Global Summit 2013（春・秋）

Microsoft MVP Program について

MVPになると・・・（特典）

① Visual Studio Ultimate with MSDN または Visual Studio Premium with MSDN のライセンスが付与

② MVPとの交流会（日本及びUS)

・MVP Open Day （品川で日本人対象） ・MVP Global Summit （US本国にて世界大会）

③ その他 多くの特典

で、行ってきました。 MVP Global Summit 2013（春・秋）

MVP Global Summit

セッション会場（Hyatt ）

セッション（缶詰）

ちゃんとお勉強するとご褒美も！

観光名所１（Microsoft Shop）

この日はMVPが、 Surface 2 買いに来てました。ww

当然、日本人もいました。

観光名所２（Campany Store at Cambus）

お楽しみ（パーティー）

まとめ

とにかく、人との交流が一気に広がる。 世界中のスペシャルな人々とテクノロジについて交流する機会が増える。

人によっては性格が変わる。 英語やってみようかな？と錯覚する。 ・・・・

・・・目指さないと損です。 自薦でも他薦でもＯＫ！

DELL VRTXとは。

11月15日 DELLセミナーにて（超概要）

4台のブレードサーバー

MAX25本のディスク

８Portハブ 4つの電源装置 100･200V

iDRAC コネクタ

接続ポイント 電源４口 LAN３口

従来のCluster of Workstation構成にてDELL社最小サイズのワークステーション「Precision T1700 SFF」を36Uラックにフル搭載した場合とVRTXを1セット搭載した場合を比較。

ラック搭載時の集積密度

57

ラックを横向きに配置し、高さ7U＋αを考慮した場合、最大搭載数は21台。

Precision T1700 PowerEdge VRTX

ラックマウントシャーシにすると5U分のスペース。

Optiplex 9020 USFF、Precision T1700 SFF、PowerEdge VRTXの構成について比較。

ラック搭載時の重量及び消費電力など

9020 USFF T1700 SFF VRTX

1台あたりのスペック

CPUタイプ Core i7-4770 1ソケット4コア

Intel Xeon E3-1245 1ソケット4コア

Intel Xeon E5-2680 （2ソケット16コア）

×4ブレード

寸法/重量 23.7 cm x 6.5 cm x 24.0 cm / 3.3 kg

29.0 cm x 9.26 cm x 31.2 cm / 5.3kg

21.9 cm x 48.2 cm x 73.0 cm / 68.7 kg

消費電力 200W 140W 2269W

台数 21 21 1

総コア数 84コア 84コア 64コア

総重量 69.3 kg 111.3kg 68.7 kg

総消費電力 4200W 2940W 2269W

前頁検討例＝36U搭載可能台数で比較。

高密度集約

CASE Name Core Best GFlops

Peak GFlops

Efficiency %

1 Dell Optiplex 780 Core2 Quad X 4nodes

16

143.6

191.5

74.99

2 Dell Optiplex 780 Core2 Quad X 16nodes

64

496.5

765.6

64.82

3 Dell Optiplex 980 Core i7 X 8nodes

32

280.6

749.3

37.45

VRTX - 4 Blades

64

536.6

1382.4

38.82

比較用 Lizardスコア（2013･10）

GX780 Core2

GX980 Core i7

CASE Name Core Best GFlops

Peak GFlops

Efficiency %

1 VRTX - 1 Blade 16 119.6 345.6 34.61 2 VRTX - 4 Blades 64 536.6 1382.4 38.82 3 VRTX - 2台 – 8Blades 128 756.1 2764.8 27.35 4 VRTX – 2Blade + 2Blades 64 444.9 1382.4 32.18

5 PowerEdge R620(32) 16 159.6 371.2 43.00 6 VRTX + R620 80 436.6 1753.6 24.90

VRTX でのLizardスコア（2013･10）

VRTX

R620

16, 119.6

64, 536.6

128, 756.1

64, 444.9

16, 159.6

80, 436.6

0

100

200

300

400

500

600

700

800

0 20 40 60 80 100 120 140

Lizard Score

CPU Cores

GFlops

VRTX Full

VRTX ﾊﾟﾗﾚﾙ

VRTX Dual

VRTX single

R620

VRTX +R620

VRTX

VRTX と書いて「ばーてっくす」

と読みます。

Windows HPC on Azure 混合環境：オンプレミスとクラウド

On-premise

RDB

Blobs

• 計算リソースが不足した際、クラウドを活用

• 利用した分だけ課金.

• 動的にオンプレミスと クラウドのリソースを調整 Azure

Compute Nodes

Desktops HPC Head Node

Broker Node

Worker/Web Role

Worker/Web Role

Worker/Web Role

64

オンプレミス＋クラウド＝ハイブリッド

65

はい、スベりました。（笑）

今後の活動・・・

わんくま同盟大阪勉強会（2014年未明）にて

『Q：Windows AzureでHPCを作ろう！２』 Windows Azure 上に、HPC計算ノードを構築します。 まなべさん、ださせて～～～～（笑）

67

おまけ

おまけ：他国の強者

USおみやげ

おみやげ

おわり