Simulations on AWS · © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved....

© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

アマゾンウェブサービスジャパン株式会社ソリューションアーキテクト奥野友哉 ([email protected])

2020/08/07

Simulations on AWS

AWS Autotech Forum 2020 Online #1


自己紹介

奥野友哉

Tomoya Okuno

• 経歴

• 燃焼の研究

• AWS の Solutions Architectで自動車業界のお客様を担当

• 好きな方程式

• Kuramoto-Sivashinsky Equation


本セッションの対象者とゴール

対象者

• 新たなハードやソフトの研究・開発においてシミュレーション環境を構築・利用するエンジニア

• 車体・パワートレイン、センサー、自動運転用アルゴリズム、コネクテッドカーバックエンドシステムなど

ゴール

• AWS でシミュレーション環境を構築するメリットとその際に利用できるサービスについて知っていただく

• AWSでシミュレーション環境の構築を加速・簡便化できるソリューションについて知っていただく


目次

1. はじめに

2. AWSが提供する関連サービスのご紹介

3. ベンチマークのご紹介

4. よくある質問とその回答

5. クラウド活用事例のご紹介

6. シミュレーション環境の構築を効率化するソリューション紹介

7. まとめ


新時代におけるクルマ

モビリティサービスのためのクルマ

• サービスに特化したハードウェア• サービスに特化したソフトウェア

• 多目的に活用可能な汎用車両• サービスを輸送


モビリティサービスに向けた車両開発の流れ

サービス提供とサービス改善

企画・サービス設計

ハード・ソフト設計開発

生産・流通

ハードおよび車載ソフトの設計・開発・検証

バックエンドシステムの設計・開発・検証

生産計画策定

製造ラインの運用と最適化

部品管理

SCMとその最適化

計画的保守

OTA

テレメトリと搭乗者情報取得

寿命予測

マッチング

配送経路最適化

レコメンデーション

市場調査と分析

需要創出と検証

サービス企画・構想



サービス提供とサービス改善



生産・流通



生産計画策定


部品管理


計画的保守

OTA


寿命予測

マッチング






多くのプロセスにおいてシミュレーションによる検証が必要


シミュレーションにおける課題

72.8%生産性の低下と結果取得までの長期化

の組織はジョブの遅延やキャンセルが報告されています*

イノベーションの損失

自由に実験をするリソース的・時間的な余裕がなく、新たな発見にもつながりにくくなり、機会損失へ

技術の陳腐化

新たな技術の先進性が保たれる期間の 20%が調達プロセスに消費

技術的負債

新たなアルゴリズムを既存のインフラで活用を考える流れになり、低パフォーマンスな環境の流用に


クラウドを用いたシミュレーション

2

2 2

4

2

1

1

3

7

7

4

9

5

7

6 6

77

4

8

4

Co

res

8

2

1

9

5

4

53

12

3

6

1

9

4

8

1

2

8

7

7

6

データセンターのキャパシティ制限

Co

res

限られた容量、長いキューが存在結果取得の時間を短縮したい場合は、大量のキャパシティを利用可能

新たな取り組み用途に追加のハードウェアやソフトウェアもすぐに利用可能


Simulations on AWS

上限のないインフラでオンプレミスでは実行不可能なスケーラビリティと柔軟性

要件と規模に合わせて自由にリソースが選択でき、コスト最適化も可能

最新の技術にアクセス可能で、時間のかかる調達サイクルを回す必要もなく、設備コストもない

ROI の向上

結果の取得への

時間短縮

オンデマンドですぐに利用可能なコンピュート


従来の環境

社内サーバルーム orデータセンター環境

sshアクセス

ログインノード

計算ノード

ライセンスサーバ

NFSサーバ

Internet VPNor

専用線

自社オフィス環境

ssh端末で操作。データは scpで転送


自社オフィス環境

SSH/SCP

ログインノード

計算ノード

ライセンスサーバ

マスターサーバNFSサーバ

InternetVPN / 専用線

AWS クラウド環境

AWSでも同等のシステム構成を作成可能


幅広いパートナーエコシステム

アプリケーションパートナー

インフラストラクチャパートナー

テクノロジーパートナー

コンサルティングパートナー


AWSが提供する関連サービスのご紹介


AWS における High Performance Computing(HPC) 関連サービス

Amazon EC2

Enhanced Networking

Placement Group

Elastic Fabric Adapter

Amazon AppStream 2.0

NICE-DCV

NVIDIA Tesla V100

EC2

AWS ParallelCluster

AWS Batch

AWS HPC

AWS Batch SGE

SR-IOV CPU

libfabric

MPI

Xilinx Virtex

UltraScale+

100 Gbps

GPU

FSx for Lustre

S3


最も幅広く・深いラインアップ

カテゴリ機能オプション

(AWS, Intel, AMD)

(up to 4.0 GHz)

(up to 12 TiB)

(HDD and NVMe)

(up to 100 Gbps)

(GPUs and FPGA)

(Nano to 32xlarge)

+ + =

270+ インスタンスタイプ

NEW

NEW


EC2のシステム基盤 (AWS Nitro System)

独自のハードウェア/Hypervisorにより最適化された性能を提供

C5,M5,R5など最新のインスタンスは、EC2ソフトウェアスタック全体を専用ハードウェアへオフロード

最適化されたバージョンのLinux KVM をベースにした完全に新しいEC2 Hypervisor(C4,M4,R4より前はXenベースのHypervisorを使用)

Nit

ro

Syst

em


EC2で選択できるCPUとアーキテクチャ

アプリケーションとワークロードに応じた

プロセッサの柔軟な選択肢※一部提供されていないリージョンがあります

ほかにも様々なプロセッサの選択肢

AWS Graviton2(64-bit Armアーキテクチャ)

AMD EPYC Processor

NVIDIA GPU Xilinx FPGA


64bit ARM ベースのプロセッサ：AWS Graviton2

• AWSが独自に設計したArm ベースのプロセッサ

• 64 コア (Arm Neoverse N1コア)、Arm v8.2準拠

• No SMT・No NUMA

• 64KB L1 D/I、1MB L2キャッシュ / vCPU、32MB LLC

• 64コア間は ~2TB/s メッシュ型インタコネクトで接続

• 8 x DDR-3200チャネル (> 200GB/s)

• インスタンス上のDRAMメモリの内容はAES-256で暗号化

• 暗号鍵はインスタンス起動時に生成、起動インスタンス以外からメモリを読み取ることは不可

• PCIe Gen4 64レーン搭載

• Amazon EC2 A1インスタンスに搭載された初代Gravitonプロセッサと比較し、4倍のコア数、７倍の性能、5倍のメモリ帯域、~2倍のvCPU当たりの性能

7nmプロセスによるAWS独自設計プロセッサhttps://aws.amazon.com/jp/ec2/graviton/

https://aws.amazon.com/jp/ec2/graviton/?hp=r


シミュレーションでよく利用されるインスタンスの種類C5、C5n: 最大3.6 GHzのカスタムなインテルXeonスケーラブルプロセッサを搭載し(Skylake-CP/Cascade lake) 、CPUインテンシティブな計算に最適

P3、P3dn: NVIDIA Tesla V100 GPU を最大 8 つ提供し、NVLinkもサポート。GPUを利用するワークロードに利用。

I3、I3en: 高速SSDを搭載し、I/Oインテンシブな計算に利用

R5、X1: メモリ/コア比率が高く、プロセスあたりのメモリ要求が高い場合や、大容量メモリが必要な場合に利用

Z1d: クラウド最速の最大4.0 GHzのカスタムIntel Xeonスケーラブルプロセッサを搭載し、さらに高いクロック周波数が必要な場合に利用


EC2の高性能ネットワーク機能

•

•

•

•

•

•

http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/enhanced-networking.html

http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/enhanced-networking.html


HPC software stack in Amazon EC2

Userspace

Kernel

Without EFA With EFA


libfabric の構成

https://ofiwg.github.io/libfabric/

https://ofiwg.github.io/libfabric/


SRD: Scalable Reliable Datagram

•

•

•

•

•

•

•

•

https://www.openfabrics.org/wp-content/uploads/2019-workshop-presentations/205_RRaja.pdf

https://www.openfabrics.org/wp-content/uploads/2019-workshop-presentations/205_RRaja.pdf


高速ファイルシステム -Amazon FSx for Lustre-

Lustreは多くのスーパーコンピュータで利用される高性能な分散ファイルシステム

オープンソース分散ファイルシステム 15年以上の実績Top100スーパーコンピュータの60%が使用

ただし、分散ファイルシステムの構築・運用には多大な労力がかかる

FSx for Lustre ではフルマネージドサービスとして提供することで管理コストを低減、気軽に利用が可能


用途やコストにあわせて選べるストレージサービスのラインナップ

ブロックストレージ

ファイルストレージ

オブジェクトストレージ

Amazon EBS Amazon EFS Amazon S3

単一のEC2にアタッチして

利用する高性能でスケーラブルなブロックストレージ

ペタバイトクラスまで対応可能な複数のサーバーでデータ共有利用ができる

NFSファイルシステム

拡張性と耐久性を兼ね揃え、安価に利用ができるクラウドストレージ

© 2020, Amazon Web Services, Inc. or its Affiliates.

データ分析・機械学習: Amazon SageMaker

• 「本質的ではない」処理を AWS が担当し、お客様は本来のワークロードにより集中できるようになる

• 数分で開発環境を起動でき、学習、推論環境は柔軟にスケール

1. データラベリング 2. モデル開発 3. モデル学習 4. デプロイと推論

© 2020, Amazon Web Services, Inc. or its Affiliates.

Jupyter ノートブックインスタンスでの開発

• Jupyterで対話的に処理可能

• 前処理に便利なNumpy, Pandas などのパッケージがプリインストール済み

• 前処理用に、EMRといった他のサービスを呼び出すことも可能


計算からデータ分析までのアーキテクチャ例

qsub job.sh

Auto Scaling group

qsub job.sh

データ分析

パラメータ生成最適化

ジョブ投入

ジョブ投入

ヘッドノード

Amazon SageMaker

Amazon FSx for Lustre Amazon S3

分析用のデータセットの取得

分析用のデータ保存

計算結果のデータ保存


ベンチマーク結果


0

2000

4000

6000

8000

10000

12000

EC2 MPI multi-stream bandwidth

C3 C4 C5 C5n EFA

EFAを利用した場合のスループットとレイテンシ

0

10

20

30

40

50

60

C3 C4 C5 C5n EFA

EC2 MPI Latency[MB/s] [μsec]

Window Size


密結合ワークロードでのパフォーマンス

https://www.slideshare.net/insideHPC/navgem-on-the-cloud-computational-

evaluation-of-cloud-hpc-with-a-global-atmospheric-model

https://aws.amazon.com/blogs/compute/r

unning-simcenter-star-ccm-on-aws/

Star-CCM+ with EFA U.S. Navy Research 高解像気象シミュレーション

https://www.slideshare.net/insideHPC/navgem-on-the-cloud-computational-evaluation-of-cloud-hpc-with-a-global-atmospheric-model

https://aws.amazon.com/blogs/compute/running-simcenter-star-ccm-on-aws/


Descartes Labs による Top500 ノミネート

https://medium.com/descarteslabs-team/thunder-from-the-cloud-40-000-cores-running-in-concert-on-aws-

bf1610679978

Amazon EC2 C5インスタンスを使用したクラスタで約2PFLOPSのLINPACK性能を達成

・Top500(2019/06)で136位にランクイン・41,472コア(Xeon Skylake 3.0GHz)利用・2.6h稼働、コストは約$5,000で実現

https://medium.com/descarteslabs-team/thunder-from-the-cloud-40-000-cores-running-in-concert-on-aws-bf1610679978


クラウド活用事例https://aws.amazon.com/jp/hpc/customers/?nc1=h_ls

https://aws.amazon.com/jp/hpc/customers/?nc1=h_ls



サービス提供と改善



生産・販売



生産計画策定


部品管理


計画的保守


寿命予測

マッチング







F1 の事例 (re:Invent 2019より)

https://aws.amazon.com/jp/f1/next-generation-f1-race-car/

https://www.youtube.com/watch?v=GPUWATKe15E

• 2021 年用の車体デザインを決定するため、前後で走行する2台の車体周りの乱流シミュレーションをOpenFOAMで実施

• 最大2300コア、格子点数は5億5000万個、総計算時間の合計は12,000時間

• 平均計算時間を60時間から18時間へ70%削減

• 検証できる車体デザインが1個/週から5個/週に

• 前方車両の後方で走っている車体がダウンフォースの低下を50%から15%へ低減するように、Amazon SageMakerを用いて最適化を実施

https://aws.amazon.com/jp/f1/next-generation-f1-race-car/

https://www.youtube.com/watch?v=GPUWATKe15E


• シミュレーションと開発サイクル短縮のため、Altair ultraFluidXを用いたPoCを実施

• NVIDIA V100 GPUを8枚搭載したp3.16xlargeインスタンスを10台使用したクラスタで処理

• 100回のシミュレーション実行からなる2回のDoEサイクルを実行、それぞれ5営業日以内で処理を完了

• 従来のCPUベースのソルバーと比較して最大70%のハードウェアコスト削減が見込まれる

Volkswagen Group ResearchAltair ultraFluidXを使用した車両の空力シミュレーションをAWS上で実行

https://aws.amazon.com/jp/partners/success/volkswagen-ag-altair/

https://aws.amazon.com/jp/partners/success/volkswagen-ag-altair/


Mobileye の事例 (re:Invent 2019より)

https://aws.amazon.com/jp/events/events-content/?cards.q=mobileye&cards.q_operator=AND

https://aws.amazon.com/jp/events/events-content/?cards.q=mobileye&cards.q_operator=AND


Uber の事例 (re:Invent 2019より)

https://d1.awsstatic.com/events/reinvent/2019/REPEAT_1_How_Uber_builds_efficient_

&_scalable_autonomous_vehicle_simulations_with_AWS_Batch_CMP328-R1.pdf

https://d1.awsstatic.com/events/reinvent/2019/REPEAT_1_How_Uber_builds_efficient_&_scalable_autonomous_vehicle_simulations_with_AWS_Batch_CMP328-R1.pdf


他業界での活用例も多くあります

https://www.nature.com/articles/s41588-018-0153-5

https://aws.amazon.com/jp/blogs/aws/saving-koalas-using-genomics-research-and-cloud-

computing/

https://aws.amazon.com/jp/blogs/news/western-digital-hdd-simulation-

at-cloud-scale-2-5-million-hpc-tasks-40k-ec2-spot-instances/

https://www.nature.com/articles/s41588-018-0153-5

https://aws.amazon.com/jp/blogs/aws/saving-koalas-using-genomics-research-and-cloud-computing/

https://aws.amazon.com/jp/blogs/news/western-digital-hdd-simulation-at-cloud-scale-2-5-million-hpc-tasks-40k-ec2-spot-instances/


HPC Wire Awards 2019 @ SC19 Best HPC Cloud Platform

• Readers’ Choice: Amazon Web Services

Best Use of HPC in the Cloud

• Readers’ Choice: Using AWS, the Ocean Conservancy performed over 75 50-year

ocean simulations to understand stressors on the ocean and the intricate and

potentially catastrophic effects climate change is having on our underwater

ecosystems.

• Editors’ Choice: Astera Labs used Six Nines and a 100% AWS cloud-based EDA

workflow to design the industry’s first PCIe 5.0 retimer.

Best Use of HPC in Manufacturing

• Editors’ Choice: Western Digital created a million-vCPU AWS cluster using Univa

software to simulate crucial elements of upcoming head designs for its next-

generation hard disk drives.

Best Use of HPC in Financial Services

• Editors’ Choice: W.R. Hambrecht developed and refined a machine learning-based

investment assessment system, running on AWS infrastructure, that the company

says has improved its rate of picking successful start-ups by 3X.

Top 5 New Products or Technologies to Watch

• Elastic Fabric Adapter from AWShttps://www.hpcwire.com/off-the-wire/hpcwire-reveals-winners-of-the-2019-readers-and-

editors-choice-awards-at-sc19-conference-in-denver-co/

https://www.hpcwire.com/off-the-wire/hpcwire-reveals-winners-of-the-2019-readers-and-editors-choice-awards-at-sc19-conference-in-denver-co/


よくある質問とその回答


よくある質問とその回答- コスト管理・コスト削減方法は？

- ライセンスはどうすればよいのか？

- 運用はどうすれば良いのか？

- IPアドレス/MACアドレスを固定したい

- チューニングのポイントが知りたい


よくある質問とその回答- コスト管理・コスト削減方法は？

- ライセンスはどうすればよいのか？

- 運用はどうすれば良いのか？

- MACアドレスを固定したい

Elastic Network Interface の利用

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/using-eni.html

- チューニングのポイントが知りたいAWS Summit 2019「Amazon EC2 パフォーマンスDeep Dive」https://www.youtube.com/watch?v=TDkMx8yNHiM

https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/using-eni.html

https://www.youtube.com/watch?v=TDkMx8yNHiM


インスタンスに対してタグを付与し、プロジェクトごとに計算コストを管理が可能


AWS Budgets を利用し、予算に対する使用料金コストをAmazon SES/SNSで通知


EC2 購入オプション

オンデマンドインスタンス

長期コミット無し、使用分への支払い(秒単位/時間単位)。Amazon EC2の定価

スパイクするようなワークロード

リザーブドインスタンス（Savings Plans）

1年/3年の長期コミットをする代わりに大幅なディスカウント価格

一定の負荷の見通しがあるワークロード

スポットインスタンス

Amazon EC2の空きキャパシティを活用し、最大90%値引き。中断が発

生することがある

中断に強く、かつ様々なインスタンスタイプを活用で

きるワークロード














HPC 等では特にスポットインスタンスを活用することでコストパフォーマンス

の良い計算が可能














HPC 等では特にスポットインスタンスを活用することでコストパフォーマンス

の良い計算が可能

Savings Plansや海外リージョンの利用を検討


2億2200万セルの計算

EFAが利用できないためスケーラビリティは落ちるが、同等パフォーマンスが得られるコア数を利用した場合は最大 37% 安価に

https://aws.amazon.com/jp/blogs/compute/c6g-openfoam-better-price-performance/

OpenFOAMによるC6g.24xlargeとC5.24xlarge, C5n.18xlarge+EFAの比較

https://aws.amazon.com/jp/blogs/compute/c6g-openfoam-better-price-performance/


ライセンスは？

お客様とアプリケーションベンダー様の契約に依存するため、アプリケーションベンダー様にご確認ください

しかしながら、AWS Marketplaceから購入可能なものがあったり、購入不可なものでも多くの実績があるものがございます

アプリケーションパートナーの例

https://aws.amazon.com/marketplace

https://aws.amazon.com/marketplace


運用の観点では何が変わるのか？

バックアップ

- Instance Store, EBSのデータはAmazon S3にバックアップ

モニタリング

- CloudWatch、CloudTrail、AWS Cost Explorer

ライブラリのバージョンアップ対応

- 本番計算環境と別のクラスタをすぐに立ち上げられる

- そこで動作確認と本番と同じ規模で性能検証ができます

トラブル時の対応

- AWS サービスはAWSサポートへチケットを起票が可能

- アプリケーションレイヤーはアプリケーションベンダー様へ


シミュレーション環境の構築を効率化するソリューション紹介


AWS ParallelClusterジョブキューを監視して計算ノードを自動でスケールさせるクラスターを簡単に構成

オープンソースソースのプロジェクトで下記より誰でも入手可能：https://github.com/aws/aws-parallelcluster

選択できるOS環境：

-Amazon Linux

-CentOS 6 or 7

-Ubuntu 14.04 or 16.04

選択できるジョブスケジューラ：

-SGE

-Torque

-Slurm

-awsbatch

Blog: Ansys Fluent on ParallelCluster:https://aws.amazon.com/jp/blogs/opensource/best-practices-running-ansys-fluent-aws-parallelcluster/

https://github.com/aws/aws-parallelcluster

https://aws.amazon.com/jp/blogs/opensource/best-practices-running-ansys-fluent-aws-parallelcluster/


ParallelCluster 設定例

[aws]

aws_region_name = ap-northeast-1

[cluster slurm1]

master_instance_type = c5.large

compute_instance_type = c5.4xlarge

max_queue_size = 10

initial_queue_size = 0

scheduler = slurm

cluster_type = spot

56

configファイル例

https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/configuration.html

pcluster create コマンド

https://docs.aws.amazon.com/ja_jp/parallelcluster/latest/ug/configuration.html


Scale-Out Computing on AWS

• ベストプラクティスとされるアーキテクチャですぐにCAE が実行可能な Scale-Out Computing on AWS

(SOCA) ソリューション

• エンジニアはセルフサービスで計算を実行可能

• ジョブ投入やステータス管理用GUIとコスト管理用ダッシュボードも提供

• FlexLMを利用したアプリケーションとの連携にも対応

• ソースコード – https://awslabs.github.io/scale-out-computing-on-aws/

https://aws.amazon.com/solutions/scale-out-computing-on-aws/

https://awslabs.github.io/scale-out-computing-on-aws/

https://aws.amazon.com/solutions/scale-out-computing-on-aws/


MATLAB リファレンスアーキテクチャ

Matlab の Parallel Server および Production Server を用いた計算のリファレンスアーキテクチャが公開

https://github.com/mathworks-ref-arch

CloudFormation を利用して、

すぐに利用可能な環境構築が可能

DockerコンテナおよびAWS Batchを

利用した大規模ジョブ実行に関する

リファレンスアーキテクチャも

https://jp.mathworks.com/solutions/cloud.html#public-cloud

https://github.com/mathworks-ref-arch

https://jp.mathworks.com/solutions/cloud.html#public-cloud


• 自動運転車両の開発におけるHiLでは実社会または高精度環境シミュレーションで得たペタバイト級のセンサーデータをハードウェアに入力させる

• S3を使用したAWS データレイク、Dell

EMCのIsilonストレージ、およびNational Instruments PXI を組み合わせたHILシステム構成が可能

• HiLテスタにはdSpace製品など、別のものも利用可能

Dell EMCのストレージ製品によるHardware in the

Loopの実現


まとめ

• クラウドにはオンプレミスでは実現不可能なスケーラビリティと柔軟性がある。時間のかかる調達サイクルを回さずに最新の技術に簡単にアクセス可能で、設備コストも無し。要件と規模に合わせて自由にリソースが選択でき、コスト最適化も可能

• Elastic Fabric Adaptor (EFA) の登場により、シミュレーション環境におけるクラウド活用の幅が拡大している

• HPC環境の迅速な立ち上がりに活用できるAWS ParallelClusterやその他ソリューション、パートナー様のソリューションを活用可能


2020 年 8 月 26日（水）10:00 - 11:00形式: オンラインセミナー

参加費用: 無料

主催: アマゾンウェブサービスジャパン株式会社

エンジニアのニーズにあわせて数 CPU コアの小規模から、数千 CPU コアの大規模計算までスケール可能な、AWS クラウドによる高性能な流体力学計算環境について解説いたします。

ゲストとして三菱電機様にご登壇頂き、AWS 上での実際の流体解析性能や遠隔可視化処理について、実用性や注意点も含めて解説頂きます

クラウドを用いた高速・大規模な流体力学計算の実現

https://bit.ly/3k66zzp

https://bit.ly/3k66zzp


お客様へのよりよい情報提供に努めてまいりますので、ぜひ皆さまの声をお聞かせください。

アンケート回答後の最終ページで、本日の資料のダウンロードサイトURLが表示されます。

https://bit.ly/2DykTzF

Simulations on AWS · © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved....

Documents

Transcript of Simulations on AWS · © 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved....