AWS パートナープログラムの ご紹介...AWSビジネスプロフェッショナル認定(AWS Business Professional Online) AWSテクニカルプロフェッショナル認定(AWS
AWS上で『世界最速級』 のデータ入出力!!...2016/06/13 ·...
Transcript of AWS上で『世界最速級』 のデータ入出力!!...2016/06/13 ·...
AWS上で『世界最速級』のデータ入出力!!事例から紐解く、次世代の情報活用術
神原 豊彦
ネットアップ合同会社 ソリューション アーキテクト部 部長
2019年 6月 13日(DAY-2)17:00~17:40
AWS SUMMIT TOKYO G2-08
NetApp Data Fabricお客様が データを自由に移動でき デジタル・トランスフォーメーションを加速するために
1
NETAPP
DATA
FABRIC
エンタープライズ
IT
次世代型データセンター
パブリッククラウド
自動車
モバイル
小売
住居
小口金融
医療
運輸
防衛
航空
政府機関
閉域ネットワーク
インターネット
© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
▪ AWSの協力による提供製品▪ ONTAP Family (Fabric Pool, NPS for AWS)
▪ SolidFire Backup to AWS S3
▪ StorageGRID
▪ Cloud Volumes Family
▪ Cloud Volumes ONTAP
▪ Cloud Volumes Services
▪ Cloud Sync, Cloud Backup, Cloud Tiering
▪ SaaS Backup for Office 365/Salesforce
▪ ビジネスモデルの拡大▪ AWS Market Placeによる Hourly 提供
▪ Hybrid Cloud モデルの拡大
▪ 無償トライアル環境の提供
▪ Cloud First Partner Program
▪ AWS Advanced Consulting Partner
2012年から AWS対応製品の提供データ ファブリックによりデジタルトランスフォーメーションを加速
2 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
事例から データ入出力の改善デザインを模索
1. 既存オンプレミス環境との 継続的なデータ同期/データ連携
2. AWSを用いた 組織外の技術者とのデータ公開/共有
3. 遺伝子データ解析における ビッグデータ活用
4. サマリー
AWS上のシステムにおける データ入出力に関する デザインパターンをご紹介
3 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
既存オンプレミス環境との継続的なデータ同期/データ連携
4 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
AWSとオンプレミス環境 双方のストレージ コストを25%逓減
▪ 背景
▪ 2013~2015年 クラウド ファースト戦略
▪ “SMART” キャンパスの実現に向けてAWS の IoT・ビッグデータ解析技術を活用
▪ チャレンジ
▪ データ総容量 数PB
▪ 研究データ や 学生/教職員の個人データ
▪ オンプレミスから AWSへ移行 & 連携
▪ オンプレミス環境でのデータ更新は止められない
▪ 50,000人を超える 利用者を抱える中で 一斉停止は現実的では無い
オーストラリア モナシュ大学 : https://customers.netapp.com/en/monash-university-ontap-cloud-case-study/
5 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
• 1958年 創立 ビクトリア州立大学
• タイムズ高等教育世界ランキング 第33位オーストラリア 第1位
• 世界大学ランキング 100名校 の一つ
• オーストラリア 研究重点 8大学の一つ
• 学生・教職員 総数:約 58,000人
Before : NetAppによる最適化以前の構成研究システムに必要なデータのメタ情報を如何に引き継ぐか? RDBMSへ インデックスの作成
6 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
VPC
AWS Cloud
Availability zone
AmazonEC2
AmazonEBS Amazon RDS
for PostgreSQL
AWS Lambda
Subnet
AmazonS3
オンプレミス環境
研究アプリ
コントローラ(管理制御)
AFTアプリ(Automatic
File Transport)
1
2
2
3
2 4
4
5
5
NFS
AWS DirectConnect
AWS DirectConnect
After : NetAppによる最適後の構成 25%のコスト逓減研究システムに必要なデータのメタ情報を如何に引き継ぐか? RDBMSへ インデックスの作成
7 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
VPC
AWS Cloud
Availability zone
Subnet
オンプレミス環境
研究アプリ
NFS
NetApp Private Storagefor AWS
Cloud Volumes ONTAP
AmazonEC2
Amazon RDSfor PostgreSQL
AWS DirectConnect
AWS DirectConnect
▪ Amazon EC2からオンプレデータマウント
▪ NetApp Private Storage for AWS
▪ AWS Direct Connectの応答速度は驚異的
▪ 東京リージョン ~ Equinix POP: 2ms※
▪ ストレージの最大レイテンシ: 20ms
発想を変えた「逆立ち」のアプローチ : 移行「期間」を不要に
▪ 常時同期と差分同期で切替時間を最小化
▪ Cloud Volumes ONTAP for AWS
▪ Amazon EC2上で稼働する 仮想ストレージ
▪ SnapMirror による 業界#1 の転送効率
▪ PULL型 差分同期 アーキテクチャ
NetAppによる ソリューション デザイン アプローチ
8 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
20ms
一般的なHDDストレージの最大応答遅延限界
平均 1~2ms※
一般的なSSDストレージの平均的な応答遅延: 1ms
※ NetAppによる 2012年以降の調査実測値
time
AWSを用いた組織外の技術者とのデータ公開/共有
9 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
NetApp Insight 2016: Cloud Sync Service Demo https://www.youtube.com/watch?v=fVyRTygpggM
© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —10
データを高速に
且つ個別に転送するソリューションが必要
© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —11
© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
データを必要とする人が自身で取得できるセルフサービスの実現
▪ 管理者不要で データを必要とする開発者や運用担当者が 自ら設定・利用可能
▪ 転送セッション単位の時間課金
▪ 従来のデータコピー手法(rsync等)と比較し70倍以上 高速(NetApp XCP)
▪ 対応ストレージサービス / プロトコル:▪ CIFS, NFS, NetApp StorageGRID
▪ Amazon S3, EFS
NetAppによる ソリューション デザイン アプローチ
13 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
テナント
AmazonS3
NFS/CIFS
テナント
AmazonS3
NFS/CIFS
テナント
AmazonS3
NFS/CIFS
NetApp Cloud Sync Broker Agent
NetApp Cloud Sync サービス ポータル
遺伝子データ解析における ビッグデータ活用
14 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
比類の無い 超巨大ビッグデータ解析 へのチャレンジAWSを活用した AI & Deep Learning ヒトゲノム解析ロジックの開発
15 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
• 2011年 アイスランド レイキャビクにて創立
• 遺伝子解析技術のスタートアップとして世界中から高い評価
• 世界で最も革新的な企業 Top 10に選出
• 米国・中国・アイスランドに拠点展開
遺伝子配列解読装置(シーケンサー)
現在の市場平均価格10万円以下
2010年頃のチャレンジ
革新的な解読装置の開発
遺伝子シーケンスデータ
40 ExaBytes/年での増加
2ExaBytes
現在のチャレンジ
革新的な解読手法の開発
AWS re:Invent 2018: WuXi NextCODE Scales up Genomic Sequencing on AWS (ANT210-S)https://www.youtube.com/watch?v=s_FjVRfKJL4
遺伝子データ解析プラットフォームAI・Deep Learning技術を組み込んだ 並列分散型 遺伝子処理専用 ビッグデータ
16 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
AWS Cloud
VPC
Public Subnet
Web Subnet App Subnet
Webインスタンス
Beaconインスタンス
Pipelineインスタンス
AWS Auto Scaling
GORインスタンス
GORクラスタ
Monitorインスタンス
Serviceインスタンス
Workerインスタンス
NetAppファシリティ
Cloud VolumesService
NATゲートウェイ
ELB
ELB
インターネットゲートウェイ
Amazon RDB
インターネット
Genomically-Ordered RDB(遺伝子処理RDB)
(WuXiNextCodeが開発)
AWS上で世界最大級のデータ入出力性能 : Cloud Volumes Services
▪ ストレージコスト(合計)▪ Cloud Volume Services: $7,000
▪ Amazon EC2 x4での NFS構成: $11,000
▪ Amazon EFS Provisioned : $18,600
▪ 実環境で役立つ豊富な機能▪ 高可用性:AZ・VPCを跨って利用可能
▪ スナップショット・クローン機能による大容量データの即時バックアップ・複製
▪ ベンチマーク結果捕捉▪ 約 9.91TB/hour の入出力性能
▪ 測定時の最大出力 : 3,500MBps
https://cloud.netapp.com/hubfs/TR-4761-Internet-of-DNA-Cloud-Enabled%5B1%5D.pdf
17 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
Cloud VolumesServices for AWS
Amazon EFSProvisioned
Throughput 構成
40
30
20
10
0Amazon EC2上での
NFSサーバー x4
2,887MB/sec
1,374MB/sec
970MB/sec
遺伝子データ 2,500ファイルに対する2TB シーケンシャルリード
処理時間(分)
18 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
LIVE DEMO
cloud.netapp.com
Cloud Volumes Serviceエンタープライズクラスのクラウドネイティブなファイルサービスに最高のパフォーマンスを提供
19 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
GO FROM ZERO TO 100TB• 数秒でNetAppのファイルシステムをデプロイ
PAY-AS-YOU-GO• “保有する”から“利用する”へ(経費をCapExからOpExへ)
SECURE AND PROTECT DATA• 業界最高レベルの可用性とデータ保護
COPY DEV/OPS WORKSPACES INSTANTLY• ビジネスサイクルを高速化
INTEGRATED WITH THE BIGGEST CLOUD PROVIDERS• 最適なクラウド活用に向けて
DEPLOY MORE WORKLOAD IN THE CLOUD• 最高のパフォーマンスとデータ管理
クラウド上でエンタープライズアプリのデプロイと開発をスピードアップ
NetAppが実現するクラウドネイティブのファイルストレージサービス
セッション サマリー
20 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
セッション サマリー / Key Takeaways
▪ NetApp の提供する AWS連携ソリューション▪ AWS上での様々な データ入出力に関する 課題を解決
▪ お悩みの方は お気軽にご相談ください!!
▪ 実プロジェクトで培われたベストデザインパターン▪ 多くのお客様とのプロジェクトの中から 新しいサービスを提供
▪ 簡単 且つ 確実に 再利用できる ベスト デザイン パターンも提供
▪ 世界最速級のデータ入出力を実現 : Cloud Volumes Services▪ NetAppの培った ストレージ技術を AWS上で サービスとして利用可能
▪ 超高速・大容量に対応可能な ファイルサービス
▪ 多くのお客様との協業事例を公開▪ NetApp Customer Success Story
▪ https://customers.netapp.com/en/?language=en&page=1&sortby=recent
21 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
AWS Summit Tokyo: NetApp
▪ NetApp クラウド データ サービス ポータル
▪ No Credit Card Required!! / 利用料はMarket Place から
▪ AWSアカウント と NetAppアカウントの マッピングだけで利用開始!!
https://cloud.netapp.com
22 © 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —
展示会場入口
https://cloud.netapp.com
All NetApp
Cloud Data Services
from one portal
Try | Buy | Deploy | Manage
23
Thank you
© 2019 NetApp, Inc. All rights reserved. — AWS Summit 2019 Event Presentation —