AWS上で使えるストレージ十番勝負

AWS上で使えるストレージ十番勝負！

2013/5/7 SKILL BASECAMP 2013

Copyright © 2012 Amazon Web Services

自己紹介名前

片山暁雄

所属

アマゾンデータサービスジャパン

技術統括本部エンタープライズソリューション部

部長/ソリューションアーキテクト

Twitter

@c9katayama

好きなAWSサービス

Amazon Simple Workflow Service


本日のゴール

AWSのストレージ群を把握する

各ストレージについて、機能や利用シーンを把握する

自宅に帰り、すべてのストレージを試してみる


AWS(Amazon Web Services)のご紹介

ストレージ十番勝負！

まとめ

本日のアジェンダ


AWS(Amazon Web Services)

のご紹介

Copyright © 2012 Amazon Web Services 6

カリフォルニアダブリン

シンガポール

東京

オレゴン

世界中でサービスを展開中

初期費用なしで全世界のインフラを利用可能

バージニア

サンパウロ

リージョン

エッジローケーション

GovCloud

データは指定した地域に置かれる

シドニー


AWSの様々なサービス

7

お客様のアプリケーション

認証 AWS IAM

モニタリング Amazon

CloudWatch

Web管理画面 Management

Console

デプロイと自動化 AWS Elastic Beanstalk

AWS CloudFromation

IDEプラグイン Eclipse

Visual Studio

ライブラリ & SDKs Java, PHP, .NET,

Python, Ruby

Development &

Administration

コンテンツ配信 Amazon CloudFront

メッセージ Amazon SNS Amazon SQS

分散処理 Elastic MapReduce

メール配信 Amazon SES

キャッシング Amazon Elasticache

ワークフロー管理 Amazon SWF

Application

Service

コンピュータ処理

Amazon EC2 Auto Scale

ストレージ Amazon S3

Amazon EBS AWS StorageGateway

Amazon Glacier

データベース Amazon RDS

Amazon DynamoDB Amazon SimpleDB Amazon Redshift

AWS グローバルインフラ Geographical Regions, Availability Zones, Points of Presence AZ Region

ネットワーク & ルーティング Amazon VPC / Amazon Elastic Load Balancer / Amazon Route 53 /AWS Direct Connect

Infrastructure

Service


www.barackobama.com


Obama for America

有権者の情報管理、資金管理、電話システムなど、200以上のアプリケーションをAWS上でホスト

選挙後は必要なデータだけを残してインフラを破棄

アーキテクチャ図：http://awsofa.info/

多くのデータストアを利用 SQLServer

HBase

LevelDB

mongoDB

PostgreSQL

Vertica

MySQL

Amazon RDS

Amazon ElastiCache

Amazon DynamoDB

Amazon S3

Amazon SimpleDB

CloudHSM(Hardware Security Module)

10 © 2013 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of

Amazon.com, Inc.

AWS上で稼働させることのできるHSM

安全な鍵の保管および、耐タンパ性エンクロージャー内の一連の暗号化操作を提供する専用アプライアンスをAWS上で提供

現在US-EASTとEUで提供。2013年中にその他リージョンに拡大予定


ストレージ十番勝負！

12

ところで・・・

AWS上でストレージはいくつある？

1. Ephemeral Disk

2. Elastic Block Store(EBS)

3. AWS Storage Gateway

4. Amazon Simple Storage Service(S3)

5. Amazon Glacier

6. Amazon ElastiCache

7. Amazon SimpleDB

8. Amazon DynamoDB

9. Amazon Relational Database Service(RDS)

10.Amazon Redshift

13

Ephemeral Disk EBS S3 Glacier Storage Gateway

DynamoDB ElastiCache RDS Redshift SimpleDB

揮発性

NoSQL

EC2へマウントバックアップ

YesSQL

関係図

複数AZでの冗長化


1.Ephemeral Disk


1.Ephemeral Disk（インスタンスストレージ）

特徴

EC2の物理筐体のローカルディスクで、EC2にマウント可能

インスタンスにより、利用可能なサイズが決まっている

• t1.micro,m3は利用不可。hs1は48TB

利点

無料！

任意のファイルフォーマットが利用可能

SSDが利用可能（hi1.4xlargeが2TB,cr1.8xlargeが240G)

注意点

インスタンスを停止すると、データが消去される

スナップショット機能はない

EC2

/dev/xvdg

/dev/xvdf

S3

揮発性

EC2へマウント


Ephemeral Diskの用途

EC2からマウントして使うデータの格納

計算時の一時ファイルや、画像処理の一時データなど

キャッシュファイル

大容量のデータを1インスタンスに格納する場合

SSDのIO速度が必要な場合

S3


2.Amazon Elastic Block Store


特徴

EC2にマウント可能なネットワークストレージ

利点

任意のファイルシステムが利用可能

スナップショット機能搭載

複数EBSを1つのEC2インスタンスにアタッチ可能

EBSを別のEC2にマウントしなおす事も可能

注意点

1EBSあたり最大1TB

複数のEC2から1つのEBSをマウントすることは出来ない

Region

Availability Zone - a

EBS EBS EBS

Availability Zone - b

EBS EBS

S3

EBS

Snapshot

EC2 EC2

2.Amazon Elastic Block Store(EBS)

EC2へマウント


EBSスナップショットの取得処理方式

S3への連携は差分で、格納は全分で行われる

EBS 10G

EBS 10G

EBS 10G 初回

Amazon Simple Storage Service (S3) に実ファイルが格納

2回目 3回目

A

A

B B

B

C

C

A B B C

スナップショットの概念

1G

1G

1G 1G 1G

計1G

計1G 計2G

←変更差分

←変更差分

計2G

初回は全分１Gが取得 2回目は差分１Gのみが取得

3回目は2回目との差分１Gのみが取得

スナップショットの概念として、各時点の全分が確保される。

S3に格納される実ファイルベースではスナップショットに紐づくファイルを差分で管理される。 (利用容量ベースで合計3G)

連携は差分


EBSスナップショットのリストア処理方式

戻したいスナップショット時点に全分方式でリストアすることが可能

(当然Diskの物理交換も不要で、EBSの特徴的な機能)

EBS 10G

EBS 10G

EBS 10G 初回

Amazon Simple Storage Service (S3) に実ファイルが格納

2回目 3回目

A

A

B B

B

C

C

A B B C

スナップショットの概念

1G

1G

1G 1G 1G

計1G

計1G 計2G

例えばこのスナップショットを削除

計2G

障害 EBS

10G

B 計1G

2回目スナップショットの取得時点に戻したい場合

残りのスナップショットに無いデータAは削除される

2回目時点


全領域に一旦アクセスしておく

より大きなインスタンス/より大きなEBSボリューム

ストライピングによる性能向上

Provisioned IOPS

1ボリューム最大4000IOPSまで指定可能なオプション

16KB以下のブロックサイズの場合、指定IOPSの10%以内に収まる性能を、年間99.9%の時間で提供

EBS-Optimized Instance

EC2とEBS間のネットワークを最適化するオプション

最大2Gbpsの帯域を確保

Provisioned IOPSと一緒に利用すると効果が高い

EC2

EBSの性能向上

EC2

Optimized

P-IOPS


様々な暗号化製品の利用が可能

Windows Bitlocker (Microsoft）

Secure Cloud(TrendMicro)

SafeNet ProtectV (SafeNet)

Crypt Setup(OSS)

冗長化機能や分散FSも利用可能

DRBD(OSS)

ClusterPro (NEC)

GlusterFS (OSS)

Redhat Storage Server (Redhat)

EBSの暗号化/冗長化

EC2 EBS

EC2 EBS

レプリカ

NASAのWebシステムアーキテクチャ

・WebサーバにNginx、CMSにRailoを使用

・GlusterFSをCMSのファイル共有ディスクに・使用サービス：CloudFront,Route53,ELB,EC2,RDS,S3,CloudWatch


GlusterFSをAWSで実行すると・・

サーバ、ディスクの調達が容易

時間課金で試すのが簡単

異なるデータセンター間・遠隔地へのレプリカテストが容易

世界中のデータセンターが使える

GlusterFSを使用して、冗長的なアーキテクチャを実装可能

最も困難なデータ冗長化を実現

クラウドアーキテクチャの自由度が大幅にUP


レプリケーション

複数のリージョンを使ったシステム

例えば日本とシンガポールをまたいだシステム構築

バックアップシステムやDRシステム

Geo-Replication

遠隔地へ、非同期でデータを同期

マスター/スレーブモデル

Replicated Volumes Geo-replication

クラスター内でデータをミラーリング地理的に離れたクラスタでデータをミラーリング

高可用性を提供バックアップやＤＲ用途

同期処理非同期処理


EC2 EBS

EC2 EBS

EC2 EBS

EC2 EBS

ＵＳリージョン

（マスター）

シンガポール

（スレーブ）

レプリカ

レプリカ

Geo-Replication


EC2からマウントして使うデータの格納

OSやDBなど、永続性が必要なデータの格納

スナップショット取得が必要なデータ

アベイラビリティゾーン/リージョンをまたいでコピーしたいデータ

EBSの用途

EBS

S3 EBS

Snapshot

EBS

Region

Region

リージョン間コピー


3.AWS Storage Gateway


特徴

EC2からiSCSIでマウント可能な仮想アプライアンス

SGWへ書き込んだデータは、自動的にS3へバックアップされる

• EBSのスナップショット形式で保存

オンプレミスにも展開が可能

• AWS上ではAMI、オンプレではVMWare/HyperV形式で提供

3.AWS Storage Gateway(SGW)

EC2へマウント

バックアップ

S3

EBS

Snapshot

EC2 EC2

SGW サービス

iSCSI iSCSI


Gateway-Stored Volumes

オンプレミス向けのモード

作成する容量と同容量のディスクをSWGの仮想アプライアンスに用意するモード

S3へは、定期的にバックアップ（最短1時間）

1ディスク最大1TB、1SGWで最大12TBまでサポート

Gateway-Cached Volumes

オンプレミス/EC2向けモード

プライマリデータをS3に持ち、直近アクセスデータのみローカルに持つモード

S3へは、逐次データを転送

1ディスク32TB、1SGWで最大150TBまでサポート

2つの動作モード

1T 1T

1T 32T


ファイルサーバ用のストレージ

バックアップディスク代わり

オンプレミスのDR対策

SGWの用途

S3

EBS

Snapshot

EC2 EC2

SGW サービス

iSCSI


4.Amazon Simple Storage Service


特徴

インターネット接続されたストレージ

HTTP(S)でファイルを入出力

利点

高いデータ耐久性

容量制限なし（1ファイル上限5TB)

従量課金

AES256の暗号化機能の利用が可能

注意点

CIFSやNFSでは接続できない

4.Amazon S3

アベイラビリティゾーン



リージョン

データを自動複製


バックアップ


ファイルのバックアップ

多くの商用製品がバックエンドにS3を利用可能に

ログファイルや分析ファイルなどの大量データの格納

画像や動画などの格納

S3から直接配布が可能

S3の用途

EC2

EBS

EMR Dynamo

DB

… …

… …


5.Amazon Glacier


特徴

Glacier = 氷河

インターネット接続されたアーカイブ

HTTP(S)でファイルを入出力

利点

高いデータ耐久性

容量制限なし（1アーカイブ上限40TB)

従量課金 1GB 月間約1円

AES256で自動的に暗号化

注意点

1度ファイルを入れると、取り出すのに3-4時間必要となる

ファイル名は自動採番されたものに変わる

5.Amazon Glacier




リージョン

データを自動複製


バックアップ


S3のバケットにライフサイクル設定を行なう事で、一定時間経ったデータを自動的にGlacierに転送

転送されたあとも、S3にファイル名が残せる

インデックスの作成が不要

GlacierからS3への復帰も可能

S3との連携機能

1年後

Ｓ３ Glacier


企業データ、画像/動画などの資産、科学技術データの保存

ログファイルや分析ファイルなどの大量データの格納

めったに利用しないが、法律や規約などで保存が必要な情報

テープバックアップからの乗り換え

Glacierの用途


6.Amazon ElastiCache


特徴

Memcahed互換のキャッシュストレージ

キーとバリューのデータをオンメモリで保持

利点

1クリックでMemcachedサーバの起動が可能

障害発生に自動復旧

クラスタを組む事も可能

注意点

ElastiCacheのデータは揮発性のため、バックアップを取得することは出来ない

用途

Memcachedの置き換え

アプリケーションデータやDBアクセスのキャッシュ

EC2

6.Amazon ElastiCache 揮発性

NoSQL


7.Amazon SimpleDB


特徴

REST APIでアクセスする、スキーマフリーの独自データベース

キーと、アトリビュート（キー名と値のペア）でデータをストア

データ量と、クエリーの計算量で課金

利点

DB管理は一切不要。スケールアウトやデータ分散はAWSが実施

フルオートインデクシング

SQLライクなクエリーの実行が可能

注意点

1ドメイン（1テーブル）あたり最大10GB、10億アイテムまで

ドメインをまたいだJOINやトランザクションは未サポート

7.Amazon SimpleDB

NoSQL



格納する属性が決まっていない、半構造化データの格納

DBの管理負荷を減らしたい場合

複雑なトランザクションが不要なデータの格納

メタデータや管理用データなどの格納

SimpleDBの用途


8.Amazon DynamoDB


REST APIでアクセスする、スキーマフリーの独自データベース

ハッシュキーと、属性（キー名と値のペア）でデータをストア

3か所のデータセンターのSSDにデータを保存

8.Amazon DynamoDB

NoSQL



利点

DB管理は一切不要。スケールアウトやデータ分散はAWSが実施

データ容量無制限（レコード数の制限がない）

読み込み/書き込みのスループットの指定が可能

強い一貫性を保ちながら、数ミリ秒の低遅延でアクセス可能

注意点

検索は、ハッシュキー、レンジキー、ローカルセカンダリインデックスが対象

属性を使った検索はフルスキャンが必要

DynamoDBの機能


DBの管理負荷を減らしたい場合

一貫した読み込み/書き込み速度が必要な場合

大容量のデータストアが必要な場合

DynamoDBの用途

EC2

EC2

EC2

EC2

EC2

100,000write 200,000read


9.Amazon Relational Database Service


9.Amazon Relational Database Service(RDS) 複数AZでの冗長化

YesSQL マネージされたRDBMSサービス

MySQL、Oracle、SQLServerが利用可能

バックアップやフェイルオーバーに対応したDBを、数クリックで利用可能

ライセンスも従量課金で利用可能

EC2


RDSの機能

さまざまなマネージド機能

ポイントタイムリカバリ、スナップショット、パッチ適用、自動フェイルオーバー

リードレプリカの追加

MySQL/5台まで

ポイントタイムリカバリ

スナップショット

データ同期

自動フェイルオーバー

パッチ適用

AZ-a AZ-b

リードレプリケーション


RDSの性能

8仮想コア、68 GBメモリのDBサーバまで利用可能

3TBまでのストレージを利用可能

OracleとMySQLの場合。SQLServerは1TB

Provisioned IOPSも利用可能

MySQL,Oracleは30000,SQLServerは10000上限


RDSの用途

SQLでのアクセスが必要なアプリケーション実行

開発、テスト環境

Oracle,MySQL,SQLServerの置き換え

53

Amazon Redshift


Data Warehouse as a Service

分析用に整理された大量の統合業務データの管理サービス

フルマネージドサービス

拡張性：数百GB～1.6PBまで拡張可能

高速：カラムナ型、超並列演算(MPP)

低額：インスタンスの従量課金

10.Amazon Redshift


行型 vs. カラムナ型

DWHにはカラムナ型のデータベースが用いられる

orderid name qty

1 Book 100

2 Pen 50

…

n Eraser 70

orderid name qty

1 Book 100

2 Pen 50

…

n Eraser 70

行型 – トランザクション処理向きカラムナ型 – 分析処理向き


耐久性・可用性

S3へのバックアップ、ノード・ドライブ故障への対応

連携

インプットデータはS3、DynamoDBなどのAWSサービスからの連携

Postgres SQL JDBC/ODBC ドライバを使ったSQLクライアント、BIツールをサポート

Amazon Redshiftの機能


アーキテクチャー

リーダーノードを経由してクエリーを実行

各コンピュートノードで演算が並列実行

各コンピュートノードにローカルストレージを保持

コンピュートノードはhs1.xlとhs1.8xlから選択

BIツール

リーダーノード

コンピュートノード



JDBC/ODBC

10GigE Mesh

SQL エンドポイント: • クエリーの並列化 • 結果を生成

クエリー実行ノード • “N” スケールアウト

を実現 • ローカルディスク

S3, DynamoDB, EMRとの統合


DWノード（コンピュートノード）

High Storage Extra Large (XL) DW Node:

CPU: 2 virtual cores

ECU: 4.4

Memory: 15 GiB

Storage: 3 HDD with 2 TB of local attached storage

Network: Moderate

Disk I/O: Moderate

API: dw.hs1.xlarge

High Storage Eight Extra Large (8XL) DW Node:

CPU: 16 virtual cores

ECU: 35

Memory: 120 GiB

Storage: 24 HDD with 16 TB of local attached storage

Network: 10 Gigabit Ethernet with support for cluster placement groups

Disk I/O: Very High

API: dw.hs1.8xlarge


シングルノード (2TB)

クラスター 2 – 32ノード（4TB – 64TB)

クラスター 2 – 100ノード（32TB – 1.6PB)

拡張性

Extra Large Node (XL)

8 Extra Large Node (8XL)

数百GBから数PBまで拡張可能


クエリー

PostgreSQL JDBC/ODBCドライバ経由で標準的な SQLを実行可能

対応BIツール • ACTUATE

• birst

• JASPERSOFT

• MicroStrategy

リーダーノードに接続し、クエリー実行

リーダーノードがクエリーを分配し、C++のコードを生成、コンピュートノードで実行

使用可能な全コンピュートノードにおいてリーダーノードに結果を返す

• pentaho • PERVASIVE • tableau など


可用性

データはプライマリとは、別ノードにセカンダリコピーが保存される

ドライブの故障は透過的に処理

リーダーノードは自動的にクエリーをセカンダリ・コピーにルート

冗長性を維持するために、データの再配置が実行される

単一・複数ノードの故障

新規ノードが割当てられるまで、クラスタは使用不可となる

自動的に他ノードからデータがコピーされる

複数ノード障害時にプライマリ/セカンダリのデータを損失した場合、スナップショットからの復旧が必要となる


SQL発行が必要な分析アプリケーション

大量のデータを元に分析を行なうケース

既にＢＩツールを利用しているケース

Redshiftの用途

Your BI Tools

Amazon Redshift

JDBC/ODBC


まとめ


高速、大容量、高耐久性、さまざまなストレージが利用できる

既存の資産に加えて、ＡＷＳクラウドならではの選択も

RAIDや分散FS、大規模ストレージなどもAWSなら安価に実験が可能

まとめ


AWS 無料使用枠

Amazon EC2 750時間/月のLinux マイクロインスタンス

複数インスタンスでも、合計750時間/月であれば無料利用枠に該当

Amazon EC2 750時間/月のWindows Server マイクロインスタンス

複数インスタンスでも、合計750時間/月であれば無料利用枠に該当

Amazon EBS

30 GB に加え、200万 I/O、スナップショットストレージ 1 GB

Elastic Load Balancing

750時間に加え 15 GB 分のデータ処理

帯域幅「送信（アウト）」15 GB

1. Ephemeral Disk

2. Elastic Block Store(EBS)

3. AWS Storage Gateway

4. Amazon Simple Storage Service(S3)

5. Amazon Glacier

6. Amazon ElastiCache

7. Amazon SimpleDB

8. Amazon DynamoDB

9. Amazon Relational Database Service(RDS)

10.Amazon Redshift

ストレージ無料枠

詳細はhttp://aws.amazon.com/jp/free/

http://aws.amazon.com/jp/free/

AWS Summit Tokyo 2013

http://www.awssummittokyo.com/

2013/6/5 , 6/6 新高輪プリンスホテル

http://www.awssummittokyo.com/

AWS上で使えるストレージ十番勝負

Technology

Transcript of AWS上で使えるストレージ十番勝負