AWSプロダクトシリーズ｜よくわかるクラウドデータベース

AWS データベースサービスアップデート

2014/01/17 アマゾン データ サービス ジャパン株式会社 大久保 順

Amazon RDS

Amazon DynamoDB Amazon Redshift

Amazon ElastiCache

Compute Storage

AWS Global Infrastructure

Database

Application Services

Deployment & Administration

Networking

AWSのデータベースサービス

スケーラブルで高パフォーマンスな

“マネージドデータベース”

バックアップ／リカバリー

データロード／アンロード

パフォーマンス

チューニング 25% 40%

5% 5%

コード・スクリプト

作成

セキュリティ計画

インストール、アップグレード

パッチ適用、移行

ドキュメント作成

ライセンス管理

トレーニング

なぜマネージドデータベースを活用すべきか？

リレーショナルデータベース

完全マネージド

MySQL, Oracle, SQL Server,

PostgreSQL

毎月数兆ものI/Oリクエストを処理

Amazon RDS

• 管理性 迅速なデプロイ。パラメーターも汎用に構成済み。 パッチ適用 監視メトリクスをCloudWatchに統合

• 可用性と堅牢性 バックアップの自動化とポイント・イン・タイム・リカバリー データベース・スナップショット 障害発生ホストの自動リプレース(シングルAZ) マルチAZ構成

• スケーラビリティ ワンタッチでスケール

• ストレージ, メモリ, CPU

リードレプリカ

Amazon RDSの主要機能

CR1インスタンスタイプの提供(cr1.8xlarge)

64 ビットプラットフォーム

244 GiB メモリ

88 ECU (2.75 ECU x 16 ハイパースレッドバーチャルコア)

10 ギガビットイーサネット

リージョン間スナップショットコピー

Amazon RDSのアップデート(各エンジン共通)

MySQL 5.6のサポート

リードレプリカ関連機能の強化

並列レプリカ作成

リードレプリカ上でのスナップショット作成＆ポイント・イン・タイム・リカバリー(5.6 only)

2階層リードレプリカ(5.6 only)

クロスリージョン・リードレプリカ

Amazon RDSのアップデート(MySQL)

2階層リードレプリカのトポロジー

US West x 2

(N. California

and Oregon)

US East

(Northern

Virginia)

Europe West

(Dublin)

Asia Pacific

Region

(Singapore)

Asia Pacific

Region

(Tokyo)

9 AWS Regions including 25 Availability Zones and growing

46 world-wide points of presence

US GovCloud

(US ITAR

Region

-- Oregon)

LATAM

(Sao

Paola)

>10 data centersIn US East alone

Australia

Region

(Australia)

クロスリージョンサポートの拡充

• リージョン間スナップショット・コピー 全エンジン対応

• クロスリージョン・リードレプリカ MySQL 5.6対応

Oracle

Statspackサポート

パッチセット11.2.0.3への対応

タイムゾーンサポート(ホストレベルでタイムゾーンを変更可能に)

SQL Server

Transparent Data Encryption (TDE) をサポート

Amazon RDSのアップデート(Oracle/SQL Server)

PostgreSQL 9.3.1をサポート RDSの主要機能を全リージョンで利用可能 マルチAZ

自動バックアップ、ポイントインタイムリカバリ

スナップショット取得とスナップショットからのリストア

プロビジョンドIOPS

インスタンスサイズの変更(db.t1.micro～db.cr1.8xlarge)

VPCサポート

事前によくチューニングされたパラメータ設定

RDSにおけるイベントの通知

リードレプリカは未サポート

Amazon RDS for PostgreSQL(1/2)

PostgreSQLの機能サポート

PostGIS

• 地図情報アプリケーション構築時のデファクトデータベース

言語エクステンション

• Perl、pgSQL、TCLでプロシージャ作成を可能に

フルテキストインデクシング

• 自然言語処理で使いやすいように

Amazon RDS for PostgreSQL(2/2)

インメモリキャッシュ

弾力性と堅牢性を兼備

Memcached & Redis

完全マネージド

Amazon ElastiCache

ElastiCache: 完全マネージドのキャッシュサービス

デプロイが

容易

数クリック/APIコー

ルでマスター/ス

レーブ構成に

移行が

容易

memcached/R

edisと完全互換

エンドポイントを変

更するだけで既存

のコードが動作

管理が

容易

障害ノードの自動リ

プレース

必要に応じて自動

でパッチを適用

CloudWatchでパ

フォーマンス監視

セキュア化

が容易

VPCとセキュリティ

グループに対応

スケールが 容易

処理能力のスケールアップ・スケールア

ウトが可能

2013年9月よりMemcachedに加えてRedisを提供開始

Redisの特長

高速なインメモリ型キー・バリュー・ストア

豊富なデータ型対応 –文字列型, リスト型, セット型, ソート済みセット型, ハッシュ型

非同期レプリケーション

スナップショットあるいは追記型ファイルによるデータ永続化

Pub/Sub機能

Amazon ElastiCacheのアップデート

ElastiCache for Redis構成例

Elastic Load

Balancing EC2 App

Instances

RDS

MySQL DB

Instance

with PIOPS

Master App

Reads

Clients Cache

Updates

Read Replica (Redis) 読取りクエリーの大部分を インメモリで高速に処理

NoSQLデータベース

堅牢かつ低レイテンシー

完全マネージド

圧倒的でシームレスなスケーラビリティ

Amazon DynamoDB

分散キー ・バリュー

データベースサービス

シンプルなAPI 素早く開発 =

予測可能なパフォーマンス 運用の手間いらず 堅牢で低レイテンシー 高いコストパフォーマンス

圧倒的なスケーラビリティ

リレーショナル？ それともNoSQL?

要素 リレーショナル (RDS) NoSQL (DynamoDB)

アプリケーション 種別

• 既存のデータベースアプリケーション • ビジネスプロセスを処理するアプリケーション

例：金融トランザクション, ERPアプリケーション, 承認ワークフロー

• 新規のWebアプリケーション • 大量の小さなサイズの読込/書込

例：Web, ソーシャル, モバイルアプリ, ショッピングカート, オーダー管理, ユーザー属性保存

アプリケーション 特性

• リレーショナルデータモデル, トランザクション処理 • 複雑なクエリ, 結合, 更新

• 単純なデータモデル • 範囲(レンジ)クエリ, 単純な更新

スケーラビリティ アプリケーション開発者かDB管理者が設計 例：クラスタリング, パーティション化, シャーディング, キャッシュ

シームレスかつマネージド 必要に応じてスケール

サービス 品質

• パフォーマンス – データモデル, インデックス, クエリ, ストレージの最適化に依存

• 信頼性・可用性 – マネージド • 耐久性 – マネージド

• パフォーマンス – 自動的に最適化 • 信頼性・可用性 – マネージド • 耐久性 – マネージド

スキルセット 既存の運用・プログラミングスキル SQLとプログラミング言語の知識

Web系のプログラミングスキルと言語知識

アプリケーションやワークロードの特性に応じて、柔軟に使い分ける

1つのアプリケーションでRDBMSとNoSQLを併用するケースも増えつつある

トランザクションライブラリを公開 AWS SDK for Java用

ジオライブラリを公開 AWS SDK for Java用

AWS Data Pipelineを使って、DynamoDBのデータをリージョン間でコピー可能に DynamoDBのテーブルを別のリージョンに定期的にコピーできる

ファイングレインアクセス制御 格納データへのアクセス制御をDynamoDB側で設定可能に

Amazon DynamoDBのアップデート

デスクトップ開発を可能にする DynamoDB Localリリース

AWSに接続せずに、オフラインでDynamoDBアプリケーションを開発することが可能

DynamoDB APIの動きをシミュレート

エンドポイントを書き換えるだけで、開発したアプリケーションコードをそのままAWS上で動かすことが出来る

Amazon DynamoDBのアップデート

グローバルセカンダリーインデックス(GSI)のサポート

クエリーの柔軟性を向上

Amazon DynamoDBのアップデート

ローカルセカンダリインデックス(LSI)

グローバルセカンダリインデックス(GSI)

テーブル当たりの最大数 5つ 5つ

キャパシティの指定 不要（テーブルに指定） 単独で必要

検索方法 テーブルのハッシュキーと組み合わせて検索

テーブルの任意のアトリビュートで検索可能

整合性モデル 強い整合性(strong consistency)と結果整合性(eventual consistency)

結果整合性のみ

インデックスサイズ ハッシュキーの各値あたり10GBまで

制約なし

ローカルセカンダリインデックス(LSI)との比較

ローカルセカンダリインデックスの例

Images Table

User Image Date Link

Bob aed4c 2013-10-01 s3://…

Bob cf2e2 2013-09-05 s3://…

Bob f93bae 2013-10-08 s3://…

Alice ca61a 2013-09-12 s3://…

Local to a Hash Key value

Table

ローカルセカンダリインデックスの例

Images Table

User Image Date Link

Bob aed4c 2013-10-01 s3://…

Bob cf2e2 2013-09-05 s3://…

Bob f93bae 2013-10-08 s3://…

Alice ca61a 2013-09-12 s3://…

User Date Image

Bob 2013-09-05 cf2e2

Bob 2013-10-01 aed4c

Bob 2013-10-08 f93bae

Alice 2013-09-12 ca61a Table ByDate Local Secondary Index

Local Secondary Index on Date

ローカルセカンダリインデックスの例

Images Table

User Image Date Link

Bob aed4c 2013-10-01 s3://…

Bob cf2e2 2013-09-05 s3://…

Bob f93bae 2013-10-08 s3://…

Alice ca61a 2013-09-12 s3://…

User Date Image

Bob 2013-09-05 cf2e2

Bob 2013-10-01 aed4c

Bob 2013-10-08 f93bae

Alice 2013-09-12 ca61a Table ByDate Local Secondary Index

Query for Bob’s two most recent images

グローバルセカンダリインデックスの例

ImageTags Table

Image User

aed4c Alice

aed4c Bob

f93bae Alice

f93bae Bob Table

グローバルセカンダリインデックスの例

ImageTags Table

Global Secondary Index on User, Image

User Image

Bob aed4c

Bob f93bae

Alice aed4c

Alice f93bae ByUser Global Secondary Index

Image User

aed4c Alice

aed4c Bob

f93bae Alice

f93bae Bob Table

グローバルセカンダリインデックスの例

ImageTags Table

User Image

Bob aed4c

Bob f93bae

Alice aed4c

Alice f93bae ByUser Global Secondary Index

Image User

aed4c Alice

aed4c Bob

f93bae Alice

f93bae Bob Table

Alternate Hash and Range Keys

グローバルセカンダリインデックスの例

ImageTags Table

Alice Query for images tagged Alice

User Image

Bob aed4c

Bob f93bae

Alice aed4c

Alice f93bae ByUser Global Secondary Index

Image User

aed4c Alice

aed4c Bob

f93bae Alice

f93bae Bob Table

ペタバイト級のデータをハンドル

超並列処理

リレーショナルなデータウェアハウス

完全マネージド

Amazon Redshift

セキュリティ機能の強化

• Audit logging

• SNS Alerts

Redshift

監査記録機能の強化

• HSM/CloudHSM

• Audit logging

• SNS Alerts

Amazon S3

Amazon Redshift

Database Activity

Logins, Login failures, Queries, Loads

System Activity

Creates, Changes, Deletes, Resizes

AWS

CloudTrail

イベント通知の強化

• HSM/CloudHSM

• Audit logging

• SNS Alerts

Amazon

Redshift SNS

Topic

Monitoring Security

Maintenance Errors

データロード機能の強化

• Cluster Creation

• Faster Resize

Amazon

Redshift

Amazon S3

Amazon

EMR

Amazon EC2

Corporate Data Center

データロード機能の強化

• Cluster Creation

• Faster Resize

Amazon

Redshift

Amazon S3

Amazon

EMR

Amazon EC2

Corporate Data Center

クラスタ作成の高速化

• COPY from SSH

• Cluster Creation

• Faster Resize

15-20 min

3 min

クラスタサイズ変更の高速化

• COPY from SSH

• Cluster Creation

• Faster Resize

29 hours

7 hours

パフォーマンスと同時実行性の改善

パフォーマンスと同時実行性の改善

692.8s

34.9s

誤差

< 2%

パフォーマンスと同時実行性の改善

5,951.7s

2,151.9s

パフォーマンスと同時実行性の改善

15

50

Questions