Web & Mobile 05 06 08 › doc › Microsoft_Azure_Value_6 … · Azure...
18
http://azureplatform.azurewebsites.net/ 13 Management Tools 04 Web & Mobile 09 Internet of Things 01 Compute 06 Databases 10 Enterprise Integration 02 Networking 07 Analytics 11 Security + Identity 05 Containers 03 Storage 08 AI + Machine Learning 12 Developer Tools 14 Microsoft Azure Stack 1
Transcript of Web & Mobile 05 06 08 › doc › Microsoft_Azure_Value_6 … · Azure...
http://azureplatform.azurewebsites.net/
13
Management Tools
04
Web & Mobile
09
Internet of Things
01
Compute
06
Databases
10
Enterprise Integration
02
Networking
07
Analytics
11
Security + Identity
05
Containers
03
Storage
08
AI + Machine Learning
12
Developer Tools
14
Microsoft Azure Stack
1
06
Databases
SQL Server & Cloud RDB 進化の歴史
第二世代：
James Nicholas Gray（ジムグレイ）が開発を指揮。ジムグレイは、IBM、TANDEM、DEC の各社で、Lead Architect
として主要なデータベースやトランザクション処理システムの開発を行った。1998年には計算機科学分野のノーベル賞と言われるチューリング賞を授与された。
明治安田生命様
損保ジャパン様
Kabu.com様
IY Bank(現セブン銀行)様
SQL DB
3
SQL DW
▼登場 (SQL2008 版 PaaS)2010年
▼V12 (SQL2014+2016 PaaS + Elastic DBs)2015年
▼登場 (APS 進化型 PaaS)2015年
百五銀行様 (銀行勘定系システム)
NEC様 (グループ全体の大規模基幹システム)
SBIリクイディティマーケット様 (35,000トランザクション/秒)
１１銀行の勘定系で採用
NTT ドコモ様 (情報系での全面適用)
JFE 様 (メインフレームの刷新)
あらゆる開発言語であらゆる種類・サイズのデー
タをあらゆるプラットフォーム上で
処理する技術で革新を実現
データ資産を横断的にデータ統合し、
新たな問題を迅速に解決
必要最小限の製品とサービスで
データ資産に対するセキュリティと
突出した TCO を実現
INTELLIGENT TRUSTED FLEXIBLE
0
50
100
150
200
Vu
lnera
bil
itie
s (2
01
0-2
01
6)
SQL Server 2017⇒ built-in Azure SQL DatabaseIndustry-leading performance on the most secure data platform, with built-in intelligence for all your data
#1
世界最高の性能 世界最高の安全性 リアルタイム インテリジェンス あらゆるアプリケーションに
オンプレミスからクラウドまで、最も一貫したエクペリエンスを提供
あらゆる状況下で、最高の TCO を実現
➔
Azure SQL DatabaseDTU based
https://docs.microsoft.com/ja-jp/azure/sql-database/
5
ミッションクリティカルクラウド RDB
完全マネージド型
⚫ 3 重化されたコンピュート、3 重化された DB
⚫ Geo レプリカによって、最大 7 重化可能
⚫ 自動バックアップと最大 35 日間のポイントインタイムリストア
⚫ 最大 10 年間のバックアップ保有が可能
⚫ 同一リージョン内での障害では、数秒レベルのフェールオーバー
⚫ Geo フェールオーバーの自動化も可能
⚫ 透過的暗号化、ファイアウォール (IP, VNet)
⚫ 脅威の検出機能 / 監査機能
⚫ ミッションクリティカル RDB が月額 ¥619～
SQL Server 2017 RDB Engine + ML Services を Built-in
⚫ SQL Server 2017 と同じツールが利用可能
⚫ SQL Server 2017 RDB と同一機能が利用可能
⚫ AI 機能を T-SQL で呼び出し可能 NEW
➔
Azure SQL DatabaseHyperscale (vCore based)
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-hyperscale
6
ハイパースケールミッションクリティカルクラウド RDB
⚫ 100 TB までのデータベースをサポート (自動スケール)
⚫ 高速な大規模 DB バックアップ (file snapshot ベース)
⚫ 高速な大規模 DB リストア (file snapshot ベース)
⚫ データ容量に関わらず、高速なトランザクションログスループットと高速なコミットによる非常に高い性能
⚫ 高速スケールアウト：読み取り専用ワークロードをオフロードしたり、ホットスタンバイの為に１つ以上のセカンダリコンピュートノードをプロビジョニングすることができます
⚫ 高速スケールアップ：一定の時間内に、必要に応じて重いワークロードに対応するようにコンピューティングリソースをスケールアップし、必要でないときにコンピューティングリソースをスケールダウンすることができます
Azure SQL DB DTU based : サービス階層ごとの詳細
7
機能 BasicStandard Premium
S0 S1 … S12 P1 P2 P4 P6 P11 P15使用可能時間 SLA 99.99% 99.99% 99.99%
最大 DB サイズ 2 GB 250 GB 500 GB – 1 TB 4 TB
DTU (Database
Throughput Units)5 10 20 … 3,000 125 250 500 1,000 1,750 4,000
In-Memory OLTPストレージサイズ N/A N/A 1 GB 2 GB 4 GB 8 GB 14 GB 32 GB
Point In Time Restore過去7日間の任意
の時点過去 35 日間の任意の時点
Disaster Recoveryアクティブ Geo レプリケーション
( 最大 4 つまでの [読取可能] オンラインセカンダリーバックアップ )
パフォーマンス目標
1 時間当たりトランザクション数 1 分当たりのトランザクション数 1 秒当たりのトランザクション数
16,600/h 521/m 934/m …. …. 105/s 213/s 425/s 850/s 1,488/s 3,400/s
予測可能性 良い(時間単位) 高い(分単位) 最高(秒単位)
TPM 換算値 276 521 934 … …. 6,300 13,680 26,820 44,100 77,175 176,366
最大同時ログイン数 30 60 90 … …. 200 400 800 1,600 2,400 6,400
最大セッション数 300 600 900 … …. 30,000 30,000 30,000 30,000 30,000 30,000
SQL Database のオプションとパフォーマンス: 各サービスレベルで使用できる内容について理解する
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-service-tiers
➔
Azure SQL DB Data Sync
複数のクラウドおよびオンプレミスデータベース間でデータを同期する機能
同期の構成
ハブ DB ：Azure SQL DB のみ
メンバー DB ：Azure SQL DB or SQL Server (on-pre, IaaS)
同期 DB ：ハブ DB と同じリージョンの Azure SQL DB
同期方向
双方向、一方向を選択可能
同期間隔
秒、分、時、日単位で設定可能
競合解決ポリシー
ハブに合わせる or メンバーに合わせる
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-sync-data
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-get-started-sql-data-sync 8
➔
Azure SQL DB Updateスケールの柔軟性
Standard 階層への最大 4 TB ストレージの拡張 Public Preview - ETA Q1 CY18
Additional Standard tier performance levels GA - ETA Q1 CY18
データ保全と保護
Information Protection Public Preview - ETA Q1 CY18
Consistent Recovery Time Public Preview - ETA Q1 CY18
Always Encrypted updates Public Preview - ETA Q2 CY18
Auto-failover GA – ETA Q2 CY18
学習と適合
可用性ゾーン冗長 Public Preview - ETA Q1 CY18
Adaptive Query Processing Updates - ETA Q1 CY18
開発者向け機能
Machine Learning Services の追加 Public Preview - ETA Q1 CY18
SQL Database Managed Instance Limited Public Preview - ETA Q1 CY18
Data Sync GA - ETA Q1 CY18
Batch mode in rowstore Public Preview - ETA Q2 CY18
読取りスケールアウト GA - ETA Q2 CY18
Long term backup retention GA - ETA Q2 CY18
https://docs.microsoft.com/ja-jp/azure/sql-database/
9
Information Protection Public Preview
➔
Azure SQL DB Managed InstanceVNet へのネイティブな組み込みや、既存のSQL Server との互換性に対応した新しいAzure SQL DB サービス
• SQL Server インスタンスやインスタンスレベルの機能を提供
• SQL Server から SQL Database に対するリフト＆ シフトを容易にする
• Private IP を用いた VNet への組み込みが可能
• 既存のライセンスの活用、SQL Server に対するハイブリッドベネフィットの活用が可能
• SQL Database の提供する完全マネージド型の機能はそのまま利用可能 - サーバー/ DB の 3 重化,
自動フェールオーバー, Geo レプリカ, Machine
Learning Service, …
• Azure Database Migration Service を利用可能
https://azure.microsoft.com/en-us/blog/new-options-to-modernize-your-application-with-azure-sql-database/ 10
➔
Azure Database for MySQL
https://docs.microsoft.com/ja-jp/azure/mysql/
11
完全マネージド型のMySQL PaaS
• Azure SQL Database 同様に、Service Fabric Cluster ベースのアーキテクチャ
• 組込みの高可用性、99.99 % の SLA
• 数秒以内のすばやいスケール
• 自動バックアップと最大 35 日間のポイントインタイムリストア
• 通信暗号化、透過的暗号化
• ファイアウォール (IP)
• Programming Surface：MySQL 5.6/5.7
➔
Azure Database for PostgreSQL
https://docs.microsoft.com/ja-jp/azure/mysql/
12
完全マネージド型のMySQL PaaS
• Azure SQL Database 同様に、Service Fabric Cluster ベースのアーキテクチャ
• 組込みの高可用性、99.99 % の SLA
• 数秒以内のすばやいスケール
• 自動バックアップと最大 35 日間のポイントインタイムリストア
• 通信暗号化、透過的暗号化
• ファイアウォール (IP)
• Programming Surface： PostgreSQL 9.5/9.6
➔
Azure SQL Data Warehouse Gen2
https://docs.microsoft.com/ja-jp/azure/sql-data-warehouse/
13
データ無制限のスケールアウト型クラウドData Warehouse
エラスティックなスケーラビリティ
• コンピュートのスケール up/down が即時
• 一時停止 (Pause) 機能
• データ無制限のストレージ
最高クラスの性能 / 価格優位性
• 占有 H/W ではなく、必要とするものへの支払い
• オンデマンドの価格設定
• ストレージとコンピュートの分離
SQL Server と同等の使い勝手
• Azure データサービス群との統合 (Data Factory, Databricks, HDInsight, Machine Learning, … etc.)
• 商用 RDB 世界シェア No.1 の SQL Server との互換性
• 無償ツールの利用：SQL Server Management Studio, Azure Data Studio, Power BI Desktop, … etc.
高度なセキュリティ
• Azure AD 認証、Advanced Threat Protection [データの検出と分類 / 脆弱性評価 / 脅威の検出]、監査、透過的暗号化、行レベルセキュリティなどの機能を提供
Azure SQLDW：圧倒的な性能と高い運用性
カラム数：80件数：16 億件
論理容量：640 GB
カラム数：10件数：300
論理容量：30 KB
カラム数：40件数：8 億件
論理容量：160 GB
⚫ SQL Server 2014 の圧倒的性能に驚愕された某キャリア様での POC 性能値を４倍凌駕
⚫ 100 DWU ～ 2000 DWU の範囲で即時スケールアップ＆ダウンを実施
⚫ Polybase による BLOB ストレージからの容易なデータロード
0:00:00
0:07:12
0:14:24
0:21:36
0:28:48
0:36:00
0:43:12
0:50:24
0:57:36
1:04:48
SQL Server オン
プレミス
(60Core/2TB
Memory)
Azure SQL DW
(500 DWU)
Azure SQL DW
(1000 DWU)
Azure SQL DW
(2000 DWU)
レスポンスタイム (H:M:S)
15
Azure SQLDW：Redshift との比較
Elasticity
Amazon Redshift Azure SQL Data Warehouse
Cost
Simplicity
Choice
Compatibility
➔
Azure Cosmos DB
https://docs.microsoft.com/ja-jp/azure/cosmos-db/
16
マルチ API & マルチモデルデータベース
グローバル分散
• すべての Azure リージョンで利用可能
• Multi-homing API (論理エンドポイント)
• 手動、もしくは、自動のフェールオーバー
• 自動の同期型マルチリージョンレプリケーション
大規模な拡張性
• KB から PB までの容易なスケール
• １テーブルを多数のマシンとリージョンに分散配置
• 透過的なサーバーサイドパーティション
• SLA で保証された低遅延の性能
マルチ API & マルチモデル
• SQL (Document) API
• MongoDB API
• Graph (Gremlin) API
• テーブル API
• Cassandra API
• HBase API
NEW
Plan
Read < 2 ms
Writes < 6 ms
Read < 10 ms
Writes < 15 ms
99%50%
✓ 要求は、最も近いリージョンが担当
✓ ワールドワイドでミリ秒の遅延を SLA で保証
✓ 自動インデックス化した SSD ストレージ
✓ マルチリージョン設定では、99.999 % の SLA
➔
Azure Data Factory V2
https://docs.microsoft.com/ja-jp/azure/data-factory/
17
Azure Data Factory は、様々なデータソースへの接続＆データ収集、変換＆加工、データ発行、モニタリングを行うことが出来るデータ統合サービス
接続＆データ収集オンプレミスのあらゆるデータ、Azure や AWS を始めとしたクラウド上のあらゆるデータサービスに接続してデータを収集可能 (データコピー対象)
データ変換＆加工HDInsight (Hadoop), Spark, Data Lake Analytics, Machine Learning, SSIS, ストアドプロシージャなどのコンピューティングサービスを使って、収集されたデータを変換＆加工を実施
データ発行分析ツールから参照できる Azure Data Warehouse, Azure SQL Database, Azure Cosmos DB, など様々なDB & 分析エンジンに加工したデータを発行
モニタリングAzure Monitor, API, PowerShell, Log Analytics, Azure ポータルの正常性パネルなどからスケジュール化したアクティビティとパイプラインを監視可能
自己ホスト型統合ランタイムオンプレミスや VNet 上に、統合ランタイムを配置可能
➔
Azure Data Factory V2 - SSIS IR
https://docs.microsoft.com/ja-jp/azure/data-factory/tutorial-deploy-ssis-packages-azure
https://docs.microsoft.com/ja-jp/azure/data-factory/create-azure-ssis-integration-runtime
18
Azure Data Factory V2 は、SQL Server の1 機能である優れた ETL ツール SSIS (SQL Server Integration Services) を実行可能なSSIS 統合ランタイムを提供
SQL Server Data Tools によるデザインSQL Server Data Tools (SSDT: 無償ツール) を利用して、豊富なコンポーネントを利用した GUI による ETL 処理のコードレス開発が可能
Data Factory v2 による実行環境作成Azure ポータル or PowerShell によって、Azure SQLDB 上に SSIS カタログ DB を作成し、SSIS 統合ランタイム(SSIS IR) を VNet 上に作成可能
様々な実行方式SSIS カタログ DB が配置された SQL Database のストアドプロシージャから起動することが出来る為、Data Factory からだけではなく、SQL Database エラスティックジョブからのスケジュール起動、Functions や Logic Apps などのアプリからの起動、また、SQL Server Management Studio の GUI からの起動も可能です。
