Amazon Aurora 为云计算而生的关系型数据库 · Amazon Aurora MySQL 的速度可达MySQL...
Transcript of Amazon Aurora 为云计算而生的关系型数据库 · Amazon Aurora MySQL 的速度可达MySQL...
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
章平,AWS 解决方案架构师
Amazon Aurora 为云计算而生的关系型数据库
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
AWS 数据库服务专为满足您的所有应用程序需求而构建
Amazon
DynamoDB
Amazon
Neptune
Amazon
RDS
Aurora CommercialCommunity
Amazon
Timestream
Amazon
QLDB
Amazon
ElastiCache
关系 键 - 值 文档 内存 图 时间序列 分类账
Amazon
DocumentDB
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
高性能和高可扩展性 高可用性和高耐用性
高度安全 完全托管
• 5 倍于标准 MySQL 的吞吐量
• 3 倍于PostgreSQL 的吞吐量
• 性能相当而成本仅为商用DB
的1/10
• 可以跨3个AZ,最多 15 个可
读副本
• 存储自增长,单实例可达
64TB
• 可用性高于 99.99%
• 具有容错及自我修复能
力
• 跨3个AZ复制6个数据
副本
• 数据持续备份到
Amazon S3
• 实例故障转移小于3 秒
• 通过Amazon
VPC 进行网络级
隔离
• 支持静态存储及
传输时加密
• 集群中的备份、
快照和副本自动
加密
• 无需担心硬件、软件
补丁、设置、配置或
备份等数据库管理任
务
• 自动持续监控并将其
备份到 Amazon S3
• 可以实现精细的时间
点恢复。
兼容 MySQL 和 PostgreSQL 的关系数据库,为云打造。
性能和可用性与商用数据库相当,成本只有 1/10。
Amazon Aurora 的与众不同
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
写入与读取吞吐量Amazon Aurora MySQL 的速度可达 MySQL 的5倍
0
50,000
100,000
150,000
200,000
250,000
MySQL 5.6 MySQL 5.7 MySQL 8.0
Aurora 5.6 Aurora 5.7
0
100,000
200,000
300,000
400,000
500,000
600,000
700,000
800,000
MySQL 5.6 MySQL 5.7 MySQL 8.0
Aurora 5.6 Aurora 5.7
写入吞吐量 读取吞吐量
在R4.16XL实例上运行Sysbench处理250份表,每份表包含20万行
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 体系结构(横向扩展)AZ 1 AZ 3
PrimaryInstance
Amazon S3
AZ 2
ReplicaInstance
ASYNC4/6
QUORUM
DISTRIBUTED WRITES
ReplicaInstance
Logging + Storage
SQL
Transactions
Caching
控制层面数据层面
Amazon S3
Amazon DynamoDB
Amazon SWF
Amazon Route 53
将日志记录和存储层移入多租户,横向扩展为数据库
优化的存储服务
与 Amazo EC2、Amazon VPC、Amazon DynamoDB、
Amazon SWF、Amazon Route 53 等其他AWS服务
集成,用于控制层面的操作
持续备份与 Amazon S3 集成,并具有11个9的持久性
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 只读副本的不同之处
Log Records
Binlog
Data
Double-Write Buffer
FRM Files, Metadata
MySQL With Replica Amazon Aurora
AZ 1 AZ 2
Primary
Instance
Replica
Instance
Amazon Elastic
Block Store
(EBS)
Amazon
S3
Amazon EBS
mirror
Amazon EBS
Amazon EBS
mirror
PiTR
Sequential
write
Sequential
write
AZ 1 AZ 3
Primary
Instance
Amazon
S3
AZ 2
Replica
Instanceasync
4/6
quorum
Distributed
writes
主要改进
日志结构化存储
对异常值的一致性容忍度
显着提高网络I/O的使用效率
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 存储节点的I/O处理
LOG RECORDS
Primary
Instance
INCOMING QUEUE
STORAGE NODE
Amazon S3 BACKUP
1
2
3
4
5
6
7
8
UPDATE
QUEUE
ACK
HOT
LOG
DATA
BLOCKS
POINT IN TIME
SNAPSHOT
GC
SCRUB
COALESCE
SORT
GROUP
PEER TO PEER GOSSIPPeer
Storage
Nodes
① 所有步骤都是异步的
② 仅有步骤1与2处于前台延时过程中
③ 输入队列比MySQL少46倍
④ 有利于延时敏感型操作
⑤ 使用磁盘空间缓冲活动中的峰值
实际运行效果
I/O 控制流① 接收记录并添加到内存队列中
② 持久化日志记录并确认
③ 组织日志记录并鉴别日志中的缝隙
④ 通过Gossip协议填补对等节点中缝隙
⑤ 将日志记录合并到新版本的数据块中
⑥ 定期将日志和新块中转到 Amazon S3
⑦ 定期垃圾回收旧块
⑧ 定期对块进行CRC校验
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 存储引擎概述
数据在3个Availability Zones中复制6份持续备份到 Amazon S3 (11个9的持久性)
持续监视节点和磁盘并自动修复10GB 的区段作为修复和存储根据用量自动增长的基础,存储最大扩展到64 TB
Quorum system 读写;
Quorum membership 变更不会阻塞写
AZ 1 AZ 2 AZ 3
Amazon
S3
DatabaseNode
Storage
Node
Storage
Node
Storage
Node
Storage
Node
Storage
Node
Storage
Node
Storage
Monitoring
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
可能问题?
Segment 损坏 (磁盘)
节点损坏(主机)
AZ 损坏 (网络或数据中心)
优化4 out of 6 write quorum
3 out of 6 read quorum
Peer-to-peer replication for repairs
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
Amazon 存储引擎容错
SQL
Transaction
AZ 1 AZ 2 AZ 3
Caching
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 只读副本可用性
自动检测并替换失败的database nodes
自动检测并重启失败的database processes
只读副本在主节点故障时自动提升 (failover)
客户可以指定fail-over 顺序
AZ 1 AZ 3AZ 2
Primary
NodePrimary
Node
Primary
Database
Node
Primary
NodePrimary
NodeRead
Replica
Primary
NodePrimary
NodeRead
Replica
Database
and
Instance
Monitoring
性能
• 客户程序可以将读流量指向只读副本
• 读负载在多个只读副本间均衡
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
支持15个只读副本
自动添加或删除只读副本
自动故障转移
集群读写与只读终端节点
Availabilit
y Zone 1
横向扩展读取性能
Availabilit
y Zone 2
Availabilit
y Zone 3
Application
Read
Replica 1
Read
Replica 2
Master
Node
Shared distributed storage volume
Amazon Aurora—扩展与高可用
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
SEGMENT
SNAPSHOT
LOG
RECORDS
RECOVER
Y POINT
SEGMENT 1
SEGMENT 2
SEGMENT 3
TIME
Amazon Aurora 数据库备份与恢复
并行为每个段定期拍快照,将重做日志流传输到S3存储桶
持续进行备份,并不影响性能或可用性
在还原时,从 Amazon S3 返回相应的段快照与重做日志流到存
储节点
以并行和异步方式应用重做日志流到段快照
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
传统数据库
需要从last checkpoint重放所有日志
一般来说从checkpoints开始5分钟内
在MySQL and PostgreSQL上是Single-threaded需要大量的disk
accesses
Amazon Aurora
启动时无需重放,存储系统transaction-aware
底层存储不管是否恢复阶段都会持续日志
合并操作是并行,分布和异步的
Checkpointed Data Log
Crash at T0 requires
a re-application of the
SQL in the log since
last checkpoint
T0 T0
Crash at T0 will result in logs being
applied to each segment on
demand, in parallel, asynchronously
Amazon Aurora 紧急崩溃恢复
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 只读副本自动伸缩技术
MASTERREAD
REPLICA
READ
REPLICA
READ
REPLICA
SHARED DISTRIBUTED STORAGE VOLUME
READER END-POINT
跨多个可用区最多可提升15个只读副本
基于重做日志复制的副本低延时 - 通常<10毫秒
读取器端点具有负载平衡和自动缩放(CPU及连接数)
Availability
Zone 1
Availability
Zone 2
Availability
Zone 3
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
克隆数据库而不复制数据
瞬间创建一个数据库克隆
仅在发生写入时复制数据(COW) –
当原始数据和克隆卷数据不同时
应用场景
克隆生产数据库以运行测试
数据库重组
为分析提供一个时间点快照,不影
响生产环境PRODUCTION DATABASE
CLONE CLONE
CLONEDEV/TEST
APPLICATIONS
BENCHMARKS
PRODUCTION
APPLICATIONS
PRODUCTION
APPLICATIONS
Amazon Aurora 数据库克隆技术
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
自动恢复缓存
将 cache 从数据库进程中分离出来
数据库重启时Cache 可以依旧保持热度
更快地恢复全量加载操作
实例崩溃恢复+ 可存活cache = 更快速容易地从DB失败中恢复
SQL
Transactions
Caching
SQL
Transactions
Caching
SQL
Transactions
Caching
Caching process 和DB process 分离开来并在数据库重启时保持 warm
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
数据回溯
快速恢复用户的错误操作
使用 Backtrack 允许您将数据库回退到以前的某个时间点,无需从备份还原,即使是大型数据库也只需要几秒钟时间。
可以多次恢复,直到需要的时间点
t0 t1 t2
t0 t1
t2
t3 t4
t3
t4
Rewind to t1
Rewind to t3
Invisible Invisible
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
跨区域副本容灾
提升replica 到master实现容灾
不同地区的客户离数据更近
轻松迁移
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
当任何的实例故障,应用零停机
当任何的AZ故障,应用零停机
更快速的写入性能
更强大的扩展能力
Amazon Aurora 多主节点(Multi-Master)
Availabilit
y Zone 1
Availabilit
y Zone 2
Availabilit
y Zone 3
Application
Read/Write
Master 1
Shared distributed storage volume
Read/Write
Master 2
Read/Write
Master 3
横向扩展读/写性能
通过使用 Amazon Aurora Multi-Master,可以在多个可用区中创建多个读取/写入主实例。应用
程序就可以在集群的多个数据库实例中读取和写入数据,就像目前可以在只读副本中读取一样。
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
按需自动启停
无服务器化、自动扩展
仅为您使用的资源按秒付费
Amazon Aurora 无服务器架构(Serverless)
Warm Capacity
Pool
Application
Database Endpoint
Scalable Database Capacity
(Compute + Memory)
Shared Distributed Storage
Serverless 是一种面向 Amazon Aurora 的按需扩展配置,数据库将根据您的应用程序的需求来自动启
动、关闭以及纵向和横向扩展数据库容量。可在云中运行关系数据库,而无需管理数据库实例或集群。
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
并行、分布式处理
让处理更接近数据
减少缓冲池污染
数据库节点
存储节点
下推预测聚合结果
降低查询延迟——并行查询
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
众所周知的决策支持基准
我们对 Amazon Aurora 的并行查询功能进行了测试,并发现性能提升效果非常显著。具体来说,我们得以将实例
类型从r3.8xlarge降低至r3.2xlarge。对于这一用例,并行查询代表着巨大的性能进步。
云数据架构师Jyoti Shandil
0x
20x
40x
60x
80x
100x
120x
Q1 Q3 Q5 Q7 Q9 Q11 Q13 Q15 Q17 Q19 Q21
减少查询响应时间
峰值加速约120倍
超过10倍加速:22项查询中的8项
并行查询——性能结果
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
仪表板显示数据库负载
操作简单——支持拖放等直观操作
强大——可通过放大进行深入观察
确定性能瓶颈来源
按首要SQL分类
按主机、用户、等待事件等分类
可调节时间范围
小时、天、周、月
最高保留近2年数据;免费保留近7天数据
性能洞察能力
最大vCPUCPU瓶颈
SQL等待/高CPU
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
MySQL shards
Amazon Aurora
Amazon DMS
MySQL shards
MySQL shards
EC2 MySQL
RDS MySQL
Ingest snapshot
Catchup using binlog
replication
Aurora
RDS MYSQL to Aurora EC2/on-premises MYSQL to Aurora
Many-to-one migration
Console based automated snapshot ingestion and catch up via binlog replication.
Binary snapshot ingestion through Amazon S3 and catch up via binlog replication.
Consolidate multiple MySQL shards into a single Amazon Aurora instance using Amazon Database Migration Service.
Amazon S3
Take snapshot;Load to Amazon S3
Ingest snapshot into Amazon
Aurora
Amazon Aurora 数据库迁移方法
Amazon Aurora
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon Aurora 客户采用情况
在前百大 AWS 客户当中,有3/4选择使用Amazon Aurora
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
公开客户案例
虎牙:直播
Camel Games:游戏
德比:软件
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
虎牙:将 Amazon Aurora 纳入虎牙整体架构
主从同步主从节点间非强一致性同步
需要读写强一致直接读主节点
交易
信息
主播
信息
开播
记录
用户
信息
故障迁移开发DNS代理订阅故障事件
纳入虎牙故障管理体系
模式选择Serverless模式和实例模式合理选择
自动扩容通过虎牙各大平台实现动态管理
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
虎牙:将 Amazon Aurora 纳入虎牙整体架构
数据源自动扩缩容
纳入虎牙全链路监控体系
纳入虎牙基础设施管理平台
结合AWS计算与存储分离的特性
纳入虎牙资源调度分析平台
对接AWS API
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Amazon DynamoDB
Amazon E last iCache
Amazon Neptune
键值 文档 内存存储 图
虎牙海外直播数据库体系
关系型
Amazon RDS
A M A Z O N
A U R O R AC O M M E R C I A L C O M M U N I T Y
时序搜索
AmazonE last i cSearch
Orac le
Microsof t
SQL Server
Redis
Memcached
Amazon DocumentDB
AmazonQLDB
账本
AmazonTimestream
自建数据库
DCache HBase
全链路监
控体系
基础设施
管理平台
资源分析
调度平台接入平台
AWS数据库
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
虎牙:全球化架构下未来展望
Geo-Located Based DB and Cache
全球数据最大规模区域自治
用户就近接入
细粒度全球自动迁移
降低跨洋数据同步
用户的数据放置在离用户最近的地方
行级别的跨洋数据迁移,避免全量同步
根据引用频率跨大洲添加副本
降低对全球热点人物的访问延时
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
• 统一业务中心Amazon
AuroraAmazon DynamoDB Amazon ElastiCache
Amazon
SQS
Amazon SNSAmazon
Autoscaling
关键服务
• 全球快速部署
• 自动灵活扩展
AWS 助力虎牙快速出海
• 全球用户实时互动
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
Camel Games: Amazon Aurora
• 易于运维管理2-3人管理200+数据库
无需专门DBA
30秒快速故障切换
存储自动扩展
• 简单扩展自动+手动在线扩展
• 高并发性能优异高峰> 20000 R/s, 4000 W/s
响应时间10ms
• Performance Insights
SQL优化
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
德比软件: Amazon Aurora
• 处理酒店与OTA之间数据对接
• 易管理性存储自动扩容
• 优异性能酒店促销活动
• 稳定自动故障切换
自动报警
AWS 中国(宁夏)区域由西云数据运营AWS 中国(北京)区域由光环新网运营
我们希望您喜欢今天的内容!也请帮助我们完成反馈问卷。
欲获取关于 AWS 的更多信息和技术内容,可以通过以下方式找到我们:
感谢参加 AWS 在线研讨会
微信订阅号:AWS 云计算(awschina)
新浪微博:https://www.weibo.com/amazonaws/
领英:https://www.linkedin.com/company/aws-china/
知乎:https://www.zhihu.com/org/aws-54/activities/
视频中心:http://aws.amazon.bokecc.com/
更多线上活动:https://aws.amazon.com/cn/about-aws/events/webinar/
微信服务号:AWS Builder 俱乐部(amazonaws)
抖音:亚马逊云计算(抖音号:266052872)