分布式HTAP数据库 ——OLTP与OLAP一站式解决方案
皓庭
阿里云事业群-飞天八部-数据库技术组
自我介绍
2011年 淘宝核心系统,数据库内核与云服务研发
皓庭(王骞)
2013年 阿里云,分布式数据库研发
2015年 阿里云,阿里云HybridDB for MySQL产品负责人
阿里云事业群-飞天八部-数据库技术组
企业级应用的数据库架构演进
OLTP数据库
OLTP OLAP
OLTP数据库 主库
OLTP OLAP
OLTP数据库 备库
OLTP数据库 分区
OLTP OLAP
OLTP数据库 分区
OLAP数据库
数据同步
分库分表中间件
HTAP数据库
OLTP OLAP
1.小型企业级应用 2.中型企业级应用
3.大型企业级应用 4.巨型企业级应用
阿里云事业群-飞天八部-数据库技术组
HTAP数据库产品
OLAP 能力
OLTP 能力
ADS
RedShift
OceanBase
DRDS SAP HANA
HybridDB for MySQL
Oracle
RDS
阿里云事业群-飞天八部-数据库技术组
HybridDB for MySQL
• HTAP:
– Hybrid Transactional / Analytical Processing
• 分布式架构 – 一份数据同时支持OLTP+OLAP,无需数据交换
– 分布式架构,突破单机限制,可在线扩容
• 行列混合存储引擎 – 事务存储引擎(tokudb):大容量、高压缩比、事务并发处理
– 分析索引引擎(cstore): 多维分析、全文检索、地理位置检索、图和算法库
• SQL能力 – 核心: select、insert、delete、update
– 事务: transaction
– 分析扩展: tpc-h、tpc-ds、oracle分析函数
• 对齐云数据库RDS用户体验 – MySQL协议兼容,生态完善
– 高可靠、高可用、扩缩容、灾备、安全
阿里云事业群-飞天八部-数据库技术组
统一的数据库云服务
HybridDB for MySQL RDS for MySQL OLTP+OLAP混合方案
访问入口 统一入口 统一入口 多点入口
ACID事务特性 全局ACID 全局ACID 组件间ACID
SQL兼容性 全局一致 全局一致 组件间兼容性不同
数据延迟 无 无 有同步延迟
稳定性 统一的稳定性保障 统一的稳定性保障 组件间稳定性不同
性能扩容 线性扩容 不支持线性扩容 线性扩容
计算功能扩展 多种计算功能扩展 不支持计算功能扩展 多种计算功能扩展
存储成本 一份存储 一份存储 多份存储
计算成本 一份计算 一份计算 多份计算
异构数据同步成本 无 无 数据同步成本较高
备份恢复 支持 支持 组件局部支持
监控 支持 支持 组件局部支持
阿里云事业群-飞天八部-数据库技术组
核心技术 • 关键点
– 分区share nothing – 存储计算分离 – 全局一致的数据视图
• 链路引擎 – 生成最短执行计划 – 链路保持 – 事务协调者
• 存储引擎 – 分区内事务 – 高压缩 – 批量insert优化
• 列存索引 – 列式存储,meta信息,索引框架 – 范围索引,全文索引,地理位置索引
• 计算引擎 – MPP计算调度,快速聚合 – 全功能引擎
资源管理
链路引擎
存储引擎 存储引擎
controller
解析与合并
事务协调者
存储分区
E
存储分区
F
存储分区
G
存储分区 H
存储分区
A
存储分区
B
存储分区
C
存储分区
D
计算分区
A
计算分区
B
计算分区
C
计算分区
D
计算引擎
列存索引 列存索引
阿里云事业群-飞天八部-数据库技术组
HA
高可用与高可靠架构
• 链路节点: – 无状态
– 多副本
• 存储节点: – 一主二备
– 触发式备份
• 计算节点: – 无状态
– 多副本
Client
Switch Slave
Switch Master
负载均衡节点 负载均衡节点
链路节点 链路节点
存储节点主副本
存储节点从副本
后备存储 Backup
存储节点从副本
HA监控 计算节点
计算节点
阿里云事业群-飞天八部-数据库技术组
使用场景和案例
• 分库分表+实时分析 – 天然兼容分库分表业务
– 无需关心运维问题
– 一份数据直接分析
– 提升时效性,降低成本
• 案例 – 阿里视频直播录制
– CDN实时监控报表
阿里云事业群-飞天八部-数据库技术组
HTAP数据库
在线业务 商家报表 历史订单 画像分析
使用场景和案例
• 物联网实时数据处理 – 十万级的并发连接
– 十万级的QTS/TPS
– 多维度查询
• 案例 – 优驾
– 阿里云IoT业务平台
阿里云事业群-飞天八部-数据库技术组
HTAP数据库
车载传感器 移动终端 家电传感器 多维分析
使用场景和案例
• 实时数据仓库 – 百万级批量实时入库,实
时可见
– 毫秒级查询延时
• 案例 – 阿里云SLA平台
– 手淘消息推送
– 淘宝导购缓存
阿里云事业群-飞天八部-数据库技术组
HTAP数据库
原始数据 商业智能 一级分析结果 实时报表
谢谢各位!
阿里云事业群-飞天八部-数据库技术组
Top Related