分布式HTAP数据库 ——OLTP与OLAP一站式解决方案

皓庭

阿里云事业群-飞天八部-数据库技术组

自我介绍

2011年 淘宝核心系统，数据库内核与云服务研发

皓庭（王骞）

2013年 阿里云，分布式数据库研发

2015年 阿里云，阿里云HybridDB for MySQL产品负责人

阿里云事业群-飞天八部-数据库技术组

企业级应用的数据库架构演进

OLTP数据库

OLTP OLAP

OLTP数据库 主库

OLTP OLAP

OLTP数据库 备库

OLTP数据库 分区

OLTP OLAP

OLTP数据库 分区

OLAP数据库

数据同步

分库分表中间件

HTAP数据库

OLTP OLAP

1.小型企业级应用 2.中型企业级应用

3.大型企业级应用 4.巨型企业级应用

阿里云事业群-飞天八部-数据库技术组

HTAP数据库产品

OLAP 能力

OLTP 能力

ADS

RedShift

OceanBase

DRDS SAP HANA

HybridDB for MySQL

Oracle

RDS

阿里云事业群-飞天八部-数据库技术组

HybridDB for MySQL

• HTAP:

– Hybrid Transactional / Analytical Processing

• 分布式架构 – 一份数据同时支持OLTP+OLAP，无需数据交换

– 分布式架构，突破单机限制，可在线扩容

• 行列混合存储引擎 – 事务存储引擎(tokudb)：大容量、高压缩比、事务并发处理

– 分析索引引擎(cstore)： 多维分析、全文检索、地理位置检索、图和算法库

• SQL能力 – 核心: select、insert、delete、update

– 事务: transaction

– 分析扩展: tpc-h、tpc-ds、oracle分析函数

• 对齐云数据库RDS用户体验 – MySQL协议兼容，生态完善

– 高可靠、高可用、扩缩容、灾备、安全

阿里云事业群-飞天八部-数据库技术组

统一的数据库云服务

HybridDB for MySQL RDS for MySQL OLTP+OLAP混合方案

访问入口 统一入口 统一入口 多点入口

ACID事务特性 全局ACID 全局ACID 组件间ACID

SQL兼容性 全局一致 全局一致 组件间兼容性不同

数据延迟 无 无 有同步延迟

稳定性 统一的稳定性保障 统一的稳定性保障 组件间稳定性不同

性能扩容 线性扩容 不支持线性扩容 线性扩容

计算功能扩展 多种计算功能扩展 不支持计算功能扩展 多种计算功能扩展

存储成本 一份存储 一份存储 多份存储

计算成本 一份计算 一份计算 多份计算

异构数据同步成本 无 无 数据同步成本较高

备份恢复 支持 支持 组件局部支持

监控 支持 支持 组件局部支持

阿里云事业群-飞天八部-数据库技术组

核心技术 • 关键点

– 分区share nothing – 存储计算分离 – 全局一致的数据视图

• 链路引擎 – 生成最短执行计划 – 链路保持 – 事务协调者

• 存储引擎 – 分区内事务 – 高压缩 – 批量insert优化

• 列存索引 – 列式存储，meta信息，索引框架 – 范围索引，全文索引，地理位置索引

• 计算引擎 – MPP计算调度，快速聚合 – 全功能引擎

资源管理

链路引擎

存储引擎 存储引擎

controller

解析与合并

事务协调者

存储分区

E

存储分区

F

存储分区

G

存储分区 H

存储分区

A

存储分区

B

存储分区

C

存储分区

D

计算分区

A

计算分区

B

计算分区

C

计算分区

D

计算引擎

列存索引 列存索引

阿里云事业群-飞天八部-数据库技术组

HA

高可用与高可靠架构

• 链路节点： – 无状态

– 多副本

• 存储节点： – 一主二备

– 触发式备份

• 计算节点： – 无状态

– 多副本

Client

Switch Slave

Switch Master

负载均衡节点 负载均衡节点

链路节点 链路节点

存储节点主副本

存储节点从副本

后备存储 Backup

存储节点从副本

HA监控 计算节点

计算节点

阿里云事业群-飞天八部-数据库技术组

使用场景和案例

• 分库分表+实时分析 – 天然兼容分库分表业务

– 无需关心运维问题

– 一份数据直接分析

– 提升时效性，降低成本

• 案例 – 阿里视频直播录制

– CDN实时监控报表

阿里云事业群-飞天八部-数据库技术组

HTAP数据库

在线业务 商家报表 历史订单 画像分析

使用场景和案例

• 物联网实时数据处理 – 十万级的并发连接

– 十万级的QTS/TPS

– 多维度查询

• 案例 – 优驾

– 阿里云IoT业务平台

阿里云事业群-飞天八部-数据库技术组

HTAP数据库

车载传感器 移动终端 家电传感器 多维分析

使用场景和案例

• 实时数据仓库 – 百万级批量实时入库，实

时可见

– 毫秒级查询延时

• 案例 – 阿里云SLA平台

– 手淘消息推送

– 淘宝导购缓存

阿里云事业群-飞天八部-数据库技术组

HTAP数据库

原始数据 商业智能 一级分析结果 实时报表

谢谢各位！

阿里云事业群-飞天八部-数据库技术组