CloudAqua 是什么 ?

2

CloudAqua 是综合解决方案

• 对象存储 (Object Store) • 分布式文件系统 (Distributed FS) • 大数据存储 (Big Data) • 音视频处理服务 (Multimedia

Processing Service)• 工作流引擎 (Workflow Engine) • 云存储 (Cloud Storage)

CloudAqua 是什么 ?

3

• 真实世界的建模 , 智能仿真• 复杂数据描述 , 多对多关系 , 但易于

对象结构和关系的修改• 独立运算 , 高并行处理 , 更高的性能• 适应分布式架构• 高弹性 , 高扩展性• 更适应面向对象的程序语言

对象存储 (Object Store)

4

• 多用户 , 多主机同时访问• 透明特征 (Transparency)

– 如同本地访问– 存储位置– 并发操作– 硬件和操作系统– 数据迁移– 高扩展性 , 从 1 台开始

• 多复制 , 高容错• 更适应广域网

分布式文件系统 (Distributed FS)

5

• 大数据对于捕获 , 数据处理 ( 收集 , 归纳 , 存档 ), 存储 , 迁移 , 搜索 , 共享 , 分析 , 可视化都有特殊技术要求

• 大数据产生在 : 科学计算 , 医学影像 , 音视频文件 , 商业交易

• 2012 年 , 平均每天产生 2.5*1018 Byte 的数据

大数据 (Big Data)

6

• 音视频文件是大数据中的一个重要种类• 音视频处理服务 , 捕获 , 分析 , 检索 ,

语言识别 , 图像识别 , 人脸识别 , 转码 , 剪切 , 分析

• SOA 架构下控制下的软硬件音视频处理服务

• 服务与对象数据直接建立关联 , 输入和输出直接进行对象属性或者对象内容的建立或更新

音视频处理服务 (Multimedia Processing Service)

7

• 规则 , 策略的综合应用 , 可配置的工作流引擎

• 均衡负载 , MapReduce, SOA 架构 ( 面向服务架构 ) 的服务资源调度 , 动态工作流引擎

• 配合对象事件 , 自动发现 , 自动识别 , 智能工作流引擎

工作流引擎 (Workflow Engine)

8

• STaaS – Storage as a Service • CDMI – Cloud Data Management Interface• 在线访问 , 快速访问 , 便捷访问• 高度虚拟化基础建设 , 灵活性 , 可扩展

性 , 可伸缩性• 多租户特征• 内嵌式数据服务 , 包括 : 数据备份 , 复

制 , 快照 , 数据分发

云存储 (Cloud Storage)

CloudAquaCloudAqua 是以上所有的综合解决方案是以上所有的综合解决方案

10

分布式 (Distributed, Federated)

跨区域 跨网络

XOR MEDIA CLOUD AQUAXOR MEDIA CLOUD AQUAXOR MEDIA CLOUD AQUA站点 1

站点 2

站点 3

站点 4

站点 1

站点 3站点 2

11

多租户共享存储和网络资源• Cloud Aqua 存储平台面向多租户，

租户以域为单位来管理和共享数据。

• 租户需为域指定主站点，并可根据需要建立副站点，用以存放数据文件副本。

• 租户可自行决定将主站点和副站点分别设立在那些地点，以方便数据传输和访问。而设立的站点也可撤换。

• 存储资源和网络传输带宽资源按租户分配，一个租户下的不同域分享这些资源。

域 A（副站点）

域 A（副站点）

域 B（主站点）

域 B（主站点）

域 B（副站点）

域 B（副站点）

域 A（副站点）

域 A（副站点）

域 A（主站点）

域 A（主站点）

地区 1 地区 2

地区 3地区 4

地区 5

Cloud Aqua

12

CloudAqua 存储架构和应用接口

存储管理

数据管理

高可用性 存储虚拟

数据副本

数据安全

元数据管理

RESTful API Windows/Linux OS Plugin

NFS/SAMBA/FTP等

版本管理

配额管理 策略引擎

物理存储设备

数据转换

SAN/NAS

服务接口

高速读写

访问管理

快照管理

13

高可用性和数据安全• 对象数据

• 策略驱动 , 配置或者自动的多副本 • Stream Through • 快速 Snapshot

• 内置的容灾• 区域间的自动切换和恢复• 跨区域的对象副本

• 存储设备的高可用性• 存储服务器的高可用性• Software RAID 的数据保护

• 数据操作的安全和一致性• 用户身份认证• 对象 ACL 的控制• 用户操作日志

14

支持异构，有效保护投资

• 将原有存储集群加入云，作统一管理

• 可提供纯软件应用，将原有存储设备组成集群，加入 Cloud Aqua

• 可提供 XOR Media 的专业存储 UML ，管理原先的单个存储设备，并组成集群，加入 Cloud Aqua

• 完全采用 XOR Media 的专业存储 UML ，组成集群，加入 Cloud Aqua 。最大程度保障存储的安全和性能

• 与第三方云集成

• 可在线扩容

Cloud AquaCloud Aqua

第三方云第三方云

Vendor X Vendor Y Vendor Z

SAN/NAS

第三方云

第三方云

为什么选择 CloudAqua?

16

• 多租户• Web 在线访问• 支持异构存储架构• CDMI标准 (SNIA国际组织 )

• 操作系统插件支持传统应用访问• 广域网数据传输 , 加速 , 加密• 分布式 , 联邦制 , 跨区域解决方案

作为云存储的优势

17

• 灵活 , 高弹性 , 高可扩展性• 海量级高扩展性和伸缩性• 面向对象建模 , 根本上改变应用 , 数据库和

存储的对应关系• 对象可以成为公共资源被多应用共享 ( 建立各自的对象属性 )

• 对象属性和对象内容的原生关联• 对象属性和对象内容同时支持分布式 , 联邦

制存储以及并行处理

作为分布式 , 对象存储的优势

18

• 对象元数据 , 对象事件 , 对象策略综合作用下的智能工作流引擎

• 工作流控制下的对象识别 , 对象处理 , 对象复制 , 对象迁移 , 对象备份

• 相互作用

不仅仅是存储

19

• 结合大数据特征 , 端到端实现大数据优化 : 从块设备 , 文件系统 ,

分布式文件系统 , WEB 接入• 实时性 , 短延迟• 数据代理 , 复制 , 处理 , 迁移 ,

网络优化 ,

对大数据的无瓶颈设计

20

• 广播专业级别• 从文件捕获 , 分析 , 检索 , 语言识别 , 图像

识别 , 人脸识别 , 转码 , 剪切 , 分析 , 专业级视音频支持

• 实时流模式支持• 多媒体格式支持

– 广播– 视频点播– 视频监控– 网络视频– 智能移动终端

专业级媒体 ( 流 )支持

21

• 海量存储 , 高密度• 高 I/O读写性能 (Software RAID, 写缓存 ,

文件位置分配 , 预读 , 多层队列增加并发 )

• 多层 (tier) 存储设备 , online, near-line

and offline ( 根据不同数据特征和使用选择最合适的存储设备 )

• 支持异构存储集成

存储设备优势

CloudAqua 功能介绍

23

对象对象的多副本和版本控制

缓存副本缓存副本

副本间的版本控制副本间的版本控制

异步副本异步副本

• 为了确保写入速度，在向主站的写入或删除数据时，其他站点的副本的生成、更新或删除可异步进行，提高数据写入速度。也保证其他站的对数据访问的低延时性。

同步副本同步副本• 对于副本的生成、更新和删除，也可采用同步进行，保持数据更新的实时性，但同步副本会影响数据写入速度。用户可根据需要定制策略实施。

• 如果有大量对某一副本的读操作，且在存储空间允许的情况下，在相应站点可以产生缓存副本以提高数据的读操作速度。

• 不同副本间有版本控制，确保用户访问时能拿到最新版本。

• Checksum功能确保数据传输时的完整性。

24

对象元数据• 对象的操作包括：

• 数据文件的写入、读出和更新。• 对于元数据维护、搜索、更新以及定制

• 可根据各类元数据进行快速扫描和管理• 虚拟化目录结构

• 基于元数据的搜索• 将经过处理 , 分析 , 归类 , 归档后的对象作为公共资源 , 不用的应用可以同

时使用对象 . 也可以在对象上增加不同应用特有的属性 , 标签 , 评注• 在和传统应用集成的过程中 , 可以自动解析 , 重构属性文件 , 比如 : ADI,

XML, m3u8

25

多租户数据文件共享• 域中可建立多用户，并为用户设置

不同的数据访问和管理权限。

• 平台中，单个数据文件称为对象，以平铺式方式存储。

• 一旦有对象的创建 / 更新 /删除，系统都可根据用户事先建立的策略在其他各站点自动管理对象的副本。

• 用户可以对这些副本，根据其设定的权限进行共享和操作操作。

• 在一站点上传的对象，在上传开始后短时间内，即可从异地进行访问，无需等待上传结束。

地区 1

域站点 A

地区 2

域站点 B

地区 5

域站点 C

地区 3

对象副本 对象副本 对象副本

远程读写或在本地生成缓存

用户甲 用户乙

用户丙

26

Stream through功能

地区 2站点 B

对象副本

Stream through

• Cloud Aqua 独有 stream through功能，使得应用和用户在没有副本的站点也可高速读文件。

• Stream through功能能够使与 Cloud Aqua集成的视频广播、视频点播系统具有更高的容灾性能。

即使站点因当机或发生错误无法读取文件，与该站点集成的视频系统，也可以通过Stream through 向其他站点拉取视频流，保证视频服务不间断。

Cloud Aqua

站点 A 地区 1

27

容灾机制

• 当一个主站点出现问题，另一个副站点自动接替主站点角色；

• 当原先的主占地恢复工作，系统自动将主站点角色切回。

主站点主站点

副站点副站点

地区 5 地区 2

地区 3地区 4 地区 1

Cloud Aqua

副站点副站点 原主站点原主站点主站点主站点

地区 1

28

快速快照

• 采用即写即拷（ copy-on-write ）方式。

• 支持目录级别的快照。

• 可对有正在写的文件的目录进行快照生成。

• 灵活利用副本数据实施快照，减少存储消耗，加快生成速度。

• 用户可灵活管理快照，生成、查看、回滚、删除快照。

29

广域网 , TCP 加速 • 基于可靠 UDP 的单播和组播技术协议

• 文件传输的广域网加速• 单文件传输速度优化• 减少由于 TCP协议引入的网络延时

• 高传输效率• 分片并发传输技术• 多 session 并行传输性能优化

30

音视频处理能力

• Cloud Aqua提供开放式接口，与各类媒体、文件处理工具集成，使得它具备可不断扩展的媒体、文件处理能力：

˗ 适合大数据文件的重复删除（ Dedupe ），压缩（ compression)˗ 媒体文件的编码转换，嗅探，编码查验等等。

• 对象元数据的生成和更新，可自动根据用户事先定义的策略触发媒体处理。经处理的对象版本， Cloud Aque会对其元数据自动维护，确保各版本之间的关联性。

• 用户也可进一步制定策略根据元数据，对处理后的数据文件进行管理，例如自动分发、搜索、分组。

31

基于策略的工作流引擎• 策略的制定和执行根据对象元数据进行。例如：可根据对象目录，标签，生成时间等进行文件处理

• 在数据上传或更新后，事先定义的策略自动触发

• 策略的执行可以使对象：˗ 在指定的站点 /集群上以指定的方式（同步或异步）自动生成副本

˗ 进行各类自动化的编码处理

32

站点中集群组划分使文件按需存储• 一个站点中的多个存储集群 (Cluster) 可以被分为不同的集群组 (Cluster

Group).

• 集群组的划分利于：

˗ 不同的存储集群组可被划归不同的使用范围。例如：˗ 站点中不同业务部门使用各自的存储集群组

˗ 数据文件根据所要求的存储性能，被存放于不同存储集群组中。例如：˗ 实时副本被存放于高读写性能的存储集群组。˗ 备份副本被存放于容量大、安全性高的存储集群组。

• 灵活的策略制定，系统根据文件的元数据自动管理文件存放在哪个集群组、甚至哪个集群。

33

集群异构• 各个存储集群可

˗ 采用不同介质磁盘种类的存储设备。˗ 设置不同的 chunk size, 条带大小。

• 文件根据其使用的要求选择不同的集群进行存储，例如：˗ 大文件可存放于读写速度和性能好的存储集群中，小文件则选择磁盘利

用率高的存储集群。又或˗ Play-to-Air 类媒体文件可存放于稳定性高的集群，而 on-demand 类媒体

文件存放于网络吞吐量高的集群中。

• CloudAqua 的虚拟化目录，即使各个文件存放于不同的集群中，也可以这些被存放于不同物理存储设备的文件呈现在一个目录中。

CloudAqua 应用场景

35

CloudAqua 支持的原生应用• 开放的存储接口 (CDMI 标准 ) • 网盘应用 • 多媒体共享应用 ( 跨电视机 , 智能手机 , PAD 的共享 ) • 企业级备份

36

网盘应用

37

CloudAqua- 数据网盘业务应用

• 数据网盘业务主要为用户提供一个在云端的网络空间 . 用户只要能够连接网络 , 就可以在不同的物理地点使用这个数据网盘；

• CloudAqua 的数据网盘支持： - 目录维护 -文件存放读取 - 元数据维护 - 权限控制 - 版本控制 -指定共享服务 ( 通过邮件通知共享者 ) - 当用户需要离线方式下使用时 , 可以将

指定的目录 , 文件复制到本地存储

38

CloudAqua-家庭多媒体分享应用• 针对不同或相同家庭中各种不同的智能终端 , 重点对于音乐、视频、 照片等多媒体内容在家庭成员及不同的设备中进行分享；

• 使用 CloudAqua 的多媒体分享客户端应用，支持机顶盒（ TV ）、 Android 、 IOS 、 PC等多个版本间互为分享

• 相比其他分享型云应用， CloudAqua 分享客户端具有以下优势： -实时内容录制 , 播出和分享 当数据源智能终端进行实时录制的时候 , 其它被分享的用户或者设备可同步观看到媒体的内容 - 突出了电视机屏幕上的分享和用户体验 电视机作为家庭中最大的屏幕 , 中老年人群最重要的屏幕 , 一直以来在”分享”型的应用中被忽视 . 而

CloudAqua 的分享客户端着重强调了在电视机屏幕上的分享和用户体验 . - 突破大多云分享对视频文件格式的限制 目前大多数的云分享主要针对音乐和照片 , 对于视频文件都有很多的限制 . 而 CloudAqua 的分享客户端增强了对于视频文件 , 实时和 VOD 点播等功能 .

39

分享应用

40

CloudAqua-企业数据中心业务应用• 数据网盘业务： - 数据网盘同样可以被企业用户使用，多用户的同时访问、权限控制、版本控制等网盘的功

能 在企业的使用中能够提供更多的价值；

• 企业数据归档： - 提供日常备份 , 异地备份 , 历史数据归档等数据存储要求； - 提供安全、快速的网络空间； - 可与主流企业级备份的软件进行集成 , 将用户数据直接存放到网络存储中； - 用户不仅可继续使用备份软件本身提供的全部备份或者增量备份的功能 , 还可在一个操作

中就同时完成异地备份、版本控制、多份数据复制等多重功能； - 当在需要进行数据恢复的时候 , 可在不同的地点获取云端的备份 /归档数据进行恢复。

• 标准云存储 - 支持标准云存储功能； - 提供 CDMI, WebDev等多种云存储标准接口； - 企业用户可以通过应用的开发 , 直接用企业应用建立在云存储之上。

41

Cloud Aqua 的几种应用场景数字电视 与各类视频服务系统集成，为视频服务运营商简化视频内容的管理。实行多地管理、

播放视频节目。

数字图书馆、档案馆 提供电子书籍，以及声音、图像、影视等多种媒体形式的档案资料的档案存储、备份。

医院、科研机构 联网机构的科研资料、诊断视频资的共享。跨区域科研合作和医疗诊断。

网络教育 异地网络授课，授课完成后保存、共享授课视频资料。

大中型企业的数据中心 大量文件和数据的存储，异地管理和共享，同时确保数据的安全性。

视频监控 网络化 , 集中式的视频监控系统 , 图像 , 语言和人脸的自动识别。

42

数字电视• 一地上传或更新的数字媒体文件，

可自动根据事先定义的策略地进行媒处理，例如： 转码 、嗅探、加密、文件标准化等。

• 媒体文件经处理生成多版本，版本可被保留，并按需求分发。

• Cloud Aqua 能与各类广播电视系统、互动电视系统和 CDN 网络集成。集成的第三方系统可在各站点可接收经处理的媒体文件。

非线编系统

Play to air广播系统

CDN 系统

互动电视点播系统

站点 1 站点 2

站点 5

站点 3

站点 4

文件上传 / 更新

Cloud AquaCloud Aqua

43

Cloud Aqua-异构 CDN 应用

• 多内容供应商远程接入，自行维护及管理其提供的内容；

• 简化川网现有媒资作为生产平台，多屏发布与转码及元数据管理由Cloud Aqua 中的管理层模块执行；

• 一个网络中并存二套CDN ，跨区域服务，实现全业务分发；

• Cloud Aqua 为全业务应用提供全方位服务；

44

www.xor-media.tv