融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... ·...

23
Confidential 融合媒体的技术实践之路 成都索贝数码科技股份有限公司  陈侨

Transcript of 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... ·...

Page 1: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

融合媒体的技术实践之路

成都索贝数码科技股份有限公司  陈侨

Page 2: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

新媒体 全媒体 融合媒体

发展

Page 3: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

流程从”通稿“到

中央厨房

工具从电视生产到互联网

节目生产

内容

依然为王,更“多”的内容

平台如何建?

深圳融合新闻

Page 4: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

面向数据的分布式平台

互联网技术的开放平台

ITDT更多的数据

更复杂的数据

智慧的数据 数据的生产和消费

Page 5: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

从SOA到MSASOA(面向服务的体系架构)

ESB+EMB

制作网#1

制作网#2

新闻网

媒资

播出

2006年,基于SOA的ESB+EMB解决全台系统互联互通问题

MSA(微服务架构)

SOA思想从系统走向内部的组件,以更小的颗粒度进行弹性伸缩

打破“烟囱式”系统建设,避免系统间大量数据迁移,系统的扩展性和弹性,面向互联网应用的融合媒体系统

基础资源

XX服务

XX服务

XX服务

XX服务

编辑文稿审片

编辑包装审片

编目管理审片

互联网开放技术、数据技术

2014年, Martin Fowler

Page 6: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

LogStash

基于HIVE架构的融合生产系统平台 (     典型Docker配置数         HOST配置数)

Zookeeper(分

布式

服务

框架

Docker-Sw

arm(容器服务编排框架)

HAProxy+Keepalived(负载均衡+高可用)

X

MySQL MongoDB Codis Kafka Eagles3

3

3

3 3

99 33

CayMan FTEngine HiveCore

X

3 33

InfoApp NTag CM Ingest3 333

MOSGW JOVE OMNIApp HQApp3 333

OMPortal MMEdit WeChatEdit H5Edit

3 333

Num

pN

ebulaInstaller

3

3

3

Page 7: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

充分利用互联网开放技术,参与开源项目

• 提交开源项目3个

– 动态SOAP调用

– 基于swift的zookeeper

驱动

– 支持事务模式的

mongodb驱动

• 改进已有开源项目11个,其

– 新增功能11个

– 修改bug 9个

开源项目名称

项目说明 改进说明

BoBoBrowser 一个基于lucene的搜索结果分组统计开源插件,可以完成对搜索结果的分组面统计;

修改bug/新增功能

IKAnalysis 基于java语言开发的轻量级的中文分词工具包 新增功能

CacheCloud Redis原生集群管理模块 修改bugFastJSON JSON序列化处理器 修改bugDubbo 分布式服务构建和管理框架 修改bugOceanBase 一个支持海量数据的高性能分布式数据库系统 修改bugCodis 基于Redis的分布式内存数据库集群 修改bug/

新增功能

AKKA 一款基于actor模型实现的 并发处理框架.用于spark

修改bug

Page 8: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

用分布式技术实现媒体处理高可用并行计算框架

功能 结论 说明

查询功能-检索类 Pyramid性能高于NewStar 在500个对象以内,Hive平台上查询效率略低于NewStar平台(用户无感知);1000个对象以上Hive平台上软件查询性能远高于NewStar平台(主客观评估)(100w数据 600ms vs. <100ms)

查询功能-管理类 Pyramid性能高于NewStar 所有测试功能都高于或持平于NewStar

流程功能 Pyramid性能略低于NewStar 7个测试项,3项低于NewStar,4项持平

非编编辑功能 Pyramid性能与NewStar持平 7个测试项均与NewStar持平

媒体处理能力-合成 Pyramid性能与NewStar持平

媒体处理能力-转码 Pyramid性能高于NewStar 目标格式均为H264 ¼幅面,400K码率。Pyramid标清单线程转码效率为6倍以上,高清为2.2倍以上;NewStar6.8标清单线程转码效率为4.5倍以上,高清为1.9倍以上;

性能提升,特别是系统长期使用积累了大量历史数据及高并发访问时

又是媒资又能生产;全文/分类/关联/智能/…检索;空间权限生命周期版本管理

定义/扩展

维护部署

我们一直做不好的功能,我们特别想整合在一起的功能

好处!

Page 9: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

高可用、弹性、性能增强、功能增强之外…

发现内容的价值!

Page 10: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

媒体PaaS(资源共享、用户管理、媒体处理、内容处理、内容传输)

基础资源 基础资源 基础资源

新闻

制作

媒资

…播出

外延生产

外场生产

专业服务

PGC

UGC

互联网发布

内容运营

CDN

用户交互

打破烟囱系统

生产资源弹性

媒体总线升级

基于互联网的生产

从自建系统到服务化

融合媒体/业务闭环

toC业务与运营

私有云 专属云 公有云

基于云的电视台架构

Page 11: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

索贝典型融媒体云平台项目分布吉林天池云

青岛台二期济南台融媒体

CCTV新闻云、体育云BTV 智慧媒体

经济日报社农业影视频道

青海融合平台

云南七彩云

重庆两江云

贵州

浙江国际影视中心宁波融媒体云

江苏荔枝云

河南大象融媒

长江云

广东新闻生产云

合肥台融媒体

川台融媒体中心报道指挥

海南台融媒体报道指挥

湖南台新闻云

Page 12: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

电视台融合媒体平台建设技术白皮书(2015)

荔枝云 萧山云

Page 13: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

接口不仅仅是规范、标准(eg.Restful/S3),

更重要的是站在使用方(应用)角度,提供

哪些能力,如何易于使用(依赖者倒置)

发展

中央厨房

HIVE

开放平台、共建生态

业务支撑能力

音视频资源的时间线描述能力

资源的关联关系描述能力

资源权限管理能力

生命周期管理能力

资源空间管理能力

   

业务扩展能力

资源可定义能力

属性描述定义能力

数据可挖掘能力

工具接入能力

只有理解业务有实践经验才能制订好的规范

只有站在应用角度,才能制订出实用的规范

从规范中,可以看出平台的能力和设计思想

规范分层、接口分类,一切从实践出发考虑

Page 14: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

集成桌面/统一门户/指挥协同

资源共享

生产协同

服务管理

用户管理

媒体处理

新闻网Nstar

Sonaps

外场/办公网/互联网Nfield/EM

(外延生产)

内容汇聚

融合生产与发

分布式媒体数据应用平台

内容整理标注

(MAM)

AK/源站/GW……

多核数据同步

同步/直接使用(平台+工具)

直接使用(平台+工具)

公有云Aliyun/AWS

/Azure

私有云/第三方存储及

服务器HCI

混合云管/工具商城与运营

(CMOP)

异构混合部署,异址多活除了平台+工具,

还要打通现有系统,还要支持混合云

Page 15: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

打通现有系统

混合云 多核系统 异址多活

用户位置透明

数据一致性

业务处理“单元化”

分台/外场/云联盟

数据举例 数据分布 一致性方案举例

基础数据 全同步 最终一致性

基本元数据及首帧

全同步(WMS)

最终一致性

扩展元数据及代理码率

不强制同步

使用后近数据中心缓冲

高码率 不同步 按需剪切传输

节目工程文件/文稿

全同步 冲突提示,多版本记录 基本元数据及首帧高码率 代理码率

元数据/文稿

一致的资源视

台内用户

单兵记者

分台用户

北京一类IDC

二类IDC

边缘节点

同步 同步

同步

台内制播网

高码数据不全部上云,按需迁移

分台上云内容,收录高码可考虑同步上云(8~10M)

从数据出发设计一致性方案 全球新闻融合内容平台案例

Page 16: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

公有媒体云资源+高速光缆直连

内网专有链接

同址数据中心

通用云计算平台 媒体计算资源

华栖云公有媒体混合云平台

( CM OP)华通高速光缆

杭州

X城市

最后1公里

Page 17: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

• “云专家”告诉我们“租户”的理念:

– 安全、隔离、弹性、运营

• “租户”与“租户”之间的媒体数据交换怎么办?

发展

中央厨房

HIVE

媒体存储结合内容管理平台构建既安全隔离又“免迁移”系统

兼容对象存储Bucket和文件存储Hardlink

在物理存储和业务之间,建立“Pool”的逻辑概念,实现隔离、空间及权限管理

Pool间的“秒迁”由系统“高可信内核级

资源”负责

应用直接高效使用存储(过滤层驱动/S3管控)

“Pool”媒体存储租户技术

Page 18: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

私有云平台公有云资源

公有云资源公有云资源 私有云资源

台本部核心节点

欧洲分台二级节点亚太区三级节点

公有云资源 私有云资源

北美分台二级节点

A B

媒体云基础服务

媒体云业务应用

云系统支撑服务

内容管理 传输与同步

云编辑

素材上下传

文稿 串联单

选题 节目协同

全媒体生产

融合CMS

APP支撑

UGC汇聚

新址新闻系统 海外分台 记者( 站)

权限管理用户管理 媒体处理

CCTV新闻云平台

Page 19: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

融合媒体

中央厨房

互动演播

两微一端

PGC/直播

Page 20: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

融合媒体

CCTV混合岛系统

后台服务

客户端

HIVE

融合媒体生产工具 发布

• 在混合岛系统基础上用HIVE技术

改造,构建“中央厨房”

• 生产发布一体化,“所见即所得”

资源提供弹性扩展

互联网应用优化

互联网应用运维

Page 21: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

融合媒体

运营 内容增值 渠道变现 用户运营

渠道/端 用户

内容消费闭环

软件产品

支撑平台

CCTV5节目内容

可控渠道APP

微信微博(低成本)

单向广播

推广渠道

核心用户

一般互动用户

普通内容消费者

待转换用户(潜在用户)

转换

营销、吸引注册

建立连接

中央厨房(内容生产)

渠道融合(如互动演播)

用户管理体系

内容大数据(线索、节目策划)

云平台支撑

传播影响力分析

用户画像

内容

Page 22: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

融合媒体

电视 互联网

用户信息用户行为

用户标签

内容标签

用户群画像(分类、聚类)

全网大数据用户群画像

(特征信息增强)

商品、活动(标签)

运营决策

全网大数据商品、活动(标签)

精准内部数据以内容为基线爬取外部数据

整合分析兴趣画像

用户数据挖掘

Page 23: 融合媒体的技术实践之路csmpte.com/download/CHAL1396264998772200/20161216/... · 索贝典型融媒体云平台项目分布 吉林天池云 青岛台二期 济南台融媒体

Confidential

发展

中央厨房

HIVE

融合媒体

内容 用户