Download - 第 6 章 多媒体的时间表示与同步

Transcript
Page 1: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

第第 66 章章多媒体的时间表示与同步多媒体的时间表示与同步 6.1 多媒体同步的基本概念 6.2 时间模型 6.3 时间的规范与表示 6.4 多媒体同步的表示方法 6.5 时间同步与系统支持

Page 2: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.1 6.1 多媒体同步的基多媒体同步的基本概念本概念

Page 3: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.1.1 6.1.1 同步的基本概念同步的基本概念 多媒体是在不同应用环境中文本、图像、声音、

视频等各种媒体的集成。既然需要将这些媒体安排在一起表现,就有一个先来后到的关系。这个关系就是同步关系,系统对各个媒体对象按照这个关系进行的控制过程,就是同步。

同步的过程与时间有着密切的关系,大多数同步都建立在时间的基础上。

Page 4: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.1.1 6.1.1 同步的基本概念同步的基本概念 基于时间的媒体( Time-based Media ,时基

媒体)或时间依赖媒体( Time-dependent ): 媒体与时间有着强烈的依赖关系,在采样、传输和

回放表现时更需要以时间为参照系进行有序的组织。

多媒体同步或合成( Orchestration ): 组织时基的、非时基的多种媒体序列通过传输、合

成并达到某种表现效果。这个过程既包含表现过程,也包含多媒体信息的传输过程;既可以用于并发或顺序的数据流布局,也可以用于对所产生的外部事件进行安排。

Page 5: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.1.1 6.1.1 同步的基本概念同步的基本概念 “ 世界报道”时间线表示

Page 6: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.1.2 6.1.2 同步的种类同步的种类 1 .应用同步

应用层同步又称表现同步,或交互同步。这一类同步是从用户应用的角度出发而进行的同步,重点在于表现与交互。

2 .合成同步 合成同步又称为“媒体之间的同步” 。这种同步涉及到不

同类型的媒体数据,侧重于它们在合成表现时的时间关系的描述。

3 .现场同步 现场同步也属于媒体间的同步。它要表现出同一个应用中

数据源方与表现方之间存在的实际同步关系,也既端–端之间的同步关系。

4 .系统同步 又称“媒体内部的同步” 。

Page 7: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.1.3 6.1.3 同步的分层服务模型同步的分层服务模型 对于多媒体的应用来说,同步是建立在不同的分层的

基础上的。不同层次的同步依据不同的接口机制来保证,如下图所示。

Page 8: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.2 6.2 时间模型时间模型

Page 9: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.2.1 6.2.1 时间依赖的定义时间依赖的定义 时间依赖的定义

时间依赖数据在时间上的唯一性是十分重要的。多媒体数据的时间依赖性有时很难具体描述。

根据各种媒体及其表现特性确定时间的依赖关系。 Static 静态的-没有时间依赖 Discrete 离散的-单一元素 Transient 短暂的-一时的 Natural 或 Implied自然 / 蕴含的-真实世界中的时间

依赖 Synthetic综合的、合成的-人工产生的时间依赖 Continuous连续的-在时间上连续 Persistant 持续的-在数据库中维持的

Page 10: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.2.1 6.2.1 时间依赖的定义时间依赖的定义 表现及应用生命周期

持续对象-存在于整个应用周期 非持续对象-动态建立并且用后丢弃 短暂对象-出现很短,不需操纵 静态对象-长期存在

数据采集自然:真实时间-记录时间关系,存储人工:综合时间关系(合成) 实况:不能进行时间操作

媒体连续媒体 离散媒体

Page 11: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.2.2 6.2.2 时间的概念模型时间的概念模型 时间点和时间段

时间点--瞬时,时间的零长度运动,例: 4:00pm

时间段--两个时间点之间的区间 时间关系

时间关系有十三种: before, starts, meets, overlaps, during, finishes, equals

除 equals 外,其余六种都有逆关系,共十三种。连续媒体: meets , 非连续媒体: before

基于时态区间的建模( TIB建模)可以勾画出复杂的时间线表示

Page 12: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.2.2 6.2.2 时间的概念模型时间的概念模型

Page 13: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.2.2 6.2.2 时间的概念模型时间的概念模型

Page 14: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.3 6.3 时间的规范与表时间的规范与表示示

Page 15: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.3.1 6.3.1 时间规范时间规范 时间规范的目的是为了向在创建时和合成过程

中所要求同步的数据对象提供一种时间关系的表达手段。

这种时间规范可以存储起了,并用于从存储中重放合成的多媒体对象。

Page 16: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.3.2 6.3.2 相对时间规范与绝对时间规相对时间规范与绝对时间规范范

1 .时态瞬时绝对时间参考系:以 Video作为绝对时间参考。

本来 Image 和 Audio 没有时间关系,但都以 Video作参考后, Image 和 Audio 也有了关系。

以时间轴作为参考对象,编辑时某些时间关系会丢失。如取消参考对象,则无时间关系了,无法同步。

相对时间参考系:相对于绝对时间轴(World Time )。失步可用丢弃的方法进行校正。

Page 17: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.3.2 6.3.2 相对时间规范与绝对时间规相对时间规范与绝对时间规范范

2 .时态区间 基于时态区间( TIB)可用于建立多媒体表现模

型,如: HyTime , ODA,扩展 ODA,…… 层次化方法

ai: 单一媒体 用户输入 延迟只在 ai 的起始点或结束点确定同步。

参考点方法 系统只在动作流的固定参考点才检查同步,如 AVI同步。

Page 18: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

延迟

参考点2参考点1

媒体1

媒体2

( a) 层次图 ( b)层次图的执行过程

参考点方法

Page 19: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.3.2 6.3.2 相对时间规范与绝对时间规相对时间规范与绝对时间规范范

3 .并行与顺序关系 用于时间依赖媒体的公共表示方法,可以只用并

行和顺序的关系来表示。引入计时器 T ,将原来在时间上的许多差别都归纳进了计时器的采用。

用串行和并行表示时间关系如下图。 这种定义要求数据元素的一致性表示,用于消除时间上的重叠。 可以通过把大的区间分解成大小一致的小区间,

将非周期性表示转换为周期性的表示。

Page 20: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

before a b

start a

b

meets a b

overlapa

b

duringa

b

finishesa

b

equalsa

b

a b

a b

a

b

a

b

a

b

a

b

a

b

串行/顺序

并行先决或并行后决

并行先决与并行后决

Page 21: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4 6.4 多媒体同步的表多媒体同步的表示方法示方法

Page 22: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.1 6.4.1 基于图形的表示法基于图形的表示法 具有形象直观地说明同步语义的优势,适合于

可视的、基于图形的多媒体表现的表示。 基于图形的表示法有:

时间线 流图 Petri网 时间层次法

最著名的是 OCPN 方法 在 Petri网基础上,增加了延时值和资源值等

Page 23: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.1 6.4.1 基于图形的表示法基于图形的表示法 1 . Petri网的定义

CPN = {T,P,A}, T = {t1,t2,…,tn}, P = {P1,P2,…,Pm}, A: {T×P} U {P×T}→I,

– I = {1,2,…} T代表变迁集合, P代表库所集合, A代表有向弧集合。

2 .标记Petri网( Marked PetriNet: MPN )的定义 CMPN = {T,P,A,M},

M : P→I ', I '= {0,1,2,…}。

Page 24: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.1 6.4.1 基于图形的表示法基于图形的表示法 3 . OCPN ( Object Composite Petri-Net :

对象合成网)的定义 COCPN = { T, P, A, D, Re, M}

D : P→R(实数集) Re : P→{r1,r2,r3,…,rk}

D 是从库所集合到实数(持续时间)的映射, Re是从库所集合到资源集合的映射。

4 . OCPN 模型两个对象的时间合成能够基于顺序的和并行的两

种时间关系发生。给定两个对象,则在时间上存在 13 种关系。 OCPN能够捕捉用于说明不同对象计时和显示需求的任何时间关系,如下图所示。其中, Pd 是延时计时。

Page 25: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

Pa before Pb Pa Pb

Pa start PbPa

Pb

Pa meets Pb Pa Pb

Pa overl ap PbPa

Pb

Pa duri ng PbPa

Pb

Pa fi ni shes Pb

Pb

Pa

Pa equal s PbPa

Pb

Pa Pd Pb

Pa Pb

Pa

Pd Pb

Pa

Pd Pb

Pb

Pa

Pb

Pd Pa

Pb

Pa

(a) 时间关系 (b) OCPN

Page 26: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.1 6.4.1 基于图形的表示法基于图形的表示法 5 .统一 OCPN 模型

对于任何两个原子进程和它们的时间关系,存在相应的 OCPN 模型。反过来也为真,对于任何 OCPN 模型能够惟一确定相应的时间关系。为了便于存储和检索多媒体数据,可对形式进行简化,采用统一 OCPN 模型,如下图所示,这个模型用于表示任何时间关系。

Page 27: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.1 6.4.1 基于图形的表示法基于图形的表示法 下图是“世界报道”例子的 OCPN 表示法。这个 OCPN捕获了全部时间关系,可以在前向和逆向两个方向上模拟。

Page 28: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.2 6.4.2 基于脚本的表示法基于脚本的表示法 脚本( script )可用来表示特定领域内的特定问题。

一个脚本其实就是一个具有专门结构的框架。脚本具有强烈的逻辑结构性和时序表现性,因而利用脚本概念来对多媒体表现进行建模,是一种很好的途径。

1 .几个表现的概念 表现 :表现意味着一次活动。 演员 :通过各种媒体进行传播信息的实体。 角色:多媒体表现环境中的各种资源。 活动:由多媒体表现环境中预定义的多媒体表现的空间和

时间序列,而引起发生的事件。 场景 :各种角色的活动编排组合构成的多媒体空间表现环

境。

Page 29: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.2 6.4.2 基于脚本的表示法基于脚本的表示法 2 .脚本的同步关系

Petra Hoepner 等人提出了相应的算子集合,运用该集合中的算子,可以规范地描述多媒体对象之间的同步及同步机制的语义。可以用它们来将原子活动构造成合成活动,将一元活动构造成包含同步关系的 n 元活动。

比较常用的算子: A∧B 并行后决 A∨B 并行先决 A∶B 串行 A | B 可选的 Ai* 重复 N∶A 并发

Page 30: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.2 6.4.2 基于脚本的表示法基于脚本的表示法 3 .脚本语言的表示 ( 1 )事件

事件是对象间特殊的信息传递机制,是协调活动和资源,使之有序化的任意分散的时间点。

( 2 )情节 情节是预定义的多媒体对象表现的空间和时间序列,可以

是静态的,也可以是动态的。 ( 3 )场

场是对象、活动、事件、情节的有机组合,是组成脚本的信息单元。

( 4 )实现方法 实现方法应该与具体系统有关,不同的系统对脚本的实现

方法也不一样。一般包括以下一些内容:管理数据 ,对象列表 ,时态合成 ,方法 。

Page 31: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.4.3 6.4.3 交互和同步交互和同步 当一个人与多媒体系统交互时,应用必须能够使用户和外部世界同步。这种同步可以采用多种方法做到,如启动或停止一个对象的表现、提出对某一数据库的查询、对象的浏览、或者其他不可预见的用户起始动作等。对于连续媒体系统,用户交互也蕴含了对信息顺序形式的随机存取。

在多媒体中,其他重要的时间顺序还包括在 CSCW中多个用户的协调。在这里要重点考虑对于共享对象的并发控制及分布数据资源的管理。

Page 32: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.5 6.5 时间同步与系统时间同步与系统支持支持

Page 33: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.5 6.5 时间同步与系统支持时间同步与系统支持 6.5.1 概述 实时系统的最后期限――硬。 多媒体数据表现的最后期限--软。 但多媒体表现有其独特的性质,具有实时播放

的性质。数据需要根据预先确定的时间表从存储中提交出来,一个对象的表现能够持续在整个时间段中。

Page 34: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.5.2 6.5.2 系统支持的有关问题系统支持的有关问题 1 .时间表示的数据结构

为了支持基于时间的表示,多媒体系统应能识别某种合适的数据结构。

适合于应用适合 TAC功能特性适合于用对象编辑进行对象演变适合于通过数据库索引和查询进行有效的检索

基于语言或基于图形的表示技术不能指明合适的数据结构。

用 Petri网和关系数据库模型将规范方法映射到一个数据库模式。此时,时间区间和关系将被用一种非结构化格式,或以结构化的格式中的 Petri网的时间线表示法描述出来。

Page 35: 第 6 章 多媒体的时间表示与同步

多媒体技术 [email protected] © 2007 西安交通大学 新型计算机研究所

6.5.2 6.5.2 系统支持的有关问题系统支持的有关问题 2 .数据压缩的影响

压缩后,在所要求同步的流之间识别出同步关系十分困难。

3 .同步的系统支持 为支持时间依赖媒体,多媒体系统必须具有对存储设备进行处理的潜力。包括通过跨网做到的数据分布能力,和在计算机网络资源管理下对时间依赖数据的支持。

4 .同步异常 数据迟到时,丢掉一些数据,或改变播放速率 数据丢失时采用重建技术,用一定的值替换流中

的丢失数据 数据不可用时,延长前面单元的播放时间