第 4 章 内容的表达和元数据

83
数数数 数数数数 数 4 数 数数数数数数数数数 数数数 [email protected]

description

第 4 章 内容的表达和元数据. 刘士军 [email protected]. 摘要. 元数据是内容管理系统中不可或缺的部分,它被定义为 “ 有关数据的数据 ” 元数据从不同方面描述内容对象,这对于按需随时管理、搜索、查找、检索内容信息是很重要的 除了纯粹的描述和检索以外,元数据还管理着内容的内部组织和对外组织关系方式;以及信息交换和信息转译交换所需要的标准 在内容管理系统中,针对不同方面的应用要使用不同的内容表示方案. 元数据无处不在. - PowerPoint PPT Presentation

Transcript of 第 4 章 内容的表达和元数据

Page 1: 第 4 章 内容的表达和元数据

《数字媒体资产管理》

第 4 章 内容的表达和元数据

刘士军[email protected]

Page 2: 第 4 章 内容的表达和元数据

数字媒体资产管理2

摘要 元数据是内容管理系统中不可或缺的部分,它被定义

为“有关数据的数据” 元数据从不同方面描述内容对象,这对于按需随时管

理、搜索、查找、检索内容信息是很重要的 除了纯粹的描述和检索以外,元数据还管理着内容的

内部组织和对外组织关系方式;以及信息交换和信息转译交换所需要的标准

在内容管理系统中,针对不同方面的应用要使用不同的内容表示方案

Page 3: 第 4 章 内容的表达和元数据

数字媒体资产管理3

元数据无处不在 The world of industry is extremely diverse, therefore

only a very small number of activities are mentioned below: RosettaNet UDDI (Universal Description, Discovery and Integration) OASIS - XML.org BizTalk Basic Semantic Repository

Page 4: 第 4 章 内容的表达和元数据

数字媒体资产管理4

Flickr 相机搜寻器 http://www.flickr.com/cameras/

Page 5: 第 4 章 内容的表达和元数据

数字媒体资产管理5

Exif 标准 EXIF ( Exchangeable image fi

le format )是可交换图像文件的缩写,是专门为数码相机的照片设定的,可以记录数码照片的属性信息和拍摄数据。

EXIF 最初由日本电子工业发展协会在 1996 年制定,版本为 1.0 。 1998 年,升级到 2.1 ,增加了对音频文件的支持。 2002年 3 月,发表了 2.2 版

EXIF 可以附加于图像文件之中,为其增加有关数码相机拍摄信息的内容和索引图或图像处理软件的版本信息

项目 资讯制造厂商 Canon

相机型号 Canon EOS-1Ds Mark III

影像方向 正常( upper-left )

影像分辨率 X 300

影像分辨率 Y 300

分辨率单位 dpi

Software Adobe Photoshop CS Macintosh

最后异动时间 2005:10:06 12:53:19

YCbCrPositioning 2

曝光时间 0.00800 (1/125) sec

光圈值 F22

拍摄模式 光圈优先

ISO 感光值 100

EXIF 资讯版本 30,32,32,31

影像拍摄时间 2005:09:25 15:00:18

影像存入时间 2005:09:25 15:00:18

曝光补偿( EV+- ) 0

测光模式 点测光 (Spot)

闪光灯 关闭

镜头实体焦长 12 mm

Flashpix 版本 30,31,30,30

影像色域空间 sRGB

影像尺寸 X 5616 pixel

影像尺寸 Y 3744 pixel

Page 6: 第 4 章 内容的表达和元数据

数字媒体资产管理6

GPS 元数据

照片中的地理元数据越来越受到关注和支持

Page 7: 第 4 章 内容的表达和元数据

数字媒体资产管理7

数码相机 GPS 地理附件 2006 年初推出的理光数码相机 Pro G3, 是发布较早

的具有 GPS 定位功能的数码相机 索尼 GPS-CS3KA ,它可以向相机提供拍摄相片时的

地理信息。按下快门将照片保存到该设备的 MS 和 SD 卡的同时,照片标签中也将有卫星定位提供的数据

Page 8: 第 4 章 内容的表达和元数据

数字媒体资产管理8

IMDB 电影元数据 http://www.imdb.com/ IMDB 本身也定义了一套元数据,用来描述每一部电影。下面

是它的一级元数据,每一级下面又列出了二级元数据,总共加起来,可以从 100 多个方面刻画一部电影: Cast and Crew (演职人员) Company Credits (相关公司) Basic Data (基本情况) Plot & Quotes (情节和引语) Fun Stuff (趣味信息) Links to Other Sites (外部链接) Box Office and Business (票房和商业开发) Technical Info (技术信息) Literature (书面内容) Other Data (其他信息)

Page 9: 第 4 章 内容的表达和元数据

数字媒体资产管理9

Metadata in Digital Media Value Chain

Life-cycle: Increase content asset v

alue through repurposing Metadata layer:

First-class role of metadata (smart bits) throughout digital media lifecycle

Central role of metadata management (XML schemas, catalog records, ontologies)

Digital media metadata access functions: Create: search, annotate,

extract Manage: index, annotate,

collate Transact/Distribute: sear

ch, package, adapt

Page 10: 第 4 章 内容的表达和元数据

数字媒体资产管理10

本章内容 4.1 内容的表示 4.2 内容的描述 4.3 获取和使用元数据 4.4 元数据描述方案 4.5 元数据交换和传输标准 4.6 文件格式

Page 11: 第 4 章 内容的表达和元数据

数字媒体资产管理11

1. 内容的表示 媒体对象及其代理

媒体对象(视频、音频轨道、图片等)可以被表示成为所谓的“代理”

代理对应于基于特定环境的特定方面的内容的具体视图 视音频内容可以用多媒体代理来表示(综合使用不同

媒体类型来表示) 其他代理

摘要、编辑决策列表( Edit Decision List, EDL )、数据库记录等

Page 12: 第 4 章 内容的表达和元数据

数字媒体资产管理12

1. 内容的表示 代理分为文本代理、数据库代理和多媒体代理

纯文本代理是有关内容的文档,包括摘要、产品文档(如产品单)、校本、 EDL 、日志文件(例如和时码有关的文本转换语句和注解)、合约、法律文档等等

数据库代理是存储于数据库管理系统 (DBMS) 的全部内容的表示。所有相关特征由一个结构化文本表示器来采集,它能够优化和简便查找,并可按照属性重新查找

多媒体代理是表示如低码率副本、视听摘要和不同媒体类型的组合内容的表示方法

Page 13: 第 4 章 内容的表达和元数据

数字媒体资产管理13

2. 内容的描述 数字媒体资产管理中的元数据是用来描述数字内容的

信息 元数据是媒体内容的描述信息,如描述节目标题、作者、栏目标签、版权信息、版本控制、比特率、格式等信息 例如对于记者,他所写的稿件如果要配视频的话,就必须知道所需视频的拍摄时间、拍摄地点、被采访者的姓名等信息 ;而对于编辑来说,他可能需要知道记者的姓名、视频的长度和标题等

Page 14: 第 4 章 内容的表达和元数据

数字媒体资产管理14

元数据与内容 媒体资产管理系统会把元数据存储于某种类型的数据库中 , 这种数据库将支持对数字资产进行多种有效的检索和查询操作;而数字媒体内容则存储于该数据库之外 ,并且数字媒体内容的存储位置在其生命周期内可以不断变化,如可存储于磁盘阵列中以支持网络系统的高速实时视频流,也可以迁移到离线存储设备中作长期存档

元数据是数字媒体资产再利用的基础,元数据的质量、数量、单一性、描述内容、可检索性和可获得性都是决定一个媒体资产管理系统成功与否的关键

Page 15: 第 4 章 内容的表达和元数据

数字媒体资产管理15

2. 内容的描述 元数据最初在计划阶段产生,在内容对象的整个生命周期内被使用和不断修正 元数据要捕捉生产计划(包括原材料、个人计划和相关贡献

的参考),以及计划阶段的编辑准备(绘制、调查、收集和情节串联)等信息

使用元数据的阶段有:生产、传输、媒体管理和其他开发过程

元数据的应用包括:文档撰写、 IPR 、许可证、分析数据和位置相关数据(存储管理、位置 ID等)

元数据分为关于对象的元数据和关于片段的元数据

Page 16: 第 4 章 内容的表达和元数据

数字媒体资产管理16

关于对象的元数据 关于对象的元数据包括所有以描述媒体对象的特定特征为主题的元数据,它将内容对象作为一个整体描述 内容描述(主题、作者、导演等) 相关组织数据(如项目位置、责任编辑办公室等信息) 内容标识和参加团体(处理内容的个人或组织,及其关系、角色和权利)

技术元数据和所有商业过程(包括媒体制作的所有工作流步)

关于对象的元数据通常存储在数据库中,有时也存储在结构化文件中,以全文检索引擎建立索引,以便于检索

Page 17: 第 4 章 内容的表达和元数据

数字媒体资产管理17

关于对象的元数据 内容生命周期特定点所产生的元数据

元数据可能在生成的时候就被处理并联系到一部分素材上。比如位置、日期、时间等信息在产生记录时被自动关联

在输入和解析过程中,元数据与内容对象建立关联 查找阶段收集的典型元数据

视频源格式 视频压缩格式 音频源格式 音频压缩格式 记录参数(摄像和话筒设置) 生产信息

Page 18: 第 4 章 内容的表达和元数据

数字媒体资产管理18

关于对象的元数据 上载过程中加人的典型元数据

生产序号 标题 日期、时间和位置 源名(如机构名称、摄像者等) 剪辑描述(画面内容的文本摘要) 起始或结束标志(磁带或文件的剪辑) 拍摄质量

Page 19: 第 4 章 内容的表达和元数据

数字媒体资产管理19

关于对象的元数据 后期制作和非线性编辑中典型的关于对象元数据

文献开始或结束 时码 副标题 授权信息 电子 VTR 卡 剪辑者、编辑者和制作人的名字等

Page 20: 第 4 章 内容的表达和元数据

数字媒体资产管理20

关于对象的元数据 分发播出相关数据

首播日期 首播时间 播出频道 统计信息(观众或听众数量) 重播信息

Page 21: 第 4 章 内容的表达和元数据

数字媒体资产管理21

网络首播PPTV 网络电视 2010年 9月 2日当天以网络电视首发该剧的身份亮相

Page 22: 第 4 章 内容的表达和元数据

数字媒体资产管理22

关于对象的元数据 分类和深层编目中添加的典型数据

目录表 编目时间 题目分类 节目关系 摘要

Page 23: 第 4 章 内容的表达和元数据

数字媒体资产管理23

关于对象的元数据 关于权利的元数据

知识产权 (Intellectual Property Rights , IPR) 是关于对象元数据的一种特殊类型, IPR 描述了特定内容对象的所有权和使用限制

权限有可能很复杂,包括所有权(作者、作曲者、导演、摄影师等)、演出权(演员、音乐家等)、个人版权和其他很多版权

还要考虑以下版权 地域限制(通常指地理限制) 传输和传播方法(通过电视、电影、广播和网络) 传输和传播时间(先于或后于某一天) 使用期限 用户(传输者)数量

Page 24: 第 4 章 内容的表达和元数据

数字媒体资产管理25

关于片段的元数据 而关于片段的元数据用于描述由于空间或时间界限

(如图片边界和时码)所分割的内容对象的一个部分 片断描述的优点在于对内容对象进行深度编目的自由度和灵活性高,它可以对重大事件的详细描述进行编目另外,它能够支持对于内容对象具体部分的检索,并且能够定位到具体部分 片段能够表示内容对象的不同逻辑部分

根据空间的片段是指内容对象的具体区域或者(如MPEG-4 中一样)内容对象的某个具体对象

根据时间的片段指时间片段由对象 ID 和开始以及结束时码(或者开始时码和片段时问长度)为标识

Page 25: 第 4 章 内容的表达和元数据

数字媒体资产管理26

关于片段的元数据 媒体对象的时码以时间线为参考;时间线可以是片段

相关的逻辑构造 以在界定整个媒体对象的各部分分段处添加锚点的方

式,来利用媒体对象的时间、空间本质特征,锚点处可以链接到详细的描述 如,时间层结构应用时间参数(和各自的时间线有关)来指

向音频或者视频对象的某个具体部分

……

时间

条目

第0帧 第n帧 第n+1帧 最后1帧

条目开始:n*f rame rate/ s条目持续时间:n*f rame rate/ s

Page 26: 第 4 章 内容的表达和元数据

数字媒体资产管理27

关于片段的元数据 在连续媒体中,片段描述和与时间无关的文本信息以

及与时间有关的视听信息相联系。一些多媒体内容管理系统联合应用视听信息和文本信息在情节串联图板中产生基于片段的文档。关键帧、层的描述和时码联合产生图像内容的纵览

在检索过程中,联合的层有时要准确地标识出用户感兴趣的片段 例如,当要查找在特定地点某人在另外一个人在场时所做的

发言,用户则可以查找“在场人”的层中参与者的姓名,查找“相关主题”层中引用的原文,查找“地点”层中具体的位置。联合输出的结果将准确指向需要的片段

Page 27: 第 4 章 内容的表达和元数据

数字媒体资产管理28

逻辑内容结构和内容层级 内容对象层级结构:

镜头(如传输中的帧序列) 节目条目(组成大单元的单个实体,如新闻故事、采访、演出等)

节目(由逻辑相关节目条目组成,构成相同传输或节目时间表实体)

节目集(相同生产的节目组,如电视剧) 开发这些层级关系可以定位检索到层级的具体某一级

节目集

节目1. 1

节目条目1. 1

镜头1. 1. 1

节目2. 1

节目条目2. 1

镜头1. 1. 1

……

……

节目, \ n. 1

节目条目n. 1

镜头1. 1. 1

时间

Page 28: 第 4 章 内容的表达和元数据

数字媒体资产管理29

对象引用 对象引用在内容管理系统中有重要地位,因为它们明确标识了内容对象。它们是元数据的一部分,但是将元数据与素材联系起来

除了将内容对象作为一个实体进行标识以外,它们也能够引用到不同的内容组件(如素材对象),将内容对象的不同表示链接起来

另外,它们还可以用于链接相关的内容对象

Page 29: 第 4 章 内容的表达和元数据

数字媒体资产管理30

标识符 对象特性标识符,是本地组织内部的特性唯一标识引

用 唯一资料标识符 (Unique Material Identifier , UMID) ,是为

了标识素材条目而提出的。 UMID 由 SMPTE 定义标准化,其格式允许纯粹基于本地信息自动生成全局唯一标识符

唯一节目标识符 (Unique Program Identifier , UPID) ,是为了传统的节目条目和相关版权的声明而提出的。 UPID 有法律意义,因此最好选择正式的、注册的标识符。

在基于 IT 的系统中,它们可以根据 W3C 的定义表示为统一资源定位符 (Uniform Resource Locators , URL)

Page 30: 第 4 章 内容的表达和元数据

数字媒体资产管理31

3.获取和使用元数据 元数据的作用是使得内容可访问、易于查找和可以交

换。用来支持交互功能和实际媒体或者素材的处理过程的。因此,元数据的综合查找、检索和交换对内容管理系统中的交互作用很重要

Page 31: 第 4 章 内容的表达和元数据

数字媒体资产管理32

使用程序读取图片的 EXIF 信息 元数据最大的好处是,它使信息的描述和分类可以实现格式化,从而为机器处理创造了可能

EXIF 信息处理的 Java包是 Drew Noakes 写的 metadata-extractor ,可以直接从 http://www.drewnoakes.com/code/exif/releases/ 下载该项目的最新版本包括其源码(最新版本 2.4.0)

Page 32: 第 4 章 内容的表达和元数据

数字媒体资产管理33

使用程序读取图片的 EXIF 信息import java.io.File; import java.util.Collection; import java.util.Iterator; import com.drew.imaging.jpeg.JpegMetadataReader; import com.drew.metadata.Directory; import com.drew.metadata.Metadata; import com.drew.metadata.Tag; import com.drew.metadata.exif.ExifIFD0Directory; /** * 测试用于读取图片的 EXIF 信息 * @author Leyond * @Blog codecho.com */

Page 33: 第 4 章 内容的表达和元数据

数字媒体资产管理34

使用程序读取图片的 EXIF 信息public class MetaDataReader { public static void main(String[] args) throws Exception { File jpegFile = new File("src/Nikon E990.jpg"); Metadata metadata = JpegMetadataReader.readMetadata

(jpegFile); Directory exif = metadata.getDirectory(ExifIFD0Directory.cl

ass); Collection<Tag> tags = exif.getTags(); Iterator<Tag> iter = tags.iterator(); //逐个遍历每个 Tag while(iter.hasNext()) { Tag tag = (Tag)iter.next(); System.out.println(tag); }

Page 34: 第 4 章 内容的表达和元数据

数字媒体资产管理35

使用程序读取图片的 EXIF 信息 // 检查是否 Tag 中包含了图片属性 - 摘要中的作者 (xp) if(exif.containsTag(ExifIFD0Directory.TAG_WIN_AUTHOR)){ System.out.println("Pic author is "+exif.getDescription(ExifIFD0

Directory.TAG_WIN_AUTHOR)); } // 检查是否 Tag 中包含了图片属性 - 摘要中的标题 (xp) if(exif.containsTag(ExifIFD0Directory.TAG_WIN_TITLE)){ System.out.println("Pic title is "+exif.getDescription(ExifIFD0Dir

ectory.TAG_WIN_TITLE)); } // 检查是否 Tag 中包含了图片属性 - 摘要中的主题 (xp) if(exif.containsTag(ExifIFD0Directory.TAG_WIN_SUBJECT )){ System.out.println("Pic subject is "+exif.getDescription(ExifIFD0Di

rectory.TAG_WIN_SUBJECT )); } } }

Page 35: 第 4 章 内容的表达和元数据

数字媒体资产管理36

使用程序读取图片的 EXIF 信息 执行结果: [Exif IFD0] Make – NIKON

[Exif IFD0] Model – E990[Exif IFD0] Orientation – Top, left side (Horizontal / normal)[Exif IFD0] X Resolution – 300 dots per inch[Exif IFD0] Y Resolution – 300 dots per inch[Exif IFD0] Resolution Unit – Inch[Exif IFD0] Software – E990v1.1[Exif IFD0] Date/Time – 2000:12:30 10:18:16[Exif IFD0] YCbCr Positioning – Datum point[Exif IFD0] Windows XP Title – Codecho.com[Exif IFD0] Windows XP Author – Leyond[Exif IFD0] Windows XP Subject – TestPic author is LeyondPic title is Codecho.comPic subject is Test

Page 36: 第 4 章 内容的表达和元数据

数字媒体资产管理37

实验 3 : 使用程序读取图片的 EXIF 信息 实现功能

基本的读取和导出 导出图片的 EXIF 信息到图形界面,列表显示 导出图片的 EXIF 信息到数据库

Page 37: 第 4 章 内容的表达和元数据

数字媒体资产管理38

元数据的检索和查询 内容管理系统要提供特别的查找功能,以便能够获取与内容管理系统不同数据库和信息系统之间进行互操作的信息。几种查询方式: 全文检索,支持以自然语言检索系统。查找通常经过索引后

的文件(有时候是结构化文件)或者使用 DBMS 的全文检索功能进行

检索标签,构成了根据内容进行检索的结构,如根据名称、地点、日期等

检索片段,只在片段描述中进行查找。如果使用了分层的文档模型,也可以限制在表示具体层的概念中查找(如出现的人物和地点)

本地检索,是直接应用于本地数据库的查找,考虑了数据模型、检索语言、数据库的具体限制和功能

Page 38: 第 4 章 内容的表达和元数据

数字媒体资产管理39

元数据的交换 元数据可以在组织内部或者组织之间进行交换,以支

持媒体制作和其他商业过程的工作 B2B 的元数据交换出现于相互合作的组织间和媒体的销售中。此时元数据以商家间的传递、接收和交互操作来实现交换

元数据交换的实现需要使用标准数据模型、元数据字典、交换协议等

为了传输,元数据需要进行序列化并使用标准传输协议和封装格式进编码

Page 39: 第 4 章 内容的表达和元数据

数字媒体资产管理40

4. 元数据描述方案 媒资管理系统的设计须遵循统一的元数据标准 , 以保证各系统间的互连互通 , 实现数字资产的共享和交换

国际上提出了一些相关标准 由英国广播公司 (BBC) 媒体数据组开发的标准媒体交换框架

SMEF(Standard Media Exchange Framework) 由电影电视工程师学会 (SMPTE)开发的 SMPTE 元数据字典

由多个组织参加制定的都柏林核心元数据 (Dublm Core Metadata Initiative, DCMI)

以及由国际标准化组织 ISO/IEC 下的 MPEG委员会提出的MPEG-7 、 MPEG-21 标准等 MPEG-7 for content description MPEG-21 for packaging, rights mgmt, transactions

Page 40: 第 4 章 内容的表达和元数据

数字媒体资产管理41

Multimedia Metadata Standards MPEG-7:

Moving Picture Experts Group–Infrastructure standard for Multimedia Metadata–Supports interpretation of the information’s meaning–Supports broad range of applications

SMEF –Standard Media Exchange Framework BBC developed data models for information involved in the Production, Development, Use, and Management of media assets

P/Meta –EBU P/Meta Project Exchange of program content between high-level business functions of EBU members: Production, Delivery/Broadcast, & Archive

SMPTE –Metadata dictionary & MXF Addresses Program Interchange independent of format

Dublin Core Metadata Initiative Interoperable online metadata standards supporting broad range of purposes and busi

ness models. TV-Anytime –TV-Anytime Metadata

Attractors/descriptors used e.g. in Electronic Program Guides (EPG), or in Web pages to describe content.

Indecs Indecs Metadata Framework–An international initiative of rights owners creating metad

ata standards for e-commerce.

Page 41: 第 4 章 内容的表达和元数据

数字媒体资产管理42

SMEF

SMEF覆盖了整个内容生命周期,包括媒体制作和所有处理广播媒体的过程 计划、蓝图和委托 内容创作 宣传和节目日程列表 播出和传送 媒体管理和存储

目前广播电台中最广泛地系统化考虑所有内容生成和管理方面的数据模型

Page 42: 第 4 章 内容的表达和元数据

数字媒体资产管理43

SMPTE 元数据字典 SMPTE 元数据字典定义了特殊的类,这些类由元数

据元素组成,它们有共同的特征和属性 类的组织和类中的结构是层级式的。字典中使用了通

用标签概念来标元数据元素 元数据字典是个动态实时的文档,支持定义新的输入

元数据字典

类1标识符和定位器

类3翻译

类5处理

类7空间-时间

类15私人用的组织注册

类2管理

类4参数

类6相互关系

类14公众用的组织注册

类16试验

Page 43: 第 4 章 内容的表达和元数据

数字媒体资产管理44

SMPTE 元数据字典元素结构 SMPTE 元数据字典定义了属性、集和数据类型的集合体,被称为 SMPTE通用标签,以特别标识一个元数据实体

例: SMPTE 对于一个关键帧集合 (06 – 0E- 2B – 34 – 01 – 0I – 01-01- 03 – 02 – 01- 0

2–06–00–00 –00) 的通用标签

Page 44: 第 4 章 内容的表达和元数据

数字媒体资产管理45

SMPTE唯一资料标识符 唯一资料标识符 (Unique Material Identifier , UMID)

在 SMPTE 元数据字典类 1 中有重要的地位 UMID 支持 SQL技术用于素材和元数据的检索。 UM

ID 数据的表示可以分为两部分: 1. 32 – 字节(强制)基本 UMID ,它包含的信息包括:

SMPTE-UMID 的通用标签标识符 UMID 长度的长度描述 剪辑的副本(版本)实例数字标识 剪辑的材料数字标识,特殊号码

2. 32 – 字节(可选)签名的 UMID ,包含以下信息: 时间或日期,例如制作剪辑的时间(具体到单个帧的时间) 镜头位置和原始剪辑的空间配合 制作国家的国家码 制作组织的组织码

Page 45: 第 4 章 内容的表达和元数据

数字媒体资产管理46

都柏林核心元数据 都柏林核心元数据向导计划组织 (Dublin Core Metad

ata Initiative, DCMI)创立于 1995 年,是一个推动广泛传播的交互元数据使用标准的机构

在都柏林核心 (Dublin Core , DC) 中的资源是有地址的实体、网络站点、文档集合以及非电子形式的媒体(如物理存储)

都柏林核心在所谓的都柏林核心元数据元素集 (Dublin Core Metadata Element Set , DCMES) 中指定了15种元数据元素的集合 标题、作者、主题、描述、发表者、贡献者、数据、样式、

版式、识别、来源、语言、关系、范围、权利

Page 46: 第 4 章 内容的表达和元数据

数字媒体资产管理47

MPEG-7

MPEG-7 标准被称为“多媒体内容描述接口”,为各类多媒体信息提供一种标准化的描述,这种描述将与内容本身有关,允许快速和有效的查询用户感兴趣的资料。它将扩展现有内容识别专用解决方案的有限的能力,特别是它还包括了更多的数据类型

换而言之, MPEG-7规定一个用于描述各种不同类型多媒体信息的描述符的标准集合

该标准于 1998 年 10 月提出

Page 47: 第 4 章 内容的表达和元数据

数字媒体资产管理48

MPEG-7 Overview

Page 48: 第 4 章 内容的表达和元数据

数字媒体资产管理49

MPEG-7

MPEG -7 标准由八个部分组成 MPEG -7 系统 MPEG -7 数据描述语言

XML 方案结构化语言组件 XML 方案数据类型语言组件 MPEG – 7 的特殊扩展

MPEG -7视频和音频部分 色彩描述符:描述颜色分布、空间输出和色彩结构 文本描述符:描述可视化模式,如均匀性、混色和饱和度 图形描述符:描述可视化对象的形状(基于区域和轮廓描述符)

运动描述符:描绘视频对象中的运动,如镜头移动和对象移动 表面描述符:描述应用的具体表面特征,如人脸识别

MPEG -7 多媒体描述方案工具 MPEG -7参考工具和关系

Page 49: 第 4 章 内容的表达和元数据

数字媒体资产管理50

MPEG-7 的目标 支持多种音频和视觉的描述,包括自由文本、 N维时空结构、

统计信息、客观属性、主观属性、生产属性和组合信息。对于视觉信息,描述将包括颜色、视觉对象、纹理、草图、形状、体积、空间关系、运动及变形等。

根据信息的抽象层次,提供一种描述多媒体材料的方法以便表示不同层次上的用户对信息的需求 以视觉内容为例,较低抽象层将包括形状、尺寸、纹理、颜色、运动(轨道)和位置的描述

对于音频的较低抽象层包括音调、调式、音速、音速变化、音响空间位置

MPEG-7 还允许依据视觉描述的查询去检索声音数据,反之也一样

支持数据管理的灵活性、数据资源的全球化和互操作性

Page 50: 第 4 章 内容的表达和元数据

数字媒体资产管理51

MPEG-7 Multimedia Indexing and Searching

Page 51: 第 4 章 内容的表达和元数据

数字媒体资产管理52

MPEG-7 MDS: Free Text Annotation Example MPEG-7 description of a car that is depicted in an image:<Mpeg7>

<Description xsi:type="SemanticDescriptionType"><Semantics>

<Label><Name> Car</Name>

</Label><Definition>

<FreeTextAnnotation>Four wheel motorized vehicle</FreeTextAnnotation>

</Definition><MediaOccurrence>

<MediaLocator><MediaUri> image.jpg</MediaUri></MediaLocator>

</MediaOccurrence></Semantics>

</Description></Mpeg7>

Page 52: 第 4 章 内容的表达和元数据

数字媒体资产管理53

MPEG-7 MDS: Event DS Example MPEG-7 description of the event of handshake between people:<Mpeg7>

<Description xsi:type="SemanticDescriptionType"><Semantics>

<Label><Name> Shake hands</Name>

</Label><SemanticBasexsi:type="AgentObjectType" id="A">

<Label href="urn:example:acs"><Name> Person A</Name></Label>

</SemanticBase><SemanticBasexsi:type="AgentObjectType" id="B">

<Label href="urn:example:acs"><Name> Person B</Name>

</Label></SemanticBase><SemanticBasexsi:type="EventType">

<Label><Name> Handshake</Name></Label><Definition>

<FreeTextAnnotation> Clasping of right hands by two people</FreeTextAnnotation></Definition><Relation type="urn:mpeg:mpeg7:cs:SemanticRelationCS:2001:agent" target="#A"/><Relation type="urn:mpeg:mpeg7:cs:SemanticRelationCS:2001:accompanier“ target="#B"/>

</SemanticBase></Semantics>

</Description></Mpeg7>

Page 53: 第 4 章 内容的表达和元数据

数字媒体资产管理54

MPEG-7 支持广泛的应用 ( 1 )音视数据库的存储和检索 ( 2 )广播媒体的选择(广播、电视节目) ( 3 )因特网上的个性化新闻服务 ( 4 )智能多媒体、多媒体编辑 ( 5 )教育领域的应用(如数字多媒体图书馆等) ( 6 )远程购物 ( 7 )社会和文化服务(历史博物馆、艺术走廊等) ( 8 )调查服务(人的特征的识别、辩论等) ( 9 )遥感 ( 10 )监视(交通控制、地面交通等) ( 11 )生物医学应用 ( 12 )建筑、不动产及内部设计 ( 13 )多媒体目录服务(黄页、旅游信息、地理信息系统等) ( 14 )家庭娱乐(个人的多媒体收集管理系统等)

Page 54: 第 4 章 内容的表达和元数据

数字媒体资产管理55

MPEG-7 应用 原则上,任何类型的 AV ( Audio-Video )材料都可

以通过任何类型的查询材料来检索,例如, AV材料可以通过视频、音乐、语言等来查询,通过搜索引擎来匹配查询数据和 MPEG-7 的音视频描述。下面给出几个查询例子: 音乐:在键盘上弹几个音符就能得到包含(或近似)要求曲调的音乐作品列表,或以某种方式匹配音符的图象,例如,从情感方面

图形:在屏幕上画几条线就能得到类似图形、标识、表意文字(符号)等的一组图象

运动:对一组给定的物体,描述在物体之间的运动和关系,就会得到实现所描述的时空关系的动画列表

电影拍摄剧本(剧情说明):对给定的内容,描述出动作就会得到发生类似动作的电影拍摄剧本(剧情说明)列表

Page 55: 第 4 章 内容的表达和元数据

数字媒体资产管理56

元数据间互操作的努力 Too many organizations developing too many

standards, methods and procedures The European Broadcasting Union Project group

P/Meta is aiming at developing common media exchange formats for broadcasters, publishers and archives and will incorporate the work of SMPTE, MPEG-7and SMEF

Page 56: 第 4 章 内容的表达和元数据

数字媒体资产管理57

5. 元数据交换和传输的标准 键—长度—值协议

键—长度—值协议是由 SMPTE 标准化了的为在系统间传输而对元数据元素进行编码的协议

KLV 协议用 16 个字节的全局标签 (Universal Label , UL)作为标识键,其后跟随给出数据值长度的数字值

Page 57: 第 4 章 内容的表达和元数据

数字媒体资产管理58

可扩展标记语言 XML XML 及其扩展提供了强大的构建结构和处理元数最据

的概念和工具 为了使用 XML 来处理和交换元数据,就需要定义这些模型,以 MPEG – 7 为例,它使用了 XSD 的扩展版本

定义了资源描述框架 (Resource Description Framework , RDF) 用来表示有关万维网上的资源、简化交换、文档翻译以及元数据

在 XML 中,信息可以被灵活编码,但对于元数据的交换和翻译还不够。这就要求具体的 XML 方案、描述框架以及能够用于编码信息参考的元数据参考模型

Page 58: 第 4 章 内容的表达和元数据

数字媒体资产管理59

XPath XML 文档经常被看作节点树 . 表达式描述了到一个给定节点或节点集合的路径 . 考察 DOS, UNIX, 或 URI 用于在目录结构中定位文

件的语法 . /publications/articles/Transformations.xml 这称为一个文件的路径名 . 它描述了从根出发,沿某条路经穿过目录树,定位到给定文

件 . 类似地, XPath 也使用反斜杠分割路径上的节点 .

Page 59: 第 4 章 内容的表达和元数据

数字媒体资产管理60

XPath当前上下文

XPath 定位步中的活动元素 /Root/.../Ancestor/Parent/SELF/Child/Descendant

Page 60: 第 4 章 内容的表达和元数据

数字媒体资产管理61

XPath 语法 .../axis::nodetest[predicate]/... 一个 XPath 定位路径有一个或多个被反斜杠分割的步组成 .

路径中的每一步包括 : 轴 Axis: 相对于当前上下文节点的节点树的分支 . 节点测试 NodeTest: 检验包含的节点 . 断言 Predicate: 对匹配节点的可选过滤器 .

例子 : 定位书中章节题目含 ‘ XPath’ 字符串的所有章 /book/child::chapter/child::title[contains(text(),'XPath')]/

Page 61: 第 4 章 内容的表达和元数据

数字媒体资产管理62

媒体对象服务器协议MOS 媒体对象服务器 (Media Object Server , MOS) 协议

是由联合印刷组织 (AssociatedPress , AP)领导的工业联盟促使开发的。

其目的是发展一种开放式的工业标准以支持媒体制作,特别是新闻的制作及系统的整合

包括:视频服务器、新闻工作室系统、自动演播室系统和内容管理系统

Page 62: 第 4 章 内容的表达和元数据

数字媒体资产管理63

简单对象访问协议 SOAP SOAP 是 W3C指定的交换结构化信息的轻量级协议 包含两个必备部分: Envelope 和 Body, 及一个可选

的 Header

Page 63: 第 4 章 内容的表达和元数据

数字媒体资产管理64

简单对象访问协议 SOAP

Page 64: 第 4 章 内容的表达和元数据

数字媒体资产管理65

6. 文件格式 关于图像( Images Graphics )

图像文件格式 .bmp : Windows 的标准图像文件格式。 .gif : GIF 属于图像格式,也是惟一可存储动画的图像格式。

它能以任意大小支持图像,有“褪底”功能,支持透明背景。 .jpg : .psd : .png : 其他

位图图像的特点 文件存储容量大,图像色彩艳丽,内容丰富,显示速度快

绘图软件 画图软件, Photoshop等

Page 65: 第 4 章 内容的表达和元数据

数字媒体资产管理66

6. 文件格式 音频文件的种类

波形文件( .wav ) Windows 中用的标准数字音频文件,容量较大。

MIDI 文件( .mid) 记录的是音符,对自然界中真实的声音无法表现,容量小

MP3 文件( .mp3 ) 最流行的数字音频格式,采用高比率的数字压缩技术。对机器配置要求高

CD Audio 文件( .cda ) 一种 16 位、 44.1KHZ 、立体声数字化声音 只是一个索引信息,并不是真正的包含声音信息,所以不论 C

D 音乐的长短,在电脑上看到的“* .cda 文件”都是 44 字节长。注意:不能直接的复制 CD格式的* .cda 文件到硬盘上播放,需要使用象 EAC 这样的抓音轨软件把 CD格式的文件转换成WAV

Page 66: 第 4 章 内容的表达和元数据

数字媒体资产管理67

6. 文件格式 关于视频

视频即动态的图像 模拟视频:电影,电视,录像等 数字视频:一系列的数字图像序列

视频文件格式 .avi : AVI 标准的数字视频文件格式 .mov :由 quicktime驱动程序支持播放 .mpg :也叫MPEG ,实质是电影文件的一种压缩格式。 分为 MPEG-1(VCD), MPEG-2(DVD) .dat :一般 VCD 文件格式 其他: .rm 、 .rmvb

Page 67: 第 4 章 内容的表达和元数据

数字媒体资产管理68

视频格式 http://baike.baidu.com/view/2272.htm MPEG/.MPG/.DAT AVI MOV ASF WMV n AVI 3GP QuickTime REAL VIDEO MKV DIVX FLV

Page 68: 第 4 章 内容的表达和元数据

数字媒体资产管理69

MPEG/.MPG/.DAT

MPEG目前被广泛地应用在 VCD 的制作和一些视频片段下载的网络应用上面

大部分的 VCD 都是用 MPEG1 格式压缩的 ( 刻录软件自动将 MPEG1 转为 .DAT格式 ) ,使用 MPEG-1 的压缩算法,可以把一部 120 分钟长的电影压缩到 1.2 GB 左右大小

MPEG-2 则是应用在 DVD 的制作,同时在一些 HDTV (高清晰电视广播)和一些高要求视频编辑、处理上面也有相当多的应用。使用 MPEG-2 的压缩算法压缩一部 120 分钟长的电影可以压缩到 5-8 GB 的大小

Page 69: 第 4 章 内容的表达和元数据

数字媒体资产管理70

AVI

音频视频交错 (Audio Video Interleaved) 的英文缩写 AVI 是最常见的视频封装格式之一,它可以兼容各种视频编码,目前也有 1080p 分辨率的 AVI 文件,最早也是由微软开发,交互式存储方式是其最大的特点

作为一种 1992 年就已经问世的视频封装格式,缺点也比较突出,那就是体积大,同样的一部影片, AVI与MPEG-2 的文件大小几乎相同

Page 70: 第 4 章 内容的表达和元数据

数字媒体资产管理71

MKV

MKV 是一种“封装”的格式,有良好的兼容和跨平台性、纠错性,可外挂字幕;它实际上是一种全称为Matroska 的新型多媒体封装格式, 誉为万能封装器

MKV 文件仅仅是将其他视频流和声音、字幕等文件整合到一个 MKV 文件中,虽然对图像质量和压缩方面没有明显的优势,但MKV 能够内置 16条以上的音轨,字幕支持 16条以上的字幕

其视频编码的自由度也非常大,可以是常见的 DivX 、XviD 、 3IVX ,甚至可以是 RealVideo 、 QuickTime 、 WMV 这类流式视频

Page 71: 第 4 章 内容的表达和元数据

数字媒体资产管理72

QuickTime / MOV

QuickTime ( MOV )是 Apple (苹果)公司创立的一种视频格式,在很长的一段时间里,它都是只在苹果公司的 MAC 机上存在。后来才发展到支持 WINDOWS 平台的,它无论是在本地播放还是作为视频流格式在网上传播,都是一种优良的视频编码格式。到目前为止,它共有 4 个版本,其中以 4.0 版本的压缩率最好

Quick-Time 提供了两种标准图像和数字视频格式 , 即可以支持静态的 *.PIC 和 *.JPG 图像格式,动态的基于 Indeo压缩法的 *.MOV 和基于 MPEG压缩法的*.MPG视频格式

Page 72: 第 4 章 内容的表达和元数据

数字媒体资产管理73

ASF

ASF (Advanced Streaming format高级流格式 ) ASF 是 MICROSOFT 为了和现在的 Real player 竞争而发展出来的一种可以直接在网上观看视频节目的文件压缩格式。 ASF 使用了 MPEG4 的压缩算法,压缩率和图像的质量都很不错

Page 73: 第 4 章 内容的表达和元数据

数字媒体资产管理74

WMV

一种独立于编码方式的在 Internet上实时传播多媒体的技术标准, Microsoft 公司希望用其取代 QuickTime 之类的技术标准以及 WAV 、 AVI 之类的文件扩展名。 WMV 的主要优点在于:可扩充的媒体类型、本地或网络回放、可伸缩的媒体类型、流的优先级化、多语言支持、扩展性等

Page 74: 第 4 章 内容的表达和元数据

数字媒体资产管理75

n AVI

n AVI 是 New AVI 的缩写,是一个名为 Shadow Realm 的地下组织发展起来的一种新视频格式。它是由Microsoft ASF 压缩算法的修改而来的

NAVI 为了追求压缩率和图像质量,改善了原始 ASF 格式的一些不足,使 NAVI 可以拥有更高的帧率

可以这样说, NAVI 是一种去掉视频流特性的改良型 ASF 格式

Page 75: 第 4 章 内容的表达和元数据

数字媒体资产管理76

3GP

3GP 是一种 3G流媒体的视频编码格式,主要是为了配合 3G网络的高传输速度而开发的,也是目前手机中最为常见的一种视频格式。

简单的说,该格式是“第三代合作伙伴项目” (3GPP) 制定的一种多媒体标准,使用户能使用手机享受高质量的视频、音频等多媒体内容。其核心由包括高级音频编码 (AAC) 、自适应多速率 (AMR) 和 MPEG-4 和 H.263 视频编码解码器等组成,目前大部分支持视频拍摄的手机都支持 3GPP格式的视频播放

Page 76: 第 4 章 内容的表达和元数据

数字媒体资产管理77

REAL VIDEO

REAL VIDEO ( RA 、 RAM )格式开始就是定位在视频流应用方面的,也可以说是视频流技术的始创者

它可以在用 56K MODEM 拨号上网的条件实现不间断的视频播放,但其图像质量无法和 MPEG2 、 DIVX 等相比

Page 77: 第 4 章 内容的表达和元数据

数字媒体资产管理78

Divx、 Xvid DivX 是一种将影片的音频由 MP3 来压缩、视频由 M

PEG-4技术来压缩的数字多媒体压缩格式 DivX 最早是由国外的一名电脑游戏玩家和一名黑客

制作,他们破解了微软的 MPEG-4视频压缩算法而后重新改写并重新命名为 DivX

XviD 是目前世界上最常用的视频编码解码器 (codec) ,而且是第一个真正开放源代码的,通过 GPL 协议发布

在很多次的 codec比较中, XviD 的表现令人惊奇的好,总体来说是目前最优秀、最全能的 codec

XviD 是与 Divx 一脉相承而又有所加强的,同时它也可以说是为了打破 ASF 的种种协定而发展出来的

Page 78: 第 4 章 内容的表达和元数据

数字媒体资产管理79

FLV

FLV 是 FLASH VIDEO 的简称, FLV流媒体格式是一种新的视频格式。由于它形成的文件极小、加载速度极快,使得网络观看视频文件成为可能

有效地解决了视频文件导入 Flash 后,使导出的 SWF 文件体积庞大,不能在网络上很好的使用等缺点

Page 79: 第 4 章 内容的表达和元数据

数字媒体资产管理80

MXF

Material Exchange Format (文件交换格式) 它的作用是为数据的发送者和接收者 建立不同数据格

式转换的通用标准 MXF 可以同时处理打包多条轨道的 音视频和数据库

文件,可用于包装MPEG2 数据流、 DV 数据流、 YUV 数据流、 PCM 音频文件等

它可以改善网络环境 因缺乏标准的文件格式而受阻碍的局面

Page 80: 第 4 章 内容的表达和元数据

数字媒体资产管理81

封装格式与编码方式的对应一览 几个主流的封装格式可以封装的视频编码的格式类型

AVI: 可用 MPEG-2, DIVX, XVID, WMV3, WMV4, AC-1, H.264

WMV: 可用 WMV3, WMV4, AC-1 RM/RMVB: 可用 RV40, RV50, RV60, RM8, RM9, RM10 MOV: 可用 MPEG-2, MPEG4-ASP(XVID), H.264 MKV :所有

Page 81: 第 4 章 内容的表达和元数据

数字媒体资产管理82

本章小结 内容的表示 内容的描述 元数据的获取与使用 元数据交换和传输标准 媒体文件格式

Page 82: 第 4 章 内容的表达和元数据

数字媒体资产管理83

Gpixel photo

http://www.docbert.org/ChicagoByNight/

Page 83: 第 4 章 内容的表达和元数据

数字媒体资产管理84

Gpixel photo