虽然有很多种描述方法可以描述一段多媒体内容,但是描述格式的定义通常是规范的,所以具备了可用性、统一性和互操作性。鉴于是标准描述化,所以MPEG-7标准只是指定描述的格式(语法和语义)。
虽然提出多媒体内容描述接口的初衷是为了解决人们在面对多到泛滥的网络多媒体信息面前的无所适从,但是MPEG-7的应用绝不仅限于搜寻,它也有很多其他类型的应用,例如实时监控、广播过滤,半自动编辑,自动播放列表的产生。
在本篇论文中,我们将讨论MPEG-7的基本理论,并且侧重于音频方面。
一. MPEG-7基本
1.定义
MPEG-7的基本描述实体叫做描述符(descriptor),它通过定义语法和语义来表示特定内容的性质、特征和属性。在音频领域中,描述符可以描述音频信号的频谱包络。
描述方案(description schemes)的作用是联合和构造描述组件,以满足应用的要求。描述方案包含了一系列的描述符和同一个体系中的其它的描述方案。
描述符和描述方案在语义上都是由所谓的描述定义语言(description definition Language,DDL)定义的,它可以进行扩展。MPEG-7 DDL是以XML语言为基础,因为它可以实现内容描述的文本表示,并且允许描述工具的扩展。
2.描述定义语言- DDL
描述定义语言是基于XML(文本格式)的描述性语言。之所以采用XML语言一部分是因为它是SGML语言的延伸,而且它的普及型确保了描述工具的扩展性。此外,MPEG-7采用XML还因为它在与多媒体内容描述相关的数据结构的创建中发挥着巨大的作用。
但是MPEG-7 DDL不是对XML语言规范的完全复制,它有少许的改变,比如它对一些特定的数据类型提供扩展支持,并且它剔除了多余的特征等。特别是,DDL引入了定义数组和矩阵的新型结构,扩展了XML语言架构的功能。
3.多媒体描述方案(MDS)
创建多媒体描述方案不只是为了满足不能单独适用于视频或者音频工具的需要,而且能够满足多媒体内容的需要。所以,MPEG-7标准中的MDS提供了与MPEG-7音频标准相关的一系列的两个层次的工具。首先,有一系列低层次的工具,它包含了扩展的数据类型,例如音视频数据的段的基本定义类型,还有一系列高层次的工具,它超出了音视频描述的范围,允许音视频相关,例如高层次内容的语义描述。为了避免MPEG-7标准会存在冗余功能,它的音频部分是由MDS提供音频文件所需要的工具集。
二. MPEG-7音频
MPEG-7音频标准的结构可分为两个类别,就是通用音频描述框架和特定应用工具。音频描述框架即基本兼容层(工具箱),也就是通用描述和特定应用构建的基础,而且它还包含了可扩展系列方案、低层描述符(LLDs)、静音段(silence segment)。另一方面,声音识别工具、乐器音色描述工具、说话内容描述工具、旋律描述工具、鲁棒性音频匹配工具分别专注了它们各自的应用领域,所以它们的描述能力都比较强。
1.描述结构
MPEG-7音频依赖于两个基本结构,段和可扩展序列。