一. 概述
关于图象视频压缩已有n×384kbps电视会议H.120建议、p×64kbps视频编码标准H.261、 连续色调静止图 象压缩标准JPEG、PSTN等低比特率活动图象压缩标准H.263。1988年ISO与CCITT成立活动图象专家组MPEG(MovingPictureExpertsGroup),研究数字存储媒体上的活动图象及其伴音的编码表示,1992年通过1.5Mbps编码标准MPEG-1,1994年通过2Mbps、30Mbps高质量视频音频编码标准MPEG-2。以上标准均偏重于某(几)个应用领域,交互性较差,至多允许视频序列可变速度的双向播放,可重用性只限于矩形视频区域及其相关音频的线性片段,无法在同一场景集成自然信息与合成信息,不能提供对各种网络的一致性访问,容错性、灵活性和可扩展性比较差。
MPEG于1991年5月提出关于视频音频编码的MPEG-4项目,设系统、音频、视频、需求、实现研究、测试及自然合成混合编码(SNHC)子组,1998年11月成为国际标准。MPEG-4提供更强的交互能力。场景中的每个对象独立编码,用户可以选择性地与其中某(几)个对象交互,具有良好的重用性。重新组合音视对象AVO(AudioVisualObject)构造新场景,可以集成各种对象,无缝地集成自然信息与合成信息,实时信息与存储信息,AVO可以是单/双/多声道音频信息、单/双/多镜头2D/3D视频信息。可以透明地访问信息,通过各种网络传输的信息最终映射为本地信息,整个过程给用户的感觉就如同访问本地信息。而且允许基于内容(比特率、分辨率、帧率、防错保护和解码优先级)的可伸缩性和服务质量(QoS)参数,更加灵活,可扩展,充分考虑未来技术的发展及应用需求,将解码器可编程能力分为:不可编程的标准工具集合(Flex-0);由标准化工具及其接口灵活配置的算法(Flex-1);多种工具构成可能算法的标准化可扩展机制(Flex-2)。
二. 技术部分
2.1 MPEG-4标准概要
MPEG-4引入了对象基表达(object-based representation)的概念,用来表达视听对象A VO(audio/visual objects);MPEG-4扩充了编码的数据类型,由自然数据对象扩展到计算机生成的合成数据对象,采用合成对象/自然对象混合编码SNHC(Synthetic/Natural Hybrid Coding)算法;在实现交互功能和重用对象中引入了组合、合成和编排等重要概念。MPEG-4中制定了一个称为传输多媒体集成框架DMIF(Delivery Multimedia Integration Framework)的会话协议,信捷职称论文写作发表网,它用来管理多媒体数据流。该协议在原则上与文件传输协议FTP(File Transfer Protocol)类似,其差别是:FTP返回的是数据,而DMIF返回的是指向到何处获取数据流的指针。DMIF覆盖了三种主要技术:广播技术,交互网络技术和光盘技术。
MPEG-4将应用在移动通信和公用电话交换网PSTN(public switched telephone network )上,并支持可视电话(videophone)、电视邮件(video mail)、电子报纸(electronic newspapers)和其他低数据传输速率场合下的应用。
MPEG-4的标准名是Very-low bitrate audio-visual coding (甚低速率视听编码)。截止到1998年9月,已作为国际标准草案DIS (Draft International Standard)的MPEG-4文件有5个部分,它们是:
① MPEG-4系统标准,标准名是ISO/IEC DIS 14496-1 Very-low bitrate audio-visual coding - Part1: Systems。
② MPEG-4电视图象标准,标准名是ISO/IEC DIS 14496-2 Very low bitrate audio-visual coding -Part 2: Video。
③ MPEG-4声音标准,标准名是ISO/IEC DIS 14496-3 Very low bitrate audio-visual coding - Part3: Audio。
④ MPEG-4一致性测试标准,标准名是ISO/IEC DIS 14496-4 Very-low bitrate audio-visual coding -Part 4: Conformance Testing。
⑤ MPEG-4参考软件,标准名是ISO/IEC DIS 14496-5 Very-low bitrate audio-visual coding - Part5: Reference software
⑥ MPEG-4传输多媒体集成框架,标准名是ISO/IEC DIS 14496-6 Very-low bitrate audio-visual coding - Part 6: Delivery Multimedia Integration Framework (DMIF)。
2.2 MPEG-4 标准的范围和特点
MPEG-4标准提供了一整套技术来满足作者的需要、服务提供商和最终用户的偏好。
*对于作者来讲,MPEG-4使得基于内容的产品成为现实,这种产品具有大得多的可用性,具有比现在的独立技术例如数字电视、动态图象、WWW网页及其扩展技术所能提供的更大的灵活性。而且,现在有可能进行更好的管理和著作权的保护。
*对于网络服务提供商来说,MPEG-4提供了透明的信息,它能够在相对标准的实体的帮助下解释并翻译成每个网络相应的本地信号讯息。不仅预先考虑到服务质量(QoS),MPEG-4还为不同的媒介提供一个通用的QoS描述符。为每种媒质从QoS的参数设置到网络服务质量的精确翻译超出了MPEG-4的范围,留给了网络提供商。端到端的发送MPEG-4媒质 QoS描述符就能够在异种网络间进行传输优化。
* 对于最终用户来说,MPEG-4在作者所置的限制内提供更高水平的内容交互。它也为新兴网络,包括那些应用相对低速率的网络以及移动网络提供多媒体服务。MPEG主页上的一份MPEG-4应用文档描述了很多最终用户应用,包括交互式多媒体广播和移动通信。
对所有相关方面,MPEG力求避免大量的所有权、非交错格式和播放器的使用。为实现以上目标,MPEG-4提供标准化方式来:
1. 代表语音、视觉或语音视觉内容的单元,称为"媒体对象"。这些媒体对象可能来自自然或合成源;这就是说他们能够被相机或话筒所记录,或者由计算机产生;
2. 描述这些对象的组合以创建构成语音视频屏幕的组合媒体对象;
3. 复用和同步与媒体对象相关的数据,这样他们能在提供了适于特殊媒体对象特性的QoS的网络通道上传输;而且
4. 与接收端产生的语音视频景象交互。
2.2.1 媒体对象的编码表示
MPEG-4 语音视频场景由一些媒体对象组成,以分层方式组织起来。在这层次结构中,我们找到了基本的媒体对象,例如:
* 静态图象(例如固定背景)
* 视频对象(例如正在说话的人-没有背景)
* 语音对象(例如和这个人相关的声音)
MPEG-4把这样大量的能够表现2-D或3-D自然和合成内容类型的基本媒体对象标准化。附加在上面提到的、除媒体对象之外,MPEG-4定义了如下对象的编码表示法,
* 文本和图形;
* 文本和图形;
* 用来合成语言和运动头部的正在讲话的合成的头部和相关的文本;
* 合成的声音
编码形式的媒体对象是由在语音视频景象中处理该对象的描述元素和相关流数据组成。重要的是在编码形式下每个媒体对象都能独立与它的环境或背景独立表现。考虑到要求的功能,这种媒体对象的编码表示法是尽可能的高效的。这些功能包括差错鲁棒性、易释性和可编辑性。
2.2.2 媒体对象的组合
基本媒体对象相应于描述树中的叶子,而组合媒体对象包含了整个子树。例如:相应于正在说话的人的视频对象和相应的声音捆绑在一起形成一个新的组合媒体对象,包含了那个人的语音和视频部分。
* 这样的组成允许作者构建复杂的景象,使客户能处理有意义的对象。
* 更普遍地,MPEG-4提供了一种描述景象的标准化方式,例如允许:
* 在给定坐标系内随处放置媒体对象;
* 应用变换来改变媒体对象的几何和声学表现;
* 整合基本媒体对象以形成组合媒体对象;
* 应用流数据于媒体对象以更改属性(例如声音,属于某对象的移动中的文本,驱动合成面孔的动态参数成面孔的动态参数;
* 交互式地改变用户在景象中的任何视听点。
景象描述是建立在来自于对象合成结点的结构和