多媒体技术与应用讲稿(2014-5)第6章多媒体数据压缩6.1多媒体数据压缩概述。6.1.1多媒体数据压缩的必要性。6.1.2多媒体数据压缩的可能性·6.1.3多媒体数据压缩的相关问题6.2多媒体数据压缩方法6.3多媒体数据压缩编码的标准6.1多媒体数据压缩概述6.1.1多媒体数据压缩的必要性多媒体应用中涉及到的媒体有文字、图形、图像、音频、动画、视频等。其中文字的数据量较小,一本书的文本文件大概只要几百字节:图形文件的数据量和其表达内容以及文件格式等相关,数据量通常大于文字媒体:绝大部分的媒体如图像、音频及视频的数据量都非常大。表6-1原始多媒体数据的数据量多媒体数据存储量电话8kHz×12bit=96kbit/s高保真音频44.1kHz×16bit×2声道1.35Mbit/s图像800×600像素×24bit/像素1.37MB视频640×480像素×24bit/像素*25/s~176Mbit/s高清电视1280×720像素×24bit/像素×60顺/秒1.2Gbit/s图像数据量大小=垂直像素总数×水平像素总数×色彩深度一8多媒体数据存储压力越来越大。*多媒体数据网络传输压力也越来越大。多媒体数据压缩的可能性6.1.2多媒体数据之所以能够被压缩,主要基于三个原因:口由于人的视觉和听觉存在生理局限性;口由于音频、图像、视频等数据的相关性与允余度很大,具有很大的压缩潜力。口可以以损失部分质量为代价,而满足某类应用。1.感官的生理局限性
多媒体技术与应用讲稿 (2014-5) 第 6 章 多媒体数据压缩 6.1 多媒体数据压缩概述 ⚫ 6.1.1 多媒体数据压缩的必要性 ⚫ 6.1.2 多媒体数据压缩的可能性 ⚫ 6.1.3 多媒体数据压缩的相关问题 6.2 多媒体数据压缩方法 6.3 多媒体数据压缩编码的标准 6.1 多媒体数据压缩概述 6.1.1 多媒体数据压缩的必要性 多媒体应用中涉及到的媒体有文字、图形、图像、音频、动画、视频等。其中文字的数 据量较小,一本书的文本文件大概只要几百字节;图形文件的数据量和其表达内容以及文件 格式等相关,数据量通常大于文字媒体; 绝大部分的媒体如图像、音频及视频的数据量都 非常大。 图像数据量大小 = 垂直像素总数×水平像素总数×色彩深度÷8 ❖ 多媒体数据存储压力越来越大。 ❖ 多媒体数据网络传输压力也越来越大。 6.1.2 多媒体数据压缩的可能性 多媒体数据之所以能够被压缩,主要基于三个原因: 由于人的视觉和听觉存在生理局限性; 由于音频、图像、视频等数据的相关性与冗 余度很大,具有很大的压缩潜力。 可以以损失部分质量为代价,而满足某类应用。 1.感官的生理局限性
人类的听觉和视觉等感觉器官受人体机能的限制,具有一定的局限性。(1)听觉局限性:主要表现在三个方面,一是人的听觉具有掩蔽效应,强弱不同的声音同时存在时,强声会使弱声难以被听见:二是人耳对不同频段的声音敏感程度不同,通常对低频信号更敏感些:三是人耳对语音信号相位变化不敏感。(2)视觉局限性:主要表现在两个方面,一是人类视觉的掩盖效应,对图像场的某些变化感觉不灵敏:二是视觉系统的色彩分辨能力有限,一般只有6位灰度级,一个真彩系统可以表达16777216种不同颜色,而一个专家能识别的颜色也就只有几百种,通常说来人类对图像色彩的感知能力远不如对亮度的感知能力。音频、图像、视频这些多媒体数据最终是要由人类的感觉器官来感知的,因此对多媒体数据的记录和存储要充分利用听觉系统和视觉系统的特点,对于人的感官感觉不到的信息或不敏感的信息可以进行必要的舍弃,避免做无用功。2.多媒体数据的穴余(1)空间穴余:一幅静态图像中,物体和背景的表面颜色常常具有空间连贯性,空间穴余是静态图像存在的最主要的数据穴余形式。(2)时间穴余:音频和视频数据是一连续的渐变过程,而不是一个完全在时间上独立的过程,因而存在时间穴余。音频相邻采样点数据的幅度值很相近,视频图像序列中的两幅相邻的图像中,后一幅图像与前一幅图像之间往往有较大的相关性,动画中的相邻两顿有时儿乎相同,这都是一种时间穴余。(3)统计余:数据中进行编码中各种符号的出现频率不同,如果给每一种符号相同的储位数,这样也会产生穴余,叫统计穴余。(4)结构余:有些图像中一些区域的“条纹”较密,没有“通常”的空间穴余,但从大的区域上看存在着非常强的纹理结构,例如布纹图像和草席图像等。(5)知识余:有许多图像的理解与某些基础知识有相当大的相关性。例如,人脸的图像有固定的结构,嘴的上方有异子,子的上方有眼睛,鼻子位于正面图像的中线上等。这类规律性的结构可由先验知识和背景知识得到,此类穴余被称为知识穴余。6.1.3多媒体数据压缩的相关问题1.压缩的本质数据压缩就是按照某种方法从给定的数字信号(如音频、图像、视频)中推出简化的数据表述,从而降低数据量的过程,这个过程也被称为数据编码。多媒体数据压缩的目的是为了最有效地利用有限的存储器资源、信道资源和计算资源等。数据压缩的本质就是去掉数字信号数据中的穴余数据,减小数据量。2.压缩和解压缩数据压缩就是去掉信号数据的亢余性,也称为数据编码。与此对应,数据压缩的逆过程称为数据解压缩,简称为数据解码。压缩的多媒体数据需要解压缩才能使用,图6-1表达了多媒体数据压缩和解压缩的过程
人类的听觉和视觉等感觉器官受人体机能的限制,具有一定的局限性。 (1)听觉局限性:主要表现在三个方面,一是人的听觉具有掩蔽效应,强弱不同的声 音同时存在时,强声会使弱声难以被听见;二是人耳对不同频段的声音敏感程度不同,通常 对低频信号更敏感些;三是人耳对语音信号相位变化不敏感。 (2)视觉局限性:主要表现在两个方面,一是人类视觉的掩盖效应,对图像场的某些变化 感觉不灵敏;二是视觉系统的色彩分辨能力有限,一般只有 6 位灰度级,一个真彩系统可以 表达 16777216 种不同颜色,而一个专家能识别的颜色也就只有几百种,通常说来人类对图 像色彩的感知能力远不如对亮度的感知能力。 音频、图像、视频这些多媒体数据最终是要由人类的感觉器官来感知的,因此对多媒体 数据的记录和存储要充分利用听觉系统和视觉系统的特点,对于人的感官感觉不到的信息或 不敏感的信息可以进行必要的舍弃,避免做无用功。 2.多媒体数据的冗余 (1)空间冗余:一幅静态图像中,物体和背景的表面颜色常常具有空间连贯性, 空间冗余是静态图像存在的最主要的数据冗余形式。 (2)时间冗余:音频和视频数据是一连续的渐变过程,而不是一个完全在时间上独立的过 程,因而存在时间冗余。音频相邻采样点数据的幅度值很相近,视频图像序列中的两幅相邻 的图像中,后一幅图像与前一幅图像之间往往有较大的相关性,动画中的相邻两帧有时几乎 相同,这都是一种时间冗余。 (3)统计冗余:数据中进行编码中各种符号的出现频率不同,如果给每一种符号相同的存 储位数,这样也会产生冗余,叫统计冗余。 (4)结构冗余:有些图像中一些区域的“条纹”较密,没有“通常”的空间冗余,但从大 的区域上看存在着非常强的纹理结构,例如布纹图像和草席图像等。 (5)知识冗余:有许多图像的理解与某些基础知识有相当大的相关性。例如,人脸的图像 有固定的结构,嘴的上方有鼻子,鼻子的上方有眼睛,鼻子位于正面图像的中线上等。这类 规律性的结构可由先验知识和背景知识得到,此类冗余被称为知识冗余。 6.1.3 多媒体数据压缩的相关问题 1.压缩的本质 数据压缩就是按照某种方法从给定的数字信号(如音频、图像、视频)中推出简化的数 据表述,从而降低数据量的过程,这个过程也被称为数据编码。 多媒体数据压缩的目的是为了最有效地利用有限的存储器资源、信道资源和计算资源 等。数据压缩的本质就是去掉数字信号数据中的冗余数据,减小数据量。 2.压缩和解压缩 数据压缩就是去掉信号数据的冗余性,也称为数据编码。与此对应,数据压缩的逆过程 称为数据解压缩,简称为数据解码。压缩的多媒体数据需要解压缩才能使用,图 6-1 表达了 多媒体数据压缩和解压缩的过程
存原始1数字解压缩压缩信号O应用传输图6-1多媒体数据压缩和解压缩的过程按压缩和解压缩算法耗费代价的不同,可以把多媒体应用分为对称应用和非对称应用。在对称应用中编码和解码代价应基本相同,如视频会议系统,数据在各个终端被压缩和解压缩,此时要求压缩和解压缩所耗费的时间和资源基本相当:在非对称应用中,解码过程比编码过程耗费的代价要小,例如网络视频系统,它的数据压缩的过程仅一次,采样的时间不限,而解压缩经常用到并需要迅速完成,因此实时解码成为基本要求,而编码所需的时间则不限。3.压缩的衡量标准衡量一个压缩技术的好坏,有如下四个标准。(1)压缩比要大,即压缩前后所需的信息存储量之比要大,使数据尽可能地被压缩。(2)恢复效果要好。要尽可能地恢复原始数据。(3)压缩、解压速度快,即实现压缩的算法要简单,尽可能地做到实时压缩、解压。在不对称应用中,解压速度的提高显得更为重要。(4)压缩及解压的成本尽可能小,即实现压缩和解压缩的软硬件开销要尽可能小。事实上,一种压缩算法或压缩标准,不可能同时达到以上四个要求,因此常常根据应用的不同选择尽可能适用的压缩方法,即在压缩能力、实现复杂性与成本等方面进行平衡与折中。6.2多媒体数据压缩方法6.2.1压缩方法分类按压缩算法原理分:例如从压缩算法的原理上可以分为统计压缩编码、变换压缩编码、预测压缩编码、模型压缩编码等;*按压缩面向的对象分:针对音频的压缩编码(如波形编码、参数编码)和针对视频的压缩编码(如顿内压缩编码技术、顿间压缩编码技术)等:根据算法是否自适应分:自适应压缩编码和非适应性压缩编码等:根据数据质量有无损失分:有损压缩编码和无损压缩编码6.2.1压缩方法分类无损压缩指在压缩过程中,去掉亢余数据,减少数据量但并不减少信息量,解压缩时仍可原样恢复数据,这样的压缩就是无损压缩,也被称为几余压缩法。因为无损压缩是可逆的,因此也被称为可逆压缩法。无损的压缩常用手原始数据的存档、应用软件压缩以及专业数据的精密处理,例如医疗图像读取和解析、卫星数据判读等。常用的无损压缩方法有RLE编码、统计编码(如Huffiman编码、算术编码)、不量化预测编码和LZW编码(字串表编码)等
按压缩和解压缩算法耗费代价的不同,可以把多媒体应用分为对称应用和非对称应用。 在对称应用中编码和解码代价应基本相同,如视频会议系统,数据在各个终端被压缩和解压 缩,此时要求压缩和解压缩所耗费的时间和资源基本相当;在非对称应用中,解码过程比编 码过程耗费的代价要小,例如网络视频系统,它的数据压缩的过程仅一次,采样的时间不限, 而解压缩经常用到并需要迅速完成,因此实时解码成为基本要求,而编码所需的时间则不限。 3.压缩的衡量标准 衡量一个压缩技术的好坏,有如下四个标准。 (1)压缩比要大,即压缩前后所需的信息存储量之比要大,使数据尽可能地被压缩。 (2)恢复效果要好。要尽可能地恢复原始数据。 (3)压缩、解压速度快,即实现压缩的算法要简单,尽可能地做到实时压缩、解压。在不 对称应用中,解压速度的提高显得更为重要。 (4)压缩及解压的成本尽可能小,即实现压缩和解压缩的软硬件开销要尽可能小。 事实上,一种压缩算法或压缩标准,不可能同时达到以上四个要求,因此常常根据应 用的不同选择尽可能适用的压缩方法,即在压缩能力、实现复杂性与成本等方面进行平衡与 折中。 6.2 多媒体数据压缩方法 6.2.1 压缩方法分类 ❖ 按压缩算法原理分:例如从压缩算法的原理上可以分为统计压缩编码、变换压缩编 码、预测压缩编码、模型压缩编码等; ❖ 按压缩面向的对象分:针对音频的压缩编码(如波形编码、参数编码)和针对视频 的压缩编码(如帧内压缩编码技术、帧间压缩编码技术)等; ❖ 根据算法是否自适应分:自适应压缩编码和非适应性压缩编码等; ❖ 根据数据质量有无损失分:有损压缩编码和无损压缩编码 6.2.1 压缩方法分类 ❖ 无损压缩 指在压缩过程中,去掉冗余数据,减少数据量但并不减少信息量,解压 缩时仍可原样恢复数据,这样的压缩就是无损压缩,也被称为冗余压缩法。因为无 损压缩是可逆的,因此也被称为可逆压缩法。 无损的压缩常用于原始数据的存档、应用软件压缩以及专业数据的精密处理,例如医疗 图像读取和解析、卫星数据判读等。 常用的无损压缩方法有 RLE 编码、统计编码(如 Huffman 编码、算术编码)、不量化预 测编码和 LZW 编码(字串表编码 )等
有损压缩指在压缩过程中不但减少了数据量,同时数据的信息量也减少了,此时解压缩后数据则不能完全恢复,只能近似地恢复,这种压缩方法被称为有损压缩或不可逆压缩法。有损压缩通常用于普通音频和视频的压缩。常用的有损压缩方法有PCM(脉冲编码调制)、量化预测编码、变换编码、失量量化和子带(混合)编码等。在信息论中,平均信息量定义为摘,因此无损压缩方法也被称为摘编码法,而有损压缩方法也被称为熵压缩法。6.2.2RLE编码RLE(RunLengthEncoding)编码也被称为行程编码。RLE压缩编码主要适用于图像,对减少图像文件的存储空间非常有效,在图像中具有相同颜色并且是连续的像素数目被称为行程长度。RLE编码存储的不是每一个像素的颜色值,而仅仅存储一个像素的颜色值以及具有相同颜色的像素数目就可以,或者存储一个像素的颜色值以及具有相同颜色值的行数。RLE编码解码时按照与编码时采用的相同规则进行,还原后得到的数据与压缩前的数据完全相同。因此,RLE编码属于无损压缩技术。RLE编码的优点:技术直观、算法简单。缺点:对颜色丰富的自然图像不太适用。RLE所能获得的压缩比有多大,这主要是取决于图像本身的特点。如果图像中具有相同颜色的图像块越大,图像块数目越少,获得的压缩比就越高,反之,压缩比就越小。通常RLE编码和其他的压缩编码技术联合应用。6.2.3统计编码统计编码:是根据信源符号出现概率的分布特性而进行的压缩编码,使用一种变长码,将出现次数较多的符号用较短的码字表示,以便使平均码长或码率尽量小。典型的统计编码有:哈夫曼编码(是由Huffman在1952年提出的,基本原理是按信源符号出现的概率大小进行排序,出现概率大的分配短码,出现概率小的则分配长码。)
❖ 有损压缩 指在压缩过程中不但减少了数据量,同时数据的信息量也减少了,此时 解压缩后数据则不能完全恢复,只能近似地恢复,这种压缩方法被称为有损压缩或 不可逆压缩法。有损压缩通常用于普通音频和视频的压缩。 常用的有损压缩方法有 PCM(脉冲编码调制)、量化预测编码、变换编码、矢量量化和 子带(混合)编码等。 ❖ 在信息论中,平均信息量定义为熵,因此无损压缩方法也被称为熵编码法,而有损 压缩方法也被称为熵压缩法。 6.2.2 RLE 编码 RLE(Run Length Encoding)编码也被称为行程编码。RLE 压缩编码主要适用于图像, 对减少图像文件的存储空间非常有效,在图像中具有相同颜色并且是连续的像素数目被称为 行程长度。 RLE 编码存储的不是每一个像素的颜色值,而仅仅存储一个像素的颜色值以及具有相 同颜色的像素数目就可以,或者存储一个像素的颜色值以及具有相同颜色值的行数。RLE 编码解码时按照与编码时采用的相同规则进行,还原后得到的数据与压缩前的数据完全相 同。因此,RLE 编码属于无损压缩技术。 RLE 编码的优点:技术直观、算法简单。 缺点:对颜色丰富的自然图像不太适用。 RLE 所能获得的压缩比有多大,这主要是取决于图像本身的特点。如果图像中具有相 同颜色的图像块越大,图像块数目越少,获得的压缩比就越高,反之,压缩比就越小。通常 RLE 编码和其他的压缩编码技术联合应用。 6.2.3 统计编码 统计编码:是根据信源符号出现概率的分布特性而进行的压缩编码,使用一种变长码, 将出现次数较多的符号用较短的码字表示,以便使平均码长或码率尽量小。 典型的统计编码有:哈夫曼编码( 是由 Huffman 在 1952 年提出的,基本原理是按信 源符号出现的概率大小进行排序,出现概率大的分配短码,出现概率小的则分配长码。)
哈夫曼编码举例::假设有一个系统对7段文字进行编码。表 6-2示例系统编码方式对比哈夫曼编码定长编码源数据长度长度码值4434i am a baby11111000011100010111000011100010104031iamaboy11111000011100010111001100010104438i am a girl111110000111000100101101111010111111014026i am aman1111100001110001001100110148351111000011100010010011100011001101iamawoman6046i am an old man11111000011100011011011001110101000100110011016855i am an old woman111110001110001101101100111010100010010011100011001101表 6-3示例系统字符的哈夫曼编码方案字符码值码长出现次数2空格231021900a110113m84-111164n11015401100b351110035111101d250100025W0100125y01010160001011010r010111哈夫曼编码过程如下:(1)首先把待编码的每一个符号看成一个节点,所有待编码字符看做原始节点序列。(2)从节点序列中选择概率最小的两个节点。(3)构造一个新节点,新节点的概率等于刚才两个节点概率之和,新节点的两个分支分别是刚才的两个节点。(4)将第(2)步选择的两个节点从节点序列中删除,将第(3)步构造的新节点加入到节点序列中。(5)重复第(2)步到第(4)步,直到节点序列只有一个节点为止。(6)这样得到一棵编码树,对编码树的每一下分支赋值为1,上分支赋值为0,从编码树的根开始回溯到原始的符号,记录经过分支的值,即得到哈夫曼编码
哈夫曼编码举例:假设有一个系统对 7 段文字进行编码。 哈夫曼编码过程如下: (1)首先把待编码的每一个符号看成一个节点,所有待编码字符看做原始节点序列。 (2)从节点序列中选择概率最小的两个节点。 (3)构造一个新节点,新节点的概率等于刚才两个节点概率之和,新节点的两个分支分别 是刚才的两个节点。 (4)将第(2)步选择的两个节点从节点序列中删除,将第(3)步构造的新节点加入到节 点序列中。 (5)重复第(2)步到第(4)步,直到节点序列只有一个节点为止。 (6)这样得到一棵编码树,对编码树的每一下分支赋值为 1,上分支赋值为 0,从编码树的 根开始回溯到原始的符号,记录经过分支的值,即得到哈夫曼编码