2.1数据的见余（续4）数据的几余量在信息论中，数据的几余量（R）定义为决策量（H。）超过（H）的量，数学上表示为R=H.-H例如，令(a,b,c）为3个事件构成的数据集，它们出现的概率分别为p(α)=0.5，P(6)=0.25，P（c）=0.25，这个数据集的余量则为，R= Ho-H =log2 3p(x)logap(x)=1.58—1.50=0.08(Sh)2025年10月26日11 of 42第2章数据无损压缩
2025年10月26日 第2章 数据无损压缩 11 of 42 2.1 数据的冗余(续4) ◼ 数据的冗余量
2.23统计编码统计编码给已知统计信息的符号分配代码的数据无损压缩方法■编码方法香农-范诺编码霍夫曼编码算术编码编码特性香农-范诺编码和霍夫曼编码的原理相同，都是根据符号集中各个符号出现的频繁程度来编码，出现次数越多的符号，给它分配的代码位数越少算术编码使用0和1之间的实数的间隔长度代表概率大小，概率越大间隔越长，编码效率可接近于熵2025年10月26日12 of 42第2章数据无损压缩
2025年10月26日 第2章 数据无损压缩 12 of 42 2.2 统计编码 ◼ 统计编码 ➢ 给已知统计信息的符号分配代码的数据无损压缩方法 ◼ 编码方法 ➢ 香农-范诺编码 ➢ 霍夫曼编码 ➢ 算术编码 ◼ 编码特性 ➢ 香农-范诺编码和霍夫曼编码的原理相同，都是根据符 号集中各个符号出现的频繁程度来编码，出现次数越 多的符号，给它分配的代码位数越少 ➢ 算术编码使用0和1之间的实数的间隔长度代表概率大 小，概率越大间隔越长，编码效率可接近于熵
2.2.1 统计编码香农-范诺编码香农-范诺编码（Shannon-Fanocoding）在香农的源编码理论中，的大小表示非余的不可压缩的信息量>在计算滴时，如果对数的底数用2，的单位就用"香农(Sh)”，也称“位(bit)”。"位"是1948年Shannon首次使用的术语。例如事件x的焰h(x）=p(x）log2(1/p(x）表示编码符号X所需要的位数最早阐述和实现“从上到下”的熵编码方法的人是Shannon(1948年)和Fano(1949年），因此称为香农-范诺(Shannon-Fano)编码法2025年10月26日13 of 42第2章数据无损压缩
2025年10月26日 第2章 数据无损压缩 13 of 42 2.2.1 统计编码——香农-范诺编码 ◼ 香农-范诺编码(Shannon–Fano coding) ➢ 在香农的源编码理论中，熵的大小表示非冗余的不 可压缩的信息量 ➢ 在计算熵时，如果对数的底数用2，熵的单位就用 “香农(Sh)”，也称“位(bit)” 。“位”是1948年 Shannon首次使用的术语。例如 ➢ 最早阐述和实现“从上到下”的熵编码方法的人是 Shannon(1948年)和Fano(1949年)，因此称为香农-范 诺(Shannon- Fano)编码法
2.2.1香农-范诺编码香农-范诺编码举例有一幅40个像素组成的灰度图像，灰度共有5级，分别用符号A，B，C，D和E表示。40个像素中出现灰度A的像素数有15个，出现灰度B的像素数有7个出现灰度C的像素数有7个，其余情况见表2-1■（1）计算该图像可能获得的压缩比的理论值■（2）对5个符号进行编码■（3）计算该图像可能获得的压缩比的实际值表2-1符号在图像中出现的数目BcEA符号D776515出现的次数15/47/407/405/40出现的概率6/40014 of 422025年10月26日第2章数据无损压缩
2025年10月26日 第2章 数据无损压缩 14 of 42 2.2.1 香农-范诺编码 ◼ 香农-范诺编码举例 ➢ 有一幅40个像素组成的灰度图像，灰度共有5级， 分别用符号A，B，C，D和E表示。40个像素中出现 灰度A的像素数有15个，出现灰度B的像素数有7个， 出现灰度C的像素数有7个，其余情况见表2-1 ◼ (1) 计算该图像可能获得的压缩比的理论值 ◼ (2) 对5个符号进行编码 ◼ (3) 计算该图像可能获得的压缩比的实际值 表2-1 符号在图像中出现的数目 符号 A B C D E 出现的次数 15 7 7 6 5 出现的概率 15/4 0 7/40 7/40 6/40 5/40