篇编码理论 ◇编码长度等于熵,肯定是最优编码 ◇数据量与信息量的区别 ◇信息量等于数据量与冗余量的差值 压缩编码就是去除冗余的过程
熵编码理论 ❖编码长度等于熵，肯定是最优编码 ❖数据量与信息量的区别 ❖信息量等于数据量与冗余量的差值 ❖压缩编码就是去除冗余的过程
熵编码 令熵编码包括香农-范诺编码、霍夫曼编 码和算术编码,其宗旨在于找到一种编 码使得平均码长到达熵极限,基本思想 就是对出现概率较大的符号取较短的码 长,而对出现概率较小的符号取较大的 码长
熵编码 ❖熵编码包括香农－范诺编码、霍夫曼编 码和算术编码，其宗旨在于找到一种编 码使得平均码长到达熵极限，基本思想 就是对出现概率较大的符号取较短的码 长，而对出现概率较小的符号取较大的 码长
霍未曼编码 令1952年问世,依据变字长编码理论 具体步骤: (1)初始化 (2)合并概率最小的两个事件 (3)排序 (4)如果事件个数大于2则重复(2)和(3) (5)赋值 (6)编码
霍夫曼编码 ❖ 1952年问世，依据变字长编码理论 ❖ 具体步骤： （1）初始化 （2）合并概率最小的两个事件 （3）排序 （4）如果事件个数大于2则重复（2）和（3） （5）赋值 （6）编码
霍夫曼编码举例 符号 S1 S2 S3 S4 出现概率 112 114 1/8 1/8 等长编码 00 01 10 霍夫曼 0 10 110 111 H(X)=1.75L1=2L2=1.75 源s1s2s1s3s2s1s1s4 等霍 00 01 00 10 01 00 00 0 10 0 11010 0 0 111
霍夫曼编码举例 符号 S1 S2 S3 S4 出现概率 1/2 1/4 1/8 1/8 等长编码 00 01 10 11 霍夫曼 0 10 110 111 H(X) = 1.75 L1=2 L2=1.75 源 S1 S2 S1 S3 S2 S1 S1 S4 等 00 01 00 10 01 00 00 11 霍 0 10 0 110 10 0 0 111
霍夫曼编码的局限性 如果源符号集的概率分布不是2负n次方形式,编 码是否可以达到最佳?原因 ◇是否昊有错误保护机制? 心事先无法得知概率分布怎么办? 令优点是不需要同步码
霍夫曼编码的局限性 ❖ 如果源符号集的概率分布不是2负n次方形式，编 码是否可以达到最佳？原因… ❖ 是否具有错误保护机制？ ❖ 事先无法得知概率分布怎么办？ ❖ 优点是不需要同步码