编码符号是在字母集A中选取的。如果编码后形成 个新的等概率的无记忆信源,如果字母数为n,那么, 它的最大熵应为log2n比特/符号,因此,这是极限值 如果 H(X) log n N 则可认为编码效率已达到100%,若不然,则可认为 编码效率较低。 由上述概念,编码效率如下式表示: H(X) 77 Mlog, n 2021年2月20日 数字图象处理演示稿纪玉波制作
2021年2月20日 数字图象处理演示稿 纪玉波制作 (C) 6 编码符号是在字母集A中选取的。如果编码后形成 一个新的等概率的无记忆信源，如果字母数为n，那么， 它的最大熵应为log2n比特／符号，因此，这是极限值。 如果 则可认为编码效率已达到100％，若不然，则可认为 编码效率较低。 由上述概念，编码效率如下式表示：
式中代表编码效率,H(x)为信源的熵,N为平均码 长,n为字母集合中的字母数 根据上述定义,如果η≠100%,就说明还有冗余度。 因此,冗余度如下式表示: 统计编码要研究的问题就在于设法减小N,使η尽量趋 近于1,R趋近于0。显然值有一个理论最低限,当n=1 时,的最低限就是H(Xlog2n。可以根据这一准则来衡 量编码方法的忧劣。下面举例加以说明。 2021年2月20日 数字图象处理演示稿纪玉波制作
2021年2月20日 数字图象处理演示稿 纪玉波制作 (C) 7 式中η代表编码效率，H（x）为信源的熵， 为平均码 长，n为字母集合中的字母数。 根据上述定义，如果η≠100％，就说明还有冗余度。 因此，冗余度如下式表示： Rd=1-η 统计编码要研究的问题就在于设法减小 ，使η尽量趋 近于1，Rd趋近于0。显然 值有一个理论最低限，当η=l 时， 的最低限就是H(X)/log2n。可以根据这－准则来衡 量编码方法的忧劣。下面举例加以说明
例:一个信源X为 2488 使用的字母集合A为: A={0,1,2,3} 可求得信源X的熵为 H(X)=7/4 平均码长为 N=1×(1/2+1/4+1/8+1/8)=1 2021年2月20日 数字图象处理演示稿纪玉波制作
2021年2月20日 数字图象处理演示稿 纪玉波制作 (C) 8 例：－个信源X为 使用的字母集合A为： A={0，1，2，3} 可求得信源X的熵为 H（X）=7/4 平均码长为
所以 n=(7/4)/1×1og24-7/8 R:=1-n=1-7/8=1/8 显然,编码后还有1/8的冗余度,没有达到最低限。 如果取A={0,1},n=2,那么可以编成如下等长码: u1=00u2=01u2=10u4=1l 此时 N=2×(1/2+1/4+1/8+1/8)=2 n=(7/4)/1×1og2=7/8 R:=1-n=1-7/8=1/8 同样有1/8的冗余度 2021年2月20日 数字图象处理演示稿纪玉波制作
2021年2月20日 数字图象处理演示稿 纪玉波制作 (C) 9 所以 η=(7/4)/1×log24=7/8 Rd=1-η=1-7/8=1/8 显然，编码后还有1/8的冗余度，没有达到最低限。 如果取A={0,1},n=2,那么可以编成如下等长码： u1 =00 u2 =01 u3 =10 u4 =11 此时 η=(7/4)/1×log22=7/8 Rd=1-η=1-7/8=1/8 同样有1/8的冗余度
上例中的两种编码方法,其特点是码字长度均相等 这种码叫等长码。显然此例中的两种等长码均没有达 到最低限。怎样才能使信源编码达到最低限呢?再看 下例的编码方法。仍选A={0,1},n=2作为编码字符集。 在这种编码中,不用等长码,而是采用下面的原则来 编码,即P;大的消息编短码,P;小的消息编长码。 例u1=0u2=10u3=110u4=111 可计算出平均码长 N=1×1/2+2×1/4+3×1/8+3×1/8=7/4 其效率 n=(7/4)/(74)×1og2)=1 冗余度 R:1-=0 2021年2月20日 数字图象处理演示稿纪玉波制作
2021年2月20日 数字图象处理演示稿 纪玉波制作 (C) 10 上例中的两种编码方法，其特点是码字长度均相等， 这种码叫等长码。显然此例中的两种等长码均没有达 到最低限。怎样才能使信源编码达到最低限呢？再看 下例的编码方法。仍选A={0,1},n=2作为编码字符集。 在这种编码中，不用等长码，而是采用下面的原则来 编码，即Pi大的消息编短码，Pi小的消息编长码。 例 u1 =0 u2 =10 u3 =110 u4 =111 可计算出平均码长 其效率 η=(7/4)/((7/4)×log22)=1 冗余度 Rd=1-η=0