第二节等长码 我们仍以英文电报为例,在考虑了英文字母间的相关性 之后,我们对信源作N次扩展,在扩展后形成的信源(也 就是句子)中,有些句子是有意义的,而有些句子是没有 意义的,我们可以只对有意义的句子编码,而对那些没有 意义的句子不进行编码,这样就可以缩短每个信源符号所 需的码长。 等长信源编码定理给出了进行等长信源编码所需码长的 极限值
第二节 等长码 我们仍以英文电报为例，在考虑了英文字母间的相关性 之后，我们对信源作N次扩展，在扩展后形成的信源（也 就是句子）中，有些句子是有意义的，而有些句子是没有 意义的，我们可以只对有意义的句子编码，而对那些没有 意义的句子不进行编码，这样就可以缩短每个信源符号所 需的码长。 等长信源编码定理给出了进行等长信源编码所需码长的 极限值
第三节等长信源编码定理 定理43(等长信源编码定理)一个熵为H(S)的离散无记 忆信源,若对其N次扩展信源进行等长r元编码,码长为l, 对于任意E大于0,只要满足 l、H(S)+E logr 当N无穷大时,则可以实现几乎无失真编码,反之,若: 1H(S)-2E < 则不可能实现无失真编码,当N趋向于无穷大是,译码错 误率接近于1
定理4.3（等长信源编码定理） 一个熵为H(S)的离散无记 忆信源，若对其N次扩展信源进行等长r元编码，码长为l， 对于任意 大于0，只要满足 ( ) log l H S N r 当N无穷大时，则可以实现几乎无失真编码，反之，若： ( ) 2 log l H S N r 则不可能实现无失真编码，当N趋向于无穷大是，译码错 误率接近于1。 第三节 等长信源编码定理
第三节等长信源编码定理 定理43的条件式可写成:logr>MH(S) 左边表示长为l的码符号所能载荷的最大信息量 而右边代表长为N的序列平均携带的信息量。因此, 只要码字传输的信息量大于信源序列携带的信息量, 总可以实现无失真编码 定理43的条件式也可写成:N9gr2H(S)+8 R=log′称之为编码信息率。可见,编码信息 率大于信源的熵,才能实现无失真编码
•定理4.3的条件式可写成： l log r NH(S) 左边表示长为 的码符号所能载荷的最大信息量， 而右边代表长为N的序列平均携带的信息量。因此， 只要码字传输的信息量大于信源序列携带的信息量， 总可以实现无失真编码 。 l 第三节 等长信源编码定理 •定理4.3的条件式也可写成： log ( ) l r H S N 令： ' log l R r N 称之为编码信息率。可见，编码信息 率大于信源的熵，才能实现无失真编码
第三节等长信源编码定理 为了衡量编码效果,引进 H(S)=B(S)称为编码效率 g 最佳编码效率为:n=(S=H(S) R H(S+e Esl-nH(S)
最佳编码效率为： ' ( ) ( ) ( ) H S H S R H S 1 H(S) 第三节 等长信源编码定理 为了衡量编码效果，引进 ' ( ) ( ) log H S H S R l r N 称为编码效率
第三节等长信源编码定理 例:设离散无记忆信源:「S P(s) 44 H(S)=log4+314 lo g 0.811 D[(s)=∑p(ogp)2-[H(S)=(0og4)2+(og7)2-0.8112=04715 若采用等长二元编码,要求编码效率n=0.96,允许错误率 6<10 则:N≥4.13×10 也就是长度要达到4130万以上
例：设离散无记忆信源： 1 2 3 1 ( ) 4 4 s s S P s 1 3 4 ( ) lo g 4 lo g 0 .8 1 1 4 4 3 H S 2 2 2 2 2 2 1 1 3 4 [ ( )] (log ) [ ( )] (log 4) (log ) 0.811 0.4715 4 4 3 i i i i D I s p p H S 若采用等长二元编码，要求编码效率 0 .9 6 ，允许错误率 5 1 0 ，则： 7 N 4.13 10 也就是长度要达到4130万以上。 第三节 等长信源编码定理