●●● ●●●● ●●●●● ●●●● 离散无记忆源的等长编码 ●●0●● ●●●0 不能渐进无错的编码(简单地说就是:当R<HU1)时, 无论怎样编码和译码都不能使译码错误的概率υ仼意 小。严格地说就是:) 设给定了编码设备的编码速率R。,R<HU1)。则无论怎 样编码和译码都不能同时满足 ①实际的编码速率R<Ro, ②2译码错误的概率p2任意小
离散无记忆源的等长编码 不能渐进无错的编码 （简单地说就是：当R<H(U1 )时， 无论怎样编码和译码都不能使译码错误的概率pe任意 小。严格地说就是： ） 设给定了编码设备的编码速率R0，R0<H(U1 )。则无论怎 样编码和译码都不能同时满足 ①实际的编码速率R≤R0， ②译码错误的概率pe任意小
●●● ●●●● ●●●●● ●●●● DMS的等长编码 ●●0●● ●●●● ●●●● ●NogD≥LH(U H(U∪)是统计平均值,L达到无限时,一个具体的 源输出序列的平均每符号的信息量才等于H(U 选L足够长,使MogD≥L[H(U+c L趋向于无穷,趋向于0,保证不降低效率。不 能保证单义可译,但可以保证非单义可译引起 的误差可以渐进的任意小。 如何证明?
DMS的等长编码 ⚫ NlogD≥LH(U) ⚫ H(U)是统计平均值，L达到无限时，一个具体的 源输出序列的平均每符号的信息量才等于H(U) ⚫ 选L足够长，使 NlogD≥L[H(U)+eL ] ⚫ L趋向于无穷，eL趋向于0，保证不降低效率。不 能保证单义可译，但可以保证非单义可译引起 的误差可以渐进的任意小。 如何证明？
●●● ●●●● ●●●●● ●●●● 弱、强8典型序列集 ●●0●● ●●●0 ●●●● 定义32.1:令H①U是集{U,p(a)}的熵,ε是正数,集合 T(L,E)={1:H(U)-E≤11≤H(U)+e} 定义为给定源U输出的长为L的典型序列集。 弱ε-典型序列集 定义32.2:令H(U)是集{U,p(a)}的熵,ε是正数,集合 TU L,a=u,: L(P(ak-aslKSL(P(ak)+a) 定义为给定源输出的长为L的E典型序列集,其中Lk 是在L长序列中符号ak出现的次数 强8-典型序列集
弱、强e典型序列集 T (L,e ) ={u : H(U) −e I H(U) +e} U L L ( ,e ) ={ : ( ( ) −e ) ( ( ) +e )} TU L uL L p ak Lk L p ak 定义3.2.1：令H(U)是集{U, p(ak )}的熵，e是正数，集合 定义为给定源U输出的长为L的典型序列集。 定义3.2.2：令H(U)是集{U, p(ak )}的熵，e是正数，集合 ——弱e-典型序列集 定义为给定源输出的长为L的e－典型序列集，其中Lk 是在L长序列中符号ak出现的次数 ——强e-典型序列集
●●● ●●●● ●●●●● ●●●● 例3.22 ●●0●● ●●●● ●●●● L(0) p,{ p|}<=8 典型二项序列出现的概率: p(u)=p0(1-p)0 当L足够大, L&-plog p-( 1-p)log (l-p)=H(p)
例3.2.2 2 (0) {| | } r L p p L L e e − = (0) (0) ( ) (1 ) L L L L p p p − u = − 典型二项序列出现的概率： 当L足够大， log (1 )log(1 ) ( ) L I p p p p H p − − − − =
●●● ●●●● ●●●●● ●●●● 信源划分定理 ●●0●● ●●●● ●●●● 定理321:给定信源(U,p(a)}和8>0,当 L∞,Pr{T(L8)}→1,或对所有8>0,存 在有正整数L0,使得当L>0时有 P{un∈T(L,E)}>1-E
信源划分定理 定理3.2.1:给定信源｛U, p(ak )｝和e>0,当 L→∞，Pr{T(L, e)}→1,或对所有e>0，存 在有正整数L0，使得当L>L0时有 { ( , )} 1 P u T L r L U − e e