离散无记忆源的等长编码 不能渐进无错的编码（简单地说就是：当R<H(U)时， 无论怎样编码和译码都不能使译码错误的概率，任意 小。严格地说就是：) 设给定了编码设备的编码速率R,R<H(U)。则无论怎 样编码和译码都不能同时满足 ①实际的编码速率R≤Ro, ②译码错误的概率p任意小
离散无记忆源的等长编码 不能渐进无错的编码 （简单地说就是：当R<H(U1 )时， 无论怎样编码和译码都不能使译码错误的概率pe任意 小。严格地说就是： ） 设给定了编码设备的编码速率R0，R0<H(U1 )。则无论怎 样编码和译码都不能同时满足 ①实际的编码速率R≤R0， ②译码错误的概率pe任意小
DMS的等长编码 ·MogD≥LH(U) ·H(U)是统计平均值，L达到无限时，一个具体的 源输出序列的平均每符号的信息量才等于H() 。选L足够长，使NogD≥L[H(U)+] ·L趋向于无穷，6趋向于0，保证不降低效率。不 能保证单义可译，但可以保证非单义可译引起 的误差可以渐进的任意小。 如何证明？
DMS的等长编码 ⚫ NlogD≥LH(U) ⚫ H(U)是统计平均值，L达到无限时，一个具体的 源输出序列的平均每符号的信息量才等于H(U) ⚫ 选L足够长，使 NlogD≥L[H(U)+eL ] ⚫ L趋向于无穷，eL趋向于0，保证不降低效率。不 能保证单义可译，但可以保证非单义可译引起 的误差可以渐进的任意小。 如何证明？
弱、强典型序列集 定义3.2.1：令H(U)是集{U,p(a}的熵，是正数，集合 Iy(L,E)={u:H(亿U)-&≤I,≤H(U)+} 定义为给定源输出的长为L的典型序列集。 弱：典型序列集 定义3.2.2：令H(U)是集{U,p(a)}的熵，是正数，集合 Tu(L,)={uz:L(p(ak)-E)≤Lk≤L(p(ak)+E)} 定义为给定源输出的长为L的ε一典型序列集，其中Lk 是在L长序列中符号a出现的次数 强G典型序列集
弱、强e典型序列集 T (L,e ) ={u : H(U) −e I H(U) +e} U L L ( ,e ) ={ : ( ( ) −e ) ( ( ) +e )} TU L uL L p ak Lk L p ak 定义3.2.1：令H(U)是集{U, p(ak )}的熵，e是正数，集合 定义为给定源U输出的长为L的典型序列集。 定义3.2.2：令H(U)是集{U, p(ak )}的熵，e是正数，集合 ——弱e-典型序列集 定义为给定源输出的长为L的e－典型序列集，其中Lk 是在L长序列中符号ak出现的次数 ——强e-典型序列集
例3.2.2 典型二项序列出现的概率： p(uz)=p0(1-p)-o) 当L足够大， I -plog p-(1-p)log(1-p)=H(p)
例3.2.2 2 (0) {| | } r L p p L L e e − = (0) (0) ( ) (1 ) L L L L p p p − u = − 典型二项序列出现的概率： 当L足够大， log (1 )log(1 ) ( ) L I p p p p H p − − − − =
信源划分定理 定理3.2.1：给定信源{U,p(a)}和ε>0，当 L→o,Pr{T(L,8}→1，或对所有>0，存 在有正整数Lo,使得当L>Lo时有 P{uz∈Tu(L,E)}≥1-8
信源划分定理 定理3.2.1:给定信源｛U, p(ak )｝和e>0,当 L→∞，Pr{T(L, e)}→1,或对所有e>0，存 在有正整数L0，使得当L>L0时有 { ( , )} 1 P u T L r L U − e e