信源划分定理 系1：特定典型序列出现的概率 若4LT(L,,则 2IH)+≤P(u,)≤2IH) p(u)≈2H)
信源划分定理 [ ( ) ] [ ( ) ] 2 ( ) 2 L H U L H U P uL − + − − e e 系1：特定典型序列出现的概率 若uL TU(L,e),则 ( ) ( ) 2 LH U L p − u
信源划分定理 ●典型序列的数目： 系2：当L足够大时，对于给定的信源和>0， 典型序列的个数ITu(L,)|满足 (1-a)2)T(L,)2m(0)6 T(L,s)2)
信源划分定理 ⚫ 典型序列的数目： 系2：当L足够大时，对于给定的信源和e>0, 典型序列的个数｜TU(L,e)｜满足 [ ( ) ] [ ( ) ] ( ) (1 )2 | ( , ) | 2 | ( , ) | 2 L H U L H U U LH U U T L T L e e e e e − + −
信源划分定理 ·信源消息可以分为2组：（渐进等同分割性） 1、典型序列 高概率集，渐进等概序列，AEP序列 2、非典型序列 低概率集
信源划分定理 ⚫ 信源消息可以分为2组：（渐进等同分割性） 1、典型序列 高概率集，渐进等概序列，AEP序列 2、非典型序列 低概率集
编码速率和等长编码定理 编码速率：R=(1/L)IogM=(NL)IogD,M为 码字总数 ● 可达速率：对于给定信源和编码速率R以 及任意ε>0，若有L,以及编译码方法，使 得L>Lo,错误概率小于ε，R是可达的 ● 等长编码定理： ●R>H(U),R是可达的，R<H(U),R是不可达的 ●编码效率：n=H(U)R
编码速率和等长编码定理 ⚫ 编码速率：R=(1/L)logM=(N/L)logD, M为 码字总数 ⚫ 可达速率：对于给定信源和编码速率R以 及任意e0，若有L0 ,以及编译码方法，使 得L>L0 ,错误概率小于e，R是可达的 ⚫ 等长编码定理： ⚫ R>H(U),R是可达的，R<H(U)，R是不可达的 ⚫ 编码效率：h=H(U)/R
DMS的等长编码 7.965784 0.005747 例设 0.0040.996 0.004 0.996 log = 7.965784 其中：V,= 0.004 U,=a1 1 log =0.005747 0.996 U1=2 EV=0.037587148=H(U) DV=EV-(EV) =0.004×(7.965784)2+0.996×(0.005747)2-(0.037587148)2 =0.25243496
DMS的等长编码 例 设 0.004 0.996 ~ a1 a2 Ul = = = = = 2 1 0.005747 0.996 1 log 7.965784 0.004 1 log U a U a V l l 其中： l 0.004 0.996 7.965784 0.005747 Vl ~ EV 0.037587148 H(U) l = = 0.25243496 0.004 (7.965784) 0.996 (0.005747) (0.037587148) ( ) 2 2 2 2 2 = = + − DVl = EVl − EVl