●●● ●●●● ●●●●● ●●●● 信源划分定理 ●●0●● ●●●● ●●●● 系1:特定典型序列出现的概率 若u1T(L,,则 20)4sP(u2)≤2 l)≈2DH(U)
信源划分定理 [ ( ) ] [ ( ) ] 2 ( ) 2 L H U L H U P uL − + − − e e 系1：特定典型序列出现的概率 若uL TU(L,e),则 ( ) ( ) 2 LH U L p − u
●●● ●●●● ●●●●● ●●●● 信源划分定理 ●●0●● ●●●● ●●●● ●典型序列的数目: 系2:当足够大时,对于给定的信源和E>0, 典型序列的个数|TL:)满足 c)2LH(U)-6 7(L, )24()+21 T(L,E)|≈200
信源划分定理 ⚫ 典型序列的数目： 系2：当L足够大时，对于给定的信源和e>0, 典型序列的个数｜TU(L,e)｜满足 [ ( ) ] [ ( ) ] ( ) (1 )2 | ( , ) | 2 | ( , ) | 2 L H U L H U U LH U U T L T L e e e e e − + −
●●● ●●●● ●●●●● ●●●● 信源划分定理 ●●0●● ●●●0 ●●●● ●信源消息可以分为2组:(渐进等同分割性) 典型序列 高概率集,渐进等概序列,AEP序列 2、非典型序列 低概率集
信源划分定理 ⚫ 信源消息可以分为2组：（渐进等同分割性） 1、典型序列 高概率集，渐进等概序列，AEP序列 2、非典型序列 低概率集
●●● ●●●● ●●●●● ●●●● 编码速率和等长编码定理 ●●0●● ●●●0 ●●●● 编码速率:R=(1/)ogM=(NL)ogD,M为 码字总数 ●可达速率:对于给定信源和编码速率R以 及任意E>0,若有Lo以及编译码方法,使 得L>L错误概率小于8,R是可达的 等长编码定理: R>H(U,R是可达的,R<H(U),R是不可达的 编码效率:η=H(UR
编码速率和等长编码定理 ⚫ 编码速率：R=(1/L)logM=(N/L)logD, M为 码字总数 ⚫ 可达速率：对于给定信源和编码速率R以 及任意e0，若有L0 ,以及编译码方法，使 得L>L0 ,错误概率小于e，R是可达的 ⚫ 等长编码定理： ⚫ R>H(U),R是可达的，R<H(U)，R是不可达的 ⚫ 编码效率：h=H(U)/R
●●● ●●●● ●●●●● ●●●● DMS的等长编码 ●●0●● ●●●0 ●●●● 7.9657840.005747 例设 0.0040.996 0.004 0.996 10g 7965784U 其中:V= 0.004 1og =0.005747 0.996 EV1=0.037587148=H(U) DV=EVI-(EVD 0.004×(7.965784)2+0.996×(0.005747)-(0.037587148) 0.25243496
DMS的等长编码 例 设 0.004 0.996 ~ a1 a2 Ul = = = = = 2 1 0.005747 0.996 1 log 7.965784 0.004 1 log U a U a V l l 其中： l 0.004 0.996 7.965784 0.005747 Vl ~ EV 0.037587148 H(U) l = = 0.25243496 0.004 (7.965784) 0.996 (0.005747) (0.037587148) ( ) 2 2 2 2 2 = = + − DVl = EVl − EVl