《信息论与编码技术》课程教学课件（讲稿）第六章 有噪信道编码定理

总结Pe接收到b，时的错误概率P(e / b,)=1- P(a, / b,)P。 = Zp(b,)P(e / b,)= Zp(b,)(1- P(a, / b,)平均错误概率j=j=lP(a /b,)≥ P(a, / b,)a,a最大后验概率准则/最小错误概率准则P(b, /a")P(a')、P(b, / a,)P(a,)贝叶斯公式P(b,)P(b,)P(b, / a)P(a)≥ P(b, / a)P(a,)信源符号等概率时P(b, /a)≥ P(b, /a)最大似然译码准则11/信息论与编码技术-信道纠错编码

信息论与编码技术-信道纠错编码 11/ ( / ) 1 ( / ) P e b P a b j i j = − 1 1 ( ) ( / ) ( )(1 ( / )) m s e j j j i j j j P p b P e b p b P a b = = = = −   * * ( / ) ( / ) P a b P a b a a j i j i   * * ( / ) ( ) ( / ) ( ) ( ) ( ) j j i i j j P b a P a P b a P a P b P b  * * ( / ) ( ) ( / ) ( ) P b a P a P b a P a j j i i  * ( / ) ( / ) P b a P b a j j i  最大似然译码准则 最大后验概率准则/最小错误概率准则 平均错误概率 信源符号等概率时 贝叶斯公式 接收到𝒃𝒋时的错误概率

6.1平均错误概率和译码规则也可写成：Pp= P(b, /a,)P(a)Y,X-a上式也可写成对行求和：F(b,)±a)P =ZP(a)Z(P(b, /a,)L= Z P(a,)P()+p(i)P如果先验概率相等，则：21X[0.50.20.3例6.2（p201）0.20.30.5P=0.30.30.412/信息论与编码技术-信道纠错编码

信息论与编码技术-信道纠错编码 12/ 也可写成： * , ( / ) ( ) E j i i Y X a P P b a P a − =  上式也可写成对行求和：   ( ) ( ) ( / ) ( ) ( )  =  =    E i j i j X Y i i e X P P a P b a F b a P a P 如果先验概率相等，则： 1 ( )i E e X P P r =  例6.2（p201） 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P     =      

6.1平均错误概率和译码规则0.50.20.3根据最大似然准则可[F(b,)=a,选择译码函数为B：P=0.30.50.2F(b2)=aF(b,)=a,0.30.30.4P(b / a) = [(0.2 + 0.3) +(0.3 +0.3) + (0.2 +0.4))=[(0.3+0.2)+(0.2+0.3)+ (0. 3+0. 4)]=0.567若采用前边讲到的译码函数A，则平均错误率为： P(b /a)=[(0.3+0.2)+(0.3+0.3)+(0.2 +0.5))=0.6D若输入不等概分布，其概率分布为：PCa采用译码函数B2(0.3 +0.2)+ (0.2 +0.3)+ (0.3 +0.4)= 0.6P =EP(a;)P(i)413/信息论与编码技术-信道纠错编码

信息论与编码技术-信道纠错编码 13/ 根据最大似然准则可 选择译码函数为B： 1 1 2 3 3 2 ( ) ( ) ( ) F b a F b a F b a  =   =   = * , ( ) 1 1 ( / ) [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 3 3 1 1[(0.3 0.2) (0.2 0.3)+ ] 0.567 3 3 E Y X a i e X P P b a p − = = + + + + + = = + + + =   （0.3+0.4） 若采用前边讲到的译码函数A，则平均错误率为： * ' , 1 1 ( / ) [(0.3 0.2) (0.3 0.3) (0.2 0.5)] 0.6 3 3 E Y X a P P b a − = = + + + + + =  若输入不等概分布，其概率分布为： 1 2 3 1 1 1 ( ) , ( ) , ( ) 4 4 2 P a P a P a = = = 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P     =       ( 0.3 0.4 ) 0.6 2 1 ( 0.2 0.3 ) 4 1 ( 0.3 0.2 ) 4 1 P P( a )P X ( i ) E ” =  i e = + + + + + = 采用译码函数B

6.1平均错误概率和译码规则[0.50.20.3P=0.50.20.320.30.40.30.1250.050.075若采用最小错误概率译码准则，0.050.125[P(a,b,)]0.075则联合矩阵为：0.150.150.2[F(b)= a3所得译码函数为CF(b,)=a3(F(b,)=a3平均错误率为：P =ZZ P(a,)P(b, /a,)=(0.125 +0.05)+(0.075 +0.075)+(0.05 +0.125)=0.5-014/信息论与编码技术-信道纠错编码

信息论与编码技术-信道纠错编码 14/ 若采用最小错误 概率译码准则， 则联合矩阵为： 0.125 0.075 0.05 ( ) 0.05 0.075 0.125 0.15 0.15 0.2 P a bi j       =         所得译码函数为C： 1 3 2 3 3 3 ( ) ( ) ( ) F b a F b a F b a  =   =   = 平均错误率为： 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P     =       1 2 3 1 1 1 ( ) , ( ) , ( ) 4 4 2 P a P a P a = = = * ''' ( ) ( / ) (0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5 E i j i Y X a P P a P b a − = = + + + + + =  

6.1平均错误概率和译码规则平均错误概率Pe与译码规则有关，而译码规则又由信道特性决定。于是，平均错误概率P，与信道疑义度H(X/Y）是有一定关系的，满足费诺不等式H(X / Y)≤ H(Pe)+ P, log(r -1)证明：H(Pe) + P, log(r -1) = P, logPr-lPPe1r-Zp(a b,)10 -P=Zp(a,b,)logPEY,X-a*L1条件熵H(X /Y)=Zp(a,b,)logp(a, / b,)XY15/信息论与编码技术一信道纠错编码

信息论与编码技术-信道纠错编码 15/ 平均错误概率 与译码规则有关，而译码规则又由信 道特性决定。于是，平均错误概率 与信道疑义度 是有一定关系的，满足 费诺不等式 ( / ) ( ) log( 1) H X Y H P P r ≤ E E + − H X Y ( / ) PE PE 证明： 1 1 ( ) log( 1) log (1 )log log( 1) 1 E E E E E E E H P P r P P P r P P + − = + − + − − * , * 1 1 ( )log ( )log 1 i j j Y X a Y E E r p a b p a b − P P − = + −  1 ( / ) ( )log ( / ) i j XY i j H X Y p a b p a b 条件熵 =