61平均错误概率和译码规则约 也可写成:P=∑P(b/a)Pa) YX- 上式也可写成对行求和: ∑Pa{Pba)F(b)≠a} ∑P(a)0 X 如果先验概率相等,则:P=∑ 例62(p201)「050302 P=0.20.30.5 kt5030304 ash mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 11/
mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 11/ 也可写成： * , ( / ) ( ) E j i i Y X a P P b a P a − = 上式也可写成对行求和： ( ) ( ) ( / ) ( ) ( ) = = E i j i j X Y i i e X P P a P b a F b a P a P 如果先验概率相等，则： 1 ( )i E e X P P r = 例6.2（p201） 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P =
6.1平均错误概率和译码规则 根据最大似然准则可F(h)=a 0.50.30.2 选择译码函数为B:F()=a P=020305 F(b2)=a2 0.30.30.4 ∑P(b/a)=[(02+0.3)+(0.3+0.3)+(02+04) YX-a 32P”=303+02)+(02+03)+(0,3+0.4)=057 若采用前边讲到的译码函数A,则平均错误率为: ∑P(b/a)=,[(03+02)+(03+03)+(02+05)=06 若输入不等概分布,其概率分布为: P(4八 4:4)2采用译码函数B P(a2)=,P P=∑P(a)P=(03+0.2)+(02+03)+1(03+04)=0.6 mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 12/
mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 12/ 根据最大似然准则可 选择译码函数为B： 1 1 2 3 3 2 ( ) ( ) ( ) F b a F b a F b a = = = * , ( ) 1 1 ( / ) [(0.2 0.3) (0.3 0.3) (0.2 0.4)] 3 3 1 1[(0.3 0.2) (0.2 0.3)+ ] 0.567 3 3 E Y X a i e X P P b a p − = = + + + + + = = + + + = （0.3+0.4） 若采用前边讲到的译码函数A，则平均错误率为： * ' , 1 1 ( / ) [(0.3 0.2) (0.3 0.3) (0.2 0.5)] 0.6 3 3 E Y X a P P b a − = = + + + + + = 若输入不等概分布，其概率分布为： 1 2 3 1 1 1 ( ) , ( ) , ( ) 4 4 2 P a P a P a = = = 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P = ( 0.3 0.4 ) 0.6 2 1 ( 0.2 0.3 ) 4 1 ( 0.3 0.2 ) 4 1 P P( a )P X ( i ) E ” = i e = + + + + + = 采用译码函数B
61平均错误概率和译码规则 0.50.30.2 P(a1)=,P(a2)=,P(a3)= P=020.30.5 0.30.304 若采用最小错误 0.1250.0750.05 概率译码准则,[)=050070125 则联合矩阵为 L0.150.150.2 F(6=a3 所得译码函数为C:{F(b2)=a 平均错误率为: F(b3)=a3 P=∑∑Pa)P(ba)=(0125+0051075+007)+(05+0125)=05 ash mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 13/
mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 13/ 若采用最小错误 概率译码准则， 则联合矩阵为： 0.125 0.075 0.05 ( ) 0.05 0.075 0.125 0.15 0.15 0.2 P a bi j = 所得译码函数为C： 1 3 2 3 3 3 ( ) ( ) ( ) F b a F b a F b a = = = 平均错误率为： 0.5 0.3 0.2 0.2 0.3 0.5 0.3 0.3 0.4 P = 1 2 3 1 1 1 ( ) , ( ) , ( ) 4 4 2 P a P a P a = = = * ''' ( ) ( / ) (0.125 0.05) (0.075 0.075) (0.05 0.125) 0.5 E i j i Y X a P P a P b a − = = + + + + + =
6.1平均错误概率和译码规则 平均错误概率P与译码规则有关,而译码规则又由信 道特性决定。于是,平均错误概率P与信道疑义度H(XY 是有一定关系的,满足 费诺不等式H(X/Y)≤H(PB)+Plog( 证明 (PE)+Pe log(r-1)=P log+(1-P)log.+ P log(r-1) ∑p(ab)lg"n+∑p(b)o YX-a 条件熵H(xY)=∑p(abNb) ash mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 14/
mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 14/ 平均错误概率 与译码规则有关，而译码规则又由信 道特性决定。于是，平均错误概率 与信道疑义度 是有一定关系的，满足 费诺不等式 ( / ) ( ) log( 1) H X Y H P P r ≤ E E + − H X Y ( / ) PE PE 证明： 1 1 ( ) log( 1) log (1 )log log( 1) 1 E E E E E E E H P P r P P P r P P + − = + − + − − * , * 1 1 ( )log ( )log 1 i j j Y X a Y E E r p a b p a b − P P − = + − 1 ( / ) ( )log ( / ) i j XY i j H X Y p a b p a b 条件熵 =
61平均错误概率和译码规则 故有(X1Y)-H(P)-log(r-1) 1-P ∑pab)p-Da1b) YX-a ∑pab)gpab) 应用不等式logx≤x-1得 H(X/Y-H(PE-PE log(r-1) ∑p(ab ∑ab) E (r-Dp(a, /6,) p(a/b r1,2pb),2p(ab)+(1-22pb)2pb) P-P+(1-P)-(1-P)=0移项证得费诺不等式 auter s clevced /echivolose ash mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 15/
mfy@ustc.edu.cn 信息论与编码技术-信道纠错编码 15/ 故有 * * , * ( / ) ( ) log( 1) 1 ( )log ( )log ( 1) ( / ) ( / ) E E E E i j j Y X a Y i j j H X Y H P P r P P p a b p a b − r p a b p a b − − − − = + − 应用不等式 log 1 x x ≤ − 得 * * , * * , * , * ( / ) ( ) log( 1) 1 ( ) 1 ( ) 1 ( 1) ( / ) ( / ) ( ) ( ) (1 ) ( ) ( ) 1 (1 ) (1 ) 0 E E E E i j j Y X a Y i j j E j i j E j j Y X a Y X a Y Y E E E E H X Y H P P r P P p a b p a b r p a b p a b P p b p a b P p b p a b rP P P P − − − − − − − − + − − = − + − − − = − + − − − = ≤ 移项证得费诺不等式