6.1平均错误概率和译码规则H(X /Y)- H(P,)- P, log(r -1)故有P1- Pe= p(a,b,)logEp(a'b,)logp(a / b,)(r-1)p(a, / b,)Y,X-a*应用不等式得logx≤x-1H(X /Y)- H(P)- P, log(r - 1)R》Mp(a,b,)+Zp(ab-1)p(a, / b,)Y,X-aP:Z p(b,)- Z p(ab,)+(1-P)Zp(b,)-Zp(ab)r-lyY.X-aY,X-a*1=Pe-P +(1-P.)-(1-P)=0移项证得费诺不等式16/信息论与编码技术-信道纠错编码
信息论与编码技术-信道纠错编码 16/ 故有 * * , * ( / ) ( ) log( 1) 1 ( )log ( )log ( 1) ( / ) ( / ) E E E E i j j Y X a Y i j j H X Y H P P r P P p a b p a b − r p a b p a b − − − − = + − 应用不等式 log 1 x x ≤ − 得 * * , * * , * , * ( / ) ( ) log( 1) 1 ( ) 1 ( ) 1 ( 1) ( / ) ( / ) ( ) ( ) (1 ) ( ) ( ) 1 (1 ) (1 ) 0 E E E E i j j Y X a Y i j j E j i j E j j Y X a Y X a Y Y E E E E H X Y H P P r P P p a b p a b r p a b p a b P p b p a b P p b p a b rP P P P − − − − − − − − + − − = − + − − − = − + − − − = ≤ 移项证得费诺不等式
NMPEPEPZZ[1]p(b,)p(bi)r-1r-1r-1Y,X-a*X-a*X-a*PE-1r一17/信息论与编码技术-信道纠错编码
信息论与编码技术-信道纠错编码 17/ 𝑃𝐸 𝑟 − 1 𝑌,𝑋−𝑎∗ 𝑝(𝑏𝑗 ) = 𝑃𝐸 𝑟 − 1ා 𝑋−𝑎∗ 𝑌 𝑝(𝑏𝑗 ) = 𝑃𝐸 𝑟 − 1 𝑋−𝑎∗ ሼ1} = 𝑃𝐸 𝑟 − 1 (𝑟 − 1)
6.1平均错误概率和译码规则接收到Y后关于X的平均不确定性分为两部分：①是否产生P，错误的不确定性H(P）；②输入符号发送而造成的最大不确定性 P,log(r-l)函数 H(P)+Plog(r-1)随P变化曲线为H(X/Y) 4logrH(PE)+PElog(r-1)log(r-1)PE和HCX/Y的许用区域DPE图6.2费诺不等式的曲线图18/信息论与编码技术一信道纠错编码
信息论与编码技术-信道纠错编码 18/ 图6.2 费诺不等式的曲线图 接收到Y后关于X的平均不确定性分为两部分：①是否产 生 错误的不确定性 ； ②输入符号发送而造成 的最大不确定性 。 ( ) H PE log( 1) P r E − PE ( ) log( 1) 函数 H P P r E E + − 随 PE 变化曲线为