《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 习题课2/2

一计算 P(XY): P(XY = 00) = P(Y = 0I X = 0)P(X = 0)44 同理可得 P(XY, = 01)= P( =1I X = 0)P(X =0)=0.?P(XY, = 10) = P(Y = 0 I X = 1)P(X = 1) = 0 .41P(XY = 11) = P(Y = 1I X = 1)P(X = 1) =4411 IP(XY, = 20) = P(Y, = 0 [ X = 2)P(X = 2)42 2111P(XY, = 21)= P(Y =1I X = 2)P(X = 22 24T1所以 H(YIX)=二log1+=log1+元bit/symbol log 2 +log 2241I(X;Y) = H(Y)- H(Y|X) = 1-那么bit/symbol2￥2

计算   P XY1 ： 1 1 1 1 ( 00) ( 0 | 0) ( 0) 1 4 4 P XY P Y X P X         同理可得 1 1 1 ( 01) ( 1| 0) ( 0) 0 0 4 P XY P Y X P X         1 1 1 ( 10) ( 0 | 1) ( 1) 0 0 4 P XY P Y X P X         1 1 1 1 ( 11) ( 1| 1) ( 1) 1 4 4 P XY P Y X P X         1 1 1 1 1 ( 20) ( 0 | 2) ( 2) 2 2 4 P XY P Y X P X         1 1 1 1 1 ( 21) ( 1| 2) ( 2) 2 2 4 P XY P Y X P X         所以   2 1 log 2 4 1 log 2 4 1 log 1 4 1 log 1 4 1 | H Y1 X      bit/symbol 那么 1 1 1 1 1 ( ; ) ( ) ( ) 1 2 2 I X Y H Y H Y X      bit/symbol

I(X;Y2)=H(2)-H(Y2 / X)，已知 P(Y2IX)，计算H(2)和H(, / X)需要先求 P()，P(XY)，用类似以上的方法可得结果，列于下表。Y2P(XY2)2012001/420X11/4?201/221/21/2P(Y2)

IX;Y  HY  HY / X  2  2  2 ， 已 知 PY | X  2 ， 计 算   H Y2 和 HY / X  2 需要先求   P Y2 ，   P XY2 ，用类似以 上的方法可得结果，列于下表。 P(XY2) Y2 0 1 X 0 1/4 0 1 1/4 0 2 0 1/2 P(Y2) 1/2 1/2