《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 习题课2/2

2.9任意三个离散随机变量X、Y和Z,求证: H(XYZ)-H(XY)≤H(XZ)-H(X)证明: ： H(XYZ)=H(XY)+H(ZIXY)H(XZ)= H(X)+H(Z /X)所以，求证不等式等价于求证H(ZIXY)≤ H(Z|X)：条件多的熵不大于条件少的熵上式成立，原式得证

2.9 任意三个离散随机变量 X、Y 和 Z， 求证： H XYZ H XY H XZ H X ( ) ( ) ( ) ( )  。 证明：∵ H XYZ H XY H Z XY ( ) ( ) ( | )   H XZ H X H Z X ( ) ( ) ( | )   所以，求证不等式等价于求证 H Z XY H Z X ( | ) ( | )  ∵条件多的熵不大于条件少的熵， 上式成立，原式得证

2.12任意三个离散随机变量X、Y和Z，求证：H(XYZ) = H(XZ)+ H(Y IX)-I(Z;YIX)证明：利用性质证明，从右向左推导如下。H(XZ)+ H(Y/X)-I(Z;YIX)= H(XZ)+ H(Y IX)-[H(Y|X)- H(Y|XZ))= H(XZ)+ H(Y/XZ)证毕。= H(XYZ)

2.12 任意三个离散随机变量 X 、 Y 和 Z ，求证： H XYZ H XZ H Y X I Z Y X ( ) ( ) ( | ) ( ; | )    证明： 利用性质证明，从右向左推导如下。 H XZ H Y X I Z Y X ( ) ( | ) ( ; | )       H XZ H Y X H Y X H Y XZ ( ) ( | ) [ ( ) ( )]   H XZ H Y XZ ( ) ( | )  H XYZ ( ) 证毕

2.13有一离散无记忆信源，其输出为Xε{0,1,2)，相应的概率为P(0)=1/4，P(1)=1/4，P(2)=1/2，设计两个独立试验去观察它，其结果分别为Yε{0,1)，Y2E{0,1),已知条件概率如表题2.13-1 所列。表题 2.13-1条件概率 P(YIX)和P(Y,IX)P(Y, I X)YYP(y, I X)010100010100X1V1X122011/21/2

2.13 有一离散无记忆信源，其输出为 X {0,1, 2}，相应的概 率为P(0) 1/ 4  ，P(1) 1/ 4  ，P(2) 1/ 2  ，设计两个独立试验去 观察它，其结果分别为 1 Y {0,1}， 2 Y {0,1} ,已知条件概率如 表题 2.13-1 所列。 表题 2.13-1 条件概率PY | X  1 和PY | X  2 PY | X  1 Y PY | X  2 Y 0 1 0 1 X 0 1 0 X 0 1 0 1 0 1 1 1 0 2 1/2 1/2 2 0 1

(1)求I(X；Y)和I(X；Y)，并判断哪一个试验好些；(2)求I(X；YY），并计算做Y和Y,两个试验比单独做Y或Y中的一个试验多获得多少关于X的信息；(3)求I(X;YY)和I(X;Y），并解释它们的含义

(1) 求   X Y1 I ； 和   X Y2 I ； ，并判断哪一个试 验好些； (2) 求   X Y1 Y2 I ； ，并计算做Y1 和 Y2 两个试验 比单独做 Y1 或 Y2 中的一个试验多获得 多少关于 X 的信息； (3) 求 1 2 I X Y Y ( ; ) 和 2 1 I X Y Y ( ; ) ，并解释它们的 含义

I(X;Y)=H(y)-H(Y / X)，计算 H(y)和解：（1）)H(Y / X)需要用到 P()、P(XY)和 P(Y /X),其中 P(Y /X)已知。计算 P(X):P(Y = 0)= P(Y = 0IX = 0)P(X = 0)+P( = 0IX =1)P(X =1)+ P(Y = 0/ X = 2) P(X = 2)111P(Y, = 1)= 1- P(Y, = 0) = 1/ 22224= log 2 +H(Y所以log 2 = 1 bit/symbol22

解 ：（ 1 ） IX Y  HY  HY / X  ； 1  1  1 ， 计 算   H Y1 和 HY / X  1 需要用到   P Y1 、   P XY1 和 PY / X  1 ，其中 PY / X  1 已知。 计算   P Y1 ：         1 1 1 1 0 0 | 0 ( 0) 0 | 1 ( 1) 0 | 2 ( 2) P Y P Y X P X P Y X P X P Y X P X              1 1 1 1 1 1 0 4 4 2 2 2        ； P Y P Y  1 1      1 1 0 1/ 2    所以   log 2 1 2 1 log 2 2 1 H Y1    bit/symbol