第2章信源及信源熵习题答案 2-3解:设事件A为女孩是大学生;设事件B为女孩身高1.6米以上,根据题意 可知 P(A)=0.2 P(B)=0.5 P(B/A)075 “身高1.6米以上的某女孩是大学生”这消息表明是在B事件发生的条件 下,A事件发生。所以其概率为P(A/B) 则P(AB)=P(4B)=P4P(B/A=025*035=0375 P(B) P(B) 则得知“身高1.6米以上的某女孩是大学生”这消息后能获得的信息量为 I(A/B)=-log P(A/B)=log, 1415比特 0.375 26.(1)此消息总共有14个0、13个1、12个2、6个3,因此此消息发出的概 率是 此消息的信息量是:=-logp=87811bit (2)此消息中平均每符号携带的信息量是:I/n=87.811/45=1.951bi (3)信息熵 H(x)=-2P(x, )log P(x, )=-8l0g 8 19比特/信源符号 由上可知(2)中所求为此消息中平均每个符号携带的信息量,而(3)中 所求为离散无记忆信源的信息熵即为离散无记忆信源平均每个符号携带的信息 量 H(X)与Ⅰ只是近似相等,不是完全等同。这是因为I是在特定的此消息中求 得的,此消息是离散无记忆信源ⅹ发出的一特定的消息,在此特定消息中各个 符号“0”“1”、“2”、“3”出现的给率并不完全等于信源X中各个符号出现的 概率,所以存在有差异。由此可理解,信源的信息熵是一统计量,是表征信源的 总体信息测度的 2-14 (1) 用ⅹ表示信源消息,y表示信宿的消息,则信道传输概率矩阵为 PG=|44 17 联合概率矩阵为
第2章 信源及信源熵习题答案 2-3.解：设事件 A 为女孩是大学生；设事件 B 为女孩身高 1.6 米以上，根据题意 可知 P(A)＝0.25 P(B)＝0.5 P(B/A)=0.75 “身高 1.6 米以上的某女孩是大学生”这消息表明是在 B 事件发生的条件 下，A 事件发生。所以其概率为P(A/B). 则 ( ) ( ) ( / ) 0.25*0.75 ( / ) 0.375 ( ) ( ) 0.5 P AB P A P B A P A B P B P B = = = = 则得知“身高 1.6 米以上的某女孩是大学生”这消息后能获得的信息量为 2 1 ( / ) log ( / ) log 1.415 0.375 I A B P A B = − = 比特 2-6. (1) 此消息总共有 14 个 0、13 个 1、12 个 2、6 个 3，因此此消息发出的概 率是： 14 25 6 8 1 4 1 8 3 p = 此消息的信息量是： I = −log p = 87.811 bit (2) 此消息中平均每符号携带的信息量是： I / n = 87.811/ 45 =1.951 bit (3)信息熵 4 1 3 3 1 1 1 1 1 1 ( ) ( )log ( ) log log log log 1.91 / 8 8 4 4 4 4 8 8 i i i H X P x P x = = − = − − − − 比特 信源符号 由上可知（2）中所求为此消息中平均每个符号携带的信息量，而（3）中 所求为离散无记忆信源的信息熵即为离散无记忆信源平均每个符号携带的信息 量。 H(X)与 I 只是近似相等，不是完全等同。这是因为 I 是在特定的此消息中求 得的，此消息是离散无记忆信源 X 发出的一特定的消息，在此特定消息中各个 符号“0”、“1”、“2”、“3”出现的给率并不完全等于信源 X 中各个符号出现的 概率，所以存在有差异。由此可理解，信源的信息熵是一统计量，是表征信源的 总体信息测度的。 2-14 (1) 用 xi 表示信源消息，yj 表示信宿的消息，则信道传输概率矩阵为 联合概率矩阵为
88 P()= 17 1616 则p=g+16-16 又P()=P(/)p(=p(i/p( 由上可得P)17 1(x,x)=∑叫(x/x)(x/x)=∑(x/y)ogx/ P(x) =eg+÷1=04080y (2)方法1:0Y= plo)I, yo)+py1)y1)=:0408+026=0311 方法2: 6 I(X; Y)=2P(,y)log p(,)809183/9 11og P(x,/y) log 9=0.311bit 2-16、(1)假设黑白气象传真图上黑白消息出现的前后没有关联,则等效于一个离散无记忆 信源,信源概率空间为 黑白 P(x)0.30.7 信源的信息熵 H=-(03Log03)+07Log07)=081 黑 (2)设最后平稳概率为 W (黑)
P(ij)= 则 又 P p j i p i p i j p j (ij) ( / ) ( ) ( / ) ( ) ＝ = 由上可得 P(i/j)= 0 0 0 0 0 ( / ) ( ; ) ( / ) ( / ) ( / )log ( ) 6 1 6 1 7 7 log log 0.408 7 7 1 1 2 2 i i i i i i i p x y I X y p x y I x y p x y p x bit = = = + = (2) 方法 1: = 方法 2: , 6 2 1 7 ( / ) 3 1 1 7 7 9 7 9 ( ; ) ( )log log log log log 0.311 ( ) 8 8 16 16 1 1 1 1 2 2 2 2 i j i j i j i p x y I X Y p x y bit p x = = + + + = 2-16.(1)假设黑白气象传真图上黑白消息出现的前后没有关联，则等效于一个离散无记忆 信源，信源概率空间为 ( ) X P x = 黑 白 0.3 0.7 ( ) 1 X P x = 信源的信息熵 (2) 设最后平稳概率为 W( ) W W = 白 （黑） 1 1 黑 白
由题意可知转移概率矩阵为 P=白091430057 黑(02 PTW=w W(白)+W(黑)=1 得W(白)=07W(黑)=0.3 H(Y/白)=-09143Log(0.9143)-00857Log(00857)=0422 H(Y黑)=-02Iog(02)-08Log(08)=0722 此为一个一阶马尔可夫信源,则熵为 H2=W(黑)H(Y/黑)+W(白)*H(Y白)=0.3+0.722+0.7*0422=0.512比特符号 0.8 0.914 黑 2 (3)前后两种信源的剩余度 H(X) ≈1-0.881≈0.119 log 2 y2=1 log51-0.512≈0478 H(X)>H2即y1<y2 其结果说明:当信源的消息(符号)之间有依赖时,信源输出消息的不确定性减弱。在 本题中,当有依赖时前面已是白色消息,后面绝大多数可能是出现白色消息:前面是黑色消 息,后面基本可猜测是黑色消息。这是信源的平均不确定性减弱。所以,信源消息之间有依 赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵正是反映信源的平均不确定性 的大小。尔信源剩余度正是反映信源消息依赖关系的强弱,剩余度越大,信源消息(符号) 之间依赖关系就越大
由题意可知转移概率矩阵为 P= T P W W= W W （白）+ = （黑） 1 得 W(白)=07 W（黑）=0.3 H(Y/白)= −0.9143Log(0.9143) − 0.0857Log(0.0857) = 0.422 H(Y/黑)= −0.2Log(0.2) − 0.8Log(0.8) = 0.722 此为一个一阶马尔可夫信源，则熵为 H2=W（黑）*H(Y/黑)+ W(白)*H(Y/白)=0.3*0.722+0.7*0.422＝0.512 比特/符号 （3）前后两种信源的剩余度 1 1 0.881 0.119 log 2 − H(X) ＝1- 2 1 0.512 0.478 log 2 − 2 H ＝1- 2 H X H ( ) 即 其结果说明：当信源的消息（符号）之间有依赖时，信源输出消息的不确定性减弱。在 本题中，当有依赖时前面已是白色消息，后面绝大多数可能是出现白色消息；前面是黑色消 息，后面基本可猜测是黑色消息。这是信源的平均不确定性减弱。所以，信源消息之间有依 赖时信源熵小于信源消息之间无依赖时信源熵。这表明信源熵正是反映信源的平均不确定性 的大小。尔信源剩余度正是反映信源消息依赖关系的强弱，剩余度越大，信源消息（符号） 之间依赖关系就越大。 黑 白 白 黑 0.9143 0.0857 0.2 0.8 白 黑 1 2