Z={z,11=1,2,…,64} X={x|k=1,2,…,8} 这时，信息传输的模型如下图所示。 Z X 信源 观察过程 {61,22,,264} 干扰 {x1,x2,…,X} 乙从甲告知的方格行号中获得的关 于方格顺序号Z的信息就是互信息量(，x 按定义，I(;x)应等于获知行号前后Z的 不确定性的减少量，由前例 I(;x)=I(2)-I(a,x)=6-3=3bit/符号 第2章信息的度量 信息理论与编码 16
第2章 信息的度量 信息理论与编码 16 这时，信息传输的模型如下图所示。 干扰 乙从甲告知的方格行号 中获得的关 于方格顺序号 的信息就是互信息量 按定义， 应等于获知行号 前后 的 不确定性的减少量，由前例 bit/符号 { | 1, 2, ,64} { | 1, 2, ,8} l k Z z l X x k 信源 观察过程 1 2 64 { , , , } z z z 1 2 8 { , , , } x x x Z X k x l z ( ; ) l k I z x ( ; ) l k I z x k x l z ( ; ) ( ) ( | ) 6 3 3 l k l l k I z x I z I z x
(2)若用随机变量Y表示棋子落入方 格的列号，即Y={y1j=1,2,…,8}。当甲将 棋子落入方格的行号和列号都告知乙时， 乙就可以完全确定棋子落入方格的顺序号 了 这时，Z,后验概率为 P(zxy,)=1 后验不确定性为 I()=-logP()=0 因此互信息量为 I(axy)=1(a)-1(9,1xy,)=6-0=6bit/符号 第2章信息的度量 信息理论与编码 17
第2章 信息的度量 信息理论与编码 17 （2）若用随机变量 表示棋子落入方 格的列号，即 。当甲将 棋子落入方格的行号和列号都告知乙时， 乙就可以完全确定棋子落入方格的顺序号 了。 这时， 后验概率为 后验不确定性为 因此互信息量为 bit/符号 Y { | 1, 2, ,8} Y y j j l z P z x y ( | ) 1 l k j ( | ) log ( | ) 0 l k j l k j I z x y P z x y ( ; ) ( ) ( | ) 6 0 6 l k j l l k j I z x y I z I z x y
互信息量的性质： (1)互易性；I(x,y,)=I(yxk) (2)独立变量的互信息量为0； x和Y统计独立，I(xy)=y,x)=0 (3)互信息量可正可负 (4)互信息量不可能大于符号的自信息。 1xy)）=10yx) I(xx） 0) 第2章信息的度量 信息理论与编码 18
第2章 信息的度量 信息理论与编码 18 互信息量的性质： (1)互易性； (2)独立变量的互信息量为0； 和 统计独立， (3)互信息量可正可负； (4)互信息量不可能大于符号的自信息。 ( ; ) ( ; ) k j j k I x y I y x ( ) ( ; ) ( ; ) ( ) k k j j k j I x I x y I y x I y ( ; ) ( ; ) 0 k j j k xk y j I x y I y x
条件互信息量 三元联合概率空间 [XYZ,Pz]=s,y,),Px4y,)川k∈Ix,jeI,1e1z] 在，出现的条件之下，与y之间的互 信息量为 I()=I()I) I(-ogP()+logP() P() =1ogP(x三，) P(xx,y,)l三] =1ogPx1)Py,） 第2章信息的度量 信息理论与编码 19
第2章 信息的度量 信息理论与编码 19 条件互信息量 三元联合概率空间 在 出现的条件之下， 与 之间的互 信息量为 [ , ] [( , , ), ( , , ) | , , ] XYZ P x y z P x y z k I j I l I XYZ k j l k j l X Y Z l z k x j y ( ; | ) ( | ) ( | ) k j l k l k j l I x y z I x z I x y z ( ; | ) log ( | ) log ( | ) ( | ) log ( | ) [( , ) | ] log ( | ) ( | ) k j l k l k j l k j l k l k j l k l j l I x y z P x z P x y z P x y z P x z P x y z P x z P y z
xk与y,)之间的互信息量为 P(y) I(xy,2,）=log P(xx) P()P(xy) =log P(x)P(xx y,) P(log P(x1y,2） log P(x:) =I(xy)+I) 上式这一性质称为可加性。 分 第2章信息的度量 信息理论与编码 20
第2章 信息的度量 信息理论与编码 20 与 之间的互信息量为 上式这一性质称为可加性。 ( , ) j l y z k x ( | ) ( ; ) log ( ) ( | ) ( | ) log ( ) ( | ) ( | ) ( | ) log log ( ) ( | ) ( ; ) ( ; | ) k j l k j l k k j l k j k k j k j k j l k k j k j k l j P x y z I x y z P x P x y z P x y P x P x y P x y P x y z P x P x y I x y I x z y