条件互信息和联合事件互信息 。三个事件集的条件互信息定义为 1u;42s)=kgp%4,）=1og p(uuz u;) p(u us) p(u1|w3)p(uw2u3)） 。可以推广到任意有限多个空间情况
条件互信息和联合事件互信息 ⚫ 三个事件集的条件互信息定义为 ⚫ 可以推广到任意有限多个空间情况 ( | ) ( | ) ( | ) log ( | ) ( | ) ( ; | ) log 1 3 2 3 1 2 3 1 3 1 2 3 1 2 3 p u u p u u p u u u p u u p u u u I u u u = =
互信息的可加性 U2 U3 U1 U2 系统 系统 U3 I(u1;u2w3)=I(u1;u2)+I(u1u3u2) =I(u1;u3)+I(u1;u2lu3)
互信息的可加性 系统 u1 u2 u3 系统 u1 u2 u3 ( ; ) ( ; | ) ( ; ) ( ; ) ( ; | ) 1 3 1 2 3 1 2 3 1 2 1 3 2 I u u I u u u I u u u I u u I u u u = + = +
互信息量特性： ·对称性 ·可加性 。互信息量的值域： -infinite~+infinite,即全体实数
互信息量特性： ⚫ 对称性 ⚫ 可加性 ⚫ 互信息量的值域： -infinite ~ +infinite, 即全体实数
离散变量的非平均自信息量 if p(xxy)=1 p(ky;) 1(xy)=gx) =-l0g9(x) 1 4) log 定义：给定集合{X,q(X)},事件x∈X的 自信息量定义为： I(xx)=log =-logq(xx) qx)
离散变量的非平均自信息量 log ( ) ( ) 1 log ( ) ( | ) ( ; ) log k k k k j k j q x q x q x p x y I x y = = − = if ( | ) 1 k j p x y = 定义：给定集合｛X, q(xk )｝,事件xk∈X的 自信息量定义为： 1 ( ) log log ( ) ( ) k k k I x q x q x = = −
非平均自信息的性质 。非负性 ·体现先验不确定性大小 I(xk;y;)≤I(xk) I(xk;yj)≤I(y)
非平均自信息的性质 ⚫ 非负性 ⚫ 体现先验不确定性大小 ( ; ) ( ) ( ; ) ( ) k j j k j k I x y I y I x y I x