●●● ●●●●● ●●●● 条件互信息和联合事件互信息 ●●● ●●●● ●●0● 个事件集的条件互信息定义为 I(4;2n2/v2)=69p(l4122、=lop uu ly3)p(l212) 可以推广到任意有限多个空间情况
条件互信息和联合事件互信息 ⚫ 三个事件集的条件互信息定义为 ⚫ 可以推广到任意有限多个空间情况 ( | ) ( | ) ( | ) log ( | ) ( | ) ( ; | ) log 1 3 2 3 1 2 3 1 3 1 2 3 1 2 3 p u u p u u p u u u p u u p u u u I u u u = =
●●● ●●●●● ●●● 互信息的可加性 ●●● ●●●● ●●0● 2 系统 系统 3 (1;1222=/(1;l2)+l(l1;l242) ( L1:L2)+1(11:L1
互信息的可加性 系统 u1 u2 u3 系统 u1 u2 u3 ( ; ) ( ; | ) ( ; ) ( ; ) ( ; | ) 1 3 1 2 3 1 2 3 1 2 1 3 2 I u u I u u u I u u u I u u I u u u = + = +
●●● ●●● ●●●●● ●●● 互信息量特性: ●●● ●●●● ●●0● 对称性 ●可加性 ●互信息量的值域: infinite x infinite, 即全体实数
互信息量特性： ⚫ 对称性 ⚫ 可加性 ⚫ 互信息量的值域： -infinite ~ +infinite, 即全体实数
●●● ●●●●● ●●●● 离散变量的非平均自信息量 ●●● ●●●● ●●0● ifp(kyi)=1 p(xk Lyi) k Vi)=log g log q(xk) q(k) 定义:给定集合{X,q(x),事件xk∈X的 自信息量定义为: I(k)=log-=-log q(k) q(xk)
离散变量的非平均自信息量 log ( ) ( ) 1 log ( ) ( | ) ( ; ) log k k k k j k j q x q x q x p x y I x y = = − = if ( | ) 1 k j p x y = 定义：给定集合｛X, q(xk )｝,事件xk∈X的 自信息量定义为： 1 ( ) log log ( ) ( ) k k k I x q x q x = = −
●●● ●●● ●●●●● ●●●● 非平均自信息的性质 ●●● ●●●● ●●0● ●非负性 ●体现先验不确定性大小 /(xk;y)≤/(xk) 1(xk;y)≤(y)
非平均自信息的性质 ⚫ 非负性 ⚫ 体现先验不确定性大小 ( ; ) ( ) ( ; ) ( ) k j j k j k I x y I y I x y I x