●●● ●●●● ●●●●● ●●●● 互信息量特性: ●●●●● ●●●● ●对称性 ●可加性 ●互信息量的值域: - infinite~+ infinite,即全体实数
互信息量特性： ⚫ 对称性 ⚫ 可加性 ⚫ 互信息量的值域： -infinite ~ +infinite, 即全体实数
●●● ●●●● ●●●●● ●●●● 离散变量的非平均自信息量 ●●●●● ●●●● ifp( yi=l p(xk y,) I(xk; yi)=log log log q(,) qxp 定义:给定集合{X,q(x)},事件xk∈X的 自信息量定义为: I(xk)=log 1-1og q(xk)
离散变量的非平均自信息量 log ( ) ( ) 1 log ( ) ( | ) ( ; ) log k k k k j k j q x q x q x p x y I x y = = − = if ( | ) 1 k j p x y = 定义：给定集合｛X, q(xk )｝,事件xk∈X的 自信息量定义为： 1 ( ) log log ( ) ( ) k k k I x q x q x = = −
●●● ●●●● ●●●●● ●●●● 非平均自信息的性质 ●●●●● ●●●● ●非负性 ●体现先验不确定性大小 (xk;y)≤/(xk) /(xk;y;)≤(y;)
非平均自信息的性质 ⚫ 非负性 ⚫ 体现先验不确定性大小 ( ; ) ( ) ( ; ) ( ) k j j k j k I x y I y I x y I x
●●● ●●●● ●●●●● ●●●● 条件自信息和联合自信息 ●●●●● ●●●● (1|2)=-logp(l4|2) I(xky=-log p(xky) I(k;yi)=1(xk)-I(kyi) =()-(0y|xk)
条件自信息和联合自信息 ( | ) log ( | ) u1 u2 p u1 u2 I = − ( ) log ( ) k j k j I x y = − p x y ( ) ( | ) ( ; ) ( ) ( | ) j j k k j k k j I y I y x I x y I x I x y = − = −
●●● ●●●● ●●●●● ●●●● 自信息、条件自信息和互信息 ●●● ●● (xk;y)=(xk)+(y1)-(xy) 1(xw l(*k yy
自信息、条件自信息和互信息 ( ; ) ( ) ( ) ( ) k j k j k j I x y = I x + I y − I x y I(xk ) I(yj ) I(xk ;yj )