条件自信息和联合自信息 I(1|u2)=-logp(41u2) I(xy;)=-log p(xxyi) I(xx;y)=I(xx)-I(xk y) =I(y)-I(y;xx)
条件自信息和联合自信息 ( | ) log ( | ) u1 u2 p u1 u2 I = − ( ) log ( ) k j k j I x y = − p x y ( ) ( | ) ( ; ) ( ) ( | ) j j k k j k k j I y I y x I x y I x I x y = − = −
自信息、条件自信息和互信息 I(xx;y;)=1(xx)+1(y;)-1(xxy;) I() I0) IkY)
自信息、条件自信息和互信息 ( ; ) ( ) ( ) ( ) k j k j k j I x y = I x + I y − I x y I(xk ) I(yj ) I(xk ;yj )
2.2离散集的平均自信 息量一熵
2.2 离散集的平均自信 息量－熵
熵 (平均自信息量一熵)离散型随机变量{X, xqk,=1~K}的平均自信息量（又称为熵） 定义为如下的H(),其中底数a是大于1的 常数。 集X中事件出现的平均不确定性
熵 集X中事件出现的平均不确定性 (平均自信息量——熵) 离散型随机变量{X, xk , qk , k=1~K}的平均自信息量（又称为熵） 定义为如下的H(X)，其中底数a是大于1的 常数。 = = K k k k a q H X q 1 1 ( ) log
熵 注意： (1)事件x的自信息量值为(x)=log(1/qx),因此HX)是随机 变量X的各事件自信息量值的“数学期望”。 (2)定义H)时，允许某个q=0。(此时将qlog(1/q)通盘 考虑)此时补充定义glog,(1/q)=0。这个定义是合理的， 因为 lim gloga 7→0+
熵 注意： （1）事件xk的自信息量值为I(xk )=loga (1/qk )，因此H(X)是随机 变量X的各事件自信息量值的“数学期望”。 （2）定义H(X)时，允许某个qk=0。（此时将qk loga (1/qk ) 通盘 考虑）此时补充定义qk loga (1/qk )=0。这个定义是合理的， 因为 0 1 lim log 0 = → + q q a q