●●● ●●●●● ●●●● 条件自信息和联合自信息 ●●● ●●●● ●●0● (4|12)=-logp(1|2) I(Kyi)=-log p(kyi) /(xk;y)=/(xk)-l(x|y) =I(i-1(Ixk
条件自信息和联合自信息 ( | ) log ( | ) u1 u2 p u1 u2 I = − ( ) log ( ) k j k j I x y = − p x y ( ) ( | ) ( ; ) ( ) ( | ) j j k k j k k j I y I y x I x y I x I x y = − = −
●●● ●●●●● ●●● 自信息、条件自信息和互信息 ●●● ●●●● ●●0● I(k; yi)=1(k)+I(i)-1(kyi) k
自信息、条件自信息和互信息 ( ; ) ( ) ( ) ( ) k j k j k j I x y = I x + I y − I x y I(xk ) I(yj ) I(xk ;yj )
22离散集的平均自信 息量一熵 ●●●●● ●●●● ●●。●●
2.2 离散集的平均自信 息量－熵
熵 ●●●●● ●●●● ●●● ●●●● ●●0● (平均自信息量——熵)离散型随机变量{X, x2qkk-1~K}的平均自信息量(又称为熵) 定义为如下的H(X),其中底数a是大于1的 常数。 K H(X)=∑ qk log qk 集Ⅹ中事件出现的平均不确定性
熵 集X中事件出现的平均不确定性 (平均自信息量——熵) 离散型随机变量{X, xk , qk , k=1~K}的平均自信息量（又称为熵） 定义为如下的H(X)，其中底数a是大于1的 常数。 = = K k k k a q H X q 1 1 ( ) log
●●● ●●● ●●●●● ●●●● 熵 ●●●●● ●●●● ●●0● 注意 1)事件xk的自信息量值为(xk)=log(1/q),因此HX是随机 变量X的各事件自信息量值的“数学期望”。 (2)定义H时,允许某个q=0。(此时将qAog(l/q)通盘 考虑)此时补充定义qlog(1/q)=0。这个定义是合理的, 因为 lim g log=0 q->0+
熵 注意： （1）事件xk的自信息量值为I(xk )=loga (1/qk )，因此H(X)是随机 变量X的各事件自信息量值的“数学期望”。 （2）定义H(X)时，允许某个qk=0。（此时将qk loga (1/qk )通盘 考虑）此时补充定义qk loga (1/qk )=0。这个定义是合理的， 因为 0 1 lim log 0 = → + q q a q