《信息论与编码》课程教学课件（PPT讲稿）第二章 信息量和熵

●●●●● ●●●● 离散变量的非平均自信息量 ●●0 ●●● ●●●● play k’yj q(xk) =log ae --log glxk k I(Xk)=log -log q(k) g(K)

离散变量的非平均自信息量 log ( ) ( ) 1 log ( ) ( | ) ( ; ) log k k k k j k j q x q x q x p x y I x y = = − = log ( ) ( ) 1 ( ) log k k k q x q x I x = = −

●●●●● ●●●● 非平均自信息的性质 ●●0 ●●● ●●●● ●非负 体现先验不确定性大小 /(xk;y)≤I(xk) (xk;y1)≤I(y)

非平均自信息的性质 ⚫ 非负 ⚫ 体现先验不确定性大小 ( ; ) ( ) ( ; ) ( ) k j j k j k I x y I y I x y I x  