《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展

2.5.3各类熵之间的关系I(xx,y,)= I(x)+I(y, / x)= I(y,)+ I(x Iy))EP(x.y)= P(x)H(XY)=EP(xxy,)I(xx,y)k,j-EP(x,y,)(x)+EP(xy,)1(y,/x)k.j=I(x)EP(xsy) +H(YIX)K-E[I(x)P(x))+H(YIX) = H(X)+H(Y IX)摘的强可加性同理H(XY)=H(Y)+H(XIY)总之H(XY)=H(X)+H(YIX)=H(Y)+H(X|Y推广H(XX, ... X)=H(X)+H(X, I X)+H(X, X)X)+...+H(Xn I X ...Xn--)

2.5.3 各类熵之间的关系 ( , ) ( ) ( | ) ( ) ( | ) k j k j k j k j I x y I y x   I x   I y I y x , ( ) ( , ) ( , ) k j k j k j H XY P x y I x y  同理 H XY H Y H X Y ( ) ( ) ( | )   总之 H XY H X H Y X H Y H X Y ( ) ( ) ( | ) ( ) ( | )     熵的强可加性 , , ( , ) ( ) ( , ) ( | ) k j k k j j k k j k j     P x y I x P x y I y x ( ) ( | ) ( , ) k j j k k I x H P x y Y X            ( ) ( | ) k ( ) k k    I x H X P x Y   H X H Y X ( ) ( | ) ( , ) ( ) k j k j P x y P x  推广 1 2 1 2 1 3 1 2 1 1 ( ) ( ) ( | ) ( | ) ( | ) H X X X H X H X X H X X X H X X X N N N      

各类之间的关系（续）当X与Y相互独立，则P(x, 1y)=P(x)P(y, Ix)= P(y,)P(x,y )= P(x)P(y,)于是I(x ly )=(x)I(y, /x)= I(y))I(,y,)=I(x)+I()因此，火之间的关系简化：H(XY)=H(X)H(YX)=H(YH(XY)=H(X)+H(Y)摘的可加性推广：(X,X2…XW)统计独立时，有H(XX, ...X)=H(X)+H(X2)+...+H(X)

各类熵之间的关系(续) 于是 H X Y H X H Y X H Y ( | ) ( ) ( | ) ( )   因此，熵之间的关系简化： H XY H X H Y ( ) ( ) ( )   熵的可加性 推广： 1 2 1 2 ( ) ( ) ( ) ( ) H X X X H X H X H X N N     当 X 与 Y 相互独立，则 ( ) | ) ( ( | ) ( ) ( , ) ( ) ( ) P x y P x k j k P y x P j k j P x y P x k j k P yj   y  ( | ) ( ) ( | ) ( ) k j k j k j I x y I x I y x I y   ( , ) ( ) ( ) k j k j I x y I x I y   { , , , } X X X 1 2 N 统计独立时，有