《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.5 联合熵和条件熵 2.6 平均互信息量及其性质 2.7 离散无记忆信源的扩展

2.5联合和条件·联合：联合自信息量的统计平均。条件熵：条件自信息量的统计平均·各类之间的关系：与各类自信息量之间的关系对应

2.5 联合熵和条件熵 • 联合熵：联合自信息量的统计平均。 • 条件熵：条件自信息量的统计平均 • 各类熵之间的关系：与各类自信息量之间的关 系对应

2.5.1联合熵设联合概率空间为[XY,P]=[(xk,y,),P(xk.y,)Ik =1,2,...,K; j =1,2,",J]联合符号（x，y）的先验不确定性称为联合自信息量：I(y)= log P(x,y)k=1,2,Kj=12,,J统计平均联合222P(xx,y,/)log P(xx,y)H(XY) =k=l j=l-EP(xoy,)logP(xy))k,j熵H(XY)白的物理意义：信源XY的平均不确定性

2.5.1 联合熵 [XY,P ] [(x , y ), P(x , y ) | k 1,2, ,K; j 1,2, , J ] XY  k j k j     设联合概率空间为 1 ( log , ) ) ( , k k j j I x x y P y  联合符号 ( , ) x y k j 的先验不确定性称为联合自信息量 : k K j J   1 , 2 , , ; 1 , 2 , , H XY ( ) 统计平均 联 合 熵 熵 H XY ( )的物理意义:信源 XY 的平均不确定性。 1 1 1 ( , lo ( ) g , ) K J k j j k k P x j P x y   y    , ( , )log ( , ) k j j  P x y k P x y k j

2.5.2条件熵设联合概率空间为[XY,P]=[(xk,y,),P(xk,y)/k =1,2,..",K; j =1,2,.",J]条件自信息量：1I(x y) = 1og P(x1y)k=1,2,K;j=l,2,,J统计平均KJH(XIY) =P(xt,y,)l(x 1y,)k=1 j=l条件熵22J1P(xx.y) log P(xx 1 y)k=l j=1-EP(xx,y,)log P( I y)k,j

2.5.2 条件熵 [XY,P ] [(x , y ), P(x , y ) | k 1,2, ,K; j 1,2, , J ] XY  k j k j     设联合概率空间为 1 ( log | ) ) ( | k k j j I x x y P y  条件自信息量 : k K j J   1 , 2 , , ; 1 , 2 , , H X Y ( | ) 统计平均 条 件 熵 1 1 ( , ) ( | ) k j k j K J k j P x y I y x      , ( , )log ( | ) k j j  P x y k P x y k j 1 1 1 ( , lo ( ) g | ) K J k j j k k P x j P x y   y   

条件熵（续一）K1H(X|Y)=P(xk.y) 1og P(x 1 y)福P(y)P(x 1 y,) og P(x, 1y)i=1P(y)[≥ P(x y,)1ogP(x /y)k=1P(y,)H(XIY = y,)ZH(XIY=y,)=)P(x y,)log式中P(x/y,)k-l解释：：HXIY=y）是另一种条件熵，它只对X求了统计平均，而未对下有关求统计平均，代表在给定条件的（平均）不确定性

条件熵(续一) H X Y ( | ) 1 1 1 ( , lo ( ) g | ) K J k j j k k P x j P x y   y    1 1 1 log ( ( ) ) | | ( ) j k j j J k j k K P P y P x y   x y    1 1 1 ( | )log ( | ) ( ) K k j k k j j J j P x y P y x y P             1 ( ) ( | ) J j j P y H X Y y j     式中 1 ( | ) 1 ( | ) lo ( | ) g K j k j k k j P x y P H X y Y y  x    解释: 是另一种条件熵，它只对 求了统计平 均, 而未对 求统计平均，代表在给定条件 下有关 的（平均）不确定性。 ( | ) H X Y y  j X Y Y y  j X

条件熵（续二）1H(XIY) =Z= P(y,)H(X|Y = y)P(xk,y,)logP(x/y)k=l j=l1H(X1Y=,)=2P(x 1)1og P(x1y)k=lH(IX) =含 P(y,)1og P(y,1x)ZP(x)H(YIX= x))k=l j=l/H(YIX =x)=P(y, x)10g P(y,1x)

条件熵(续二) H X Y ( | ) 1 1 1 ( , )lo ( | ) g K J j k k k j P x j P x y   y    1 ( ) ( | ) J j j j P y H X Y y     1 1 ( | ) ( | )log ( | ) K j k j k k j H X Y y P x y  P x y    H Y X ( | ) 1 1 1 ( , )lo ( | ) g K J j k j k j P y k P x y   x    1 ( ) ( | ) K k k k P x H Y X x     1 1 ( | ) ( | )log ( | ) J k j k j j k H Y X x P y x  P y x   