第二节平均互信息 互信息与各类熵之间的关系可以用下图表示 H(X,Y) H(X/Y H(Y/X) H(X) H(Y) I(X,Y) 图1 可以看出,联合熵等于两园之和减去第三部分,也等 于一个园加上另外一部分 下面讨论两种极端情况:
互信息与各类熵之间的关系可以用下图表示： 第二节 平均互信息 H(X,Y) H(X/Y) H(Y/X) H(X) H(Y) I(X,Y) 可以看出，联合熵等于两园之和减去第三部分，也等 于一个园加上另外一部分 下面讨论两种极端情况： 图1
第二节平均互信息 (1)无噪一一对应信道 此时可以计算得:HXY)=H(Y/X)=0在图一中表 示就是两圆重合。 (2)输入输出完全统计独立 此时I(XY)=0 H(X/Y=H(X H(Y/X=HY)
第二节 平均互信息 （1）无噪一一对应信道 此时可以计算得：H(X/Y)=H(Y/X)=0在图一中表 示就是两圆重合。 (2)输入输出完全统计独立 此时I(X;Y)=0 H(X/Y)=H(X) H(Y/X)=H(Y)
第三节平均互信息的特性 1、平均互信息的非负性 I(XY)>=0 该性质表明,通过一个信道总能传递一些信息,最 差的条件下,输入输出完全独立,不传递任何信息,互 信息等于0,但决不会失去已知的信息。 2、平均互信息的极值性 IOX,Y<=H(X 般来说,信到疑义度总是大于0,所以互信息总是 小于信源的熵,只有当信道是无损信道时,信道疑义度 等于0,互信息等于信源的熵
第三节 平均互信息的特性 1、平均互信息的非负性 I(X;Y)>=0 该性质表明，通过一个信道总能传递一些信息，最 差的条件下，输入输出完全独立，不传递任何信息，互 信息等于0，但决不会失去已知的信息。 2、平均互信息的极值性 I(X;Y)<=H(X) 一般来说，信到疑义度总是大于0，所以互信息总是 小于信源的熵，只有当信道是无损信道时，信道疑义度 等于0，互信息等于信源的熵