《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.8 离散有记忆信源的熵 2.9 马尔可夫信源的信息熵

2.8离散有记忆信源的熵一、N阶平稳信源的熵为联合熵H(XN)= H(X,X, ·..X)bit / N长符号串1H(XN)或 H(X)N一H(X,X-..XN)bi /符号A

2.8 离散有记忆信源的熵 一、N阶平稳信源的熵为联合熵 1 1 ( ) ( ) / N N H X H X X X bit  N 长符号串 N 1 1 1 ( ) ( ) 1 ( ) / N N H X H X N H X X X bit N   或 符号

二、对于离散有记忆信源，一般考虑其极限熵H.(X)= lim Hn(X)N81= limH(X,X,·..X)bit /符号N8N

二、对于离散有记忆信源，一般考虑其 极限熵 1 2 ( ) lim ( ) 1 lim ( ) / N N N N H X H X H X X X bit N      符号

三、熵的性质1、H(X)是非增的，有界的0≤H(X)≤Hn-I(X)≤...≤H(X)≤Ho(X)<80（证明见姜丹，信息论于编码第二版，中国科技大学出版社）

三、熵的性质 1、HN (X)是非增的，有界的 1 1 0 0 H ( ) H ( ) H ( ) H ( ) N N X X X X         (证明见姜丹，信息论于编码第二版，中国科技 大学出版社)

其中，H,(X)=H(X)，是X为DMS时的熵；Ho(X)=Hmax(X)，是X为等概分布时max的熵，即最大熵

其中， H1 (X)=H(X)，是X为DMS时的熵； H0 (X)=Hmax(X)，是X为等概分布时 的熵，即最大熵

推论1：信源内部有关联（也称有记忆），会使熵降低，当然实在信息也会降低。推论2：H(X)存在；若X是无记忆的，有H(XN)= lim7NH(X)=H(X)H.(X)= limN入因为信源的实在信息在数值上等于其平均不确定性，因此，一般有I(X)=H。(X)

推论1：信源内部有关联（也称有记忆），会使熵 降低，当然实在信息也会降低。 推论2：H∞ (X)存在； 1 1 ( ) lim ( ) lim ( ) ( ) ( ) ( ) N N N X H X H X NH X H X N N I X H X         若 是无记忆的，有 因为信源的实在信息在数值上等于其平均不确定 性，因此， 一般有 ；