2.4离散熵·的定义·的物理意义·熵的性质
1 2.4 离散熵 • 熵的定义 • 熵的物理意义 • 熵的性质
1 熵的定义[X,P]=[x,Pk/k=1 ,2,:,K]XDMS2p.=1(Xi,X2,...,Xk)k=-1Ix）：x的（先验）不确定性，也称为x的自信息量。I(x)= log=-logPkk=1,2,...,KPk统计平均熵 pilog = =-Z pe log PkpI(x)=)H(X) =Pkkk=lk=1熵H(X）的物理意义：信源X的平均不确定性
2 1 熵的定义 DMS X 1 2 { , , , }K x x x [ , ] [ , | 1 , 2 , , ] X P x p k K X k k 1 1 K k k p 1 ( ) log log k k k I x p p k 1,2, ,K I(xk):xk的(先验)不确定性，也称为xk的自信息量。 H X( ) 统计平均 熵 熵H(X)的物理意义:信源X的平均不确定性。 k k log k p p 1 ( ) K k k k p I x 1 1 log K k k k p p
关于的几点说明炳公式 H(X)=≥pelog=-pelog Pkpk=l1）熵公式中，H（X）只是一个记号，代表X的熵，不能把X看作函数的自变量。(2)熵函数的自变量是先验概率：pk,k=l,2,.…：K，是K-1元函数。H(pi, P2,...,Pk) = -Zp, log pk（3）炳的单位与自信息量的单位相同，与炳公式中所用对数的底有关。(4）Pk=0，规定“01og0=0”。因为：lim x log x = 03-0
3 关于熵的几点说明 熵公式 1 1 ( ) log log K k k k k k k H X p p p p (1)熵公式中，H(X)只是一个记号，代表X的 熵，不能把X 看作函数的自变量。 (2)熵函数的自变量是先验概率：pk,k=1, 2, . , K，是K-1元函数。 1 2 ( , , , ) log K k k k H p p p p p (3)熵的单位与自信息量的单位相同，与熵公 式中所用对数的底有关。 (4) pk=0，规定“0log0=0”。因为： lim log 0 0 x x x
2熵的性质焰公式 H(X)=pe log二=-Zpx log PkPkk-1k(1)对称性: H(pi,P2,"*, Pk)= H(Pm(1), Pm(2),*, Pm(K))其中(m(1),m(2)，.,m(K))是(1,2,..．,K)的任意置换（2）可扩展性：加入零概率事件不会改变。H(pi, P2,.., Pk) = H(pi,***, P,0, pi+1 ,***, Pk)- 0log0=0i=1,2,....,K-1
4 2 熵的性质 1 2 (1) (2) ( ) ( , , , ) ( , , , ) (1)对称性： H p p p H p p p K m m m K 1 2 1 1 ( , , , ) ( , , ,0, , , ) 1 , 2 , , 1 H p p p H p p p p K i i K i K 其中{m(1),m(2),.,m(K)}是{1, 2, . , K}的任意置换。 (2)可扩展性：加入零概率事件不会改变熵。 0log 0 0 熵公式 1 1 ( ) log log K k k k k k k H X p p p p
熵公式 H(X)=pe log二=-px log pkPkk-1k（3）非负性：H(pl,P2,..., Pk) = H(P)≥0确定性概率分布：P={1,0,,0)H(P)=0
5 1 2 ( , , , ) ( ) 0 H p p p H P K 确定性概率分布： P s {1,0, ,0} H P( ) 0 s （3）非负性： 熵公式 1 1 ( ) log log K k k k k k k H X p p p p