熵的计算 ■例:设某信源输出四个符号,其符号集合的 概率分布为 1 s2 s3 $4 SI s2 S3 $4 pl p2 p3 p4/ 2488J 则其熵为: H(S)=∑pogp 3g2+log4+2log8=1.75比特/符号
熵的计算 ◼ 例：设某信源输出四个符号，其符号集合的 概率分布为： 则其熵为： = = 8 1 8 1 4 1 2 1 1 2 3 4 1 2 3 4 1 2 3 4 s s s s p p p p s s s s S log 8 1.75比特/符号 8 2 log 4 4 1 log 2 2 1 ( ) log 4 1 = − = + + = i= H S pi pi
熵的含义 熵是从整个集合的统计特性来考虑的,它是从平均 意义上来表征集合的总体特征的。 熵表示事件集合中事件发生后,每个事件提供的平均信 量 熵表示事件发生前,集合的平均不确定性 例:有2个集合,其概率分布分别为 P(X)09001NP(x)0.50.5 分别计算其熵,则: H(X)=0.08bt/符号,HY)=1bt/符号
熵的含义 ◼ 熵是从整个集合的统计特性来考虑的，它是从平均 意义上来表征集合的总体特征的。 ◼ 熵表示事件集合中事件发生后，每个事件提供的平均信 息量； ◼ 熵表示事件发生前，集合的平均不确定性； ◼ 例：有2个集合，其概率分布分别为： 分别计算其熵，则： H(X)=0.08 bit /符号, H(Y)=1bit / 符号 = ( ) 0.99 0.01 a1 a2 P X X = ( ) 0.5 0.5 a1 a2 P Y Y
熵的性质 连续性:当某事件歐k的概率Pk稍微变化时, H函数也只作连续的不突变的变化 对称性熵函数对每个P对称的。该性质说 明熵只与随机变量的总体结构有关,与事件 集合的总体统计特性有关 非负性:H>=0; ■确定性,即: H(1,O)=H(1,0,0)=H(1,0,0..,0)=0,即当某 事件为确定事件时,整个事件集合的熵为0;
熵的性质 ◼ 连续性: 当某事件Ek的概率Pk稍微变化时， H函数也只作连续的不突变的变化； ◼ 对称性: 熵函数对每个Pk 对称的。该性质说 明熵只与随机变量的总体结构有关，与事件 集合的总体统计特性有关； ◼ 非负性: H>=0； ◼ 确定性，即： H(1,0)=H(1,0,0)=H(1,0,0…,0)=0，即当某一 事件为确定事件时，整个事件集合的熵为0；
熵的性质(续) ■极值性,即当所有事件等概率出现时,平均 不确定性最大,从而熵最大,即 H(P1,P2"…,P)≤H(,, =10gn n n n
熵的性质（续） ◼ 极值性，即当所有事件等概率出现时，平均 不确定性最大，从而熵最大，即： n n n n H P P Pn H ) log 1 , ... , 1 , 1 ( , ,..., ) ( 1 2 =
熵的性质(续) 可加性:设有一事件的完全集合E,2,…,En},其熵为 H1(p1,p2pn)。现设其中一事件En又划分为m个子集,即: E=UF,P=∑9,p1F}=9:则有 q1+q2+…+qm k=1 k=1 这时构成的三个概率空间分别具有熵函数 H,(pi, p H、(D9p9…,qmn),Bq9n 它们之间具有关系:H2=H1+pn*H3 这说明对集合的进一步划分会使它的不确定性增加,即熵 总是往大增加
熵的性质（续） ◼ 可加性: 设有一事件的完全集合{E1 ,E2 ,…,En },其熵为 H1(p1 ,p2 ,…,pn )。现设其中一事件En又划分为m个子集，即： 这时构成的三个概率空间分别具有熵函数： 这说明对集合的进一步划分会使它的不确定性增加，即熵 总是往大增加。 1 .. , , { } 1 2 1 1 = + + + = = = = = n m k k m k m k n k n k p q q q E F p q p F q ；则有 2 1 3 1 1 1 2 2 1 1 1 * ( , ,..., ); ( ,..., ; ,..., ); 3( ... ) H H p H p q p q H p p p H p p q q H n n m n n n m = + − 它们之间具有关系：