第三节信息熵的基本性质 熵函数可以表示为: H(X)=H(n1,p2…Dn)=-∑ p, log p ∑p P1=0 (i=1,2
第三节 信息熵的基本性质 熵函数可以表示为： H X H p p pn pi pi i n ( ) = ( , ) = − log = 1 2 1 pi p i n i n i = = = 1 1, 0 ( 1,2,..., )
第三节信息熵的基本性质 性质1:非负性 H(X)≥0 由于0≤pi≤1,所以 logpi≤0, ogpi≥0,则总有H(X)≥0。 性质2:对称性 H(12P2…pn)=H(pn2P1,P2…Pn=1) 根据加法交换律可以证明,当变量交换顺序时熵函数的 值不变 信源的熵只与概率空间的总体结构有关,而与个概率分 量对应的状态顺序无关;
第三节 信息熵的基本性质 性质1：非负性 H(X)≥0 由于0≤pi≤1,所以logpi≤0 logpi≥0，则总有H(X)≥0。 性质2：对称性 H p p pn H pn p p pn ( , ,... ) ( , , ,... ) 1 2 = 1 2 −1 根据加法交换律可以证明，当变量交换顺序时熵函数的 值不变。 信源的熵只与概率空间的总体结构有关，而与个概率分 量对应的状态顺序无关；
第三节信息熵的基本性质 性质3:确定性; H(1,0)=H(0,1=H(1,0,02.,))=0 当信源X的信源空间Ⅸ,P]中。任一个概率分量等于1, 根据完备空间特性,其它概率分量必为0,这时信源为 个确知信源,其熵为0。 如果一个信源的输出符号几乎必然为某一状态,那么这 个信源没有不确定性,信源输出符号后不提供任何信息 量
第三节 信息熵的基本性质 性质3：确定性； H(1,0) = H(0,1) = H(1,0,0,...0) = 0 当信源X的信源空间[X，P]中。任一个概率分量等于1， 根据完备空间特性，其它概率分量必为0，这时信源为 一个确知信源，其熵为0。 如果一个信源的输出符号几乎必然为某一状态，那么这 个信源没有不确定性，信源输出符号后不提供任何信息 量
第三节信息熵的基本性质 性质4:扩展性 imHa+1(D12P2…,P-E,E)=H0(D12P2…,p) →>0 这说明信源空间中增加某些概率很小的符号,虽 然当发出这些符号时,提供很大的信息量,但由于其 概率接近于0,在信源熵中占极小的比重,使信源熵 保持不变
第三节 信息熵的基本性质 性质4：扩展性 1 1 2 1 2 0 lim ( , ,..., , ) ( , ,..., ) H p p p H p p p q q q q + → − = 这说明信源空间中增加某些概率很小的符号，虽 然当发出这些符号时，提供很大的信息量，但由于其 概率接近于0，在信源熵中占极小的比重，使信源熵 保持不变
第三节信息熵的基本性质 性质5:极值性 H(1,P2…,Pn)≤H(l/q,1/g,…,1(q)=logq 上式表明,对于具有q个符号的离散信源,只有在 q个信源符号等可能出现的情况下,信源熵才能达到 最大值,这也表明等概分布的信源的平均不确定性最 大,这是一个很重要得结论,称为最大离散熵定理 例:对于一个二元信源 H(X)=H(1/21/2)=log2=1bit
第三节 信息熵的基本性质 性质5 ：极值性 1 2 ( , ,..., ) (1/ ,1/ ,...,1/ ) log H p p p H q q q q q = 上式表明，对于具有q个符号的离散信源，只有在 q个信源符号等可能出现的情况下，信源熵才能达到 最大值，这也表明等概分布的信源的平均不确定性最 大，这是一个很重要得结论，称为最大离散熵定理 例：对于一个二元信源 H(X)=H(1/2,1/2)=log2=1bit