3.信息熵的基本性(1) 网络安金 NETWORK SECURIY I.对称性 当概率空间中P(x)P(x2)…序任意互换时, 熵函数的值不变,例如下面两个信源空 X Xx VI y2 y3 IX,P(x)=111[x,P(y)=111 362 623
3. 信息熵的基本性质(1) I. 对称性 当概率空间中 序任意互换时， 熵函数的值不变，例如下面两个信源空 间: P(x1 ),P(x2 ) = 2 1 6 1 3 [ , ( )] 1 1 2 3 x x x X P x = 3 1 2 1 6 [ , ( )] 1 1 2 3 y y y X P y
3.信息熵的基本性质(2) 网络安金 NETWORK SECURIY 其信息熵H(X)=H().该性质说明,熵 只与随机变量的总体结构有关,与信源总 体的统计特性有关,同时也说明所定义的 熵有其局限性,它不能描述事件本身的主 观意义
3. 信息熵的基本性质(2) 其信息熵 .该性质说明，熵 只与随机变量的总体结构有关，与信源总 体的统计特性有关，同时也说明所定义的 熵有其局限性，它不能描述事件本身的主 观意义。 H(X ) = H(Y)
3.信息熵的基本性(3) 网络安金 NETWORK SECURIY I.确定性 如果信源的输出只有一个状态是必然的 即P(x)=1,P(x2)=P(x)=…=0,则信源的熵: H(X)=xog1+∑0×log0]=0(23) 此性质表明,信源的输出虽有不同形态,但其中 种是必然的,意味着其他状态不可能出现。 那么,这个信源是一个确知信源,其熵为零
3. 信息熵的基本性质(3) II. 确定性 如果信源的输出只有一个状态是必然的, 即 则信源的熵: 此性质表明，信源的输出虽有不同形态，但其中 一种是必然的，意味着其他状态不可能出现。 那么，这个信源是一个确知信源，其熵为零。 ( ) 1, ( ) ( ) 0, P x1 = P x2 = P x3 == 2 ( ) [1 log1 0 log 0] 0 n i H X = = − + = (2.3)
3,信息熵的基本性(4) 网络安金 NETWORK SECURIY I.非负性 即H(X)>0。因为随机变量的所有取值的 概率分布为0<P(x)<1,当取对数的底大 于1时JogP(x)<0,而 P(x) log P(x)so il 得到 的熵是正值,只有当随机变量是一确知 量时,熵才等于零。这种非负性对于离 散信源的熵来说,这一性质并不存在
3. 信息熵的基本性质(4) III. 非负性 即 。 因为随机变量 的所有取值的 概率分布为 ，当取对数的底大 于１时， ,而 ,则得到 的熵是正值，只有当随机变量是一确知 量时，熵才等于零。这种非负性对于离 散信源的熵来说，这一性质并不存在。 H(X ) 0 0 P(xi ) 1 log P(xi ) 0 − P(xi )log P(xi ) 0
3.信息熵的基本性质(5) 网络安金 NETWORK SECURIY IV.可加性 独立信源X和Y的联合信源的熵等于它们各自的 熵之和。如果有两个随机变量X和Y,它们彼此是 统计独立的,即X的概率分布为Px),P(x2)…,P(x), 而Y的分布概率为[P(y1),P(y2)…,Py则联合信源 的熵: H(XY=H(X)+H(Y) ∑P(x)=1∑P(y) 可加性是熵函数的一个重要特性,正因为有可加性, 所以可以证明熵函数的形式是唯一的
3. 信息熵的基本性质(5) IV. 可加性 独立信源 和 的联合信源的熵等于它们各自的 熵之和。 如果有两个随机变量 和 ， 它们彼此是 统计独立的，即 的概率分布为 , 而 的分布概率为 ,则联合信源 的熵: 可加性是熵函数的一个重要特性，正因为有可加性， 所以可以证明熵函数的形式是唯一的。 X Y X Y X [ ( ), ( ), , ( )] 1 2 s P x P x P x Y [ ( ), ( ), , ( )] 1 2 z P y P y P y H(XY) = H(X ) + H(Y) ( ) 1 1 = = N i i P x ( ) 1 1 = = M j i P y