2息量和信熵基本定义(2) 网络安金 NETWORK SECURIY 定义:给定一离散集合X={x;i=1,2,…,n}, 令x出现的概率是p(x)≥0且∑px)=1。事件xi 包含的信息量I(x)=- log p(x1)(21) 通常=2,此时相应的信息量单位是bit Shannon定义信息的数学期望为信息熵,即 信源的平均信息量
2. 信息量和信息熵基本定义(2) 定义：给定一离散集合X={xi; i=1,2,…,n}， 令xi出现的概率是 且 。事件xi 包含的信息量 通常=2，此时相应的信息量单位是bit。 Shannon定义信息的数学期望为信息熵，即 信源的平均信息量。 ( ) 0 i p x 1 ( ) 1 n i i p x = = ( ) log ( ) i a i I x = − P x (2.1)
2信息量和信熵基本定义(3) 网络安金 NETWORK SECURIY 定义:将集合X中事件所包含的信息量统计 平均,则平均值定义为集合X的熵信息熵表 征了信源整体的统计特征,集合X的熵H(x) 表示X中事件所包含的平均信息量,或总体 的平均不确定性的量度。 H(x)=E[-log2 P(x,)->P(x,)log2 P(x)20(2.2)
2. 信息量和信息熵基本定义(3) 定义：将集合X中事件所包含的信息量统计 平均，则平均值定义为集合X的熵.信息熵表 征了信源整体的统计特征，集合X的熵H（x） 表示X中事件所包含的平均信息量，或总体 的平均不确定性的量度。 ( ) [ log ( )] ( )log 2 ( ) 0 1 = − 2 − = i n i i i H x E P x p x p x (2.2)
2.信息量和信息熵基本定义(4) 网络安金 NETWORK SECURIY 对某一特定的信源, 其信息熵只有一个,[x,P(x,) x2 0.990.01 因统计特性不同,其 熵也不同。例如,两 个信源,其概率空间[Y,P(y 分别为: 0.50.5
2. 信息量和信息熵基本定义(4) 对某一特定的信源， 其信息熵只有一个， 因统计特性不同，其 熵也不同。例如，两 个信源，其概率空间 分别为： 1 2 [ , ( )] 0.99 0.01 i x x X P x = 1 2 [ , ( )] 0.5 0.5 i y y Y P y =
2.信息量和信息熵基本定义(5) 网络安金 NETWORK SECURIY 则信息熵为: H(X)=-0.99og0.99-0.01log0.01=0.086it H(Y)=-0.5og0.5-0.5log0.5=[bit] 可见y(Y)>H(X),说明信源Y比信源X的平均不确定 性要大,即在事件发生之前,分析信源Y,由于事 件y,y2是等概率的,难以猜测哪一个事件会发生
2. 信息量和信息熵基本定义(5) 则信息熵为： 可见， ,说明信源 比信源 的平均不确定 性要大，即在事件发生之前，分析信源 ，由于事 件 是等概率的，难以猜测哪一个事件会发生. H X bit ( ) 0.99log 0.99 0.01log 0.01 0.08[ ] = − − = H Y bit ( ) 0.5log 0.5 0.5log 0.5 1[ ] = − − = H Y H X ( ) ( ) Y X Y 1 2 y , y
2.信息量和信熵基本定义(6) 网络安金 NETWORK SECURIY 而信源ⅹ,虽然也存在不确定性,但大致可以 知道,x1出现的可能性要大。正如两场比赛,其中 场,双方势均力敌;而另一场双方实力悬殊很 大。当然,人们希望看第一场,因为胜负难卜, 旦赛完,人们获得信息量大。也可以这样理解, 信息熵表征了变量的随机性。因此,熵反映了变 量的随机性,也是表征随机变量统计特性的一个 特征参数
2. 信息量和信息熵基本定义(6) 而信源 ，虽然也存在不确定性，但大致可以 知道, 出现的可能性要大。正如两场比赛，其中 一场，双方势均力敌；而另一场双方实力悬殊很 大。当然,人们希望看第一场，因为胜负难卜，一 旦赛完，人们获得信息量大。也可以这样理解， 信息熵 表征了变量 的随机性。因此，熵反映了变 量的随机性，也是表征随机变量统计特性的一个 特征参数。 X 1 x