3.2信息量和熵 定义3.1设随机变量x={=12…,n,x出现 的概率为p(x)≥0且∑mx)=1。则Ⅹ的不确 定性或熵( Entropy)定义为 H(X)=∑p(x,)g2p(x,)
3.2 信息量和熵 • 定义3.1 设随机变量 ，出现 的概率为 。则 X 的不确 定性或熵（Entropy）定义为 X = xi i =1,2, ,n i x = = n i i i p x p x 1 ( ) 0,且 ( ) 1 = = − n i i i H X p x p x 1 2 ( ) ( )log ( )
反映了集中事件出现的平均不确定性,或为确 定集中出现一个事件平均所需的信息量(观测 之前),或集中每出现一个事件平均给出的信 量(观测之后)。如果从编码的角度来考虑 的鞋成用最优的三进的编妈形式表示 0·log20=0 采用以2为底的对数时,相应的信息单位称作 比特(Bt)。 如果集X为均匀分布时,即p1=1/n,1≤i≤n, 则H(X)=lg2n H(X)≥0,当X为确定性的事件时,即X概率 分布为p(X=a)=1,则H(X)=0
• 反映了集中事件出现的平均不确定性，或为确 定集中出现一个事件平均所需的信息量（观测 之前），或集中每出现一个事件平均给出的信 息量（观测之后）。如果从编码的角度来考虑， 熵也可以理解成用最优的二进制编码形式表示 所需的比特数。 • 采用以2为底的对数时，相应的信息单位称作 比特（Bit）。 • 如果集X为均匀分布时，即 ， 则 。 • ，当X为确定性的事件时，即X概率 分布为 ，则 。 0log 2 0 = 0 pi =1/ n, 1 i n H(X) = log 2 n H(X ) 0 p(X = a) = 1 H(X ) = 0
例3.1设有一个密码系统明文空间P={ab}的概率分布 为p(a)=1/4,p,(b)=3/4; 密钥空间K={,k2k3的概率分布为()=12p1(k2)=P(k)=14 密文空间C={2,34},且假定加密函数为 e()=(b)=22(a)=2,ek)=3ek(a==4。P(187/1614|3/16 可用右边的加密矩阵表示: 则按公式31和3.2我们很容易计算出密文空间的概率分布及 关于明文的条件分布: 1)密文空间的概率分布表如下: a b 2)明文关于密文的条件分布帅表如下:412 2|3 明文空间的熵为: k334 H(P)=-log log27=2-,(og23)≈081 cⅦma 类似地可计算 0 1/7 6/7 H(K)=1.5且H(C)≈1.85 1234 1/4 3/4 0
• 例3.1 设有一个密码系统明文空间 的概率分布 为 ； 密钥空间 的概率分布为 。 密文空间 ，且假定加密函数为 。 可用右边的加密矩阵表示： 则按公式3.1 和3.2我们很容易计算出密文空间的概率分布及 关于明文的条件分布： 1） 密文空间的概率分布表如下： 2）明文关于密文的条件分布 表如下： 明文空间的熵为： 类似地可计算 () pC c 1 2 3 4 1/8 7/16 1/4 3/16 1 k 2 k 3 k a b 1 2 2 3 3 4 c\m a b 1 1 0 2 1/7 6/7 3 1/4 3/4 4 0 1 P = a,b pP (a) =1 / 4, pP (b) = 3 / 4 K = k1 , k2 , k3 pK (k1 ) =1/ 2, pK (k2 ) = pK (k3 ) =1/ 4 C = 1,2,3,4 ( ) 1, ( ) 2; ( ) 2, ( ) 3; ( ) 3, ( ) 4 1 1 2 2 3 3 ek a = ek b = ek a = ek b = ek a = ek b = p(mc) (log 3) 0.81 4 3 2 4 3 log 4 3 4 1 log 4 1 ( ) H P = − 2 − 2 = − 2 H(K) =1.5且 H(C) 1.85