§9.4信息的度量与应用 怎么度量 对于系统,可以利用守恒 关系有A+I=B,得I=B-A。 首先分析一下问题的认识过程 1对一问题毫无了解,对它的认识是不确定的 通过眢种途径获得信息,逐渐消除不确定性 可否用消除不确定性的多少来度量信息! 黑箱(信息1)灰箱信息Ⅱ白箱 不确定度A 不确定度B 不确定度C
§ 9.4 信息的度量与应用 怎么度量信息 首先分析一下问题的认识过程 1.对一问题毫无了解，对它的认识是不确定的 2. 通过各种途径获得信息，逐渐消除不确定性 3. 对这一问题非常的了解，不确定性很小 黑箱 不确定度A 灰箱 不确定度B 白箱 不确定度C 信息I 信息II 对于系统，可以利用守恒 关系有 A+I=B，得I=B-A。 可否用消除不确定性的多少来度量信息！
几个例子 例12当你要到大会堂去找某一个人时,甲告诉你两条消息: (1)此人不坐在前十排,(2)他也不坐在后十排;乙只告 诉你一条消息:此人坐在第十五排。问谁提供的信息量大? 乙虽然只提供了一条消息,但这一条消息对此人在什么 位置上这一不确定性消除得更多,所以后者包含的信息量应 比前者提供的两条消息所包含的总信息量更大 例13假如在盛夏季节气象台突然预报“明天无雪”的消 息。在明天是否下雪的问题上,根本不存在不确定性,所 以这条消息包含的信息量为零
几个例子： 例12 当你要到大会堂去找某一个人时，甲告诉你两条消息： （1）此人不坐在前十排，（2）他也不坐在后十排；乙只告 诉你一条消息：此人坐在第十五排。问谁提供的信息量大？ 乙虽然只提供了一条消息，但这一条消息对此人在什么 位置上这一不确定性消除得更多，所以后者包含的信息量应 比前者提供的两条消息所包含的总信息量更大 例13 假如在盛夏季节气象台突然预报“明天无雪”的消 息。在明天是否下雪的问题上，根本不存在不确定性，所 以这条消息包含的信息量为零
是否存在信息量的度量公式 基于前面的观点,美国贝尔实验室的学者香农( Shannon) 应用概率论知识和逻辑方法推导出了信息量的计算公式 In his words just wondered how things were put together. Claude elwood shannon (April 30, 1916-February 24 200 1)has been called"the father of information theory
是否存在信息量的度量公式 基于前面的观点，美国贝尔实验室的学者香农（Shannon） 应用概率论知识和逻辑方法推导出了信息量的计算公式 In his words "I just wondered how things were put together." Claude Elwood Shannon (April 30, 1916 - February 24, 2001) has been called "the father of information theory
Shannon提出的四条基本性质(不妨称它们为公理) 公理1信息量是该事件发生概率的连续函数 公理2如果事件A发生必有事件B发生,则得知事件A发生 的信息量大于或等于得知事件B发生的信息量。 公理3如果事件A和事件B的发生是相互独立的,则获知 A、B事件将同时发生的信息量应为单独获知两事件 发生的信息量之和。 公理4任何信息的信息量均是有限的。 上述公理怎样推出信息量的计算公式呢 将某事件发生的信息记为M,该事件发生的概率记为p,记 M的信息量为I(M)
Shannon提出的四条基本性质 （不妨称它们为公理 ） 公理1 信息量是该事件发生概率的连续函数 公理2 如果事件A发生必有事件B发生，则得知事件A发生 的信息量大于或等于得知事件B发生的信息量。 公理3 如果事件A和事件B的发生是相互独立的，则获知 A、B事件将同时发生的信息量应为单独获知两事件 发生的信息量之和。 公理4 任何信息的信息量均是有限的。 将某事件发生的信息记为M，该事件发生的概率记为p，记 M的信息量为I（M）。 上述公理怎样推出信息量的计算公式呢
定理12 满足公理1公理4的信息量计算公式为(M)=-Clog,p 其中C是任意正常数,对数之底可取任意为不为1的正实 数 证明: 由公理1I(M)=f(p),函数连续。 由公理2若A发生必有B发生,则pPB, 有pA)≥(PB),故函数是单调不增的。 由公理3若A、B是两个独立事件,则A、B同时发生 的概率为pPB,有(P、P=fp)+(p 先作变量替换令pa,即q=-logP记 f(m)=f(e°)=g(q),又PAPx=e+)有 g(qA+n)=g(q)+g(4),g亦为连续函数
定理11.2 满足公理1—公理4的信息量计算公式为I(M)=－Cloga p， 其中C是任意正常数，对数之底a可取任意为不为1的正实 数。 证明: 由公理1 I(M)=f(p)，函数f连续。 由公理2 若A发生必有B发生，则pA ≤pB， 有f(pA )≥f(PB ) ，故函数f是单调不增的。 由公理3 若A、B是两个独立事件，则A、B同时发生 的概率为pA pB，有f(PAPB )=f(pA )+f(pB )。 先作变量替换 令p=a-q，即q=－logaP 记 ( ) qA qB A B p p e − + f ( p) f (e ) g(q) = q = = − ( ) ( ) ( ) g qA + qB = g qA + g qB ，又 有： ，g亦为连续函数