第二节离散信源的信息熵 (1)f(P)应是先验概率的单调递减函数, 当a)>P{(a2)时 f(B)<f(P2) (2)当P(a)=1时f(P)=0 (3)当P(a)=0时f()= (4)两个独立事件的联合信息量应等于它们分别的信息量 之和
第二节 离散信源的信息熵 （2）当 ( ) 1 P ai = 时 ( ) 0 i f P = ( )i （3）当 ( ) 0 时 f P = P ai = （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。 (1) 应是先验概率的单调递减函数， 即当 时 ( )i f p1 1 2 2 P a P a ( ) ( ) 1 2 f P f P ( ) ( )
第二节离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数,即: /(1)=log P(a,) (a)有两个含义: 1、当事件发生前,表示该事件发生的不确定性; 2、当事件发生后,标是该事件所提供的信息量 自信息量的单位取决于对数所取的底,若以2 为底,单位为比特,以e为底,单位为奈特,以 0为底,单位为哈特,通常取比特为单位
第二节 离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 ( ) log ( ) i i I a P a = ( )i I a 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量． 自信息量的单位取决于对数所取的底，若以2 为底，单位为比特，以e为底，单位为奈特，以 10为底，单位为哈特,通常取比特为单位
第二节离散信源的信息熵 例:设天气预报有两种消息,晴天和雨天,出现的概率 分别为14和34,我们分别用a1来表示晴天,以2来表 示雨天,则我们的信源模型如下 p(x)」|1/4,3/4 /(a4)=log4=2 /(a2)=log=0.415
第二节 离散信源的信息熵 例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用 来表示晴天，以 来表 示雨天，则我们的信源模型如下： 1 a 2 a 1, 2 ( ) 1/ 4, 3/ 4 X a a p x = 1 I a( ) log 4 2 = = 2 4 ( ) log 0.415 3 I a = =
第二节离散信源的信息熵 2、信息熵 我们定义自信息的数学期望为信源的平均信息量 H(X)=Eg-=∑P(a)gPa) 信息熵具有以下两种物理含义: 1、表示信源输出前信源的平均不确定性 2、表示信源输出后,每个符号所携带的 平均信息量
第二节 离散信源的信息熵 我们定义自信息的数学期望为信源的平均信息量 1 1 ( ) [log ] ( )log ( ) ( ) q i i i i H X E P a P a p a = = = − 信息熵具有以下两种物理含义： 1、表示信源输出前信源的平均不确定性 2、表示信源输出后，每个符号所携带的 平均信息量 2、信息熵
第二节离散信源的信息熵 例:天气预报,有两个信源 X p(x)」1/4,3/4Lp(x)」1/2,1/2 H(x1)=log4+-log=0.809 H(X,=log 2+log2=1 2 说明第二个信源的平均不确定性更大一些
例：天气预报，有两个信源 1 1, 2 ( ) 1/ 4, 3/ 4 X a a p x = 2 1, 2 ( ) 1/ 2, 1/ 2 X a a p x = 1 1 3 4 ( ) log 4 log 0.809 4 4 3 H X = + = 2 1 1 ( ) log 2 log 2 1 2 2 H X = + = 则： 说明第二个信源的平均不确定性更大一些 第二节 离散信源的信息熵