22.1离散变量的自信息量 不确定性与发生概率 °函数/p(x应满足以下4个条件: ∫lp(x应是px)的单调递减函数 当p(x1)>p(x2)时,flp(x1)<∫p(x2) 当p(x)=1时,∫lp(x=0 当p(x)=0时,∫lp(x=0 两个独立事件的联合信息量应等于它们分别的信息量之和。即 统计独立信源的信息量等于它们分别的信息量之和。 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 26/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 26/159 不确定性与发生概率 ◦ 函数 f [p(xi )] 应满足以下4 个条件： f [p(xi )] 应是 p(xi ) 的单调递减函数 当 p(x1 )> p(x2 ) 时， f [p(x1 )]< f [p(x2 )] 当 p(xi ) =1时， f [p(xi )] =0 当 p(xi ) =0时， f [p(xi )] =∞ 两个独立事件的联合信息量应等于它们分别的信息量之和。即 统计独立信源的信息量等于它们分别的信息量之和
2.2.1离散变量的自信息量 不确定性与发生概率 根据上述条件可以从数学上证明这种函数形式是对数形式。 /()=f[P()=log P(ai) I(ax)-事件c发生所含有的信息量-c的自信息量 P(c)-事件a1发生的先验概率 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 27/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 27/159 不确定性与发生概率 ◦ 根据上述条件可以从数学上证明这种函数形式是对数形式。 ( ) 1 ( ) [ ( )] log i i i P I f P = = 事件 发生的先验概率 事件 发生所含有的信息量 的自信息量 i i i i i P I − − ( ) ( ) -
2.2.1离散变量的自信息量 不确定性与发生概率 用概率测度定义信息量:设离散信源,其概率空间为: X P(X)」[p(x1),p(x2) 如果知道事件x已发生,则该事件所含有的自信息定义为: I(x1)=0p(x;) X,V,Z代表随机变量,指的是信源整体; x,y;,zk代表随机事件的某一结果或信源的某个元素。不可混淆! 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 28/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 28/159 不确定性与发生概率 ◦ 用概率测度定义信息量：设离散信源 X，其概率空间为： 如果知道事件 x i 已发生，则该事件所含有的自信息定义为： X，Y，Z 代表随机变量，指的是信源整体； x i , y j , z k 代表随机事件的某一结果或信源的某个元素。不可混淆! ( ) 1 ( ) log i i p x I x = = ( ), ( ) , ( ) , ( ) 1 2 1 2 n n p x p x p x x x x P X X
2.2.1离散变量的自信息量 1(ai)=log 0(a 当事件4;发生以前,表示事件m发生的不确定性; 当事件发生以后,表示事件所含有(提供)的 信息量; 自信息单位: (a)=log2--(比特)a)=h-(奈特) p(a1) p(a1) 1(ai)=Ig (哈特)1奈特=og2=143 比特 Schaal af Camep(a1)7c1特o910=332特 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 29/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 29/159 当事件 发生以前，表示事件 发生的不确定性； 当事件 发生以后，表示事件 所含有(提供)的 信息量； 自信息单位： ( ) 1 ( ) log i i p a I a = ai ai ai ai （比特） ( ) 1 ( ) log2 i i p a I a = （奈特） ( ) 1 ( ) ln i i p a I a = （哈特） ( ) 1 ( ) lg i i p a I a = 1奈特=log2e=1.443比特 1哈特=log210=3.322比特
概率知识回顾 姰机变量X,Y分别取值于集合{x,x2…X…,x} 和{y,y2…y,…,ym} (1)0≤p(x;),P(y,p(x1/y,p(y/x),p(xy)≤1 (2)∑m(x)=1,∑()=1,∑mx/y)=1, ∑(y/x)=1,∑∑pxn)=1 (3)∑(xy)=D(V),∑(x,y1)=p(x) i=1 coerced ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 30/159
mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 30/159 (1) 0 p(xi), p( y j), p(xi / y j), p( y j / xi), p(xi y j) 1 { , , , , }: , { , , , , } 1 2 1 2 i m i n y y y y X Y x x x x 和 随机变量 分别取值于集合 = = = = = = = = = = = m j n i i j m j j i n i i j m j j n i i p y x p x y p x p y p x y 1 1 1 1 1 1 ( / ) 1, ( ) 1 (2) ( ) 1, ( ) 1, ( / ) 1, = = = = m j i j i n i p xi y j p y j p x y p x 1 1 (3) ( ) ( ), ( ) ( )