离散变量的自信息量2.2. 1不确定性与发生概率函数f[p(x)]应满足以下4个条件：f[p(x)]应是p(x）的单调递减函数当 p(x1)> p(x2) 时, f [p(×1)]< f [p(x2)]当 p(x) =1时,，f[p(x)] =0当 p(x) =0时，f[p(x)] =00两个独立事件的联合信息量应等于它们分别的信息量之和。即统计独立信源的信息量等于它们分别的信息量之和。26/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 26/159 不确定性与发生概率 ◦ 函数 f [p(xi )] 应满足以下 4 个条件： f [p(xi )] 应是 p(xi ) 的单调递减函数 当 p(x1 )> p(x2 ) 时， f [p(x1 )]< f [p(x2 )] 当 p(xi ) =1时， f [p(xi )] =0 当 p(xi ) =0时， f [p(xi )] =∞ 两个独立事件的联合信息量应等于它们分别的信息量之和。即 统计独立信源的信息量等于它们分别的信息量之和
离散变量的自信息量2.2.1不确定性与发生概率根据上述条件可以从数学上证明这种函数形式是对数形式1I(αi) = f[P(α;)] = logP(αi)I(αi)一事件αi发生所含有的信息量-α;的自信息量P(αi)-事件αi发生的先验概率27/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 27/159 不确定性与发生概率 ◦ 根据上述条件可以从数学上证明这种函数形式是对数形式。 ( ) 1 ( ) [ ( )] log i i i P I f P = = 事件 发生的先验概率 事件 发生所含有的信息量 的自信息量 i i i i i P I − − ( ) ( ) -
离散变量的自信息量2.2. 1不确定性与发生概率用概率测度定义信息量：设离散信源X，其概率空间为：Xx,x,X2.P(X) p(x), p(x2) ",p(xn))如果知道事件x，已发生，则该事件所含有的自信息定义为I(x,)= logp(x,)X，Y，Z代表随机变量，指的是信源整体：x;,yi，zk代表随机事件的某一结果或信源的某个元素。不可混淆！28/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 28/159 不确定性与发生概率 ◦ 用概率测度定义信息量：设离散信源𝑿，其概率空间为： 如果知道事件 𝒙𝒊 已发生，则该事件所含有的自信息定义为： 𝑿，𝒀，𝒁 代表随机变量，指的是信源整体； 𝒙𝒊 ,𝒚𝒋 , 𝒛𝒌 代表随机事件的某一结果或信源的某个元素。不可混淆! ( ) 1 ( ) log i i p x I x = = ( ), ( ) , ( ) , ( ) 1 2 1 2 n n p x p x p x x x x P X X
2.2.1离散变量的自信息量I(ai) = logp(a,)当事件αi发生以前，表示事件α发生的不确定性：、当事件ai发生以后，表示事件ai所含有(提供)的信息量；自信息单位：（奈特）（比特）I(ai)= lnI(a:)= log2p(a.)p(a.)11奈特=log2e=1.443比特（哈特）I(ai)= lg1哈特=log210=3.322比特p(a.)29/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 29/159 当事件 发生以前，表示事件 发生的不确定性； 当事件 发生以后，表示事件 所含有(提供)的信 息量； 自信息单位： ( ) 1 ( ) log i i p a I a = ai ai ai ai （比特） ( ) 1 ( ) log2 i i p a I a = （奈特） ( ) 1 ( ) ln i i p a I a = （哈特） ( ) 1 ( ) lg i i p a I a = 1奈特=log2e=1.443比特 1哈特=log210=3.322比特
概率知识回顾随机变量X,Y分别取值于集合{x1,x2,xi,…,Xn)和(yi, y2,... yi,.., Ym] :(1) 0≤p(x,), p(y,), p(x; / y,), p(y, / x,), p(x,y,)≤1m(2) Zp(x,)=1, >Ep(y;)=1, Ep(x; / y,)=1,i=li=lj=1mm?ZMZ p(y, / x,)=1,p(x;y,)=1j=lj=l i=1mZp(x;y,)= p(y,),Ep(x,y;)= p(x,)(3)i=lj=130/159信息论与编码技术一离散信源及其信息测度
信息论与编码技术-离散信源及其信息测度 30/159 (1) 0 p(xi), p( y j), p(xi / y j), p( y j / xi), p(xi y j) 1 { , , , , }: , { , , , , } 1 2 1 2 i m i n y y y y X Y x x x x 和 随机变量 分别取值于集合 = = = = = = = = = = = m j n i i j m j j i n i i j m j j n i i p y x p x y p x p y p x y 1 1 1 1 1 1 ( / ) 1, ( ) 1 (2) ( ) 1, ( ) 1, ( / ) 1, = = = = m j i j i n i p xi y j p y j p x y p x 1 1 (3) ( ) ( ), ( ) ( )