《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.10 离散信源的信息（速）率和信息含量效率 2.11 随机变量

a+k△pk=[f (x)dxα+(k-l)△= fx(x)·a+(k-l)△≤x≤a+k（积分中值定理）当f(x)为x的连续函数时，由中值定理，必存在一个x值，亻使上式成立。这样得到一个离散随机变量X，其概率空间为

  ( ) ( 1) ( ) ( 1)            k x  X k k a k p f x dx a k f x a k x a k 积分中值定理 △ △ △ △ △ 当f(x)为x的连续函数时，由中值定 理，必存在一个xk值，使上式成立。 这样得到一个离散随机变量XΔ ,其概 率空间为

X1-Xi:XkX2PxLfx(x)A, fx(x2)A... fx(x)A且概率空间是完备的：21 (a.)4k=1Kca+k△fx(x)dx = ( fx(x)dx = 1a+(k-1)△k=l

1 2 1 2 , , ( ) , ( ) ( ) k X X X X k X x x x P f x f x f x                   且概率空间是完备的： 1 ( 1) 1 ( ) ( ) ( ) 1               K X k k K a k b X X a k a k f x f x dx f x dx

根据离散公式，有H(X)=- pi·log piil=-E[fx(xi)·].log[fx(xi) ]= - fx(xi) · A[log fx(xi)+ log A)= - fx(xi) log fx(xi)△ -(log△)Z fx(xi) ·△= -Z fx (xi)log fx(xi)A-log △

根据离散熵公式，有   1 ( ) log ( ) log[ ( ) ] ( ) [log ( ) log ] ( )log ( ) (log ) ( ) ( )log ( ) log                                     K i i i i i X X i i i X X i i i i X X X i i i i X X i H X p p f x f x f x f x f x f x f x f x f x

将区间[a,b]无限细分，即K趋于无穷大，即△趋于零，对H(X）取极限即得连续熵H(X)的实际值H(X) = lim H(X)k>04-0= -J~ x (x) log fx(x)dx - lim log △k>80△>0= -f~ fx (x)log fx (x)dx + c0

将区间[a,b]无限细分，即K趋于无穷大，即 Δ 趋于零，对H(XΔ )取极限即得连续熵H(X)的 实际值 0 0 ( )log ( ) log ( ) ( ) li log m ) lim ( ) (                     k b X X X X a k b a H X H X f x f x dx f f x x dx

按离散概念推出的连续摘为无穷大，失去意义但上式第一项作为连续的相对值仍有一定意义，为了与连续熵的实际值相区别，称其为随机变量的微分熵，记为h(X)h(X)=-[~ fx(x) log fx(x)dx微分熵更一般的定义式为：h(X)=-/ fx(x)log fx(x)dx = -(, fx(x)log fx(x)dx

按离散熵概念推出的连续熵为无穷大，失去意义， 但上式第一项作为连续熵的相对值仍有一定意义， 为了与连续熵的实际值相区别，称其为随机变量 的微分熵，记为h(X) ( ) ( )log ( ) X X b a h X d   f x f x x  微分熵更一般的定义式为： ( ) ( )log ( ) ( )log ( ) X X X R X h X f x f x f x f dx d x x        