、（速）率和信息含量效率2.10离散信源的信息一、信息率R：定义为平均一个符号所携带的信息量，即信源的实在信息，数值上等于信源的极限：R-1XE月二、信息速率！借源在单位简β发出的平均信息量，若信源平均t秒发出一个符号，则R =R_ H()bit/秒三、信息含量效率n：实际的实在信息与最大的实在信息之比
2.10 离散信源的信息（速）率和信息含量效率 一、信息率R：定义为平均一个符号所携带的信息 量，即信源的实在信息，数值上等于信源的极限 熵： R=I(X)=H∞ (X) bit/符号 二、信息速率Rt：信源在单位时间内发出的平均信 息量，若信源平均 t s秒发出一个符号，则 ( ) / t s s R H X R bit t t 秒 三、信息含量效率η ：实际的实在信息与最大的 实在信息之比
I(X)H(X)n=Imax(X)Hmax(X)显然,0≤m≤1,当且仅当X为DMS且等概分布时，n=1对于DMS而言，H（X)=H(X)四、相对穴余度y：表示信源含无效成份的程度H.(X)Hmax(X)-H.(X)X=l-n=1-Hmax(X)Hmax(X)maxma五、说明：如果要传送信源输出的信息符号，从提高信息传递效率出发，必须先对信源进行改造（变换），使改造之后的等效信源的穴余最大限度地减小
max max ( ) ( ) ( ) ( ) I X H X I X H X 0 1, X DMS 1 ( ) ( ) X H X 显然， 当且仅当 为 且等概分布时， 对于DMS而言，H 四、相对冗余度γ ：表示信源含无效成份的程度 max max max ( ) ( ) ( ) 1 1 ( ) ( ) H X H X H X H X H X 五、说明：如果要传送信源输出的信息符号，从 提高信息传递效率出发，必须先对信源进行改造 （变换），使改造之后的等效信源的冗余最大限 度地减小
例 2.9 设信源为X=[xj,X2,x3],p(x1)=1/2,p(x2)=1/3。求信息的含量效率和相对穴余度log 2 += log 3 +=log 6H(X)362~92%n=Hmaxlog3(X)maxx=1-n=0.08
例 2.9 设信源为X＝[x1 ,x2 ,x3 ]，p(x1 )=1/2, p(x2 )=1/3。求信息的含量效率和相对冗余度。 max 1 1 1 log 2 log3 log 6 ( ) 2 3 6 92% ( ) log3 1 0.08 H X H X
2.1连续随机变量的和平均互信息量2.1.1连续随机变量的熵连续随机变量可以看作是离散随机变量的极限，故可采用离散随机变量来逼近。下面，将采用这一观点讨论连续信源的信息炳与信息量
2.1.1 连续随机变量的熵 连续随机变量可以看作是离散随机变量的 极限，故可采用离散随机变量来逼近。 下面，将采用这一观点讨论连续信源的信 息熵与信息量。 2.1 连续随机变量的熵和平均互信息量
可得单变量连首先类比概率p,与概率密度p(x)，续信源的数学模型：RX并满足[,fx(x)dx =1f(x))fx (x)第k个区间令xE［a,b」，且a<b,现将它均匀的划分为K份，每份宽度为戈=(b-a)/K，则x处于第k个区间的概率为pk，则ba+(k-1^aa+ka
首先类比概率pi与概率密度p(x)，可得单变量连 续信源的数学模型： : ( ) 1 ( ) X R R X f x dx f x 并满足 令x∈［a,b］，且 a<b,现将它均匀的划分 为K份，每份宽度为△ ＝(b-a)/K，则x处于第k a a+(k-1)△ a+k△ 个区间的概率为pk，则 第 k 个区间 xk b fX (x)