第二节波形信源和波形信源的信息测度 当对于限频F/限时T的平稳随机过程,它可以近似地 用有限维N=2斤平稳随机矢量表示。这样,一个频带和时 间都为有限的连续时间过程就转化为有限维时间离散的平 稳随机序列了。 和离散变量中一样,易于证明 h(CX)=h(x1…2)=h(Xx1)+h(Xx2|X1)+h(X3|XX2)+…h(XxN|x12…X) h(X)=h(X1X2……XN)≤h(X1)+h(X2)+…+h(X) 且当随机序列中各变量统计独立时等式成立
第二节 波形信源和波形信源的信息测度 当对于限频F/限时T的平稳随机过程，它可以近似地 用有限维N=2FT平稳随机矢量表示。这样，一个频带和时 间都为有限的连续时间过程就转化为有限维时间离散的平 稳随机序列了。 和离散变量中一样， 易于证明: 且当随机序列中各变量统计独立时等式成立。 1 2 1 2 1 3 1 2 1 2 ( ) ( ) ( ) ( | ) ( | ) ( | ) N N h X h X X h X h X X h X X X h X X X X = = + + + 1 2 1 2 ( ) ( ) ( ) ( ) ( ) h X h X X X h X h X h X = + + + N N
第二节波形信源和波形信源的信息测度 两种特殊连续信源的差熵 1均匀分布连续信源的熵值 维连续随机变量X在[a,b]区间内均匀分布时,这基本连 续信源的熵为h(X)=log(b-a) N维连续平稳信源,若其输出N维矢量X=(x1X2…XN) 其分量分别在[412b2],…,[ax,b]的区域内均匀分布, N维连续平稳信源的差熵为 h(x)=log(b -a,)=2h(X,)
第二节 波形信源和波形信源的信息测度 两种特殊连续信源的差熵 1.均匀分布连续信源的熵值 1 2 ( ) X X X X = N 一维连续随机变量X在[a,b]区间内均匀分布时，这基本连 续信源的熵为 N维连续平稳信源，若其输出N维矢量 其分量分别在 的区域内均匀分布， N维连续平稳信源的差熵为 h X b a ( ) log( ) = − 1 2 [ , ], ,[ , ] a b a b N N 1 1 ( ) log ( ) ( ) N N i i i i i h X b a h X = = = − =
第二节波形信源和波形信源的信息测度 无记忆连续平稳信源和无记忆离散平稳信源一样,差熵 也满足h(X)=hX12…X)=∑(X) 限频、限时均匀分布的波形信源的熵为 h(x)=2FTlog(b-a) 在波形信源中常采用单位时间内信源的差熵——熵率。 均匀分布的波形信源的熵率为h1(X)=2Flog(b-a)
第二节 波形信源和波形信源的信息测度 无记忆连续平稳信源和无记忆离散平稳信源一样，差熵 也满足 限频、限时均匀分布的波形信源的熵为 在波形信源中常采用单位时间内信源的差熵——熵率。 均匀分布的波形信源的熵率为 h X FT b a ( ) 2 log( ) = − 1 2 1 ( ) ( ) ( ) N N i i h X h X X X h X = = = ( ) 2 log( ) t h X F b a = −
第二节波形信源和波形信源的信息测度 2高斯信源的熵值 基本高斯信源是指信源输出是一年随机变复Xm概率密 度分布是正态分布,即p(x)= exp( 连续信源的熵为: h(X)= p(x) log p(x)d I-o p(x)log/I -m exp( 2To 2 log v2To+Loge==log nece 2 2 可见,正态分布的连续信源的熵与数学期望m无关,只与其 方差a2有关
第二节 波形信源和波形信源的信息测度 连续信源的熵为: 可见，正态分布的连续信源的熵与数学期望m无关，只与其 方差 有关。 2 2 2 1 ( ) ( )log[ exp( )] 2 2 x m p x dx − − = − − 2 2 1 1 log 2 log log 2 2 2 = + = e e 2 h X p x p x dx ( ) ( )log ( ) − = − 2.高斯信源的熵值 基本高斯信源是指信源输出是一维随机变量X的概率密 度分布是正态分布，即 2 2 2 1 ( ) ( ) exp( ) 2 2 x m p x − = −
第二节波形信源和波形信源的信息测度 当均值m=0时,Ⅹ的方差σ就等于信源输出的平均功率P: h(X)=log rep 如果N维连续平稳信源输出的N维连续随机矢量X=(X1X2…XN) 是正态分布则称此信源为N维高斯信源。 其差熵为:h(X)=log(2ne)Cl 当各变量之间统计独立,则C为对角线矩阵,并有 l|=∏a2 所以,N维无记忆高斯信源的熵即N维统计独立的正态分布随 机变量的差熵为(x)=∑(x) 高斯噪声信源的熵
高斯噪声信源的熵 第二节 波形信源和波形信源的信息测度 如果N维连续平稳信源输出的N维连续随机矢量 是正态分布则称此信源为N维高斯信源。 其差熵为： 当各变量之间统计独立，则C为对角线矩阵，并有 所以，N维无记忆高斯信源的熵即N维统计独立的正态分布随 机变量的差熵为 1 2 ( ) X X X X = N 1 ( ) log(2 ) 2 N h X e C = 2 1 N i i C = = 1 ( ) ( ) N i i h X h X = = 当均值m=0时，X的方差 就等于信源输出的平均功率P： 2 1 ( ) log 2 2 h X eP =