波形信源的特性 描述 独立的随机过程:Pn( TIP(xk,tk) 平稳随机过程:统计特性不随时间平移而变化的随机过程。 Pn(x pn(x r,t,+τ 遍历平稳过程:若一平稳随机过程{x(t)}的集平均以概率1 等于其时间平均,则称{x()}为遍历的平稳过程 大部尔实縻信号可呸近焖看作逅平穠过擢
➢平稳随机过程：统计特性不随时间平移而变化的随机过程。 ( ) ( ) 1 2 1 2 1 2 1 2 , , , , , , , , , , , , , , n n n n n n p x x x t t t p x x x t t t = + + + ★ {x(t)}在时刻t= ti的集平均: [ ] ( ) [ ( )] ( ) i E x x t p x t dx t t i i i + − = {x(t)}在某一时刻t i变量x(t i )的统计平均 一、波形信源的特性 2.描述: 1 1 1 ( , , , , , ) ( , ) n n n n k k k p x x t t p x t = ➢ 独立的随机过程： = ★ {x(t i )}的时间平均： {x(t i )}某一样本函数x’(t)的时间平均值 → − = T T T x (t )dt 2T 1 x (t ) lim ➢ 遍历平稳过程：若一平稳随机过程{x(t)}的集平均以概率1 等于其时间平均，则称{x(t)}为遍历的平稳过程
连续信源的熵 R p(rdx p(x)」Lp(x)」 方法 猬息离散化一N次扩長信源 时间离戴化、幅度分割逼近 变移量度函数的壁泡君舍 P(x)=P(x)P(x)= p(x)dx d
二、连续信源的熵 = ( ) p(x) R p x X ( ) =1 R p x dx 变量X的概率分布与概率密度函数的关系为： ( ) ( ) d p x P x dx = ( ) ( ) x P x p x dx − = 1、方法
连续信源的熵 对连续变量X的量化方法如下: 将X的取值范围[a,b]作n等分,每份4=(b-a) 则X落在第间内的概率为 a+i4 P=P{a+(-1)4sx<a+i4} p(xdx= P(x,)4 a+(i-1)4 p(x) x1∈[a+(i-1)△,a+i△ △ 0 a+(i-1)△a+i△ b
对连续变量X的量化方法如下： 将X的取值范围[a,b]作n等分，每份=(b-a)/n ( 1) ( 1) ( ) ( ) a i i i a i P P a i x a i p x dx p x + + − = + − + = = p(x) a 0 a+(i-1)Δ a+iΔ b Pi x Δ 二、连续信源的熵 则X落在第i区间内的概率为： x [a + (i −1),a + i) i
连续信源的熵 则连续信源X: R p(xdx=l p(x)」Lp( R X 变为 P(x)」Lp(x),p(x2)4…,p(x)A,…,p(x)A 且2(x)4=∑∫ a+i4 b 7+((x) Je p(xyx=1 此信源合理!
1 2 1 2 , , , , , : ( ) , ( ) , ( ) , ( ) , , ( ) N i N i N X x x x x P x p x p x p x p x = 变为 ( 1) 1 1 : ( ) ( ) ( ) 1 N N a i b i a i a i i p x p x dx p x dx + + − = = = = = 且 则连续信源X: = ( ) p(x) R p x X ( ) =1 R p x dx 此信源合理！ 二、连续信源的熵
二、连续信源的熵 2、相对熵 h(X)= p(x)log ( 或X)=-p(x)logp(x)k XY ∫vx)g dx小y h(X)=小叭(x)0%py (Xr) ∫ p(xy)log p(xy )dxdy
二、连续信源的熵 2、相对熵 1 ( ) ( ) ( ) b a h X p x log dx p x = : ( ) ( )log ( ) R h X p x p x dx = − 或 1 ( ) ( ) ( ) h X Y p xy log dxdy p x y = 1 ( ) ( ) ( ) h Y X p xy log dxdy p y x = h XY p xy p xy dxdy ( ) ( )log ( ) = −