《应用随机过程教程》教学资源（参考资料）与在算法和智能计算中的应用——第11章 Gauss系、二阶矩过程、时间序列

龚光鲁,钱敏平著应用随机过程教程一与在算法和智能计算中的应用 清华大学出版社,2003 第11章Gas系,二阶矩过程时间序列 1.全体方差有限的随机变量构成的 Hilbert空间 1,1实值情形 期望为0且方差有限的随机变量全体构成的集合,记为c2.它是一个无穷维的线性空间 在C2上可以仿照欧氏空间定义内积 (,n)=E(m),(V5,n∈L2) 于是c2在此内积下成为(无穷维)欧氏空间.再仿照欧氏空间定义模(相当于长度,也称为 均方距离) ‖=(5,5)2 它有以下的重要性质: (1) Cauchy不等式:|(2,m)|‖5‖·‖n‖ (2)三角形不等式:‖l5+n|‖+l‖nl‖l 这样d(5,n)=5-n就是定义在L2上的一个距离,从而有了收敛性:即若‖5n-5|>0 则称5n→>5(它的含义恰是均方收敛E|n-5|2→0).作为线性空间C2除了不再是有限 维以外,它与普通的有限维欧氏空间一样,作为距离空间都是完备的,即:随机序列{5n}在 C2中收敛的充要条件为它是一个 Cauchy列(见第9章),也就是 vE>0,N,只要nm>N就有‖n-5m|k 定义11.1完备的无穷维欧氏空间常称为 Hi lbert空间 1.2复值情形 在通信等领域,人们常用复值的量.记i为虚数单位,若5,n都是随机变量,则 =5+i称为复值随机变量,它具有复的数学期望Es=E5+iη,非负的方差 vars=E(SS= ES+En 用一点技术处理可以证明(本书从略):对于任意复常数a,恒有E(a)=aE,两个期 望为0的复随机变量51s2的内积定义为(s1,s2)=E(s1s2).于是,实值情形的结论对于复值 情形也是适用的 2随机变量族的均方信息空间与滤波 2.1均方信息空间 记号11.2由随机变量族{a:a∈/}中任意有限个元素的任意有界连续函数全体 组成2的一个线性子空间(但对极限并不封闭),记为Φ() 再记①(2)为:包含Φ(2)且对c2中收敛性封闭的最小集合,那么①(2)是C2的 Hilbert子空间我们称它为{:a∈l}的均方信息空间.这里”均方信息”的含义是指 只要“方差有限”的信息

284 龚光鲁, 钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2003 第 11 章 Gauss 系, 二阶矩过程, 时间序列 1. 全体方差有限的随机变量构成的 Hilbert空间 1, 1 实值情形 期望为 0且方差有限的随机变量全体构成的集合, 记为 L 2 ．它是一个无穷维的线性空间. 在 L 2 上可以仿照欧氏空间定义内积: (x ,h) E(xh) D = , ("x,h Î L2 ). 于是 L 2 在此内积下成为(无穷维) 欧氏空间. 再仿照欧氏空间定义模 (相当于长度，也称为 均方距离) 2 1 || x || (x ,x ) D = ． 它有以下的重要性质: （１）Cauchy 不等式: | (x,h) |£|| x || × ||h || . （２）三角形不等式: || x +h ||£||x || + ||h || . 这样 (x ,h)= ||x -h || D d 就是定义在 L 2 上的一个距离, 从而有了收敛性: 即若 || xn -x ||® 0, 则称 x ®x n ( 它的含义恰是均方收敛 | | 0 E x n -x 2® ).作为线性空间 L 2 除了不再是有限 维以外, 它与普通的有限维欧氏空间一样, 作为距离空间都是完备的, 即: 随机序列{ }n x 在 L 2 中收敛的充要条件为它是一个 Cauchy 列(见第 9 章), 也就是 "e > 0,$ , , > , ||x -x ||< e N 只要n m N 就有 n m . 定义１１.１ 完备的无穷维欧氏空间常称为 Hilbert 空间. 1. 2 复值情形 在通信等领域, 人们常用复值的量. 记 i为虚数单位, 若x，h 都是随机变量，则 V = x + ih 称为复值随机变量, 它具有复的数学期望 EV = Ex + iEh , 非负的方差 2 2 var V = E(VV} = Ex + Eh D . 用一点技术处理可以证明(本书从略): 对于任意复常数a , 恒有 E(aV) =aEV . 两个期 望为 0 的复随机变量 1 2 V ,V 的内积定义为 ( , ) ( ) V 1 V 2 E V 1 V 2 D = . 于是, 实值情形的结论对于复值 情形也是适用的. 2 随机变量族的均方信息空间与滤波 2. 1 均方信息空间 记号１１．２ 由 随机变量族{x :a Î I} a 中任意有限个元素的任意有界连续函数全体 组成 L 2 的一个线性子空间(但对极限并不封闭), 记为 F (x ) . 再记F (x ) 为: 包含 F (x ) 且对 L 2 中收敛性封闭的最小集合, 那么 F (x ) 是 L 2 的 Hilbert 子空间. 我们称它为{x :a Î I} a 的均方信息空间. 这里 ”均方信息” 的含义是指 只要 “方差有限”的信息

2.2滤波问题 滤波问题的一般提法为:假定随机变量族{a:a∈l}是可以实际测量的,且期望为 而另一个随机变量n的期望为0,方差有限,但是不能实际测量得到我们需要从测得的 {a:a∈l}对随机变量η给出一个估计η·这样的问题称为滤波问题 解滤波问题的思路的一般模式 我们知道在欧氏空间中,对于一个子空间外一个点,求此点在该子空间上的投影,就 是在该子空间中寻找一个与它距离最近的点.这个事实在 Hilbert空间仍然正确(由于 ilbert空间是无限维的,欧氏空间情形的证明当然不再适用.我们略去 Hilbert空间中的这 个基本事实的证明).于是滤波问题的解n就是n在c2?Hbet子空间Φ()上的投影.即 下面的命题 命题11.3在随机变量族{aa∈/}的均方信息空间Φ(2)中的元素n与随机变量n 最近,即7-nmn;)n-5‖,的充要条件是 d(),且 ⊥d(5) 即对任意n及任意n元(Borl)函数g(",恒有 EIn-ng(s )=0 (11.1) 定义1.4将n记为Proh:,称为关于{aa∈}的(非线性)滤波 按条件期望的定义,(11.1)说明了 Projan=E(nla:a∈D) 即关于{a:∝∈/}的条件期望于是在特殊情形,即{a:a∈l只有一个随机变量ξ的情 形,我们有 )若(,)是离散的随机变量,P(,=(x,)=时,n=∑xn Pi (2)若(5,m)有密度p(xy)时,n=[x_p(xm)-dx plu, n )du 3 Gauss系与投影再访 3.1Gass过程的定义与等价条件及其性质 nu 复习11.5随机向量n 称为服从n维Gaus分布,记为N(,2) 如果其特征函数有以下形式 ee 其中4是n维向量,Σ是nXn非负定矩阵(即任意n维向量x,恒有xΣx≥0),显见有:

285 2. 2 滤波问题 滤波问题的一般提法为：假定随机变量族{x :a Î I} a 是可以实际测量的, 且期望为 0． 而另一个随机变量h 的期望为 0, 方差有限, 但是不能实际测量得到. 我们需要从测得的 {x :a Î I} a 对随机变量h 给出一个估计 ^ h ． 这样的问题称为滤波问题. 解滤波问题的思路的一般模式 我们知道在欧氏空间中, 对于一个子空间外一个点，求此点在该子空间上的投影, 就 是在该子空间中寻找一个与它距离最近的点. 这个事实在 Hilbert 空间仍然正确 (由于 Hilbert 空间是无限维的, 欧氏空间情形的证明当然不再适用. 我们略去 Hilbert 空间中的这 个基本事实的证明). 于是滤波问题的解 Ú h 就是h在 L 2 ? Hilbert子空间 F (x ) 上的投影. 即 下面的命题 命题１１.３ 在随机变量族{x :a Î I} a 的均方信息空间F (x ) 中的元素 Ú h 与随机变量h 最近，即|| || min || || ( ) h h h V V x - = - ÎF Ú ，的充要条件是 Ú h Î F (x ) , 且 - ^ Ú h h F (x ) , 即对任意n 及任意n元（Borel）函数 (n) g ，恒有 [( ) ( , , )] 0 1 ( ) - = Ú n n E g a a h h x L x . (11.1) 定义１１.４ 将 Ú h 记为 h(x ) Pr F oj , 称为h 关于{x :a Î I} a 的(非线性)滤波. 按条件期望的定义, (11. 1)说明了 h(x ) Pr F oj = E(h | x :a Î I) a , (11. 2) 即h关于{x :a Î I} a 的条件期望. 于是在特殊情形, 即{x :a Î I} a 只有一个随机变量x 的情 形, 我们有 (1) 若(x,h)是离散的随机变量, i j ij P((x ,h) = ( x , y )) = p 时, å å = Ú i i i i i p p x h h h . (2) 若 (x,h)有密度 p( x, y)时, dx p u du p x x ] ( , ) ( , ) [ ò ò = Ú h h h . 3 Gauss 系与投影再访 3.1 Gauss 过程的定义与等价条件及其性质 复习１１.５ 随机向量 ÷ ÷ ÷ ø ö ç ç ç è æ = hn h h M 1 称为服从 n维 Gauss 分布，记为h～N(m,S ) , 如果其特征函数有以下形式 l m l l l h - S = T T T i Ee e 2 1 ， 其中 m 是n 维向量，S 是n´ n非负定矩阵（即任意 n 维向量x ，恒有 x Sx ³ 0 T ）．显见有：

nt 随机变量n=服从n维Gms分布,当且仅当,对于任意实数a1…an,线性组合 n ∑an服从一维Gaus分布(即或者是一维正态分布或者是常数) 请读者验证 命题11.6n维随机向量丌N(μ,∑),当且仅当,存在m和相互独立的m个服从 (0.1)的随机变量Z1,Z2…,Zn,以及nXm矩阵A=(an)(i≤n,j≤m,使 ∑=AA ZI 其中Z=:.矩阵∑非退化(行列式不为0时)的 Gauss分布,称为多维正态分布 Z 命题11.7若N(μ,∑),则有 (1)En=,E[(n-4)(7-)=∑ (2)+b~N4+b,AEA) 服从Gaus分布,且5P5(指所有分量都概率收敛,则ξ服从 Gauss 分布 请读者验证(1)与②2)).对于(3),我们只证一维情形,因为多维情形类似.由假定 Py5,对于ε>0,有 P(5-5Ⅷ卜E)→>0,n,m→>∞ (11.3) E5-E(, (D),Φ(x e2dl.于是(11.3)变成 在n,m→∞时 而上式左边等于 =1-0(m+5+-m+5) 因此(11.3)蕴含:存在N,只要i,j>N,上面右式就小于1-Φ(=Φ(-1).由此 -(-m+E、 )<1-d(1) 从而在L,j>N时有 m1.+E

286 随机变量 ÷ ÷ ÷ ø ö ç ç ç è æ = hn h h M 1 服从n 维 Gauss 分布，当且仅当，对于任意实数 n a , , a 1 L ，线性组合 å= n k k k a 1 h 服从一维 Gauss 分布（ 即或者是一维正态分布, 或者是常数）． 请读者验证． 命题１１．６ n 维随机向量h～N(m,S ), 当且仅当, 存在m 和相互独立的m 个服从 N(0,1) 的随机变量Z Z Z m , , , 1 2 L ，以及n´ m矩阵 A (a ) i n, j m) = ij （ £ £ ，使 h＝A Z + m ， S＝AA T ， 其中 ÷ ÷ ÷ ø ö ç ç ç è æ = Zm Z Z M 1 ． 矩阵S 非退化（行列式不为 0 时）的 Gauss 分布，称为多维正态分布． 命题１１.７ 若h～N(m,S ) ，则有 (1) Eh = m,E[(h - m)(h - m)] = S. (2) ~ ( , ) T Ah +b N Am +b ASA . (3) (n ) x 服从 Gauss 分布, 且x ¾®x p (n ) (指所有分量都概率收敛), 则x 服从 Gauss 分布. 请读者 验证(1)与(2)). 对于(3), 我们只证一维情形, 因为多维情形类似. 由假定 x ¾®x (n ) p , 对于ε>0，有 P - > ® n m ® ¥ n m (| | ) 0, , ( ) ( ) x x e . (11. 3) 记 , ( ) ( ) ( ) 2 (i) ( j) ij i j mij = Ex - Ex s = Var x - x , ò -¥ - F = x u x e du 2 2 2 1 ( ) p . 于是(11. 3)变成 在 n,m ® ¥时 ò > - - ® e s ps | | 2 ( ) 0 2 1 2 2 x x m ij e dx ij ij . 而上式左边等于 ò + > - p |s | e 2 2 2 1 ij mij y y e dy [1 ( )] ( ) ij ij ij mij m s e s e + + F - - + = - F . 因此(11. 3)蕴含: 存在 N ，只要i, j > N , 上面右式就小于1- F(1)(= F(-1)) . 由此 [1 ( )] < 1 - F(1) - + - F ij mij s e , ( ) < F(-1) + F - ij mij s e . 从而在 i, j > N 时有 > 1 - + ij mij s e , > 1 + ij mij s e

即σ土m<E,把此两式相加就得到σn<(i,j>N).由此进一步得到±mn<,即 mk(,j>N).可见 5(")2=σn2+m12→0(,j→∞) 于是{)}是 Hilbert空间c2中的 Cauchy列用完备性就得到:E|(m-5→0.从而有 Em→E5,War()→War5,由此 E98))leE Ee= lim Ee 可见ξ也服从 Gauss分布 定义11.8随机变量族{;:∈/}称为Gaus系,如果n,V1,…tn∈l, (54,…,5,)服从Gaus9分布.如果Guss系中的指标集/=[0,∞),则称为Gaus过程 对于 Gauss过程而言,其期望函数m(D)=E51及相关函数B(S,1)=E(551)完全地确定了 它的有限维分布族 m(t1) (,) M(L) 其中2(t1,t,)=B(12,4)-m(1m(t),称为协方差函数 例11.9 (1)若(5,n)为正态分布,则(5,5-m,5+n)为Gaus分布 (2)若{nn2}为Gs系,n=∑an5k,则{nn≥1为Gass系 记号11.10期望为0的全体Gaus随机变量不仅是C2的线性子空间,而且由于均 方收敛蕴含概率收敛(用 Chebyshev不等式),由命题11.7的(3)可知,它还是 Hilbert 子空间.记 L(5)={;:t∈l}中任意有限个元素的实线性组合组成的集合 称为{1:t∈/}的线性包再记L()为包含L(5),且对于均方极限封闭的最小集合:即 若n1"∈L(),nm-n|→0,则n∈L(2) L(2)称为{,:t∈l}的线性闭包。它的每个元素都是{:t∈}中元素线性组合在概率意义 下的极限,因而可看成整个随机过程{1t∈l}的某个“线性泛函”Φb(ξ).作为命题11.7的 直接推论,我们有下述命题 命题11.11(封闭性命题)如果{;:∈}是 Gauss系,则L(2)也是 Gauss系 此外,我们还有 命题11.12(独立性命题) (1)若{5a,:a∈1,B∈是 Gauss i系,则{a:∈}与{p:β∈}独立的充要条 件为对于任意5a,n都有Coa7g)=0

287 即 s ± < e ij mij , 把此两式相加就得到 2 e s ij < ( i, j > N ). 由此进一步得到 2 e ± mij < , 即 2 | | e mij < ( i, j > N ). 可见 - = ( ) ( ) 2 ( ) i j E x x 0,( , ) 2 2 s ij + mij ® i j ® ¥ . 于是{ } (n) x 是 Hilbert 空间 L 2 中的 Cauchy 列. 用完备性就得到: | | 0 E x (n) -x 2® . 从而有 Ex Ex Var x Varx (n) ® , ( (n) ) ® ，由此 l x l x l x l x lx lx i E Var i E Var n i n i Ee Ee e e n n n ( ) 2 9 ) 2 ( ) 2 1 ( ) 2 1 lim lim - - = ®¥ = ®¥ = 可见x 也服从 Gauss 分布． 定义１１．８ 随机变量族{ :t I} xt Î 称为 Gauss系, 如果 n t t I " ," 1 ,L n Î , ( , , ) 1 n t t x L x 服从 Gauss分布. 如果 Gauss 系中的指标集I = [0,¥) , 则称为 Gauss 过程. 对于 Gauss 过程而言, 其期望函数 E t m t x D ( )= 及相关函数 ( , ) ( ) E s t B s t x x D = 完全地确定了 它的有限维分布族: ÷ ÷ ÷ ÷ ø ö ç ç ç ç è æ ÷ ÷ ÷ ø ö ç ç ç è æ S ÷ ÷ ÷ ø ö ç ç ç è æ ÷ ÷ ÷ ø ö ç ç ç è æ i j£n i j t n t t t M t m t N n , 1 , ( , ) ( ) ( ) ~ 1 M M x x , 其中 ( , ) ( , ) ( ) ( ) i j i j i j S t t = B t t - m t m t , 称为协方差函数. 例１１．９ (1) 若(x,h)为正态分布, 则(x ,x -h,x +h) 为 Gauss 分布 (2) 若{ : n ³1} n x 为 Gauss 系, å= = n k n nk k a 1 h x , 则{ : n ³ 1} hn 为 Gauss 系. 记号１１.１０ 期望为 0 的全体 Gauss随机变量不仅是 L 2 的线性子空间, 而且由于均 方收敛蕴含概率收敛(用 Chebyshev 不等式), 由命题１１.７的（３）可知, 它还是 Hilbert 子空间. 记 L( ) { : t I } = t Î D x x 中任意有限个元素的实线性组合组成的集合; 称为{ :t I} xt Î 的线性包. 再记L(x ) 为包含 L(x ) , 且对于均方极限封闭的最小集合: 即 若 ( ),|| || 0 h (n) Î L x h (n) -h ® , 则h Î L(x ) . L(x ) 称为{ :t I} xt Î 的线性闭包。它的每个元素都是{ : t I} xt Î 中元素线性组合在概率意义 下的极限，因而可看成整个随机过程{ :t I} xt Î 的某个“线性泛函” F(x) ．作为命题 11.7 的 直接推论, 我们有下述命题 命题１１．１１(封闭性命题) 如果{ :t I} xt Î 是 Gauss 系, 则 L(x ) 也是 Gauss 系. 此外, 我们还有 命题１１.１２（独立性命题） (1) 若 {x ,h :a Î I, b Î J} a b 是 Gauss 系, 则{x :a Î I} a 与{h : b Î I} b 独立的充要条 件为: 对于任意 a hb x , 都有 ( ) = 0 ahb Cov x

(2)若{5a:a∈}与g:β∈引独立,那么Φ(5)与Φ(5)独立 3.2 Gauss过程的投影一线性滤波 定义11.13设1t∈D儿是期望为0的Gaus系.随机变量n在Het子 空间L()上的投影记为门,称为η关于{a:α∈l的线性滤波·也记为Proe:n,即 n∈L(5),且n-n⊥L(5) (11,1) (11.1)称为线性投影公式 定理1.14设5,t∈1)m是期望为0的Gaus系.那么 即:对 Gauss系而言,非线性滤波与线性滤波是一样的 证明首先注意n∈L(5)cΦ().其次,由于n-n⊥L(5),我们有 E[(n-m)5]=0.(Vt∈1).由命题11.12得到,n-n与{1:t∈l}独立,因而也与Φ(2) 独立.于是对于任意对s∈Φ(5)有E[(n-m)s]=0.这正说明了n-n⊥Φ(5).从而 n=n 3.3复 Gauss过程 设56=56+1n(),(k=12)的期望为0,则二元函数B(S,1)=E(0cP2)称为过程 5}与{52)}的相关函数.它是一个复的非负定函数,即对于任意m,12…,tm及任意复数 a1,…,an,恒有 B(tk,1x4a1≥0. 定义11.15复随机过程s1=51+1,称为复 Gauss过程,如果{}与{n}是相互独 立,且有限维分布族相同的 Gauss过程 3.4 Gauss过程的特征泛函 对于期望函数为0,协方差函数为R(S,1)的Gaus过程5,及任意连续增函数F(t),定义Gaus过程 5,的特征泛函为 pE(F)=Ee 即它是s随机变量5:dF(O)的特征函数在1处值.由于印∫5FO=0 Var 5, dF(O R(S,t)dF(s)dF(),因此 d:(F)=e°° 4.平稳性与宽平稳性

288 (2) 若{x :a Î I} a 与{h : b Î J} b 独立, 那么F (x ) 与F (x ) 独立. 3. 2 Gauss 过程的投影 －线性滤波 定义１１．１３ 设{x :t I)U{h} t Î 是期望为 0的 Gauss 系．随机变量 h 在 Hilbert 子 空间 L(x ) 上的投影, 记为 ^ h , 称为h关于{x :a Î I} a 的线性滤波． ^ h 也记为 h (x ) Pr L oj , 即 ( ), ^ h Î L x 且 ( ) ^ h -h ^ L x . (11, 1)’ (11. 1)’称为线性投影公式. 定理１１．１４ 设{x :t I)U{h} t Î 是期望为 0 的 Gauss系．那么 ^ h = h Ú , 即:对 Gauss 系而言, 非线性滤波与线性滤波是一样的. 证 明 首先注意 Î ( ) Ì ^ h L x F (x ) . 其 次 , 由 于 ( ) ^ h -h ^ L x , 我们有 [( ) ] 0,( ) ^ E t I h -h xt = " Î . 由命题１１.１２得到， ^ h -h 与{ :t I} xt Î 独立, 因而也与F (x ) 独立. 于是对于任意对V Î F (x ) 有 [( ) ] 0 ^ E h -h V = . 这正说明了 - ^ ^ h h F (x ) . 从而 ^ h = h Ú . 3. 3 复 Gauss 过程 设 ,( 1,2) ( ) ( ) ( ) = + i k = k t k t k V t x h 的期望为 0, 则二元函数 ( , ) ( ) (1) (2) E s t B s t V V D = 称为过程 { } (1) t V 与{ } (2) t V 的相关函数. 它是一个复的非负定函数, 即对于任意m , m t , ,t 1 L 及任意复数 a a m , , 1 L , 恒有 ( , ) 0 , 1 å ³ = k l k l m k l B t t a a . 定义１１.１５ 复随机过程 t t t V = x + ih 称为复 Gauss 过程, 如果{ }t x 与{ } ht 是相互独 立, 且有限维分布族相同的 Gauss 过程. 3. 4 Gauss 过程的特征泛函 对于期望函数为０，协方差函数为 R(s,t) 的 Gauss 过程 t x 及任意连续增函数 F(t) ，定义 Gauss 过程 t x 的特征泛函为 ( ) 0 ( ) i dF t t T F Ee x x ò F = D ， 即它是 Gauss 随机变量 ( ) 0 dF t t T x ò 的特征函数在１处值．由于 [ ( )] 0 0 = ò E dF t t T x ， [ ( )] ( , ) ( ) ( ) 0 0 0 Var dF t R s t dF s dF t T T t T ò ò ò x = ，因此 ( , ) ( ) ( ) 2 1 0 0 ( ) R s t dF s dF t T T F e ò ò F = - x ． 4. 平稳性与宽平稳性