龚光鲁,钱敏平著应用随机过程教程一与在算法和智能计算中的应用 清华大学出版社,2003 第12章连续时间连续状态的 Markov过程,鞅,Ito积分与随机微分方程 1.连续时间连续状态的 Markov过程 1.1平稳 Gauss过程 定义12.1 Gauss平稳过程{,t∈R}称为 Mar koy型的,如果其相关函数 B(s)=E(51)是连续函数,而且对任意s≥0,t∈R有% f,图n4s=eE|5m-∑a541= infeR E|5+-a5,F12.1) 其含义是,在均方距离5|=√E2下,若用过程在时刻以前的资料{n:u≤1}的有限线 性组合去近似5,其最佳的近似只需在L(5on)=a5:a为任意实数}中寻找 对于 Markov型的 Gauss平稳过程,(12.1)右方必然在某个(依赖于s的)a上达到, 我们记此a为a(s).又由于(12.1)成立,那么,对任意l≥0及入,2有 E|5-(A15+2,)P≥E|m-a() 从而,对任意u,s>0,由投影公式有 E[(s-a(s))1-]=0 B(s+u)=a(s)b(u (12.2) 取u=0,我们得到a()=y 在(12.2)两端除以B(0)后便得到 B(0) a(s +u)=a(s)a(u) (, u20) 再由B(s)的连续性,即α(s)是连续函数,及a(s)≤1=a(0)推出 a(s)=B(O)e-(B,s≥0) 记y=B(0),便得B(s)=y β,y>0的情形称为非退化情形.当S<0时,由平 稳性我们显见有B(s)=B(-s),合起来便成为 B(s=ye (12.3) 323
323 龚光鲁, 钱敏平著 应用随机过程教程 – 与在算法和智能计算中的应用 清华大学出版社, 2003 第 12 章 连续时间连续状态的 Markov 过程, 鞅, Ito 积分与随机微分方程 1 ．连续时间连续状态的 Markov 过程 1. 1 平稳 Gauss 过程 定义１２．１ Gauss 平稳过程{ξt ,t∈R} 称为 Markov 型的，如果其相关函数 ( ) ( ) E t t s B s + D = x x 是连续函数，而且对任意 s≥0,t∈R 有% 2 2 , , , inf | | inf | | R t s t i n n i n t t R E t s i t E i i i x a x x ax a - = aÎ + - £ £ £ Î + å . (12. 1) 其含义是，在均方距离 2 || x ||= Ex 下，若用过程在时刻t 以前的资料{ : u t} xu £ 的有限线 性组合去近似 t +s x ，其最佳的近似只需在 ( ) L [0,t] x {ax :a为任意实数} D = t 中寻找。 对于 Markov 型的 Gauss 平稳过程，(12 .1)右方必然在某个(依赖于 s 的) a 上达到, 我们记此a 为a(s) . 又由于(12.1)成立，那么, 对任意u ³ 0及l1，l2有 2 2 1 2 | ( ) | | ( ) | t s t u t t s t E x - l x + l x ³ E x -a s x + - + . 从而, 对任意u,s > 0 , 由投影公式有 E[(x t+s -a(s)xt )xt -u ] = 0 , 即 B(s + u) =a(s)B(u) . (12. 2) 取u = 0, 我们得到 (0) ( ) ( ) B B s a s = ．在(12.2)两端除以 B(0) 后便得到 a(s +u) =a(s)a(u) (s,u ³ 0)． 再由 B(s)的连续性，即a(s) 是连续函数，及a(s) £ 1 =a(0)推出 ( ) = (0) ( , ³ 0) - × s B e s t a b b ． 记g = B(0) , 便得 B(s)= g e -bs . b ,g > 0 的情形称为非退化情形. 当 s < 0 时，由平 稳性我们显见有 B(s) = B(-s) ，合起来便成为 B(s) = g e -b|s| . (12. 3)
此条件也是具有连续相关函数B(1)的实值非退化 Gauss平稳过程{51:-∞<t<o}是 Markov型的充要条件 定理12.2非退化的 Markov型的 Gauss平稳过程{;:-∞<t<∞},在任意有限 个时刻所得的随机向量(5,…,,)的联合分布具有密度 证明不失一般性,我们可以假定E51=0,y=B=1,1<…<ln由(12.1) 及(12.2)我们得到 ),]=0,(≤n-1) 利用{2,:-<1<叫}的Gaus性就得到(5,-e',)与(5,…5n)相互独立 下面我们用数学归纳法证明(n,…,5)有联合密度 当n=1时,由于5,~N(0.1),显见它有密度.今作归纳法假定,设n=m-1时已 有密度Pk…,)(x1,…,xm).往证在n=m时结论也成立.为此我们记 那么它的方差为 (Tn)=E(5 =B(0)-2e)B(tn-tm1)+e-0--)B(0)=1-e2…-) 即nn~N(0.1-e-2m)由于它与(5,…5n)独立,从而(m,,…,5,)有密 度 (y,x m-1 2r(1 利用随机变量密度函数的变换公式,并利用y=xme-"xm,就得到(5n…54) 的密度表达式为 324
324 此条件也是具有连续相关函数 B(t) 的实值非退化 Gauss 平稳过程 { : -¥ < t < ¥} t x 是 Markov 型的充要条件. 定理１２．２ 非退化的 Markov 型的 Gauss 平稳过程{ : -¥ < t < ¥} t x , 在任意有限 个时刻所得的随机向量( , , ) 1 n t t x L x 的联合分布具有密度. 证明 不失一般性, 我们可以假定 Ext º 0 , g = b = 1, n t < L < t 1 . 由(12. 1) 及(12. 2)我们得到 [( ) ] 0,( 1) 1 1 ( ) - = £ - - - - - E e j n n j n n n t t t t t x x x . 利用{ : -¥ < t < ¥} t x 的 Gauss 性就得到( ) 1 1 ( ) - - - - - n n n n t t t t x e x 与( , , ) 1 1 t t n x L x - 相互独立． 下面我们用数学归纳法证明( , , ) 1 t t n x L x 有联合密度。 当n =1时, 由于 ~ (0,1) 1 xt N , 显见它有密度. 今作归纳法假定, 设 n = m-1时已 有密度 ( , , ) (t1 , ,t -1 ) 1 m -1 x x r L m L . 往证在n = m时结论也成立. 为此我们记 D hm = 1 1 ( ) - - - - - m m m m t t t t x e x ． 那么它的方差为 ( ) 2 ( ) ( ) 1 1 - - - - = - n n n n t t t m t Var h E x e x (0) 2 ( ) 1 ( ) 1 - - - = - - - m m t t B e B t t m m + e (0) 2( ) 1 B - tm -tm - 2( ) 1 1 - - - = - t m tm e ． 即 hm (0,1 ) 2( ) - - -1 - tm tm ～N e ). 由于它与 ( , , ) 1 1 tm t x L x - 独立，从而( , , , ) 1 1 m tm t h x L x - 有密 度: ( , , , ) , , , 1 1 1 1 - - m p y x x m t tm h x L x L ( , , ) ( , , ) 1 1 = t1 t -1 mx x r L m L 2(1 ) 2 ( ) ) 1 2 ( 2 1 2 (1 ) 1 - - - - - - - - - tm tm m m e y t t e p e . 利用随机变量密度函数的变换公式，并利用 y = xm - 1 ( ) 1 - - - - m t t e x m m , 就得到 ( , , ) 1 t t m x L x 的密度表达式为 ( , , ) ( , , ) 1 t 1 t m x x r L m L
=P1“)(x,…,xm-) e 2r(1 2丌 AV2m(-e24小e2=c2-4-1) (12.4) 推论12.3对于相关函数为B(s)=ye-刚的Gas平稳过程{ -0<【<a 及1<…<n,(5n,…,54)有密度 p1…)( 2ry e2B4小e2y(-2(-) (12.4) 2m/(1 推论12.4相关函数为B(s)=ye-叫的 Gauss平稳过程{,-∞<1<∞},具有 以下的 Markov性质:对于任意n及任意1<…<ln,在给定(ξ,…,,)=(xn,…,x1)的 条件下,5的条件分布密度只与5,=xn有关,而与(5m1…,5n)=(xn,…x)无关 (即在5=xn已知的条件下,5与(51…,5n)条件独立) 证明我们把在(1,…,5)=(xn,…,x)的条件下的条件分布密度记为 P1…n(xn|xn…,x),而把在5。=xn的条件下5,的条件分布密度记为 Pn(x1xn).由(12.4)’,我们有 (孓心 P Pm(xm+1…, 2xy(1-e-2p(+1-l)) P1,(xn+1|x) (x) 再对xn1在某个集合A上积分,便得 325
325 ( , , ) ( , , ) 1 1 1 1 - - = t t m x x r L m L 2(1 ) ( ) 2( ) ) 1 2 ( ) 2 1 ( 1 1 2 (1 ) 1 - - - - - - - - - - - - - - tm tm tm tm m m m m e x x e t t e p e Õ= - - - - - - - - - - - - - - - = m k e x x e t t x k t k t k t k t k k k k e e e 1 2(1 ) ( ) 2( ) 2 2( 1) ( 1 ) 2 1 1 2 1 2 (1 ) 1 2 1 p p (12. 4) 推论１２．３ 对于相关函数为 B(s) = ge -b|s|的 Gauss 平稳过程{ : -¥ < t < ¥} t x , 及 n t < L < t 1 , ( , , ) 1 t t n x L x 有密度 ( , , ) ( , , ) 1 1 t t n x x r L n L Õ= - - - - - - - - - - - - - - - = n k e x x e t t x k t k t k t k t k k k k e e e 1 2 (1 ) ( ) 2 ( ) 2 2 ( 1 ) ( 1 ) 2 1 1 2 1 2 (1 ) 1 2 1 b b g b pg pg . (12. 4)’ 推论１２．４ 相关函数为B(s) = ge -b|s|的 Gauss 平稳过程{ : -¥ < t < ¥} t x , 具有 以下的 Markov 性质: 对于任意n 及任意 1 < < n +1 t L t ，在给定( , , ) 1 t t n x L x ( , , ) 1 x x = n L 的 条件下， n+1 t x 的条件分布密度只与 n t x n = x 有关, 而与( , , ) 1 1 t t n x L x - ( , , ) 1 1 x x = n - L 无关 (即在 n t x n = x 已知的条件下, n+1 t x 与( , , ) 1 1 t t n x L x - 条件独立). 证明 我们把在( , , ) 1 t t n x L x ( , , ) 1 x x = n L 的条件下 n+1 t x 的条件分布密度记为 ( | , , ) 1 | , , 1 1 1 p x x x tn+ tn L t n + n L , 而 把 在 n t x n = x 的条件下 n+1 t x 的条件分布密度 记 为 ( | ) t 1 |t n 1 n p x x n+ n + . 由(12. 4)＇, 我们有 ( | , , ) 1 | , , 1 1 1 p x x x tn+ tn L t n + n L ( , , ) ( , , ) ( , , ) 1 ( , , ) 1 1 1 1 1 x x x x t t n t t n n n L L L L r r + + = 2(1 ) ( ) 2 ( ) ) 1 2 ( ) 2 1 ( 1 1 2 (1 ) 1 n t n t n t n t n n n n e x x e t t e e - + - - + - + + - - - - - - = b b b pg ( ) ( , ) ( , ) 1 1 t n t t n n x x x n n n r r + + = ( | ) t 1 |t n 1 n p x x = n+ n + . 再对 n+1 x 在某个集合L 上积分，便得
P(,∈A x)=P(5∈A|.=xn) 这就是时间与状态都连续的随机过程{:-∞<1<∞}的 Markov性.因为它表明,在已知 此过程的现在时刻(即t=1n)的取值5,=xn的条件下,过程在过去的取值 (ξ,∴…,5,)=(xn-1,…,x)并不影响将来(即+S=ln1)的ξ。取值的统计规律.因此 这正是第6章中的连续时间离散状态 Markov性在连续时间连续状态情形的推广 推论12.5(1,…5,)的联合密度可以写为: P4n(x1,…,xn)=P4(x1)P1(x21|x1)…P(xn1xn-) 它即是”起始"密度P2(x1)与一系列条件密度的乘积 以下我们只考虑t≥0,且E5,≡0,B,y>0的情形.我们把Ln改记为s,Ln-tn1改 记为1,再将P+(y|x)(注意它的表达式与S无关)改记为p(t,x,y) 命题12.6{p(1,x,y):≥0,x,y∈R}满足 Kolmogorov- Chapman方程: p(+,x,y)=p(x,)p1(y)k 证明为了看起来对称,令1+S=12,l2+1=13,x=x,2=x2,y=x3于是 ∫ns,x-)D(4=,y)t=」P2(x21x)m4(x1x2x)2 P42(x,2x2)P12(x,x2,x3 P4(x1)p4,(x1,x2) P2,(x3,x2|xd2=P21(x3|x)=P(S+t,x,y) 1.2时间与状态都连续的时齐 Markov过程 定义12.6假定对于任意的n及n个时刻<…<tn,(5,…,5)都有正的联 合密度P(4…(x1,…,x),且其条件分布满足:对任意的1<…<1n=1n+1, t,s=tn≥0,都有不依赖Ln的关系: P,+n-(Oy|x,xn-1…,x1)=P,+,(y|x)=P+(x)(记成p(,xy) 则称随机过程{1:t≥0}为时齐的 Markov过程,并称p(t,x,y)为此 Markov过程的转移密 326
326 ( | , , ) 1 1 1 P x x t t n t n n Î L = = + x x L x ( | ) t 1 t n P x n n = Î L = + x x . 这就是时间与状态都连续的随机过程{ : -¥ < t < ¥} t x 的 Markov 性. 因为它表明, 在已知 此过程的现在时刻 ( 即 n t = t ) 的取值 n t x n = x 的条件下 ， 过程在过去的取值 ( , , ) 1 1 t t n x L x - ( , , ) 1 1 x x = n - L 并不影响将来 (即 + = n+1 t s t ) 的 n+1 t x 取值的统计规律． 因此 这正是第 6 章中的连续时间离散状态 Markov 性在连续时间连续状态情形的推广. 推论１２．５ ( , , ) 1 t t n x L x 的联合密度可以写为： ( , , ) ( , , ) 1 1 t t n x x r L n L ( ) ( | ) ( | ) = t1 1 t2 |t1 2 1 t |t -1 n n -1 p x p x x p x x L n n . 它即是"起始"密度 ( ) 1 1 p x t 与一系列条件密度的乘积. 以下我们只考虑t ³ 0 , 且 Ext º 0, b,g > 0的情形. 我们把 n t 改记为 s, n - n-1 t t 改 记为t , 再将 ( | ) | p y x t+s s (注意它的表达式与 s 无关) 改记为 p(t, x, y) . 命题１２．６ {p(t, x, y) : t ³ 0, x, y Î R}满足 Kolmogorov-Chapman 方程： ò p(t + s, x, y) = p(t, x,z) p(t,z, y)dz . (12. 5) 证明 为了看起来对称，令 , 1 2 t + s = t , 2 3 t + t = t 1 2 3 x = x ,z = x , y = x ．于是 ò ò = | 2 1 | , 3 2 1 2 ( , , ) ( , , ) ( | ) ( | , ) 2 1 3 2 1 p s x z p t z y dz p x x p x x x dx t t t t t 2 , 1 2 , , 1 2 3 1 , 1 2 ( , ) ( , , ) ( ) ( , ) 1 2 1 2 3 1 1 2 dx x x x x x x x x t t t t t t t t r r r r ò = ( , | ) ( | ) , | 3 2 1 2 | 3 1 3 2 1 3 1 p x x x dx p x x = ò t t t = t t = p(s + t, x, y) . 1. 2 时间与状态都连续的时齐 Markov 过程 定义１２．６ 假定对于任意的n 及n 个时刻 n t < L < t 1 ，( , , ) 1 t t n x L x 都有正的联 合密度 ( , , ) ( , , ) 1 1 t t n x x r L n L , 且其条件分布满足 : 对任意的 t t t t 1 < L < n +1 = n + , t,s = t n ³ 0, 都有不依赖 n t 的关系: ( | , , ) | , 1 , , 1 1 1 p y x x x tn +t tn tn- L t n- L ( | ) ( | ) | | p y x p y x t t t s t s = n + n = + (记成 p(t, x, y) )， (12. 6) 则称随机过程{ : t ³ 0} t x 为时齐的 Markov 过程，并称 p(t, x, y) 为此 Markov 过程的转移密
度 推论12.7时齐的 Markov过程的转移密度满足 .1)p(xy)20.∫pxy)d=1 (P.2) Chapman-Kolmogorov方程:p(t+s,x,y)=「p(t,x,-)p(,-2,y) [注1转移密度P(t,x,y)是转移概率P()在状态空间为实数集时的对应表示 [注2]时齐 Markov过程也可以只对t>0时要求(,…,5)都有正的联合密度.也就 是说,初值ξ0可以特殊一些,不必要求它有密度.因为我们可以利用时齐性补充定义在条 件5=x下,5的条件密度为p(t,x,y).从而可以讨论5取离散值或有密度的情形.也就 是说对于在本书中在时间区间(0,∞)上定义的时齐 Markov过程{;:t>0},在加进t=0的 随机变量50以后,总可以扩展为时间区间[O.∞)上时齐的 Markov过程{1:t≥0 [注3]定义中关于存在正的有限维联合分布密度的要求不是必须的.由于没有这个 假定时需要用测度论的知识,所以在本书中只取最简单的情形 例12.8(0过程)β,y>0的 Markov型 Gauss平稳过程是时齐的 Markov过程, 其转移密度为 plt, x,y)= 而且有 e27=q(y)(即极限分布为N0,y),与x,B都无关) 在 Chapman- Kolmogorov方程中令s→∞,并把z改记为x,便得到 q()=∫p(,x,y(x)t (12.8) 即q(y)是一个满足(12.8)分布密度,称为p(t,x,y)的不变密度.它是时间连续状态 离散的 Markov链的不变分布在连续状态情形的对应表示 注具有(12.7)形式的转移密度的 Markov过程,称为参数为(B,y)的0u过程 (0 rnstein-Uh lebeck过程) OU过程在有限个采样时刻上的样本,可以用如下的随机模拟得到 相关函数为B(1)=-刚的OU过程在等距采样点12…,Ln上的样本的随机模拟,可以 由下面步骤得到:
327 度. 推论１２．７ 时齐的 Markov 过程的转移密度满足: (P.1) p(t, x, y) ³ 0, ( , , ) = 1 ò p t x y dy ; (P.2) Chapman-Kolmogorov 方程： ò p(t + s, x, y) = p(t, x,z) p(t,z, y)dz ． [注 1] 转移密度 p(t, x, y) 是转移概率 p (t) ij 在状态空间为实数集时的对应表示. [注 2] 时齐 Markov 过程也可以只对 t>0 时要求 ( , , ) 1 t t n x L x 都有正的联合密度. 也就 是说, 初值 0 x 可以特殊一些, 不必要求它有密度. 因为我们可以利用时齐性补充定义在条 件 = x 0 x 下, t x 的条件密度为 p(t, x, y) . 从而可以讨论 0 x 取离散值或有密度的情形. 也就 是说对于在本书中在时间区间(0,¥) 上定义的时齐 Markov 过程{ : t > 0} t x , 在加进 t = 0 的 随机变量 0 x 以后, 总可以扩展为时间区间[0,¥) 上时齐的 Markov 过程{ : t ³ 0} t x . [注 3] 定义中关于存在正的有限维联合分布密度的要求不是必须的. 由于没有这个 假定时需要用测度论的知识, 所以在本书中只取最简单的情形. 例１２．８（OU 过程） b ,g > 0 的 Markov 型 Gauss 平稳过程是时齐的 Markov 过程, 其转移密度为 2(1 ) ( ) 2 2 ) 2 2 (1 ) 1 ( , , ) t t e y xe t e e p t x y b b b pg - - - - - - - = . (12. 7) 而且有 g pg 2 2 2 1 lim ( , , ) y t p t x y e - ®¥ = j(y) D = (即极限分布为 N(0,g ) ，与 x,b 都无关). 在 Chapman-Kolmogorov 方程中令 s ® ¥, 并把z 改记为 x , 便得到 ò j( y) = p(t, x, y)j (x)dx . (12. 8) 即j( y) 是一个满足（１２．８）分布密度, 称为 p(t, x, y) 的不变密度. 它是时间连续状态 离散的 Markov 链的不变分布在连续状态情形的对应表示. 注 具有(12.7)形式的转移密度的 Markov 过程, 称为参数为 (b ,g ) 的 OU 过程 （Ornstein-Uhlenbeck 过程）. OU 过程在有限个采样时刻上的样本, 可以用如下的随机模拟得到. 相关函数为 | | ( ) t B t e b g - = 的 OU 过程在等距采样点 n t , ,t 1 L 上的样本的随机模拟，可以 由下面步骤得到：