另一方面,P(t)也可以通过求解下面两个方程之一得到: Kolmogorov向前方程( Fokker-Plank方程) P'(t)=P(1)Q,P(0)=I Ko| mogorov向后方程:P(t)=QP(t), (6.17) (3)对于非有限个状态的 Markov链,只要Q保守(即Q1=0),且q=-qn是i的有 界函数,则(2)中的所有结论全都成立 (本定理的证明冗长,且需要较多的数学准备知识,本书中从略.我们只指出 Kolmogorov向前方程与 Kolmogorov向后方程可以由 Chapman- Kolmogorov方程 P(+s)=P()P(s)及P(+s)=P()P(1)形式地对s取微商后再令S=0得到) [注]应用中的绝大多数的转移速率矩阵,都满足本定理中(3)的条件,最典型的情形出 现在从每个状态只能转移到有限个状态的情形. 从本段以下,我们恒假定如下条件满足 imnA0P2()=6,q,有界,Q保守(Q1=0) (6.18) 具有满足(618)的转移速率矩阵Q的转移矩阵P(t),称作以Q为转移速率矩阵的连续时间 的 Markov链 Kolmogorov向后方程写成分量就是 p()=-qP1()+∑qP() 把它看成Pn()的微分方程,乘上其积分因子为e后积分便得 pO)=P(O)L∑e°qP(skb 于是得到下面的结论 定理6.11( Kolmogorov向后方程的分量形式的积分迭代) Kolmogorov向后方程就等价于积分方程组 P,(=e8,+ 2e-g qis P,(1-s)ds 由这个方程可作如下的迭代算法 =0 P"(1)= 当n→∞时,Pn收敛,其极限就是 Kolmogorov向后方程的解 此定理的证明不难,读者可自行验证) 3.2转移速率矩阵的概率含义 147
147 另一方面, P (t) 也可以通过求解下面两个方程之一得到： Kolmogorov 向前方程（Fokker-Plank 方程） P ’(t) = P (t) Q ， P (0) = I ; (6.16) Kolmogorov 向后方程: P ’(t) =Q P (t) , P (0) = I (6.17) （3）对于非有限个状态的 Markov 链, 只要Q 保守 (即Q T 1 = 0), 且 i ii q =- q D 是i 的有 界函数, 则 (2) 中的所有结论全都成立. (本定理的证明冗长, 且需要较多的数学准备知识, 本书中从略．我们只指出: Kolmogorov 向前方程与 Kolmogorov 向后方程可以由 Chapman-Kolmogorov 方 程 P (t + s) = P (t) P (s) 及 P (t + s) = P (s) P (t) 形式地对 s 取微商后再令 s = 0 得到). [注] 应用中的绝大多数的转移速率矩阵, 都满足本定理中(3)的条件, 最典型的情形出 现在从每个状态只能转移到有限个状态的情形. 从本段以下, 我们恒假定如下条件满足: t 0 ij ij lim ® p (t) = d , qi 有界, Q 保守（Q T 1 = 0）. (6. 18) 具有满足(6.18)的转移速率矩阵Q 的转移矩阵 P (t) , 称作以Q 为转移速率矩阵的连续时间 的 Markov 链．. Kolmogorov 向后方程写成分量就是 å¹ = - + k i ij i ij ik kj p' (t) q p (t) q p (t) . 把它看成 p (t) ij 的微分方程, 乘上其积分因子为 q t i e 后积分便得 ò å¹ = + k i ik kj q s t 0 ij ij q t e p t p 0 e q p s ds i i ( ) ( ) ( ) ． 于是得到下面的结论. 定理 6.１１ (Kolmogorov 向后方程的分量形式的积分迭代) Kolmogorov 向后方程就等价于积分方程组 ò å¹ - - = + - k i ik kj q s t 0 ij q t pij t e e q p t s ds i i ( ) d ( ) . 由这个方程可作如下的迭代算法: L 0 (0 ) pij = ò å¹ - - - = + - k i n 1 ik kj q s t 0 ij n q t pij t e e q p t s ds i i ( ) ( ) ( ) ( ) d . 当 n ® ¥时, (n) pij 收敛, 其极限就是 Kolmogorov 向后方程的解. （此定理的证明不难，读者可自行验证） 3．2 转移速率矩阵的概率含义
我们引述下面的定理,它在已知概率速率矩阵Q时,对于模拟对应的连续时间的 Markov 链的轨道,起关键的作用 定理6.12 设转移速率矩阵Q满足(6.18)的连续时间的 Markov链为51,记为次 Markov链首次 跳跃的时刻,即 =nt:5≠50} 那么 (1)P(r≤1|50=1)=1-e(即:在条件概率P(*|50=0)下,r-expa) (2)τ与,在条件概率P(*|50=1)下条件独立 1i+1 (3)在条件概率P(*|50=1)下,,5 (在定理假定下, Markov链的轨道是右连续的,而定理结论的证明,需要对轨道作细致 的分析,本书从略) 定理6.13设条件(6。18)成立.记ck为 Markov链,的第k次跳跃时刻, 则n=5,是离散时间的时齐 Markov链,其转移矩阵为P=(P,),其中 (j≠D) Pi=: 7k称为连续时间的 Markov链5,的嵌入链,它表达了 Markov链5的 跳跃情况 (证明提示:只需检查 Markov性) 4.连续时间的 Markov链的极限分布 4.1连续时间的 Markov链的转移矩阵的平均极限 与定理5.40完全类似地可以得到 定理6.14满足条件(6.18)的连续时间的 Markov链的转移矩阵有平均极限 P(t)dt 某个L T 而且它满足 POOL=L P(=L=L 同时L具有离散时间情形类似的分块形式 4.2连续时间的 Markov链的极限分布 引理6.15设条件(6.18)满足,则 (1)对于任意i及任意t≥0,恒有Pn(1)>0
148 我们引述下面的定理，它在已知概率速率矩阵Q 时，对于模拟对应的连续时间的 Markov 链的轨道，起关键的作用． 定理 6. １２ 设转移速率矩阵Q 满足（6．18）的连续时间的 Markov 链为 t x ．记t 为次 Markov 链首次 跳跃的时刻， 即 inf{ : }0 t = x ¹ x t t ． 那么 （1） q t i P t i e - (t £ | x 0 = ) = 1- （即：在条件概率 ( | ) 0 P * x = i 下， qi t ~ exp ）． （2）t 与 xr 在条件概率 ( | ) 0 P * x = i 下条件独立． （3）在条件概率 ( | ) 0 P * x = i 下， ． ÷ ÷ ÷ ø ö ç ç ç è æ - + L - + L L K L L i i i i i i q q q q i i , 1 , 1 1 1 xt ~ ． （在定理假定下，Markov 链的轨道是右连续的， 而定理结论的证明，需要对轨道作细致 的分析，本书从略）． 定理 6. １３ 设条件（6。18）成立．记 k t 为 Markov 链 t x 的第 k 次跳跃时刻， 则 k t k h x D = 是离散时间的时齐 Markov 链 ， 其转移矩阵为 ~ P ~ ( ) = pij ， 其 中 ï î ï í ì = ¹ = 0 ( ) ( ) ~ j i j i q q p i ij ij ，hk 称为连续时间的Markov链 t x 的嵌入链，它表达了Markov 链 t x 的 跳跃情况． (证明提示： 只需检查 Markov 性)． 4. 连续时间的 Markov 链的极限分布 4. 1 连续时间的 Markov 链的转移矩阵的平均极限 与定理 5.４０ 完全类似地可以得到 定理 6. １４ 满足条件（6．18）的连续时间的 Markov 链的转移矩阵有平均极限 ò T T 0 1 P (t)dt ¾T®¾¥® 某个L ． 而且它满足 P (t) L =L P (t) =L =L 2 . 同时L 具有离散时间情形类似的分块形式. 4. 2 连续时间的 Markov 链的极限分布 引理 6.１５ 设条件（6．18）满足，则 (1) 对于任意 i 及任意t ³ 0 , 恒有 pii(t) > 0
(2)对于j≠i,要么P1(1)≡0;要么存在1,使Pn(1)>0,(Vt≥t0) 证明我们只对有限状态情形证明 (1)由于P(1)0>L,必定存在h>0,当h≤h时,对于任意i,有pn(h)>0.从 而对于任意t,有P1(1)≥P1()>0. (2)对于i≠j,若P()≡0不成立,则必定存在to,使P(n)>0·于是由(1)得到 Pn(口)≥Pn(n)Pn(-10)>0,(Vt2t) 定理6.16对于满足(6.18)条件的连续时间的 Markov链,存在行和为1的矩阵P(∞), 使 P(1)一 P 证明我们也只对有限个状态的情形证明.由引理6.15(1),对任意h>0, Markov链{mh:n≥0} 所有的状态1都是非周期的因为i是常返态,由定理5.50注1推得mn+P1(mh)存在,我们把它 记成pn("(∞) 对于≠j,若P()=0不成立,则由引理6.1(2)3tn,使p()>0,(V2t>0).对于 h≥10,因为i是常返态且i可达j,从而i与j属于同一个非周期常返类.由定理5.50注1推得 imn+P2(mh)存在总之有P(mh)-→P"(∞) 再则,由定理6.14,P(mh)的平均极限nnk 1∑P(kb)也应为L,从而P“()L 最后,我们来证明P(t)-L.事实上,由于P()-)I,当h小时有 lp4(h)-6kE,又对于任意充分大的t,有t-[<h,因而 P()-P2()∑P()p4(t-h)-6kE 由此可见 1→xP2(0)=m,→nP()=l 引理6.17对于满足(6。18)的连续时间的 Markov链{1:1≥0,如果i,j关于它 149
149 (2) 对于 j ¹ i , 要么 p t 0 ij( ) º ; 要么存在 0 t , 使 ( ) ,( ) ij 0 p t > 0 "t ³ t . 证明 我们只对有限状态情形证明． (1) 由于 P (t) ¾t¾®0® I , 必定存在 h0 > 0 , 当h £ h0 时, 对于任意i , 有 pii(h) > 0 . 从 而对于任意t ，有 ( ) ³ ( ) > 0 n ii ii n t p t p . (2)对于i ¹ j , 若 p (t) º 0 ij 不成立, 则必定存在 0 t , 使 p t 0 ij( 0 ) > . 于是由(1)得到 ( ) ( ) ( ) ,( ) ij ij 0 jj 0 0 p t ³ p t p t - t > 0 "t ³ t . 定理6. １６ 对于满足（6．18）条件的连续时间的Markov链, 存在行和为１的矩阵 P (¥) , 使 P (t) ¾t®¾¥® P (¥) ． 证明 我们也只对有限个状态的情形证明．由引理 6.15(1), 对任意 h > 0, Markov 链 { : n 0} xnh ³ 所有的状态i 都是非周期的. 因为i 是常返态, 由定理 5．50 注 1 推得 lim p (nh) n®¥ ii 存在. 我们把它 记成 ( ) ( ) ¥ h pii . 对于 i ¹ j , 若 p t 0 ij( ) º 不成立, 则由引理 6.1(2) 0 $t , 使 p (t) 0,( t t 0) ij > " ³ 0 > .对于 0 h ³ t , 因为 i 是常返态且 i 可达 j ,从而 i 与 j 属于同一个非周期常返类. 由定理 5.50 注 1 推得 lim p (nh) n®¥ ij 存在. 总之有 P (nh) ¾n®¾¥® P ( ) ( ) ¥ h . 再则, 由定理 6. 14, P (nh) 的平均极限 å= ®¥ n k 1 n n 1 lim P (kh) 也应为L , 从而 P ( ) ( ) ¥ h =L . 最 后 ， 我们来证明 P (t) ¾t®¾¥® L . 事实上 , 由 于 P (t) ¾t¾®0® I , 当 h 小时有 | ( ) - d |< e kj kj p h , 又对于任意充分大的 t ，有 h h h t t - [ ] < , 因而 - £å - - < k ij ij ik kj h kj h t h p t h t h p h t | p (t) p ([ ] ) | ([ ] ) | ( [ ] ) d | e . 由此可见 lim t®¥ pij(t) = t ij ij h l h t lim ®¥ p ([ ] ) = . 引理 6. １７ 对于满足（6。18）的连续时间的 Markov 链{ : t 0} xt ³ , 如果 i, j 关于它
的嵌入链P=(P1)互通(也称为Q一互通),其中pn=(-x、4,则对于任意h,状 q 态i,关于 Markov链{m:n≥0}也是互通的 证明我们只对有限状态情形给出证明 由互通可知存在l,…,m,使k≠k+1,(k=0,…,n,4=1,n+1=),q1qm…q>0 注意到当h≤某个h时,由P()-)1,对于任意i≠j有Pn(h)=qh+o(h),便得到 Pn(h)pm2(h)…P,(h)>0.即对于任意h≤h,i与j关于 Markov链{5m:n≥0}是互通的 h 对于h>h的情形,只要注意对于h给定,必然存在一个m使一<h,由此对于任意的i,j,只要 P(-)>0,利用引理5·15就得P(h)2P2(一)P(=)“>0 定理6.18对于满足(6.18)条件的连续时间的 Markov链{1【≥0},如果其转 移速率阵为Q-互通(意即对于任意i≠j,存在l1,…,lm,使 hk≠+,(k=0,…,n=11=),q9n…9,>0) 那么 P(t)-4 此时兀或者是一个概率分布,或者恒为0 证明由引理6.17,对Wh,{mn:n≥0}都是互通的 Markov链.由定理6.16可知 此时L具有相同的行向量故有形式L=I兀 5.连续时间的 Markov链的转移矩阵P(t)的不变分布 5.1连续时间的 Markov链的转移矩阵P()的不变分布与其嵌入链的不变分布 定义6.19概率分布向量丌称为P()的不变分布,如果对于任意t恒有 兀=兀P(t 在(6.18)条件满足下,它还等价于 事实上,我们只在有限状态情形给出证明.等价的必要性显然.今用后向方程证明充 分性.利用
150 的嵌入链 ( ) ~ ~ P = pij 互通（也称为Q －互通）, 其中 i ij ij ij q q p (1 ) ~ = - d , 则对于任意h , 状 态i, j 关于 Markov 链 { : n 0} xnh ³ 也是互通的. 证明 我们只对有限状态情形给出证明． 由互通可知存在 1 m i ,L,i , 使 ,( 0, , ; , ) 1 0 1 i i k n i i i j k ¹ k+ = L = n+ = , q q q 0 ii i i i j 1 1 2 n L > . 注意到当 h £ 某个 h0 时, 由 P (t) ¾t¾®0® I , 对于任意i ¹ j 有 p (h) q h o(h) ij = ij + , 便得到 p h p h p h 0 ii i i i j 1 1 2 n ( ) ( )L ( ) > . 即对于任意h £ h0 ，i 与 j 关于 Markov 链 { : n 0} xnh ³ 是互通的. 对于h > h0 的情形, 只要注意对于 h 给定, 必然存在一个 m 使 0 h m h < , 由此对于任意的 i, j ,只要 0 m h pij( ) > ,利用引理５．１５就得 0 m h p m h p h p m 1 ij ³ ij jj > - ( ) ( ) ( ) . 】 定理 6．１８ 对于满足（6．18）条件的连续时间的 Markov 链{ : t 0} xt ³ , 如果其转 移速率阵为Q －互通（ 意即对于任意 i ¹ j ,存在 1 m i ,L,i , 使 ,( 0, , ; , ) 1 0 1 i i k n i i i j k ¹ k+ = L = n+ = , 0 1 1 2 ii i i i j > n q q Lq ）, 那么 P (t) ¾t®¾¥® p T = 1 ， 此时p 或者是一个概率分布，或者恒为０． 证明 由引理 6.１７, 对"h ,{ : n 0} xnh ³ 都是互通的 Markov 链. 由定理 6. １６可知 此时L 具有相同的行向量故有形式L p T = 1 . 5. 连续时间的 Markov 链的转移矩阵P (t) 的不变分布 5. 1 连续时间的 Markov 链的转移矩阵P (t) 的不变分布与其嵌入链的不变分布 定义６．１９ 概率分布向量p 称为 P (t) 的不变分布, 如果对于任意 t 恒有 p = p P (t) . 在(6.18)条件满足下，它还等价于 p Q = 0. 事实上，我们只在有限状态情形给出证明. 等价的必要性显然. 今用后向方程证明充 分性. 利用
(πP(1))'=丌(P(t))=QP(t)=0 便得到P(t)=rP(0) 命题6.20以P(m)为转移矩阵,并以其不变分布π为初始分布的连续时间的 Markov链{:t≥0},是平稳过程,即:对于任意s,k,1,…,1k,(5,…5+,}与 (54,…5n}有相同的联合分布 定义6.21概率分布向量兀称为嵌入链的转移矩阵P的不变分布,如果兀=丌P 命题6.22若丌为连续时间的 Markov链的转移矩阵P(t)的不变分布.则 兀=(x1,…,丌,…)是嵌入链P的不变分布,其中兀丌1q1_:反之,若丌是嵌入链的 转移矩阵P的不变分布,且z=∑<∞,则兀=(1…,兀…)是P()的不变分布, 其中兀 q (请读者自己验证) 我们不加证明地给出下面的定理. 5.2连续时间的 Markov链的遍历极限 定理6.23在(6.18)条件下,若存在唯一的概率分布兀满足丌Q=0,则 P(1) 此时还有 (1)对于定义在状态空间上的函数f(),只要满足∑|()|兀,<∞,就以概率 为1地有 )一→∑0m (2)对于定义在状态空间上的函数g(,只要满足∑g()|兀,P2(an)<∞, 就以概率为1地有 →∑g(ixp2() (多元函数也有类似的结论.得到这个定理的过程与离散时间的 Markov链的情形类似)
151 (pP (t) )’= p (P (t)) ’= pQP (t) = 0 , 便得到 pP (t) = pP (0) = p . 命题６.２０ 以 P (t) 为转移矩阵，并以其不变分布p 为初始分布的连续时间的 Markov 链 { : t ³ 0} t x , 是平稳过程, 即: 对于任意 k s, k ,t , ,t 1 L , ( , , } 1 t s t s + k + x L x 与 ( , , } 1 k t t x L x 有相同的联合分布. 定义６．２１ 概率分布向量 ~ p 称为嵌入链的转移矩阵 ~ P的不变分布, 如果 ~ ~ ~ p = p P. 命题 6．２２ 若p 为连续时间的 Markov 链的转移矩阵 P (t) 的不变分布. 则 ~ p ( , , , ) ~ 1 ~ = p L p i L 是嵌入链 ~ P的不变分布, 其中 å = j j j i i i q q p p p ~ ; 反之, 若 ~ p 是嵌入链的 转移矩阵 ~ P的不变分布, 且 =å < ¥ D j j j q Z ~ p , 则p ( , , , ) = p1 L pi L 是 P (t) 的不变分布, 其中 qi Z i i ~ p p = . (请读者自己验证) 我们不加证明地给出下面的定理. 5. 2 连续时间的 Markov 链的遍历极限 定理 6. ２３ 在 (6. 18)条件下, 若存在唯一的概率分布p 满足p Q = 0, 则 P (t) ¾t®¾¥® p T = 1 . 此时还有 （１） 对于定义在状态空间上的函数 f (i) , 只要满足å < ¥ i i | f (i) | p ，就以概率 为 1 地有 ò ¾ ¾®å ®¥ i i t t s f ds f i t (x ) ( )p 1 0 . （２）对于定义在状态空间上的函数 g(i, j) , 只要满足å < ¥ i | g(i, j) |p i pij(u) ， 就以概率为 1 地有 ò ¾ ¾®å ®¥ + i i ij t t g s s u ds g i j p u t ( , ) ( , ) ( ) 1 0 x x p . (多元函数也有类似的结论. 得到这个定理的过程与离散时间的 Markov 链的情形类似)