中国科学院：《随机过程》课程教学资源（知识点讲稿）第五章 连续时间 Markov链

第五章连续时间 Markov链 51连续时间 Markov链 连续时间 Markov链的要旨仍然是 Markov性,与上一章不同之处在于指标集 (这里表示时间)取值连续,通常为≥0。状态仍然是离散的,最多取可数 个值,我们用整数值0,1,2…表示 定义511:设随机过程X(),1≥0状态空间为S={0.2…},若对所有s,t≥0, 0≤u<s和i,j∈S以及x(u)∈S满足 P(x(s+1)=(s)=1,X()=x()0≤a<s)=P(X(s+)=X(s)= 则称X(,t≥0为连续时间 Markov链。 般P(X(S+D)=X(s)=)称为转移概率,与时间st有关,若进一步此概 率与s无关则随机过程X(t)称为有平稳转移概率的连续时间 Markov链。此时记 P()=P(X(s+)=X(s)=)=P(X()=X(0)=)。以下不特别指明,所涉及 到的连续时间 Markov链是指有平稳转移概率的连续时间 Markov链。若过程初 始分布为p1=P(X(0)=),于是有 定理511:连续时间 Markov链的转移概率P(1),j∈S和初始分布Pi∈S完全 确定了过程的任意有限维分布 转移概率P(O),j∈S的性质。首先P()20∑P()=1:其次, P(s+D)=P(x(+0)=X(0)=)=∑P(X(s+1)=,X(S)=x0)=0) (s)=kX(0)=)P(X(s+=X(s)=k,X(0)=) =∑P(X()=X(0)2=1)P(X(s+)=X(s)=k)=∑P2(s)P2( k∈S 即P()满足 Chapman-Kolmogorov方程。若过程不能刚到某个状态就瞬间离去即

第五章 连续时间 Markov 链 5.1 连续时间 Markov 链 连续时间 Markov 链的要旨仍然是 Markov 性，与上一章不同之处在于指标集 （这里表示时间）取值连续，通常为{t t ≥ 0}。状态仍然是离散的，最多取可数 个值，我们用整数值0,1,2L表示。 定义 5.1.1：设随机过程 X (t),t ≥ 0 状态空间为 S = {0,1,2L}，若对所有 ， 和 以及 满足 s,t ≥ 0 0 ≤ u < s i, j ∈ S x(u) ∈ S P( ) X (s + t) = j X (s) = i, X (u) = x(u),0 ≤ u < s = P(X (s + t) = j X (s) = i) 则称 X (t),t ≥ 0 为连续时间 Markov 链。 一般 P(X (s + t) = j X (s) = i)称为转移概率，与时间 有关，若进一步此概 率与 无关则随机过程 称为有平稳转移概率的连续时间 Markov 链。此时记 s,t s X (t) P t P( ) X s t j X s i P(X t j X i) ij ( ) = ( + ) = ( ) = = ( ) = (0) = 。以下不特别指明，所涉及 到的连续时间 Markov 链是指有平稳转移概率的连续时间 Markov 链。若过程初 始分布为 pi = P(X (0) = i)，于是有 定理 5.1.1：连续时间 Markov 链的转移概率 Pij (t),i, j ∈ S 和初始分布 完全 确定了过程的任意有限维分布。 pi ,i ∈ S 转移概率 Pij (t),i, j ∈ S 的性质。首先 ( ) ≥ 0,∑ ( ) = 1 j∈S ij ij P t P t ；其次， ( ) ( ) ( ) ( ) ∑ ( ) ( ) ∑ ∑ ∑ ∈ ∈ ∈ ∈ = = = + = = = = = = + = = = + = + = = = + = = = k S ik kj k S k S k S ij P X s k X i P X s t j X s k P s P t P X s k X i P X s t j X s k X i P s t P X s t j X i P X s t j X s k X i ( ) (0) ( ) ( ) ( ) ( ) ( ) (0) ( ) ( ) , (0) ( ) ( ) (0) ( ) , ( ) (0) 即 Pij (t)满足 Chapman-Kolmogorov 方程。若过程不能刚到某个状态就瞬间离去即 1

imnP()=6,此条件称为标准性惫件,约定P(O)=·标准性条件意味着 limP(t)=P(0)。 Chapman- Kolmogorov方程写成矩阵形式有P(s+t)=P(s)P(t)。 52Q矩阵与 Kolmogorov向前、向后徽分方程 设X(),1≥0为标准连续时间 Markov链,状态空间为S={02…},转移概率 (1) 引理521:对给定i,j∈S,P()为t的一致连续函数 证明:设h>0, P(t+b)-P()=∑P(h)B2()-P2() k=0 -P(h)p2()+∑P(h)P 由此可知 P(t+h)-P()=∑P(h)P(1)-P()≥-{-P(h)2()2-{-P(h B(t+h)-P2()=∑P(h)B4(1)-P)≤∑(h)B()=1-P(h) 因此P?(+h)-P()=1-P(h):当h<0时有类似不等式,故一般地有 P(+b)-P()s1-P( 令h→0就得到证明 引理522:当i≠ P( qi=-qii 引理523:0≤∑q≤q1≤∞。 证明:任意固定N,由于∑0s∑2=1=0 令t0有

ij ij t P t = δ ↓ lim ( ) 0 ，此条件称为标准性条件，约定 Pij = δ ij (0) 。标准性条件意味着 lim ( ) (0)。Chapman-Kolmogorov 方程写成矩阵形式有 。 0 P t P t = ↓ P(s + t) = P(s)P(t) 5.2 Q 矩阵与 Kolmogorov 向前、向后微分方程 设 X (t),t ≥ 0 为标准连续时间 Markov 链，状态空间为S = {0,1,2L}，转移概率 Pij (t),i, j ∈ S 。 引理 5.2.1：对给定i, j ∈ S ， Pij (t)为t的一致连续函数。 证明：设h > 0， [ ] ∑ ∑ ∞ = ≠ ∞ = = − − + + − = − k k i ii ij ik kj ij k ij ij ik kj P h P t P h P t P t h P t P h P t P t 0, 0 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 由此可知 ( ) ( ) ( ) ( ) ( ) [ ] 1 ( ) ( ) [ ] 1 ( ) 0 P t h P t P h P t P t P h P t P h ij ii ij ii k ij + − ij = ∑ ik kj − ≥ − − ≥ − − ∞ = ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 ( ) 0 0, P t h P t P h P t P t P h P t P h ii k k i ij ik kj k ij + − ij = ∑ ik kj − ≤ ∑ = − ∞ = ≠ ∞ = 因此 P (t h) P (t) 1 P (h) ij + − ij ≤ − ii ；当h < 0时有类似不等式，故一般地有 P (t h) P (t) 1 P ( h ) ij + − ij ≤ − ii 令h → 0就得到证明。 引理 5.2.2：当i ≠ j ， = < ∞ ↓ ij ij t q t P (t) lim 0 ； = = − ≤ ∞ − ↓ i ii ii t q q t 1 P (t) lim 0 。 引理 5.2.3： ≤ ∑ ≤ ≤ ∞ 。 ≠ i j i 0 qij q 证明：任意固定 N ，由于 t P t t P t t P t ii j j i ij N j j i ij ( ) ( ) 1 ( ) 0, 0, − ∑ ≤ ∑ = ∞ = ≠ = ≠ 。 令 t ↓ 0 有 2

≤q,在令N→∞,立得。 定义521:矩阵Q=(n)称为标准连续时间Mov链的Q矩阵(密度矩阵) Q矩阵有以下性质 1)-∞≤qn≤0,i∈S; 2)0≤qn<9,≠j∈S; 3)0≤∑qs-qn=q ,I∈S 考察Q-矩阵的概率含义。设X(0)=1令r=inf{>0,X(1)≠l},表示首次离开 状态i的时刻 定理5,2,1:设(),1≥0为标准连续时间 Markov链(具有右连续轨道),则 P(x1>1X(0)2=1)=c 证明 P(x1>1|X(0)=1)=P(X(s)=10≤s54X(0)=) =lmx(b)=1k=01-21x(0)=1 lim exp2" In P In P[2' lim exp t= expt. lim In P(s) expt In[+Pi()-1]P(s)=I P2(s)- 从而E(1x(0)=)=1。决定过程在状态;上停留时间的长短,可以看成过程 离开状态的速率。当q=0,则P(r=叫X(0)=)=1,链几乎永远不离开状态 此时称状态为吸收态( (absorbed state;:当q,=∞,则P(x1=0X(0)=)=1,链几

i N j j i ij ∑q ≤ q =0, ≠ ，在令 N → ∞ ，立得。 定义 5.2.1：矩阵 ( )i j S Q qij ∈ = , 称为标准连续时间 Markov 链的Q -矩阵（密度矩阵）。 Q -矩阵有以下性质： 1) − ∞ ≤ qii ≤ 0,i ∈ S ； 2) 0 ≤ qij < ∞,i ≠ j ∈ S ； 3) q qii qi i S 。 j i ≤ ∑ ij ≤ − = ≤ ∞ ∈ ≠ 0 , 考察Q -矩阵的概率含义。设 X (0) = i 令τ i = inf{t > 0, X (t) ≠ i}，表示首次离开 状态i 的时刻。 定理 5.2.1：设 X (t),t ≥ 0 为标准连续时间 Markov 链(具有右连续轨道)，则 q t i i P t X i e− (τ > (0) = ) = 证明： [ ] ii q t ii ii s ii s n ii n n ii n n n ii n n n n n i i n e s P s P s P s t s P s t t t t P t P t P i k X i kt P X P t X i P X s i s t X i − ↓ →∞ ↓ →∞ →∞ →∞ = − ⋅ − + − = ⋅ ⋅ = ⋅ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = = = = > = = = ≤ ≤ = ( ) 1 ( ) 1 ln 1 ( ) 1 exp lim ln ( ) exp lim 2 2 ln limexp 2 limexp 2 ln 2 lim ) , 0,1, 2 (0) 2 lim ( ( (0) ) ( ( ) ,0 (0) ) 0 0 2 L τ 从而 ( ) i i q E X i 1 τ (0) = = 。 决定过程在状态i 上停留时间的长短，可以看成过程 离开状态i 的速率。当 ，则 qi qi = 0 P(τ i = ∞ X (0) = i) = 1，链几乎永远不离开状态i ， 此时称状态i 为吸收态(absorbed state)；当qi = ∞，则 P(τ i = 0 X (0) = i) = 1，链几 3

乎立即离开状态,此时称状态i为瞬过态 transient state);当0<q,<∞时,链停 留在状态i的时间服从指数分布,此时称状态i为稳定态( (steadible state)。此外若 ∑q=q,<∞,则称状态为保守的( conservative,若所有状态为保守的,则称 链为保守链,此时称Q一矩阵为保守的。 定理5,2,2:在定理52.1的条件下,设i是一个稳定状态,则对j≠i P(r<s,X(r)=fX(0)=1)=(1-e-9 特别令s→∞,有P(x()=x(0)=)=y q 证明:由定理52.1,在Y(0)=i条件τ是连续型随机变量,故 P(t=S, X()=jX(0)=1)=0.,=inf ( ≠1k=0,2…},则rn↓r。 P(rss, X(r)=jX(0)=i)=lim P(r, ss, X(rm)=jX(0)=i) k P(T X(zn)=X(0)= =,m=12…k-1X( n→a lim lir =(1 P(X(r)=X(0)=1)表示过程离开i立刻转到j的概率,由于q1表示过程离开状

乎立即离开状态i ，此时称状态i 为瞬过态(transient state)；当0 < qi < ∞ 时，链停 留在状态 的时间服从指数分布，此时称状态 为稳定态(steadible state)。此外若 ，则称状态i 为保守的(conservative)，若所有状态为保守的，则称 链为保守链，此时称Q -矩阵为保守的。 i i ∑ = < ∞ ≠ i j i qij q 定理 5.2.2：在定理 5.2.1 的条件下，设i 是一个稳定状态，则对 j ≠ i i q s ij q q P(τ s X j X i e i , ( ) (0) ) (1 ) − < τ = = = − 特别令 s → ∞，有 i ij q q P(X (τ ) = j X (0) = i) = 。 证明：由定理 5.2.1 ， 在 X (0) = i 条 件 τ 是连续型随机变量，故 P(τ = s, X (τ ) = j X (0) = i) = 0。令 ⎭ ⎬ ⎫ ⎩ ⎨ ⎧ ⎟ ≠ = ⎠ ⎞ ⎜ ⎝ ⎛ = , 0,1,2L 2 : 2 inf i k k X k n n n τ ，则τ n ↓τ 。 [ ] [ ] i q s ij n ij n n ii n s ii n n ij n ii n s ii n n k s ij n k ii n n k s n n n k s n n n n n n n q q e P P P P P P P P i m k X i m j X k P X X j X i k P P s X j X i P s X j X i i n n n n n (1 ) 2 1 2 1 2 1 2 1 1 2 1 1 lim 2 1 2 1 1 2 1 1 lim 2 1 2 1 lim , 1,2, 1 (0) 2 , 2 lim , ( ) (0) ) 2 lim ( ( , ( ) (0) ) lim ( , ( ) (0) ) 2 2 2 1 2 2 − →∞ →∞ ≤ − →∞ ≤ →∞ ≤ →∞ →∞ = − ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − = ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ − ⎟ = ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ ⎠ ⎞ ⎜ ⎝ ⎛ = ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎝ ⎛ ⎟ = = − = ⎠ ⎞ ⎜ ⎝ ⎛ ⎟ = ⎠ ⎞ ⎜ ⎝ ⎛ = = = = = ≤ = = = ≤ = = ∑ ∑ ∑ L τ τ τ τ τ τ P(X (τ ) = j X (0) = i)表示过程离开i 立刻转到 j 的概率，由于qi 表示过程离开状 4

态的速率,因此qn=q,P(X()=X(0)=1)表示过程从状态转到状态j的速 率 定理52.3:Q保守则P()=-qP()+∑qB()∈S,即P()=QP();若 P,(h) v∈Sq<且m-"h 0h=qk≠j关于k一致成立,则 P()=-P()+∑P()9,j∈S,即P()=P()Q 证明:由b>0,2(+b=202=-1-B(0+2边n P(+h)-P(),1-P(h) P(o Pk P() Pk(h) Pk(O h h h P(h 1-P(h) Pk(h) h h 4;h 令h→0有P()+9P()-∑qB(≤9-∑q’由Q保守,再令N→∞即 k=0.k≠ 得P()=-9P()+∑qP(0)l∈S 由h>0 P (t+h)-P (1) 1-P (h) P(h) B()+∑P() 令h→0和条件立 得P()=-P)+∑P(0)q,J∈S 微分方程P(1)=QP()称为 Kolmogorov向后微分方程而微分方程P(t)=P(t)Q 称为 Kolmogorov向前微分方程 在实际问题中,要得到转移概率P(O)=(2()往往是困难的,但它的密度矩 阵g=(q)是由P()在1=0的导数组成,换言之,Q刻画的是P()的无穷小特 征,仅由过程在1=0附近的运动就可以得到,所以实际问题中是先得到Q=(n) 再利用向前或者向后方程求出P(1) 例521:设随机信号以0,1传输,X(1)表示t时刻接收到的信号。X(),t≥0是

态i 的速率，因此q q P(X ( ) j X (0) i) ij = i ⋅ τ = = 表示过程从状态i 转到状态 j 的速 率。 定理 5.2.3： Q 保守则 P t q P t q P t i S k i ij′ = − i ij +∑ ik kj ∈ ≠ ( ) ( ) ( ), ，即 ；若 且 P′(t) = QP(t) ∀ S q j j ∈ , < ∞ q k j h P h kj kj h = ≠ ↓ , ( ) lim 0 关 于 k 一致成立，则 P t P t q P t q j S k j ij′ = − ij j + ∑ ik kj ∈ ≠ ( ) ( ) ( ) , ，即 P′(t) = P(t)Q 。 证明：由h > 0， ∑≠ + − = − + − k i kj ik ij ii ij ij P t h P h P t h P h h P t h P t ( ) ( ) ( ) ( ) ( ) 1 ( ) ∑ ∑ ∑ ∑ = ≠ ∞ = + ≠ ∞ = ≠ = + ≠ − − ≤ = − = − + + − N k k i ii ik k N k i ik k N k i kj ik N k k i kj ik ij ii ij ij h P h h P h h P h P t h P h P t h P h P t h P h h P t h P t 1, 0, 0, 1, ( ) 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 ( ) 令h → 0有 ∑ ∑ = ≠ = ≠ ′ + − ≤ − N k k i i ik N k k i ij i ij ik kj P t q P t q P t q q 0, 0, ( ) ( ) ( ) ，由 保守，再令 即 得 。 Q N → ∞ P t q P t q P t i S k i ij′ = − i ij +∑ ik kj ∈ ≠ ( ) ( ) ( ), 由h > 0， ∑≠ + − = − + − k j kj ij ik ij ij jj h P h P t P t h P h h P t h P t ( ) ( ) ( ) ( ) ( ) 1 ( ) ，令 和条件立 得 。 h → 0 P t P t q P t q j S k j ij′ = − ij j + ∑ ik kj ∈ ≠ ( ) ( ) ( ) , 微分方程 称为Kolmogorov 向后微分方程，而微分方程 称为 Kolmogorov 向前微分方程。 P′(t) = QP(t) P′(t) = P(t)Q 在实际问题中，要得到转移概率 P(t) (P (t)) = ij 往往是困难的，但它的密度矩 阵 ( ) Q = qij 是由 在 的导数组成，换言之，Q 刻画的是 的无穷小特 征，仅由过程在 P (t) ij t = 0 P(t) t = 0附近的运动就可以得到，所以实际问题中是先得到 ( ) Q = qij ， 再利用向前或者向后方程求出 P(t) 。 例 5.2.1：设随机信号以 0，1 传输，X (t)表示t时刻接收到的信号。X (t),t ≥ 0 是 5