中科院研究生院《随机过程》讲稿：第二章 Markov 过程（2-6）参数连续状态离散的马氏过程

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 第二章 Markov过程 6参数连续状态离散的马氏过程 ()参数连续状态离散的马氏过程的转移概率 定义:设X={X(1),t≥0}是取值于状态空间S的随机过程,S是 有限或无限可列的,如果对于任意的正整数n,任意的 0≤1<21<…<tn<tn,及任意的状态i,i2…,i,in∈S,均有: P{Y(n)=inXx(t)=1,X(2)=2,…,X(n)=i} PX(m)=imX(t)=in) 则称此随机过程为参数连续状态离散的马氏过程(纯不连续了马 氏过程)。 对于纯不连续马氏过程,有: P{X(2)=X(),0≤t≤t}=P{X(2)=X(1)=}t≤t2,b,j∈S 记 P,(,2)=P{X(t2)=fX(t1)=l 称此条件概率为纯不连续了马氏过程的转移概率。 显然有: P,(t1,t2)≥0 ∑P,(12)=1i∈S

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 6 参数连续状态离散的马氏过程 （一）参数连续状态离散的马氏过程的转移概率 定义：设 X ={X(t) , t  0} 是取值于状态空间 S 的随机过程， S 是 有 限或 无限 可列 的，如 果对 于任 意的 正整 数 n ，任 意的 0  1  2   n  n+1 t t  t t ，及任意的状态 i 1 ,i 2 ,  ,i n ,i n+1 S ，均有： { ( ) ( ) } { ( ) ( ) , ( ) , , ( ) } 1 1 1 1 1 1 2 2 n n n n n n n n P X t i X t i P X t i X t i X t i X t i = = = = = = = + + + +  则称此随机过程为参数连续状态离散的马氏过程（纯不连续了马 氏过程）。 对于纯不连续马氏过程，有： P{X(t 2 ) = j X(t), 0  t  t 1 }= P{X(t 2 ) = j X(t 1 ) = i} t 1  t 2 , i, jS 记： ( , ) ˆ { ( ) ( ) } 1 2 2 1 p t t P X t j X t i i j = = = 称此条件概率为纯不连续了马氏过程的转移概率。 显然有：     =    p t t i S p t t j S i j i j ( , ) 1 ( , ) 0 1 2 1 2

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 如果p,(t,1)仅为时间差t=12-1的函数,而与t1和t2的值无 关,则称此纯不连续了马氏过程为齐次的。此时 P,()=P,(1,t2)=P{X(2)=X(1)=1}t=12-1 P,(1)≥0i,∈S,t≥0 ∑P,()=1i∈S,t≥0 我们主要讨论齐次纯不连续了马氏过程 C-K方程: 一般情形: P{X(1)=X(1)=l}= ∑PX(t)=X(1)=k}P{X(2)=k|X(1)= k∈S S 齐次情形: P,(+)=∑P(D)P,(r),(,∈S,t>0,z>0) 连续性条件 I=y lim p(t=8 -10,i≠J 满足连续性条件的马氏过程称为随机连续的马氏过程。 注:i,j固定时,可以证明齐次纯不连续,并且随机连续的马 氏过程的转移概率P()是关于t的一致连续函数,并且是可微 的

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 如果 ( , ) 1 2 p t t i j 仅为时间差 2 1 t = t − t 的函数，而与 1 t 和 2 t 的值无 关，则称此纯不连续了马氏过程为齐次的。此时 1 2 2 1 2 1 p (t) p (t ,t ) ˆ P{X (t ) j X (t ) i} t t t i j = i j = = = = −     =       ( ) 1 , 0 ( ) 0 , , 0 p t i S t p t i j S t j S i j i j 我们主要讨论齐次纯不连续了马氏过程。 C－K 方程： 一般情形： ( , , ) { ( ) ( ) } { ( ) ( ) } { ( ) ( ) } 1 2 3 3 2 2 1 3 1 t t t i j S P X t j X t k P X t k X t i P X t j X t i k S    = = = = = = = =  齐次情形： ( + ) =  ( ) ( ) , ( ,  ,  0,  0)  p t  p t p  i j S t  k S i j i k k j 连续性条件：     = = = → i j i j p t i j i j t 0, 1, lim ( ) 0  满足连续性条件的马氏过程称为随机连续的马氏过程。 注： i, j 固定时，可以证明齐次纯不连续，并且随机连续的马 氏过程的转移概率 p (t) i j 是关于 t 的一致连续函数，并且是可微 的

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (二)无穷小转移率q,及转移率矩阵(Q矩阵) 取任意充分小的△t>0,由连续性条件及注,我们有: P,(△D)=P,(0)+q,At+O(△)=8,+q,△t+o(△D) 即 g,=lmP,(△1)- △t→0 △ 我们称q为无穷小转移率或跳跃强度,显然有 lim P(At) △t q J Pn(△t)-1 △t 即有 4120,(≠j,q,≤0,(=j 由∑P,(△1)=1及上面的式子,有: 1=1+∑9A+∑o(A)=|29/=∑) △t 两边求极限,即有: q 当状态是有限的时候,我们可以定义一个矩阵如下: loo ou q lo qu q q1 qno qmi q qn mn/(n+1)x(n+1) 称Q为转移率矩阵或Q矩阵

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 （二）无穷小转移率 qi j 及转移率矩阵（ Q 矩阵） 取任意充分小的 t  0 ，由连续性条件及注，我们有： p ( t) p (0) q t ( t) q t ( t) i j  = i j + i j +  = i j + i j +  即： t p t q i j i j t i j   − =  → ( )  lim 0 我们称 qi j 为无穷小转移率或跳跃强度，显然有：        =   −    =  →  → i j t p t i j t p t q i i t i j t i j , ( ) 1 lim , ( ) lim 0 0 即有： q 0, (i j), q 0, (i j) i j   i j  = 由  ( ) =1 jS i j p t 及上面的式子，有：            =       +        = + j S j S i j j S j S i j t t q t t q ( ) 1 1 ( )   两边求极限，即有：  = 0 jS qi j 当状态是有限的时候，我们可以定义一个矩阵如下： 0 1 2 ( 1) ( 1) 10 11 12 1 00 01 02 0 +  +               = n n n nn n n n n q q q q q q q q q q q q Q        称 Q 为转移率矩阵或 Q 矩阵

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 注:当状态为无限可列时,也可以定义形式上的Q矩阵 (三) Kolmogrov- Feller前进方程 由C-K方程,取任意充分小的At>0,有: P,(t+△)=∑P(D)P(△D =p,(D)p,(△1)+∑pA)p,(△1)(i∈S) keS,k≠j 由 P/(△1)=94t+0(△)k≠j P(A)=1+q△t+o(△) 有: P,(+△) =P,()1+qAt+o(△)+∑P2()q,△t+o(△) 即有: P,、(t+△t)-P,(t) ∑PA()q (△t) △t △t 令△t→0,我们有: P d=p.(0,,∈S,120 由初始条件: ∫P,O)=0i≠ pn(0)=1 即可解得上面的方程组。 当状态有限时,我们令:

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 注：当状态为无限可列时，也可以定义形式上的 Q 矩阵。 （三）Kolmogrov—Feller 前进方程 由 C－K 方程，取任意充分小的 t  0 ，有： ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , p t p t p t p t i S p t t p t p t k S k j i j j j i k k j k S i j i k k j =  +   +  =  =      由：     = +  +   =  +   ( ) 1 ( ) ( ) ( ) p t q t t p t q t t k j j j j j k j k j   有：   = +  +  +  +  +  = k S k j i j j j i k k j i j p t q t t p t q t t p t t , ( )[1 ( )] ( )[ ( )] ( )   即有： t t p t q t p t t p t k S i k k j i j i j   = +  +  −   ( ) ( ) ( ) ( )  令 t → 0 ，我们有： ( ) , , 0 ( ) =     p t q i j S t d t d p t k S i k k j i j 由初始条件：    = =  (0) 1 (0) 0 i i i j p p i j 即可解得上面的方程组。 当状态有限时，我们令：

中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (t)=(p0(t),pn(1)…,pn() 则有: dr(t =r;(1)Qi=0,1,2,…,n r(O)=(00,…1…0) 进一步,若记 0()(pon(t)pn(t)…Po、() r()|_pn()p1()…pn、() P(t) r,(1)(pn(t)pn()…pn() (n+1)×(n+1) 则有 dp(t P(tQ P(0)=l (n+1)×(n+1) 此即为 Kolmogrov-Feer前进方程。 (四) Kolmogrov- Feller后退方程 根据C一K方程,取任意充分小的△t>0,有: P,(t+△D)=p,(△t+1)=∑P(△D)P() P(△D)P,()+∑P(△D)P,()(i∈ 由: P(△n)=q1△t+o(△n)k≠ p,(△t)=1+qn△t+O(△t) 得

中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 ( ) ( ( ), ( ), , ( )) 0 1 t p t p t p t i = i i  in 则有：  ( )      = =  =  (0) 0,0, ,1, 0 ( ) 0,1,2, , ( )    i i i t Q i n d t d t 进一步，若记： 0 1 ( 1) ( 1) 1 0 1 1 1 0 0 0 1 0 1 0 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) +  +               =                  = n n n n n n n n n p t p t p t p t p t p t p t p t p t t t t P t        则有：      = = ( +1)( +1) (0) ( ) ( ) n n P I P t Q d t d P t 此即为 Kolmogrov—Feller 前进方程。 （四）Kolmogrov—Feller 后退方程 根据 C－K 方程，取任意充分小的 t  0 ，有： ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) , p t p t p t p t i S p t t p t t p t p t k S k j i i i j i k k j k S i j i j i k k j =  +   +  =  + =  =      由：     = +  +   =  +   ( ) 1 ( ) ( ) ( ) p t q t t p t q t t k i i i i i i k i k   得：