中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 第二章 Markov过程 9.应用问题 (一)几种重要的纯不连续马氏过程 (1) Poission过程(专门讲解) (2)纯增殖过程(人口问题) 纯增殖过程的转移概率为: (t)△t+o(△), k=n+1 PX(+△)=kX()=n}={o(△ k≠n,n+1,k>n 1-元(D)△+O(△),k=n 即在纯不连续增殖过程中,如果在[0,1)内出现n个个体X()=n的 条件下,在[+△)内出现一个新个体的概率为x()△+o(△), 出现二个或二个以上新个体的概率为o(△t),没有出现新个体的 概率为1-,(1)△t+o(△r) 纯增殖过程的状态空间为S={0,1,2,…} 关心的问题是:在t时刻,系统具有n个个体的概率是多少, 即要求 P{X(1)=n}=pn(1)=? 假定初始(t=0)时系统有m个个体,m∈S,即 P{X(0)=m}=pn(0)=1,并假定A(1)=(与t无关),我们来求 pn(D)=P{X(1)=n}。 我们注意到:在0,t+M)内出现n(n>m)个个体可以等价于下 列不相容的情况之和:(a)在[0,1)内出现n个个体,在t,t+△1)内
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 第二章 Markov 过程 9．应用问题 （一） 几种重要的纯不连续马氏过程 （1） Poission 过程（专门讲解） （2） 纯增殖过程（人口问题） 纯增殖过程的转移概率为： − + = + + = + + = = = t t t k n t k n n k n t t t k n P X t t k X t n n n 1 ( ) ( ) , ( ) , , 1, ( ) ( ) , 1 { ( ) ( ) } 即在纯不连续增殖过程中，如果在 [0,t) 内出现 n 个个体 X(t) = n 的 条件下，在 [t,t + t) 内出现一个新个体的概率为 (t) t ( t) n + ， 出现二个或二个以上新个体的概率为 (t) ，没有出现新个体的 概率为 1 (t) t ( t) − n + 。 纯增殖过程的状态空间为 S ={0,1,2, } 关心的问题是：在 t 时刻，系统具有 n 个个体的概率是多少， 即要求： P{X (t) = n} = p (t) = ? n 假定初始（ t = 0 ）时系统有 m 个个体， mS ， 即 P{X (0) = m} = pm (0) =1 ，并假定 n n (t) = （与 t 无关），我们来求 p (t) P{X (t) n} n = = 。 我们注意到：在 [0,t + t) 内出现 n (n m) 个个体可以等价于下 列不相容的情况之和：（a）在 [0,t) 内出现 n 个个体，在 [t,t + t) 内
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 出现0个个体;(b)在[0,)内出现n-1个个体,在[+△1)内出 现1个个体;(c)在[0,1)内出现n-2个个体或n-2个体以下,在 t+△)内出现2个个体或2个个体以上,因此有: pn(t+△)=pn(D)p0(△t)+pn1(O1)p2(△)+o(△) =Pn()1-2A]+pn(1)△)+o(△)(n>m) 因此有 dp(t) dt Pn(1)+ 同理,有: P0(t+△t)=p0(m)1-AA]+o(△)(m=0) pn(t+△)=pn()1-A]+o(A)(m≠0) 即有 dp(t) 1P0(1) dp (t) dt npn(),m≠0 用 Laplace变换解此微分方程可得: P ∏(4-,) (3)生灭过程 定义:纯不连续马氏过程{X(,t≥0}如果满足 (a)过程中状态转移仅限于从一个状态向其邻近状态转 移 (b)若X()=n,则在[t,t+△)内产生由n状态转移到
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 出现 0 个个体；（b）在 [0,t) 内出现 n −1 个个体，在 [t,t + t) 内出 现 1 个个体；（c）在 [0,t) 内出现 n − 2 个个体或 n − 2 个体以下，在 [t,t + t) 内出现 2 个个体或 2 个个体以上，因此有： ( )[1 ] ( ) ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 0 1 1 p t t p t t t n m p t t p t p t p t p t t n n n n n n n = − + + + = + + − − − 因此有： p t p t n m dt d p t n n n n n = − ( ) + − − ( ) ( ) 1 1 同理，有： ( ) ( )[1 ] ( ) ( 0) ( ) ( )[1 ] ( ) ( 0) 0 0 0 + = − + + = − + = p t t p t t t m p t t p t t t m m m m 即有： = − = − = ( ) , 0 ( ) ( ) , 0 ( ) 0 0 0 p t m dt d p t p t m dt d p t m m m 用 Laplace 变换解此微分方程可得： = = − − − − = − n i m n j m j i i j t m n n m n e p t , 1 ( ) ( ) ( 1) 1 （3） 生灭过程 定义：纯不连续马氏过程 {X(t), t 0} 如果满足： （a） 过程中状态转移仅限于从一个状态向其邻近状态转 移； （b） 若 X(t) = n ，则在 [t,t + t) 内产生由 n 状态转移到
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 (n+1)状态的概率为:(1)M+o(A1);产生由n状态转移 到(n-1状态的概率为:()△+O(△); (c)若X(1)=n,则在[t,t+△)内转移二个或二个以上状 态的概率为o(At) 则称此纯不连续马氏过程{X(1),t≥0}为生灭过程。 状态空间为S={0,1,2,} 由定义,可得生灭过程的Q(生灭矩阵)矩阵为 000 0 (2+2)2 0 (n+4n)0 0 在条件λ>0,1≥0,>0,1≥1,(=0)下,有: i-1>i<>i+1(i≥1) 因此,可知对,j∈S,有i<>j,从而这样的生灭过程是不可约 的 由生灭矩阵可以写出K一F前进方程: d po(t) dt, po()+u, Por() dt=an, Pon()-(, +A )Pon(0)+un+Pon(t)n21 d po(t) (A) -1p0(t)+P1P1() dp (t) =an-pin(t)-(n+u,P ()+upim(t)n2 dt
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 (n +1) 状态的概率为： (t) t ( t) n + ；产生由 n 状态转移 到 (n −1) 状态的概率为： (t) t ( t) n + ； （c） 若 X(t) = n ，则在 [t,t + t) 内转移二个或二个以上状 态的概率为 (t)。 则称此纯不连续马氏过程 {X(t), t 0} 为生灭过程。 状态空间为 S ={0,1,2, } 由定义，可得生灭过程的 Q （生灭矩阵）矩阵为： − + − + − + − = 0 0 0 0 0 ( ) 0 0 ( ) 0 0 ( ) 0 0 0 0 0 0 0 2 2 2 2 1 1 1 1 0 0 n n n n Q 在条件 i 0 , i 0 ， i 0 , i 1 ，（ 0 = 0 ）下，有： i −1i i +1(i 1) 因此，可知对 i, jS ，有 i j ，从而这样的生灭过程是不可约 的。 由生灭矩阵可以写出 K－F 前进方程： = − + + = − + = − + + = − + − − + + − − + + ( ) ( ) ( ) ( ) 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 ( ) ( ) ( ) ( ) 1 1 1 1 0 0 1 1 0 1 0 1 0 1 0 1 0 0 0 0 1 0 1 0 0 p t p t p t n dt d p t p t p t dt d p t p t p t p t n dt d p t p t p t dt d p t n i n n n i n n i n i n i i i n n n n n n n n (A)
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 Fokker-Planck方程: ∫p()=-p(0)+Ap1() P(1)=1P1-()-(x,+H1)P,(t)+H1P 其中i=0,1,2,…,j=1,2,…。以上的λ,n(n=012,…)均可以 是t的函数。 如果{X()t≥0的极限分布存在,即p=mp,(1),且与i无 关,则有p(1)=0(→>∞),因此在 Fokker-Planck方程中令t→, 有: 1P0+H1P1=0 P=1-(41+H)P1+HmP+1=0j2 解以上代数方程组得: PI P0,P2 P,…,p2=xx…1- 1112x…k 利用:∑p=1,我们有: 1+ 1142… 由此可知,当 < k=11H2…{k 时,0<p0<1,0<p<1(k≥1),因此可得以下定理: 定理:设{X(t)t≥0}时生灭过程,λ>0,1≥0,>0,≥1, =0,则{X(t),t≥0}存在唯一的平稳分布(它就等于极限分布 的充要条件为 < 1142
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 Fokker-Planck 方程： = − + + = − + −1 −1 +1 +1 0 0 1 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) j j j j j j j pj p t p t p t p t p t p t 其中 i = 0,1,2, , j =1,2, 。以上的 n n , （ n = 0,1,2, ）均可以 是 t 的函数。 如果 {X(t), t 0} 的极限分布存在，即 p lim p (t) i j t j → = ，且与 i 无 关，则有 p (t) = 0 (t →) j ，因此在 Fokker-Planck 方程中令 t → ， 有： − + + = − + = − − ( ) + + 0 1 0 1 1 1 1 0 0 1 1 p p p j p p j j j j j j j 解以上代数方程组得： 0 1 2 0 1 1 0 1 2 0 1 0 2 1 0 1 p p , p p , , p p k k k − = = = 利用： =1 kS pk ，我们有： 1 1 1 2 0 1 1 0 1 − = − = + k k k p 由此可知，当 = − 1 1 2 0 1 1 k k k 时， 0 1, 0 1 ( 1) p0 pk k ，因此可得以下定理： 定理：设 {X(t), t 0} 时生灭过程， i 0 , i 0 ， i 0 , i 1 ， 0 = 0 ，则 {X(t), t 0} 存在唯一的平稳分布（它就等于极限分布） 的充要条件为： = − 1 1 2 0 1 1 k k k
中科院研究生院2004~2005第一学期随机过程讲稿孙应飞 且 Pk P k=1112…k 12…… 给定起始状态X(0)=i∈S,就可以求得过程在t时刻处于状态 n的概率p(1)=P{X()=m},初始条件为: 1.n=i P(O)=0 0.n≠ 如果λn,p均是t的函数,则上述过程称为非齐次生灭过程; 如果λ,μ均是t的线性函数,则称为非齐次线性生灭过程 如果,μ均与t的无关,则上述过程称为齐次生灭过程 特别地,假设λn=n2(),n=n(1),此时过程是非齐次线性生 灭过程,关于此情况时的微分方程(A)的解法(用母函数求解 法)可以看P179(课后阅读)。 当n=n,An=m(与1无关),此时过程是齐次线性生灭过程 对于此时,我们可以求E{Y(t)},具体求法如下: 此时的生灭矩阵为 0 02 2(+p)2元 0 0 nu -n(n 0 0 写出福克一普朗克方程:
中科院研究生院 2004～2005 第一学期 随机过程讲稿 孙应飞 且 0 1 2 0 1 1 1 1 1 2 0 1 1 p0 1 p p k k k k k k − − = − = = + 给定起始状态 X(0) = iS ，就可以求得过程在 t 时刻处于状态 n 的概率 p (t) P{X (t) n} n = = ，初始条件为： = = n i n i pin 0 , 1, (0) 如果 n n , 均是 t 的函数，则上述过程称为非齐次生灭过程； 如果 n n , 均是 t 的线性函数，则称为非齐次线性生灭过程； 如果 n n , 均与 t 的无关，则上述过程称为齐次生灭过程。 特别地，假设 n (t), n (t) n = n = ，此时过程是非齐次线性生 灭过程，关于此情况时的微分方程（A）的解法（用母函数求解 法）可以看 P179（课后阅读）。 当 n = n, n = n （与 t 无关），此时过程是齐次线性生灭过程， 对于此时，我们可以求 E{X(t)} ，具体求法如下： 此时的生灭矩阵为 − + − + − + = 0 0 0 0 0 ( ) 0 0 2 2( ) 2 0 0 ( ) 0 0 0 0 0 0 0 0 0 n n n Q 写出福克－普朗克方程：