电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第2节 离散参数马尔科夫链与遍历性（马氏链序列）

P(X(m+1)=im X(m)=imX(m-1)=im-12...X(0)=io) =P{X(m+1)-inl X(m)-i=p(m) 注例中有 1)p(m)≥0；（付m≥0，及i,j∈E)为 2)∑p(m)=1,(i∈E,m≥0. 电子科技大学

电子科技大学 P{X(m+1)=im+1 | X(m)=im ,X(m－1)=im－1 , …,X(0)=i0} 1) ( ) 0; ( 0, , ); (1) pij m  m  及i j  E       j E 2) pij (m) 1, (i E, m 0). (1) 注 例中有

EX.2迷宫问题定时观 察老鼠位于哪一个房间？ 状态空间E={1,2,3}, X(n)为第n次观察时 老鼠所处位置， 在时刻n,老鼠处于各状态的概率只与第n一 1次时所处状态与转移概率有关，而与第一 1次前的状态无关 老鼠的随机转移状态运动过程是一个马氏链， 电子科技大学

电子科技大学 1 2 3 状态空间 E={1, 2, 3 } , X(n)为第n 次观察时 老鼠所处位置, EX.2 迷宫问题 定时观 察老鼠位于哪一个房间？ 老鼠的随机转移状态运动过程是一个马氏链

EX.3设X(n),n=1,2,..是相互独立随机变 量，令 P219 Y(m)=[X(I)+X(2)+…+X(m2n=1,2, 习题2 证明：{Y(n),n=1,2,}是马尔科夫链. 证记Sn=X()+X(2)+…+X(m,n=1,2,… 则Y(m)=S2={X(1)+X(2)+…+X(n-1)]+X(m}2 =[Sn-1+X(n)=S7-1+2Sn-1X(m)+[X(n 且X(n)与Y(1)=S,Y(2)=S2,,Y(n-1)=S 分别相互独立 电子科技大学

电子科技大学 EX.3 设X(n), n=1,2, …是相互独立随机变 量, 令 Y(n)  [X(1)  X(2)  X(n)]2 n  1,2, 证明：{Y(n),n  1,2,}是马尔科夫链. P219 习题2 证 记 Sn  X(1)  X(2)  X(n), n  1,2, 2 2 Y(n) S {[X(1) X(2) X(n 1)] X(n)} 则  n      2 1 2 1 2 1 [S X(n)] S 2S X(n) [X(n)]  n   n  n  2 2 2 1 2 1 ( ) (1) , (2) , , ( 1) X n Y S Y S Y n Sn 且 与      分别相互独立

P{Y(m)=ynY()=1,Y(2)=y'2,…Y(n-1)=ym-1} =PS2+2SaXm）+X(2=jyS=,…S21=y.} =P{y1+2Vyn-1Xm)+X(n=ynS=乃1，…，S2=y-} 因X()与S,S2,…,S2均相互独立故 P{Y(m)=ynY()=J1,Y(2)=Jy2,…Y(n-1)=ym-i} =P{y-+2VyX(+[X()=nS=Jy,…,S21=y} P(y+2yX(n)+[X(n)=y.3 (1) 电子科技大学

电子科技大学 { ( ) (1) , (2) , ( 1) } 1 2 1      n n P Y n y Y y Y y Y n y { 2 ( ) [ ( )] , , }1 2 1 1 2 1 2 1 21          n n n n n P S S X n X n y S y  S y { 2 ( ) [ ( )] , , }1 2 1 1 2 1 2 1 1         n n n n n P y y X n X n y S y  S y 因X(n)与S1 2 , S2 2 ,, Sn 21均相互独立,故 { 2 ( ) [ ( )] , , }1 2 1 1 2 1 2 1 1         n n n n n P y y X n X n y S y  S y { ( ) (1) , (2) , ( 1) } 1 2 1      n n P Y n y Y y Y y Y n y { 2 ( ) [ ( )] } (1) 2 n 1 n 1 n  P y  y X n  X n  y  

另一方面 P(Y(n)=yY(n-1)=yn-} P(Vn-1+2n-1X(n)+[X(n)P=yn S21=ya-1) =P{yn-1+2Vym-1X(n)+[X(m)2=yn}(2) 比较(1)和(2)得 PY(m)=ynY(I)=1,Y(2)=2,…,Y(n-1)=ym1} =P(Y(n)=ynY(n-1)=yn-1} 即{Y(n),n=1,2,}是马尔科夫链. 电子科技大学

电子科技大学 另一方面 { ( ) ( 1) } 1    n n P Y n y Y n y { 2 ( ) [ ( )] }1 2 1 2 1 1        n n n n n P y y X n X n y S y { 2 ( ) [ ( )] } (2) 2 n 1 n 1 n  P y  y X n  X n  y   比较(1)和(2)得 1 2 1 { ( ) (1) , (2) , , ( 1) } P Y n n n y Y y Y y Y n y        { ( ) ( 1) }   n   n1 P Y n y Y n y 即{Y(n),n  1,2,}是马尔科夫链