电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第2节 离散参数马尔科夫链与遍历性（马氏链序列）

分析设X(n表示第n次摸球后坛子中的黑 球个数.每取放一次后黑球或者增加C个黑球， 或者不变. 显然，{X(n),n≥l}是马氏链，但 p (n)=P{X(n+1)=jX(n)=i) n次转移概 j=i+c; 率与n有关， b+r+nc X(n),n≥l} b+r+nc’ 是非齐次马 0,其他. 氏链 电子科技大学

电子科技大学 分析 设X(n)表示第n次摸球后坛子中的黑 球个数.每取放一次后黑球或者增加 c 个黑球, 或者不变. 显然, {X(n), n≥1}是马氏链，但 ( ) { ( 1) ( ) } (1) p n P X n j X n i ij                   0, . 1 , ; , ; 其他 j i b r nc i j i c b r nc i n次转移概 率与n有关 , {X(n), n≥1} 是非齐次马 氏链

EX6.随机游动（高尔顿钉板试验） 将一个小球投入无限大高尔顿钉板内，小球 各以的概率向左或向右移动一格。 在第k层向右位移一格 在第k层向左位移一格 电子科技大学

电子科技大学 EX6. 随机游动(高尔顿钉板试验)     1 . 1, ; ( ) ， 在第 层向左位移一格 在第 层向右位移一格 k k X k

X() -1 1 P(X(k)=i 1/2 1/2 n 反 Y(m=∑X(k, 随机游动n步 k=0 所处的状态 状态空间E=N,有 P(Y(m)=jnY(m)=j,Y(m2)=j2,Y(m1)=jn1 P(Y(mn)=jnY(mn-1)=jn-1) {Y(n),n∈W是马氏过程. 电子科技大学

电子科技大学 P{X(k)=i } X(k) －1 1 1/ 2 1/ 2    n k Y n X k 0 令 ( ) ( ), 随机游动n 步 所处的状态 { ( ) ( ) , ( ) , ( ) } n  n 1  1 2  2 n1  n1 P Y m j Y m j Y m j Y m j { ( ) ( ) } 1 1    n n n n P Y m j Y m j 状态空间 E  N, 有 {Y(n),n∈N}是马氏过程

更进一步，因对任意m有 p(m)=P(Y(m+1)=jY(m)=i=p=pp 即马氏链{Y(n),n∈N的一步转移概率与起 始时刻无关，是齐次马氏链， 转移矩阵为 P= 2 2 电子科技大学

电子科技大学 更进一步，因对任意m 有 pi ( j 1)(m)  P{Y(m  1)  jY(m)  i}  pi ( j 1)  pij， 即马氏链 {Y(n), n∈N}的一步转移概率与起 始时刻无关， 是齐次马氏链.                       2 1 0 2 1 0 2 1 0 2 1 0 P 转移矩阵为