电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第4节 马尔科夫吸收链（马氏吸收链）

§6.4马氏吸收链 EX.1另一类迷宫问题 2 迷宫的四个分隔间都是相通 3 的，在第四分隔间里放有食物 分析老鼠受到食物的吸引 不会再运动到其它房间. 老鼠运动过程的转移矩阵为

电子科技大学 §6.4 马氏吸收链 EX.1 另一类迷宫问题 迷宫的四个分隔间都是相通 的,在第四分隔间里放有食物 1 4(食物) 2 3 分析 老鼠受到食物的吸引 不会再运动到其它房间. 老鼠运动过程的转移矩阵为

1 0.3 0.3 0 0.4 2 0.2 0.3 0.2 0.3 P 三 3 0 0.3 0.3 0.4 (Pi), 4 0 0 0 1 有两个特点： 1.老鼠一旦进入状态4，它将永远停留在 状态4； 2.从任何一个状态出发，都可以进入状 态4

电子科技大学 ( ), 0 0 0 1 0 0.3 0.3 0.4 0.2 0.3 0.2 0.3 0.3 0.3 0 0.4 4 3 2 1 P  pij        1.老鼠一旦进入状态4，它将永远停留在 状态4; 有两个特点： 2. 从任何一个状态出发，都可以进入状 态4

定义6.4.1若马氏链至少含有一个吸收状 态，并且从每一个非吸收状态出发，都可以 到达某个吸收状态，称此马氏链为吸收链， EX.2设马氏链的状态空间E={0,1,2,, ,状态转移图为 109 其一步转移矩阵为

电子科技大学 定义6.4.1 若马氏链至少含有一个吸收状 态，并且从每一个非吸收状态出发，都可以 到达某个吸收状态，称此马氏链为吸收链. p 0 q 1 a－1 a 1 1 … EX.2 设马氏链的状态空间E={0, 1, 2, …, a}, 状态转移图为 其一步转移矩阵为

T1000.000 q0p0.000 q0p…004 0 P 三 0000·90p (0<q<1,0p<1) 0000·..001 0和是吸收状态，是吸收链

电子科技大学      0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0       q p q p q p P (0<q<1, 0<p<1 ) 0和a 是吸收状态，是吸收链

EX.3设马氏链的状态空间E={1,2,3,4,5} 其一步转移矩阵为 0 0 0 1 2 3 0 0 0 2 P 三 140 0 0 1 0 3 0 12 12 4 0 0 0 5 1 2 3 4 5

电子科技大学 EX.3 设马氏链的状态空间E={1,2,3,4,5}, 其一步转移矩阵为      0 0 0 1 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 2 1 2 1 4 3 4 1 2 1 2 1 P 1 2 3 4 5 1 2 3 4 5