不可约Markov链 定义：若Markov链只存在一个类，就称它是不可约的， 否则称为可约的
不可约Markov链 6 定义 :若Markov链只存在一个类，就称它是不可约的, 否则称为可约的
闭集 定义 设Markov链的状态空间为S,CcS,若对任 意的i∈C及jC,都有P,=0,则称C为（随机）闭集。 若C的状态相通，则称闭集C是不可约的. 注：闭集C的直观意义是自C的内部不能到达C的外部， 这意味着系统状态一旦进入闭集C内，它就永远在C中运动 Pi =1 √状态i是吸收态等价于单点集{i}是闭集-最小 的闭集； √Markov链的整个状态空间S是最大的闭集
定义 设Markov链的状态空间为S， ，若对任 意的 , 都有 ，则称 C 为(随机)闭集. i C j C 及 0 ij p = C S ✓ 状态 i 是吸收态等价于单点集{ i }是闭集-最小 的闭集； 闭集 注： 7 若C 的状态相通, 则称闭集C 是不可约的. pii = 1 ✓Markov链的整个状态空间 S 是最大的闭集. 闭集 C 的直观意义是自 C 的内部不能到达 C 的外部， 这意味着系统状态一旦进入闭集 C 内，它就永远在 C 中运动
二.状态的性质 (一)周期性 1.周期性的定义 2.周期性是一个类性质
二.状态的性质 1.周期性的定义 2.周期性是一个类性质 （一）周期性
1.周期性的定义 定义：若集合{n:n≥1，p”>0}≠， 则称它的最大公 约数d=d①为状态i的周期. 特别地，如果上述集合为空集，则称i的周期为无穷大 若心1，称i为周期的；若d=1,称i为非周期的. 注：若状态i的周期为d,则对一切n0(mod(),即当n非d的 倍数时，都有p”=0; 但并非对任意的n,都有p"d>0. 例如：S={1,2,.,9 ,⑧- 3,® d(1)=2 Vies,d(i)=?
定义：若集合 则称它的最大公 约数d=d(i)为状态 i 的周期. ( ) : 1, 0 , n ii n n p 注：若状态 i 的周期为d ,则对一切n≠0(mod(d)),即当 n 非 d 的 倍数时,都有 ; ( ) 0 n ii p = 例如：S =1,2, ,9 1 ① ② ③ ⑥ ⑤ ④ ⑦ ⑧ ⑨ 1 1 1 1 1 1 1 1 3 2 3 9 但并非对任意的n，都有 . ( ) 0 nd ii p d(1) = 若d>1，称 i 为周期的; 若d=1，称 i 为非周期的. 特别地，如果上述集合为空集，则称 i 的周期为无穷大. 2 1.周期性的定义 = i S d i , ( ) ?
2.周期性是一个类性质 定理：若状态i,同属一类，则d()=d(j) 证明：若与j相通，则存在m,n,使得p>0,p>0 g-2p≥pp>0 对任意的s,若有p>0,则 pts+m≥pmp9p%>0 因为d是的周期，所以d应同时整除n+m和 n+s,则d()一定整除s, 而d(⑦是的周期，所以d整除d): 反过来也可证明d)整除d①，于是d(=d). 10
证明：若i与j相通，则存在m,n，使得 ( ) ( ) 0, 0 m n ij ji p p 对任意的s，若有 0 ，则 s pjj （ ） 定理：若状态i，j同属一类,则d ( i )=d ( j ). ( ) ( ) ( ) ( ) 0 n s m m s n ii ij jj ji p p p p + + 因为d(i)是i的周期，所以d(i)应同时整除n+m和 n+m+s，则d(i)一定整除s， 10 ( ) ( ) ( ) ( ) ( ) 0 0 m n m n m n ii ik ki ij ji k p p p p p + = = 而d(j)是j的周期，所以d(i)整除d(j). 反过来也可证明d(j)整除d(i)，于是d(i)= d(j). 2.周期性是一个类性质