3、齐次马尔可夫链：转移概率与m（起始时刻）无关Kp( (m) = ph74、遍历性：对于齐次马尔可夫链|Xn,nET若对所有i.i,均存在不依赖于的极限lim Pf") = P, ≥ 0,n-且满足P, =ZpiPij,Zp, =1
3、齐次马尔可夫链：转移概率与m（起 始时刻）无关 ( ) ( ) ij k k ij p m p 4、遍历性： ( ) n X , , , , lim 0, , 1 n n ij j j i ij j i j n T i j i p p p p p p 对于齐次马尔可夫链 若对所有 均存在不依赖于 的极限 且满足
遍历性的直观含义：（1）无论随机点从那一个状态S，出发，当转移步数n足够大时，转移到状态S的概率p(n都近似等于一个常数P;。即如果转移步数n充分大，就可以用p作为n步转移概率p(n）;的近似值。（2）马尔可夫链在初始时刻可以处在任意状态经过足够长的状态转移后，它所处的状态与初始状态无关：此时，每种状态出现的概率已经到达一种平稳分布
遍历性的直观含义： （1）无论随机点从那一个状态Si出发，当转移步 数n足够大时，转移到状态Sj的概率p (n) ij都近似等 于一个常数pj。 即如果转移步数n充分大，就可 以用pj作为n步转移概率p(n)ij的近似值。 （2）马尔可夫链在初始时刻可以处在任意状态， 经过足够长的状态转移后，它所处的状态与初始 状态无关；此时，每种状态出现的概率已经到达 一种平稳分布
二、马尔可夫链的数学描述1、有限维分布函数族若对任意的正整数n及t <t2 <...th<...<tn,thET(k=l,2,...,n)马尔可夫链的有限维分布函数族可表示为P(X, =i,Xtn =in)=Zp,P(X, =iIX。=i)P(X, =izIX, =i)iex... P(Xt, = in IXfr- =in-1)
二、马尔可夫链的数学描述 1 1 2 1 1 1 2 1 1 0 2 1 1 , ( 1,2, , ) ( , ) ( | ) ( | ) ( | ) n n n k k n t t n i t t t i x t t n n n t t t t t T k n P X i X i p P X i X i P X i X i P X i X i 若对任意的正整数 及 马尔可夫链的有限维分布函数族可表示为 1、有限维分布函数族