所有的状态全是常返态的链称为常返链;没有常返态的链称为暂态链.简单随机徘徊当 p=q=时(即对称的简单随机徘徊),是一个常返链:而当p≠q时,是暂态链.Z上 的对称的简单随机徘徊当d≤2时,是一个常返链:而当d≥3时,是暂态链 1.3平均回访时间与正常返性 我们将用平均回访时间是否有限,来对常返态作进一步的区分 定义5.32(平均回访时间)对于 Markov链首达i的时刻T,记 E(Tk。=1) 则表示状态i的平均回访时间.T是一个可取∞的广义整值随机变量,它的分布表为 f f 1-f 当i为暂态时,因为f<1,所以1=∞;而在i为常返时则有 G=nk50=1)=∑mf 于是利用μ1我们可以对常返态作进一步的区分如下 定义5·33常返态i称为零常返的(简称零态),如果μ=∞;否则称为正常返的 (从后面的定理5.47,可以知道有限状态 Markov链的任何常返态必定是正常返的 可见,零常返只能出现在可数状态 Markov链的情形) 我们还要引入一种特殊的,而且在物理中占重要地位的一种正常返态,称为遍历态。为 此我们先介绍周期的概念 定义5.34(状态的周期)将满足p(m)>0的所有n≥1的整数的最大公约数记成 d.(如果对所有n≥1都有p(m)=0,则约定d1=∞).d1=1或∞的状态,称为非周期 的,d,>1的状态称为周期的 由周期的定义立即可知,若n不能被d,整除,则必有p/m)=0。 定义5.35正常返的非周期状态称为遍历态 例5.22(续)例5.22中的两个状态均为正常返的,又由于p>0(=0,1 即d=1(产=0.1),故此 Markov链的状态0和1均为遍历态. 读者可自行验证下面的定理 定理536设i4>j,则 l11
111 所有的状态全是常返态的链称为常返链；没有常返态的链称为暂态链. 简单随机徘徊当 2 1 p = q = 时（即对称的简单随机徘徊），是一个常返链；而当 p ¹ q 时，是暂态链. d Z 上 的对称的简单随机徘徊当d £ 2 时，是一个常返链；而当d ³ 3时，是暂态链． １．３ 平均回访时间与正常返性 我们将用平均回访时间是否有限，来对常返态作进一步的区分. 定义５.３２（平均回访时间） 对于 Markov 链首达i 的时刻Ti ，记 ( ) 0 E T i mi = i x = , 则 mi 表示状态i 的平均回访时间．Ti 是一个可取¥ 的广义整值随机变量，它的分布表为 ÷ ÷ ø ö ç ç è æ - ¥ ii ii ii f f 1 f 1 2 (1) (2) L L ． 当i 为暂态时，因为 f ii < 1, 所以mi = ¥ ; 而在i 为常返时则有 å å ¥ = ¥ = = = = = 1 ( ) 1 0 ( ) n n ii i mi nP Ti n x i nf . 于是利用 mi 我们可以对常返态作进一步的区分如下 定义５．３３ 常返态i 称为零常返的(简称零态)，如果mi = ¥ ；否则称为正常返的． （从后面的定理５.４７，可以知道有限状态 Markov 链的任何常返态必定是正常返的. 可见, 零常返只能出现在可数状态 Markov 链的情形）． 我们还要引入一种特殊的，而且在物理中占重要地位的一种正常返态，称为遍历态。为 此我们先介绍周期的概念． 定义５．３４ （状态的周期） 将满足 0 ( ) > n ii p 的所有n ³1的整数的最大公约数记成 di ．(如果对所有n ³1都有 0 ( ) = n ii p ，则约定 di = ¥ )． di = 1或 ¥ 的状态，称为非周期 的，di > 1 的状态称为周期的． 由周期的定义立即可知，若 n 不能被di 整除，则必有 0 ( ) = n ii p 。 定义５．３５ 正常返的非周期状态称为遍历态． 例５．２２（续） 例５．２２中的两个状态均为正常返的，又由于 0 (1) pii > （i=0,1）, 即di = 1（i=0,1），故此 Markov 链的状态 0 和 1 均为遍历态． 读者可自行验证下面的定理． 定理 5. ３６ 设i « j ，则
(1)i为常返态,当且仅当j为常返态 (2)i为暂态,当且仅当j为暂态 (3)i为零常返态,当且仅当j为零常返态 (4)i为正常返态,当且仅当j为正常返态 (5)i为遍历态,当且仅当j为遍历态 注事实上,此时我们还有:状态为周期态,当且仅当j为周期态,且d,=d。其证 明方法是用初等数论,本书略去 以上结论说明,零常返,正常返,周期大小,遍历,都是常返等价类的“类性质”,它 们对同一个等价类中的状态都是相同的 3. Markov链的转移概率的极限与不变分布 3.1不变分布与平稳 Markov链 定义5.37状态空间S上的概率分布兀={π1,丌2,}称为P的不变概率分布,简称 不变分布,如果丌=mP 不变分布未必存在若状态空间S为有限集且不变分布存在,则1是矩阵P的左特征 值,而不变分布丌是它的左特征向量.此时丌可由代数方程组 丌=mP,兀1=1 的非负解得到,其中I=(1,…,1)(上标的T表示取转置 命题5.38若转移矩阵为P的 Markov链{n,n≥0}的初始分布取为不变分布兀, 则{n,n≥0}为平稳列,即对于vnk,n1…,nk,(5nm,…,5nn}与(5n,…,n}有相 同的联合分布(关于平稳列的一般理论可参见第11章) (请自行验证) 3.2有限状态 Markov链的的不变分布与极限分布 定理5.39若 Markov链{n,n≥0}的状态空间S为有限集(不妨设 S=12,…,N}),且其转移概率矩阵P=(P)满足Pn>0Vi,j∈S,则存在S上唯一的 概率分布兀={x,丌2…zN},使得对所有1,∈S及8=mn(p:,J∈S)≤,都有: (1)丌=mP(即兀为P的不变概率分布)而且丌,≥; (2)lmnP"=兀 此外,P还满足指数遍历性,即 ≤(1-N6) [注](2)远比(1)强 112
112 （1） i 为常返态，当且仅当 j 为常返态． （2） i 为暂态，当且仅当 j 为暂态． （3） i 为零常返态，当且仅当 j 为零常返态． （4） i 为正常返态，当且仅当 j 为正常返态． （5） i 为遍历态，当且仅当 j 为遍历态． [注] 事实上, 此时我们还有: 状态i 为周期态, 当且仅当 j 为周期态，且 i j d = d 。其证 明方法是用初等数论, 本书略去. 以上结论说明，零常返，正常返，周期大小，遍历，都是常返等价类的 “类性质”， 它 们对同一个等价类中的状态都是相同的． 3． Markov 链的转移概率的极限与不变分布 3. 1 不变分布与平稳 Markov 链 定义５．３７ 状态空间 S 上的概率分布p ={ , , } p1 p2 L 称为 P 的不变概率分布, 简称 不变分布, 如果 p = pP . 不变分布未必存在. 若状态空间 S 为有限集, 且不变分布存在, 则 1 是矩阵 P 的左特征 值, 而不变分布p 是它的左特征向量. 此时p 可由代数方程组 p = pP , p T 1 =1 的非负解得到，其中 1 = (1,L,1) （上标的 T 表示取转置）. 命题 5. ３８ 若转移矩阵为 P 的 Markov 链{ ,n 0} xn ³ 的初始分布取为不变分布p , 则{ ,n 0} xn ³ 为平稳列, 即对于 1 nk "n,k,n ,L, , ( , , } n1+n n k +n x L x 与 ( , , } n1 n k x L x 有相 同的联合分布. (关于平稳列的一般理论可参见第 11 章). (请自行验证). 3. 2 有限状态 Markov 链的的不变分布与极限分布 定 理 5. ３ ９ 若 Markov 链 { ,n ³ 0} n x 的状态空间 S 为有限集 （ 不妨设 S = {1,2,L,N}），且其转移概率矩阵 P=( ) ij p 满足 p i j S ij > 0 " , Î ，则存在 S 上唯一的 概率分布p ={ , , , } p1 p 2 L p N ，使得对所有i, j Î S 及 N p i j S ij 1 d = min( : , Î ) £ , 都有： （1）p = pP (即 p 为 P 的不变概率分布), 而且 p ³ d j ; （2） n®¥ lim n P =p T 1 , 此外， P 还满足指数遍历性, 即 n j n pij (1 N ) ( ) - p £ - d . [注] (2 ) 远比 (1) 强