5.3极限定理及平稳分布 一.极限定理 二.平稳分布与极限分布
5.3 极限定理及平稳分布 一.极限定理 二.平稳分布与极限分布 1
在Markov链的实际应用中，人们常常关心两个问题： (I)当n→oo时，P{Xn=}=p,(n)的极限是否存在？ 注意到，n=∑P,(O)p,”故对()的研究可转化为对p” 的渐近性质的研究.即limp”是否存在？若存在，其极限是否 与状态i有关？Markov链理论中，有关这一问题的定理统称 为遍历定理。 (2)当什么条件下，一个Markov链是一个平稳序列？ 问题(2)的实际上是讨论马尔可夫链平稳分布是否存在 的问题这两个问题之间有密切联系
在Markov链的实际应用中，人们常常关心两个问题： (1)当 n → 时, P X j p n n j = = ( ) 的极限是否存在？ (2)当什么条件下,一个Markov链是一个平稳序列？ 2 注意到 ，故对(1)的研究可转化为对 的渐近性质的研究.即 是否存在?若存在,其极限是否 与状态 i 有关？Markov链理论中,有关这一问题的定理统称 为遍历定理. ( ( ) (0) n j i ij i S p n p p = ） n ij p （ ） lim n ij n p → （ ） 问题(2) 的实际上是讨论马尔可夫链平稳分布是否存在 的问题.这两个问题之间有密切联系
一.极限定理 例1设马尔可夫链的状态空间为S={1,2},转移概 率矩阵为 计算 lim p() B a+B Q+B 令0= a+B a+B 则P=QDQ on-or-
例1 设马尔可夫链的状态空间为 转移概 率矩阵为 1 ,0 , 1 1 P − = − 计算 ( ) lim . n n P → 令 1 1 0 , 1 0 1 Q D − = = − − 一.极限定理 3 则 1 , 1 1 Q − + + = − + + 1 1 1 1 0 ( ) 0 (1 ) n n n n P QDQ QD Q Q Q − − − = = = − − 1 P QDQ , − = S ={1,2}
r-Qugr-ewg-e0a-2rje B+a(1-a-B)”a&-a(1-ax-B)" a+B a+B B-B(1-a-β)”x+B(1-a-B)” a+B a+B 由于1-a-B<1所以 lim pim 1-0 a+B a+B n→co n-→0 n-→0 B a+B a+B 容易证明， 所有状态是正常返的
由于 所以 ( ) 1 lim lim lim . 1 n n n n n n P P → → → − + + = = = − + + 4 |1 |<1, − − 容易证明, 1 1 1 1 0 ( ) 0 (1 ) (1 ) (1 ) (1 ) (1 ) n n n n n n n n P QDQ QD Q Q Q − − − = = = − − + − − − − − + + = − − − + − − + + 所有状态是正常返的
例2 考虑直线上无限制的随机游动，状态空间为 S={0,±1，+2，}转移概率为柳1=P,P-1=1-p. 分析：对于状态0，有P2m=0, "(1-p)"=2n)! p(1-p)]” [4p1-p)r n!n! nVnπ 1 .11 令卫= 则 lim=lim 4××习 -=0. n-→ →00 Nnπ 令 1 p 则 1 2 4×。× limP8w）=lim 22 =0 1 n→0 n-→0 Nnπ 当p= 2 时，状态0是零常返的； 当p≠ 2 时，状态0是非常返的
考虑直线上无限制的随机游动，状态空间为 S = {0, 1, 2, } 转移概率为 . , 1 , 1 , 1 i i i i p p p p + − = = − 分析：对于状态0，有 (2 1) 00 0, n P + = [4 (1 )]n p p n − 例2 5 (2 ) 00 2 (2 )! (1 ) [ (1 )] ! ! n n n n n n n P C p p p p n n = − = − 令 ，则 1 3 p = (2 ) 00 1 1 4 3 3 lim lim 0. n n n n P → → n = = 令 ，则 (2 ) 00 1 1 4 2 2 lim lim 0. n n n n P → → n = = 1 2 p = 当 时， 1 2 p 状态0是零常返的； 当 时， 1 2 p = 状态0是非常返的