电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第3节 齐次马尔科夫链（齐次马氏链）状态分类

定理6.3.2 对Vi,j∈E及n≥1，任意步转移 概率与首达概率有关系式 p=∑fmp m=] 证因 (x(0)=i,X(n)=jcT=m m=1 故 {X(0)=i,X(m)=j} ==a=ml0=a 电子科技大学

电子科技大学 定理6.3.2 概率与首达概率有关系式 ( ) ( ) ( ) 1 n n m n m ij ij jj m p f p     对i, j  E 及 n  1,任意步转移 1 { (0) , ( ) } { } n ij m X i X n j T m  证 因      1 { (0) , ( ) } { } n ij m X i X n j T m              故 {X(0)  i, X(n)  j}

-W=N肉=n,-网 ={X(0)=i,X(n)=j,Tij=m m=1 p"=P(X(n)=jX(0)=i} =r=m=x0= m=1 P(T;=mX(0)=i)P(X(n)=jX(0)=i,Tj=m) m=1 电子科技大学

电子科技大学 ( ) { ( ) (0) } n ij p  P X n  j X  i            P T m X n j X i n m ij { , ( ) } (0) 1  { (0) } { ( ) (0) , } 1 P T m X i P X n j X i Tij m n m ij         1 { (0) , ( ) } { } n ij m X i X n j T m               n m X i X n j Tij m 1 { (0) , ( ) , }     

n =P(Ti=mX(0)=i)P(X(n)=jX(0)=i,T;=m m=l =∑PX(m)=j,X(k)≠j,1≤k≤m-1,X0)= m=l ·P{X(m)=jX(m)=j} 马氏性 =∑fmPX(w)=jXm=j乃 m=1 =∑fpm. m=1 电子科技大学

电子科技大学 { ( ) ( ) } 马氏性 { ( ) , ( ) , 1 1, (0) } 1 P X n j X m j P X m j X k j k m X i n m             { ( ) ( ) } 1 ( ) f P X n j X m j n m m ij      { (0) } { ( ) (0) , } 1 P T m X i P X n j X i Tij m n m   ij       ( ) ( ) 1 . n m n m ij jj m f p    

定义6.3.3设P{Ti=o}=0,j∈E,称 4=El=∑nf 1 为从状态i出发，到达状态j的平均转移步 数（时间） 特别当j称“)为状态的平均返回时间； fⅱ：状态j的最终返回概率； ∫：为从状态j出发经n步首次返回的概率； 电子科技大学

电子科技大学 定义6.3.3 设 P{Tij  }  0, j  E, 称      1 ( ) [ ] n n ij ij n ij  E T f 为从状态 i 出发, 到达状态j 的平均转移步 数(时间). 特别当i=j 称  jj 为状态j 的平均返回时间； : jj f 状态 j 的最终返回概率； f j ( j n) : 为从状态j 出发经n步首次返回的概率；

2.状态类型分类 续EX.1设系统有三种可能状态E={1, 2,3},“1”表示系统运行良好，“2”表示系统 运行正常，“3”表示系统失败 该系统的状态“3”是吸收态，经有限步均 会被吸收，直观分析可得 0 1 lim p(m) 0 0 1 n→o 0 0 有必要分析各种状态的类型， 电子科技大学

电子科技大学 2. 状态类型分类 续EX.1 设系统有三种可能状态E={1, 2 ,3}, “1”表示系统运行良好, “2”表示系统 运行正常， “3”表示系统失败. 该系统的状态“3”是吸收态, 经有限步均 会被吸收, 直观分析可得       0 0 1 0 0 1 0 0 1 lim (n) n P 有必要分析各种状态的类型