§6.5连续参数马尔可夫链 对离散参数齐次马氏链，我们主要讨论了下列 问题： 转移概率函数、转移矩阵； 初始分布、绝对分布； 遍历性、平稳分布； 状态间的转移时间、概率及性质； 状态的分类。 类似离散参数马氏链，只是把离散的时间参 数改为连续的时间参数，有类似的结果。 电子科技大
电子科技大学 对离散参数齐次马氏链，我们主要讨论了下列 问题： 转移概率函数、转移矩阵； 初始分布、绝对分布； 遍历性、平稳分布； 状态间的转移时间、概率及性质； 状态的分类。 类似离散参数马氏链，只是把离散的时间参 数改为连续的时间参数，有类似的结果。 §6.5 连续参数马尔可夫链
改为连续的时间参数，便可得到类似的结果。 设随机过程{X(0,≥0}，状态空间E={0,1,2, .…}。若对于0<t<2<..<4,<4t1及非负整数i1,2,…in i+1,有 P(X(t)=inX(t1)=in,X(t)=i...,X(tn)=in -P(X(tnt1)=intX(tn)=in) 即马尔可夫性成立，则称X(),仑0}为连续参数马尔 可夫链。 电子科技
电子科技大学 设随机过程{X(t), t0}，状态空间E={0,1,2, …}。若对于0<t1<t2<…<tn<tn+1及非负整数i1 ,i2 , … in , in+1，有 P{X(tn+1)＝in+1 |X(t1)= i1 , X(t2)= i2 ,…,X(tn )= in} ＝P{X(tn+1)＝ in+1 |X(tn )=in} 即马尔可夫性成立，则称{X(t), t0}为连续参数马尔 可夫链。 改为连续的时间参数，便可得到类似的结果
转移概率函数 设{X(①，仑0}为连续参数马氏链，对任意i,jeE= {0,1,2,…},任意非负实数5，t,条件概率 Pi(s,t)=P(X(t+s)=jX(s)=ih, 则称为此马氏链X(),仑0}的转移概率函数，显然 0≤p(s,t)≤1，∑ps,t)=1 jeE 我们称 P(s,t)=(Pij(s,t))i.jeE 为此马氏链的转移矩阵。 这里，PS,)的直观意义是：系统（或质点）在时刻s 时处于状态，再经过t时间转到状态的条件概率。 电子科技大
电子科技大学 0 ( , ) 1, ( , ) 1 jE ij ij p s t p s t 我们称 P(s,t)＝(pij(s,t))i,jE 为此马氏链的转移矩阵。 这里，pij(s, t)的直观意义是：系统(或质点)在时刻s 时处于状态i，再经过t时间转到状态j的条件概率。 转移概率函数 设{X(t), t0}为连续参数马氏链，对任意i, jE＝ {0, 1, 2,…}，任意非负实数s,t，条件概率 pij(s,t)＝ P{X(t+s)=j|X(s)=i}, 则称为此马氏链{X(t),t0}的转移概率函数，显然
若X①，≥0}为连续参数马氏链的转移概率pS,) 与时间起点s无关，即 pi(s,t)=P(X(s+t)=jX(s)=i;=pi(t) 则称{X(),仑0}为连续参数齐次马氏链。 类似地， P()=(pr)时eE 称为此齐次马氏链的转移矩阵。 0st)≤1， ∑P0)=1。 jeE 一般地，我们要求齐次马氏链的转移概率函数满 足如下的连续性条件： 1,i=i iP,0=8,= 0, i≠j
电子科技大学 若{X(t), t0}为连续参数马氏链的转移概率pij(s,t) 与时间起点s无关，即 pij(s,t)＝P{X(s+t)=j|X(s)=i}＝pij(t) 则称{X(t), t0}为连续参数齐次马氏链。 一般地，我们要求齐次马氏链的转移概率函数满 足如下的连续性条件： i j i j p t ij ij t 0, 1, lim ( ) 0 类似地， P(t)＝(pij(t))i,jE 称为此齐次马氏链的转移矩阵。 0pij(t)1， ( ) 1。 jE ij p t
绝对分布、遍历性、平稳分布 设X(),仑0}为连续参数齐次马氏链 P=PX(0)},jeE,称{jeE为该马氏链的初 始分布. 卫()=PX()=j},j∈E,称D(),jE为该马氏链 的绝对分布 如果转移概率极限存在，lim pi()t=元，>0，i,j∈E, →十00 且与无关则称此连续参数齐次马氏链为遍历的马氏链. 此时，我们说该链具有遍历性。 电子科技
电子科技大学 设{X(t), t0}为连续参数齐次马氏链 pj＝P{X(0)=j}，jE，称{pj, jE}为该马氏链的初 始分布. 绝对分布、遍历性、平稳分布 pj(t)＝P{X(t)=j}，jE，称{pj(t), jE}为该马氏链 的绝对分布. pij t j i j E t 如果转移概率极限存在，lim ( ) 0, , ， 且与i无关则称此连续参数齐次马氏链为遍历的马氏链. 此时，我们说该链具有遍历性