第十一章马尔可夫链 §1马尔可夫过程及其概率分 布
2 第十一章 马尔可夫链 §1 马尔可夫过程及其概率分 布
在物理学中,很多确定性现象遵从如下演变原 则:由时刻t系统或过程所处的状态,可以决 定系统或过程在时刻t所处的状态,而无需 借助于以前系统或过程所处状态的历史资 料.如微分方程初值问题所描绘的物理过程 将这样的原则延伸到随机现象,引入马尔可夫 性或无后效性:过程(或系统)在时刻所处的 状态为已知条件下,过程在时刻个t所处状态 的条件分布与过程在时刻t之前的状态无关 即已经知道过程"现在"的条件下,其"将来 不依赖于"过去
3 在物理学中, 很多确定性现象遵从如下演变原 则: 由时刻t0系统或过程所处的状态, 可以决 定系统或过程在时刻t>t0所处的状态, 而无需 借助于t0以前系统或过程所处状态的历史资 料. 如微分方程初值问题所描绘的物理过程. 将这样的原则延伸到随机现象, 引入马尔可夫 性或无后效性: 过程(或系统)在时刻t0所处的 状态为已知条件下, 过程在时刻t>t0所处状态 的条件分布与过程在时刻t0之前的状态无关. 即已经知道过程"现在"的条件下, 其"将来" 不依赖于"过去
设随机过程{X(,t∈仍的状态空间为.如果对 任意n个时间值t1<2…<n,n≥3,∈T,在条件 X(t)=xpx∈l,i=1,2,,n-1下 PX(tnsrnlx(ti=x1, x(2=x2sxX(t-1=Xm-1 P{X(tn)≤xn|X(tn1)=xn1B,xn∈R,(1.1) 或写成 tnt1…( n n 19299n-1919299n-1 F nI'n-1 nn t n 则称过程{X(,t∈T}具有马尔可夫性或无后效 性,并称此过程为马尔可夫过程
4 设随机过程{X(t), tT}的状态空间为I. 如果对 任意n个时间值t1<t2<...<tn , n3, t iT, 在条件 X(t i )=xi ,xiI, i=1,2,...,n-1下, P{X(tn )xn |x(t1 )=x1 , X(t2 )=x2 ,...,X(tn-1 )=xn-1 } =P{X(tn )xn |X(tn-1 )=xn-1 }, xnR, (1.1) 或写成 ( , | , ), ( , | , , , ; , , , ) | 1 1 | 1 2 1 1 2 1 1 1 - - - - - = t t n n n n t t t n n n n F x t x t F x t x x x t t t n n n n 则称过程{X(t), tT}具有马尔可夫性或无后效 性, 并称此过程为马尔可夫过程
例1设{X(O),公0}是独立增量过程,且X(0)=0, 证明{X(2≥0是一个马尔可夫过程 证由(11)式知,只要证明在已知X(tn1)=xn1的 条件下X()与X(),=1,2,…,n-2相互独立即可 而当0n1户12…,-2时,增量 X(4)-X(0)与X(tn)-X(n21) 相互独立根据条件X()=0和X(n)=xn1,知 X()与X(n)xn-1 相互独立此时X(tn)与X(t=1,2,,n-2相互 独立这表明X(具有无后效性,即{X(),0} 是一个马尔可夫过程
5 例1 设{X(t),t0}是独立增量过程, 且X(0)=0, 证明{X(t),t0}是一个马尔可夫过程. 证 由(1.1)式知, 只要证明在已知X(tn-1 )=xn-1的 条件下X(tn )与X(t j ), j=1,2,...,n-2相互独立即可. 而当0<t j<tn-1<tn , j=1,2,...,n-2时, 增量 X(t j )-X(0) 与 X(tn )-X(tn-1 ) 相互独立. 根据条件X(0)=0和X(tn-1 )=xn-1 , 知 X(t j ) 与 X(tn )-xn-1 相互独立. 此时X(tn )与X(t j ), j=1,2,...,n-2相互 独立. 这表明X(t)具有无后效性, 即{X(t),t0} 是一个马尔可夫过程
由此可知,泊松过程是时间连续状态离散的马 氏过程,维纳过程是时间状态都连续的马氏过 程 时间和状态都是离散的马尔可夫过程称为互 尔可夫链简称马氏链,记为{Xn=X(m),n=0,1, 2,},它可以看作在时间集T1={0,1,2,}上对 离散状态的马氏过程相继观察的结果我们约 定记链的状态空间F={a1a2,,a1∈R
6 由此可知, 泊松过程是时间连续状态离散的马 氏过程, 维纳过程是时间状态都连续的马氏过 程. 时间和状态都是离散的马尔可夫过程称为马 尔可夫链, 简称马氏链, 记为{Xn =X(n), n=0, 1, 2,...}, 它可以看作在时间集T1={0,1,2,...}上对 离散状态的马氏过程相继观察的结果. 我们约 定记链的状态空间I={a1 ,a2 ,...}, aiR