Mar kov过程的概念 设{X(),teT}对任意n个不同的t1,t2,.,tn∈T 且t1<t2<.<tn-1<tn,有 P(X(tn)≤xn|X(tn-1)=xn-1,.,X(t)=x) =P(X(tn)xnX(tn1)=xn1), Markov性 (无后效性) 则称X(t)为马尔可夫(a)过程 简称马氏过程。 己知“现在”的条件 下，“过去”与“将 来”是独立的
Markov过程的概念 简称马氏过程. 设{ X (t)，t T }对任意 n 个不同的 1 t , 2 t , . ,t n T 且 n n t t t t 1 2 −1 ，有 ( ( ) | n n P X t x 1 1 ( ) n− = n− X t x ，.， ( ) ) 1 1 X t = x = ( ( ) | n n P X t x 1 1 ( ) n− = n− X t x ）， 则称 X t( ) 为马尔可夫（Markov）过程 已知“现在”的条件 下，“过去”与“将 来”是独立的。 Markov性 （无后效性） 1
第5章Markov链 >5.1基本概念 >5.2状态的分类与性质 >5.3极限定理及平稳分布 >5.4 Markov链的应用 >5.5连续时间Markov链
第5章 Markov链 ➢ 5.1 基本概念 ➢ 5.2 状态的分类与性质 ➢ 5.3 极限定理及平稳分布 ➢ 5.4 Markov链的应用 ➢ 5.5 连续时间Markov链 2
5.1基本概念 一.Markov链的定义 二.转移概率 三.一些例子 四.n步转移概率，C-K方程 五.初始分布绝对分布
5.1 基本概念 一.Markov链的定义 二.转移概率 三.一些例子 四.n步转移概率,C-K方程 五.初始分布 绝对分布 3
一.Markov链的定义 随机过程{Xn,n=0,1,2,}称为Markov链，若它只取 有限或可列个值，并对任意n≥0及状态i,j,“,in-1,有 P{Xm+1=jXo=o,X1=4,.,X1=n-1,Xn=i、 =P(Xn=jX =i. Markov性 注：有限或可列个值称为过程的状态，（若不另外说明）记为0,1,2， 非负整数集{0,1,2，.}或者其子集记为S,称为过程的状态空间. n-
随机过程 称为Markov链，若它只取 有限或可列个值， X n n , 0,1,2, = n 0 0 1 1 , , , , , n i j i i i − 1 0 0 1 1 1 1 1 , , , , . n n n n n n P X j X i X i X i X i P X j X i + − − + = = = = = = = = 一.Markov链的定义 Markov性 Xn 0 1 2 3 4 n t . 4 n +1 注:有限或可列个值称为过程的状态,(若不另外说明)记为0,1,2,., 并对任意 及状态 ，有 非负整数集{ 0,1,2,.}或者其子集记为S，称为过程的状态空间
设Xm,n=0,l,2,.}是Markov链，对任意的n≥1，计 算(X,X,X,X)的联合分布律： 乘法公式 P(Xo=io X1=in Xn1=in-Xn=in =P{Xo=io,X1=i,Xn-=t 马氏慢 P(Xn=X0=i,X1=i,.,X=1 =PXo io X1=i,Xn-1=in1 P(Xn inlXn-1=in-1 =P{X0=i0,X1=i.,Xm-2=in-2} 马氏性 PXn-1=in-1|X0=i0.,Xm-2=n-2正 P{Xn inlXn-1=in-1 =P(Xo=io X1=in Xn-2=in-2P(Xn-1=in-11 Xn-2=in-2P(Xn inlXn-1 =in-1 =P{Xo=o}P{X=i|Xo=o}.·P{Xn=inXm-=n-}
P X i X i X i X i 0 0 1 1 1 1 = = = = ， ， ， n n n n − −， 设 是Markov链，对任意的 ，计 算 的联合分布律: n 1 ( X X X X 0 1 1 ， ， ， n n −， ) 0 0 1 1 1 1 0 0 1 1 1 1 | n n n n n n P X i X i X i P X i X i X i X i − − − − = = = = = = = = ， ， ， ， ， ， 0 0 1 1 1 1 1 1 | n n n n n n P X i X i X i P X i X i − − − − = = = = = = ， ， ， 0 0 1 1 2 2 1 1 0 0 2 2 1 1 | | n n n n n n n n n n P X i X i X i P X i X i X i P X i X i − − − − − − − − = = = = = = = = = ， ， ， ， ， = 乘法公式 马氏性 马氏性 5 { 0,1, 2 } X n n , , = = = = = = = P X i P X i X i P X i X i 0 0 1 1 0 0 1 1 | | . n n n n − − = = = = = = = = P X i X i X i P X i X i P X i X i 0 0 1 1 2 2 1 1 2 2 1 1 ， ， ， n n n n n n n n n n − − − − − − − − | |