第三章马尔可夫过程 第一节马尔可夫链的定义及其性质 第二节马尔可夫链的状态分类 第三节平稳分布与遍历性 习题课 第四节时间连续的马尔可夫链
第三章 马尔可夫过程 第一节 马尔可夫链的定义及其性质 第二节 马尔可夫链的状态分类 第三节 平稳分布与遍历性 第四节 时间连续的马尔可夫链 习 题 课
第一节马尔可夫链的定义及其性质 一、马尔可夫链的定义 1.马尔可夫链设随机过程{X(t),t∈T} 其中时间7{0,12},状态空间{0,132……} 若对任一时刻n,以及任意状态i,i 13n-1l2,j,有 PX(n+1)=jX(m)=i,X(n-1)=i-,…,X(1)=,X(0)= =P{X(n+1)=jX(m)=i} 则称{X(t),t∈T}为一个马尔可夫链(或马氏链) 简记为{Xn,n≥0} 首页
第一节 马尔可夫链的定义及其性质 一、马尔可夫链的定义 1．马尔可夫链 设随机过程{X(t) ,t T }， 其中时间 T={0,1,…}，状态空间 I={0,1,2,…}， 若对任一时刻 n，以及任意状态i i i i j n , , , , , 0 1 −1 ，有 { ( 1) | ( ) , ( 1) , −1 + = = − = n P X n j X n i X n i , (1) , (0) } 1 0 X = i X = i = P{X (n +1) = j | X (n) = i} 则称{ X(t) ,t T }为一个马尔可夫链（或马氏链） 简记为{ Xn ,n 0 } 首页
注 表明X(t)在时刻n+1的状态X(n+1)=j的概率分布 只与时刻n的状态X(m)=i有关,而与以前的状态 X(n-1) ,X(0)=i0无关。 有限马氏链状态空间是有限集={0,1,2,…,k 2.一步转移概率马氏链在时刻n处于状态i的条件下, 到时刻n+1转移到状态j的条件概率 即P{Xn1=Xn= 称为在时刻m的一步转移概率,记作p)「首页
注: 而与以前的状态 表明 X(t) 在时刻 n +1 的状态 X (n +1) = j 的概率分布 只与时刻 n 的状态 X (n) = i 有关， 1 ( 1) − = n− X n i ，…， 0 X(0) = i 无关。 有限马氏链 状态空间是有限集I={0,1,2,…，k} 2．一步转移概率 马氏链在时刻n处于状态 i 的条件下， 到时刻n+1转移到状态 j 的条件概率， 即 { | } 1 P X j X i n+ = n = 称为在时刻n的一步转移概率，记作 p (n) i j 首页
注 转移后,必到达状态空间中的某个状态经过一步 由于概率是非负的,且过程从一状态出发 一步转移概率满足 (1)Pn(m)≥0,2j∈1 (2) ∑ l∈ 3.一步转移矩阵如果固定时刻n∈T 则由一步转移概率为元素构成的矩阵尸 称为在时刻n的一步转移矩阵 首页
注: 由于概率是非负的，且过程从一状态出发，经过一步 转移后，必到达状态空间中的某个状态 一步转移概率满足 3．一步转移矩阵 称为在时刻n的一步转移矩阵 （1） p (n) 0 i j , i, j I （2） ( ) = 1 p n i j j I , i I 如果固定时刻nT 则由一步转移概率为元素构成的矩阵P1 ： 首页
Poo(n) Por(n) 有 P10(n) no(n) Pn(n) 有限马氏链状态空间上{0,1,2,…,k} poo(n) poi(n) Ok p0(n)P1(m) Pu(n Pko(n) pk(n) Pk(n 首页
即 有 有限马氏链 状态空间I={0，1，2，…，k} = ( ) ( ) ( ) ( ) ( ) ( ) 0 1 1 0 1 1 0 0 0 1 1 p n p n p n p n p n p n P n n = ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 0 1 1 0 1 1 1 0 0 0 1 0 1 p n p n p n p n p n p n p n p n p n P k k kk k k 首页