设Xm,n=0,l,2,.}是Markov链，对任意的n≥1，计 算(X,X,XyX)的联合分布律： P(Xo=io X1=in Xn-=in-Xn =in =PXo=io P(X1=i Xo=i0PX=inXn-1=in-11 即Markov链{Xm,n≥O}的有限维分布完全由概率P{Xo=i} 和条件概率P{Xm=j川Xn-1=}确定. 定义称p,(O)=P{Xo=i},i∈S为Markov链{Xm,n=0,l,2,.} 的初始分布， 称p(0)=(p(O),pn(O),.为初始概率向量. 问题：如何确定条件概率？
P X i X i X i X i 0 0 1 1 1 1 = = = = ， ， ， n n n n − −， 即Markov链 的有限维分布完全由概率 和条件概率 确定. { 0} X n n， P X i { } 0 = P X j X i { | } n n = = −1 = = = = = = P X i P X i X i P X i X i 0 0 1 1 0 0 1 1 | | n n n n − − 问题：如何确定条件概率？ 6 设 是Markov链，对任意的 ，计 算 的联合分布律: { 0,1, 2 } X n n , , = n 1 ( X X X X 0 1 1 ， ， ， n n −， ) 定义 称 为Markov链 的初始分布， p P X i i S i (0) = = 0 , { 0,1, 2 } X n n , , = (0) 0 0 ( 0 1 ( ) ( ) ) T 称 P p p = ， ， 为初始概率向量
二.转移概率 ●●●● ●●● 定义设{Xm,n=0,1,2,.}是Markov链， 记 P(n)=P{XH1=j川Xn=i} 称p,(n)为Markov链{Xm,n=0,l,2,.}在时刻n时的一步 转移概率。 注当i,n固定时，一步转移概率p(n)实质上就是 在X,=i的条件下，随机变量Xm+1的条件分布律， 所以条件分布律满足： p(n)≥0，Vi,jeS,n>0; Po(m)-1,Vies,n30
( ) 0 0 ( ) 1 0. ij ij j S p n i j S n p n i S n = ， ， ， ； ， ， 当 固定时，一步转移概率 实质上就是 在 的条件下，随机变量 的条件分布律， i n ， ( ) p n ij X i n = X n +1 定义 设 是Markov链， 记 1 p n P X j X i ij n n ( ) { | } = = = + 称 为Markov链 在时刻 时的一步 转移概率. n 二.转移概率 7 ( ) p n ij { 0,1, 2 } X n n , , = { 0,1, 2 } X n n , , = 所以条件分布律满足：
时齐Mar kov链 定义 设{Xm,n=0,l,2,.}是Markov链，若其一步转移概率P(n 与n无关，即 P(n)=P{Xm1=j川Xn=i=P{X=jXo=i}≌p 则称X,n=0,1,2,.}为时齐Markov链，否则称为非时齐的， 若Markov链{Xm,n≥O}的状态空间是有限集，则 称{Xm,n≥O}为有限状态的Markov链（有限链）； 若Markov链{Xn,n≥O}的状态空间是可列集，则 称{Xm,n≥0}为可列状态的Markov链（无限链)
定义 设 是Markov链,若其一步转移概率 与 无关，即 与时间 无关，即 n 1 1 0 p n P X j X i P X j X i ij n n ( ) { | } { | } = = = = = = + 则称 为时齐Markov链，否则称为非时齐的. 若Markov链 的状态空间是有限集，则 称 { 0} X n n， 为有限状态的Markov链（有限链）； { 0} X n n， 若Markov链 的状态空间是可列集，则 称 { 0} X n n， 为可列状态的Markov链（无限链）. { 0} X n n， 时齐Markov链 8 ( ) p n ij pij { 0,1, 2 } X n n , , = { 0,1, 2 } X n n , , =
转移概率矩阵 定义设{Xm,n=0,l,2,.}是时齐Markov链，其一步 转移概率为p(i,jS)，记 矩阵的每一行都 是一条件分布律 Pu_ 卫2“ P=(P)= 则称矩阵P为时齐Markov链的一步转移概率矩阵
定义 设 是时齐Markov链，其一步 转移概率为 ，记 矩阵的每一行都 是一条件分布律 则称矩阵 P 为时齐Markov链的一步转移概率矩阵. ( , ) p i j S ij 00 0 01 02 10 11 12 1 20 21 22 2 0 2 1 ( ) j j j i i ij ij i p p p p p p p p p p p p P p p p p p = = 转移概率矩阵 { 0,1, 2 } X n n , , =
时齐Mar kov链的有限维分布族 PiXo io X1=in Xn-1=in-1 Xn =in =PXo=io P(X1=iXo=ioPXn=inXn-1=in-1 时齐Markov链的有限维分布族完全由其一步转移概率 矩阵P和初始分布确定. 10
时齐Markov链的有限维分布族完全由其一步转移概率 矩阵 P 和初始分布确定. 时齐Markov链的有限维分布族 10 P X i X i X i X i 0 0 1 1 1 1 = = = = ， ， ， n n n n − −， = = = = = = P X i P X i X i P X i X i 0 0 1 1 0 0 1 1 | | n n n n − −