对链的情形对任意的正整数nr和0≤1<(2x m;tm,n+m∈T1,有 PiX m+n 7nX64=1,X2=a2;…,X,=a1,Xm=n1} = PXmn=aXm=ai3 (1.2) 其中a∈L记上式右端为Pm,mn+m)称 Pi(m, m+n)=PXm=aim=ai3(1.3) 为马氏链在时刻m处于状态a条件下,在时刻 m+n转移到状态a;的转移概率.易知 ∑(m,m+m)=1,i=1,2,…(14)
7 对链的情形, 对任意的正整数n,r和0t1<t2<...< t r <m; t i , m, n+mT1 , 有 { | }, (1.2) { | , , , , } 1 1 2 2 m n j m i m n j t i t i t i m i P X a X a P X a X a X a X a X a r r = = = = = = = = + + ( , ) 1, 1,2, . (1.4) 1 + = = = P m m n i j i j 其中aiI. 记上式右端为Pij(m,m+n), 称 Pij(m,m+n)=P{Xm+n =aj |Xm =ai } (1.3) 为马氏链在时刻m处于状态ai条件下, 在时刻 m+n转移到状态aj的转移概率. 易知
转移概率组成的矩阵P(m,m+n)=(Pm,m+mn) 称为马氏链的转移概率矩阵,上式表明此矩阵 的每一行元素之和等于1 当转移概率P;(m,m+n)只与及时间间距n有 关时,把它记为P(m,即 Pi (m, m+n=Pi(n) 并称此转移概率具有平稳性.同时也称此链是 齐次的或时齐的.以下仅限于讨论齐次马氏 链
8 转移概率组成的矩阵P(m,m+n)=(Pij(m,m+n)) 称为马氏链的转移概率矩阵, 上式表明此矩阵 的每一行元素之和等于1. 当转移概率Pij(m,m+n)只与i,j及时间间距n有 关时, 把它记为Pij(n), 即 Pij(m,m+n)=Pij(n) 并称此转移概率具有平稳性. 同时也称此链是 齐次的或时齐的. 以下仅限于讨论齐次马氏 链
在马氏链为齐次的情形下,转移概率 P∴(m)=P(Xm+n=4,Xm=a 称为马氏链的n步转移概率,P(n)=(Pm)为n 步转移概率矩阵.在以下的讨论中特别重要的 是一步转移概率 PipI ()=PXm+=a, ai 或由它们组成的一步转移概率矩阵
9 在马氏链为齐次的情形下, 转移概率 Pij(n)=P{Xm+n =aj |Xm =ai } (1.5) 称为马氏链的n步转移概率, P(n)=(Pij(n))为n 步转移概率矩阵. 在以下的讨论中特别重要的 是一步转移概率 pij=Pij(1)=P{Xm+1=aj |Xm =ai } 或由它们组成的一步转移概率矩阵
Xn的状态 X的状态 app app 12 记成 21 p2 P(1)=P Pil p 在上述矩阵的左侧和上边标上状态a14a2,是 为了显示;是由状态a步转移到状态的概 率
10 在上述矩阵的左侧和上边标上状态a1 ,a2 ,...,是 为了显示pij是由状态ai一步转移到状态aj的概 率. • + = = P P p p p p p p p p p a a a a a a X X i i i j j j i j m m 记 成 态 状 的 的状态 (1) 1 2 2 1 2 2 2 1 1 1 2 1 2 1 1 2 1
例2如图所示只传输数字0和1的系统串联系 统中,设每一级传真率为p,误码率为q=1-p, 设一个单位时间传输一级,Ⅺ是第一级的输入, Xn是第n级的输出(n21,则{Xnn=0,1,2,}是 随机过程状态空间={0,1},当Xn=i,i为 已知时,X所处的状态的概率分布只与Xn=i 有关,而与时刻n以前的状态无关,所以它是 个齐次的马氏链
11 例2 如图所示只传输数字0和1的系统串联系 统中, 设每一级传真率为p, 误码率为q=1-p, 设一个单位时间传输一级, X0是第一级的输入, Xn是第n级的输出(n1). 则{Xn , n=0,1,2,...}是 一随机过程, 状态空间I={0,1}, 当Xn =i, iI为 已知时, Xn+1所处的状态的概率分布只与Xn =i 有关, 而与时刻n以前的状态无关, 所以它是 一个齐次的马氏链. 1 2 n X0 X1 X2 Xn-1 Xn