(D)→(E):首先,对任意u≥tACE,由-系方法易见 P(x,∈A1.41)=P(x∈A1x),(as.) (8) 其次,设5(a)为{x可测,且E!5<∞,有 E(|一E(5x2),(a,s) 实际上,当E=X1(x)即(x∈A)的示性函数时,(9)化为(8), 令 C={全体可积函数ξ() H={使(9)成立的全体5o) 则H是-系,既然xA(x)∈H,而诸集(xn∈A),ACE产生 {xn},故由-系方法知H8{x} 第三,试证对任意t≤ <tm,v;∈T,ACE,有 P(xn∈A;,i=1,…,m|)=P(xn∈A,i=1, x,) (as.(10) 实际上,当m=1,(10)化为(8).下用归纳法而设(10)对m-1 个A;成立.筒记 B1=(x,∈A1),B2=(x∈A2 ∈An),B=B1B2 则由条件数学期望的性质得 P(B|1)=E(xn,xn2|、)=E[E(xB1Xn2(、,)、们 ELXB,E(XB. r, 12]= E[XB, P(B2lru, )1.r, 白归纳法前题假定 P(B2|4)=P(B2xn,) 代入(11)得 P(Bl) ElX(xuP(B2xu,)Ir,1 (as) 但x(xn,)P(B1|x)对驴{x}可测且可积故由(9)得 P(BI)=E[X, (wP(B2 xm)x E[xBP(B2、y4)|x: E[P(B,B,u|*]=P(B|, 最后,从(10)出发月s-系方法,象从(8)出发证明(9) 样即可证(5)对任意可测的成立,只要E引<∞
E)→(B):取ξ=XA(A∈、和),则(5)化为 P(|)=P(|x,(a,s.) 因(B;x2=1)∈,44故由(14) P(AB; x =1 P(A*rP(do) P(A x2=iP(B; xr =i (15) 由此即得(2) (B)→>(A):在(2)中取:=tn-13l=in-13A=(xn=in B={ n-}即得(1) (B)←>(C):只要利用等式 P(ABx=i)=P(Bx=i)(A*=i, B) 即可.(补定义P(A|x2=iB)=0,如P(x;=iB)=0,) (三)一般状态空间中马尔科夫过程(简称马氏过程)的定义 如下.设(Q,,P是一概率空间,定义于其上的随机过程 X={x2(),t∈T}的状态空间为某可测空间(E,),如果对 任意<<…<lT,n>1,任意A∈⑥,有 P(xn∈llx1 )=P(xE Axim) (as)(16) 则称此过程为马氏过程 注意(16)是(4)的直接一般化.不需改变定理1中(D)一 (E)的证明,可见(16)与(5)在一般状态空间也是等价的 51.6装移概率 (一)本节中只讨论离散情况。设已给(9,,P)上的马氏 链X={x(ω),t∈T}以后我们只考虑二种T:T=[0,∞),或 (0,1,2,);于是可分别记X为{x3t≥0},{xnn≥.在 后一种情形中,n表非负整数,并称{xnn≥0为具离散参数的 马氏链 如P(x=1)>0,可定义 p(5,1 称p;(1)为s时在主的条件下,z时转移至j的x的转移概率
称以p(s,1为元的矩阵 P(s31)=(p(s,t) 为X的(5,)转移矩阵、当s≤遍历T时,便得到X的转移矩阵 族P(s,1),S;∈T 引理1X的转移矩阵有下列性质 (a)0≤加(st≤1; (b)∑p;(,t)-1; ()对5≤!≤u,5,t,n∈T有 亦即(采用矩阵的记号) P(s, u)=P(, PCt, u) (2) 其中δ为 Kronecker记号:b;=0(≠j,bn;=1, 证(a),(b),(d)直接由(1)及概率的性质推出.理解 0 0,得 Pi ( s, u=P* =jx,=i) P(au=i>xs =i >P(ar =i>*=k,x,2. P(x!"kx,=D) PCa, kk2 )P(x1= 利用马氏性,上式 ∑P(x-jx=b)P(x=k|x P(5,印Pk(t,x 通常称(2)式为 KoJMoropoB- Chapman方程 利用转移概率可以表达X的联合分布: 引理2对任意0≤5<<…<5n3i0,4…,i∈E
有 PC (5k,sk+) (3) 其中q=P(x=) P 0》 利用马氏性即得(3)非 称马氏链X为齐次的如果它的转移概率为齐次的,即如对 切0≤s≤讠∈E,p(s只依赖于差t-5;这时记 p;(,5+〓p;(r),P(,5+1)=P() 于是(a),(b),(),(d)分别化为 (A)0≤p;()≤1 (C)p;(+t)=∑p()+() (P(+)=P()P()) (D)p;(D)= 这时X的转移矩阵族P(t)只含一个参数t 当T=(0,1,2,……)时由(2)得知对非负整数m<n P(n,n)=P(m,m+1)·P(m+1,m+2)∵P(n-1,n)(5) 故高步的转移概率可通过一步的来表达,特别,如此时P(m,n) 还是齐次的,那么由(5)并注意P(n)=P(0,n)得 P(n)=[P(1)] (6) 因此,对具离散参数的马氏链X,它的转移概率矩阵族完全由 步的转移概率矩阵P(1)所决定. 以上:我们从先巳给定的X得到它的转移概率,并得到了P(s r)的佐质(a)-(d) 师
(-)现在考虑反面叫题.设对每一对i,;∈E,已给实值 数p;(,1)0≤≤t满足条件(a),(b),(),(d),称这种函数 为转移函数。称(q)为E上的分布,如果 q≥0, 定理1设已给E上一分布{q;}及转移函数p(s,)(i∈ E),则存在概率空间(,,P)及定义」其上的马氏链X一 {x:(),t∈T}使X的开始分布为{分}、转移矩阵为(p(st), 即 P(xo()mi 7 jx()=i,(i,j∈E;s!∈T)( 证对任意n个参数t∈T,把它们排成4≤≤…≤tn 由于引理2的启发,我们定义n维空间上的离散分布 i)=∑q;i(0,)P(t,t) pi En-1, tn 由(a)-(d)易见有穷维分布族P灬、1,…,i)是相容的,故据 §1I定理1,存在概率空间(≌,,P)及定义于其上的过程 {x(),t∈T},满足 P(x,i,…x=in)〓P1…n(in,……,i)(10) 由(10),(9)得 P(x x P (11) ∑q;pn(0,4)…pn-n-(,tn-)pn-(tn-1,1 qil 1)…p ∑q:P;n-,(0 Pin_.i,(n-1, t