2 UNBE 1951 第七章：Markov链 ·基本概念 ·状态的分类及性质 2/71 ·极限定理及平稳分布 ·Markov链的应用 连续时间Markov链 GoBack FullScreen Close Quit
2/71 kJ Ik J I GoBack FullScreen Close Quit 1‘Ÿµ MarkovÛ • ƒ Vg • G©a95ü • 4Žn9²©Ÿ • MarkovÛA^ • ÎYûmMarkovÛ
在 .8 1951 .075 .9 Bull Market Bear Market .15 3/71 .025 .25 .05 .25 Recession 4 GoBack FullScreen Close .5 Quit
3/71 kJ Ik J I GoBack FullScreen Close Quit
在发 有一类随机过程，它具备所谓的“无后效性”(Markov性)， 1951 即要确定过程将来的状态，知道它此刻的情况就足够了， 并不需要对它以往状况的认识，这类过程称为Markov过 程.我们将介绍Markov过程中最简单的两种类型：离散时间 的Markov链（简称马氏链）及连续时间的Markovi链， 4/71 GoBack FullScreen Close Quit
4/71 kJ Ik J I GoBack FullScreen Close Quit kòaëÅLßß߉§¢/Ã50(Markov5)ß =á(½LßÚ5Gßßdèú¹“v ß øÿIáÈß± G¹@£ß˘aLß°èMarkovL ß.·ÇÚ0 MarkovLß•Å{¸¸´a.µl—ûm MarkovÛ({°ÍºÛ)9ÎYûmMarkovÛ
的传在， §7.1 基本概念 1951 §7.1.1 Markov链的定义及一些例子 定义7.1.1随机过程{Xn,n=0,1,2,…}称为Markov 链，若它只取有限或可列个值（若不另外说明，以非负整数 集{0,1,2，…}来表示)，并且对任意的n≥0，及任意状 态，j,i0,i1…,in-1,有 5/71 P{Xn+1=X0=i0,X1=i1,…,Xn-1=in-1,Xn=i =P{Xn+1=jXn=i} (7.1.1) 其中Xn=表示过程在时刻n处于状态i,称{0,1,2，·}为 该过程的状态空间，记为S.式(7.1.1)刻画了Markov链的 特性，称为Markov性. GoBack FullScreen Close Quit
5/71 kJ Ik J I GoBack FullScreen Close Quit §7.1 ƒ Vg §7.1.1 MarkovÛ½¬9ò ~f ½¬ 7.1.1 ëÅLß{Xn, n = 0, 1, 2, · · · }°èMarkov ÛßeßêkŽåáä(eÿ, `²ß±öKÍ 8{0, 1, 2, · · · }5L´)ßøÖÈ?ø n ≥ 0ß9?øG i, j, i0, i1 · · · , in−1ßk P{Xn+1 = j|X0 = i0, X1 = i1, · · · , Xn−1 = in−1, Xn = i} = P{Xn+1 = j|Xn = i} (7.1.1) Ÿ•Xn = iL´Lß3ûèn?uGiß°{0, 1, 2, · · · }è TLß GòmßPèS. ™(7.1.1)èx MarkovÛ A5ß°èMarkov5
数在 定义7.1.2称(7.1.1)式中的条件概率P{Xn+1=Xn= i}为Markov链{Xn,n=0,1,2,·}的一步转移概率，简称 1951 转移概率，记为p,它代表处于状态的过程下一步转移到 状态的概率. 一般情况下，转移概率与状态i,和时刻n有关 定义7.1.3当Markov链的转移概率pi=P{Xn+1= Xn=}只与状态i,有关，而与n无关时，称之为时齐Markov 6/71 链；否则，就称之为非时齐的 在课程中，我们只讨论时齐Markov链，并且简称为Markov链 GoBack FullScreen Close Quit
6/71 kJ Ik J I GoBack FullScreen Close Quit ½¬ 7.1.2 °(7.1.1)™•^áV« P{Xn+1 = j|Xn = i}èMarkovÛ{Xn, n = 0, 1, 2, · · · }ò⁄=£V«ß{° =£V«ßPèpijßßìL?uGiLßeò⁄=£ GjV«. òÑú¹eß=£V«ÜGi, j⁄ûènk'. ½¬ 7.1.3 MarkovÛ=£V« pij = P{Xn+1 = j|Xn = i}êÜGi, jk'ß ÜnÃ'ûß°Éèû‡Markov Û¶ƒKß“°Éèöû‡. 3ëß•ß·Çê?ÿû‡MarkovÛßøÖ{°èMarkovÛ