在园 例7.1.9（图上的简单随机游动）设有一蚂蚁在如图5- 1上爬行，当两个结点相临时，蚂蚁将爬向它临近的一点， 1951 并且爬向任何一个邻居的概率是相同的 12/71 则此Markov链的转移矩阵为 9 0 00 P 44 001000 00200号 000010 GoBack FullScreen Close Quit
12/71 kJ Ik J I GoBack FullScreen Close Quit ~ 7.1.9 („˛{¸ëÅiƒ) kòȨ3X„5- 1˛˜1߸á(:ÉûßȨژïßCò:ß øÖ˜ï?¤òáÿV«¥É”. KdMarkovÛ=£› è P = 0 1 2 1 2 0 0 0 1 2 0 1 2 0 0 0 1 4 1 4 0 1 4 1 4 0 0 0 1 0 0 0 0 0 1 2 0 0 1 2 0 0 0 0 1 0
数传在 §7.1.2 n步转移概率，C-K方程 1951 定义7.1.10称条件概率 p=P(Xm+n=lXm=i,云，j∈S,m≥0，n≥1 (7.1.4) 为Markov链的n步转移概率，相应地称Pm-(p)为m步 转移矩阵。 当n=1时，-p,P)=P,此外规定 13/71 (0) 0, i卡j (7.1.5) 1,i=j 显然，n步转移概率p”指的就是系统从状态经过n步后转 移到的概率，它对中间的m一1步转移经过的状态无要求. GoBack FullScreen Close Quit
13/71 kJ Ik J I GoBack FullScreen Close Quit §7.1.2 n⁄=£V«ßC-Kêß ½¬ 7.1.10 °^áV« p (n) ij = P{Xm+n = j|Xm = i}, i, j ∈ S, m ≥ 0, n ≥ 1 (7.1.4) èMarkovÛn⁄=£V«ßÉA/°P(n) = (p (n) ij ) èn⁄ =£› . n = 1û, p (1) ij = pij, P(1) = Pßd 5½ p (0) ij = ( 0, i 6= j 1, i = j (7.1.5) w,ßn⁄=£V«p (n) ij ç“¥X⁄lGi²Ln⁄= £jV«ßßÈ•mn − 1⁄=£²LGÃá¶
在发☑ 下面的定理给出了ng和p的关系。 1951 定理7.1.11(Chapman-Kolmogorov方程，简 称C-K方程) 对一切m,m≥0，i,j∈S有 (1) (m)(n) P次P (7.1.6) k∈S 14/71 (2) P(m）=P.Pm-1=P.P.Pm-2)=…=Pn(7.1.7) 证明： GoBack FullScreen Close Quit
14/71 kJ Ik J I GoBack FullScreen Close Quit e°½nâ— p (n) ij ⁄pij'X. ½n 7.1.11 ( Chapman-Kolmogorovêßß{ °C-Kêß) ÈòÉn, m ≥ 0, i, j ∈ Sk (1) p (m+n) ij = X k∈S p (m) ik p (n) kj (7.1.6) (2) P(n) = P · P(n−1) = P · P · P(n−2) = · · · = Pn (7.1.7) y²µ
在 KOLMOGOROV 1951 IN PERSPECTIVE 15/71 4 GoBack FullScreen Close Quit
15/71 kJ Ik J I GoBack FullScreen Close Quit
数传在☑ (m+n)=PIXmin =jlXo=i} 1951 三 P{Xm+n =j,Xo=i} P{X0=} ∑PXn=Xm=k,X= (全概率公式) k∈S P{Xo=i} = ∑ P{Xm+n j,Xm=k,Xo=i}P{Xm =k;Xo=i} 16/71 k∈S P{Xo=i} P{Xm=k;Xo=i} ∑ P(Xm+n =jXm=k,Xo=i}P{Xm kXo=i} k∈S (m) Pkj kES (m)(n) 三 ∑ Pik k∈S GoBack (2)是(1)的矩阵形式，利用矩阵乘法易得 FullScreen Close Quit
16/71 kJ Ik J I GoBack FullScreen Close Quit p (m+n) ij = P{Xm+n = j|X0 = i} = P{Xm+n = j, X0 = i} P{X0 = i} = X k∈S P{Xm+n = j, Xm = k, X0 = i} P{X0 = i} ( V«˙™) = X k∈S P{Xm+n = j, Xm = k, X0 = i} P{X0 = i} P{Xm = k, X0 = i} P{Xm = k, X0 = i} = X k∈S P{Xm+n = j|Xm = k, X0 = i}P{Xm = k|X0 = i} = X k∈S p (n) kj · p (m) ik = X k∈S p (m) ik p (n) kj (2)¥(1)› /™ß|^› ¶{¥