例5.1.8考虑定货问题.设某商店使用(s,S)定货策略， 每天早上检查某商品的剩余量，设为x,则定购额为 若x≥s S-x, 若x<s 设定货和进货不需要时间，每天的需求量Y独立同分布 且P{Yn=}=a,j=0,1,2,·.现在我们要从上述问题 中寻找一个Markov链 17/113 令Xn为第n天结束时的存货量，则 X*=S-, Xn-Yn+1, 若Xn≥s 若Xn<s 因此{Xn,n≥1}是Markov链，转移概率为 Qi-j, 若1≥s aS-j, 若i<s GoBack FullScreen Close Quit
17/113 kJ Ik J I GoBack FullScreen Close Quit ~ 5.1.8 ƒ½¿ØK.,˚A¶^(s, S)½¿¸—ß zU@˛u,˚¨ê{˛ßèx, K½ è ( 0, ex ≥ s S − x, ex < s ½¿⁄?¿ÿIáûmßzUI¶˛Yn’·”©Ÿ ÖP{Yn = j} = aj, j = 0, 1, 2, · · · .y3·Çál˛„ØK •œÈòáMarkovÛ. -Xnè1nU(Âû¿˛ßK Xn+1 = ( Xn − Yn+1, eXn ≥ s S − Yn+1, eXn < s œd{Xn, n ≥ 1}¥MarkovÛß=£V«è pij = ( ai−j, ei ≥ s aS−j, ei < s
例5.1.9以Sn表示保险公司在时刻n的盈余，这里的 时间以适当的单位来计算（如天，月等）.初始盈余S,=x显然 为已知，但未来的盈余S1,S2,·却必须视为随机变量，增 量Sm-Sn-1解释为时刻n-1和时刻n之间获得的盈利（可 以为负)假定X1,X2,·是不包含利息的盈利且独立同分布 为F(x),则 Sn=Sn-1(1+Y）+X, 其中y为固定的利率，{Sn}是一Markov链，转移概率为 18/113 Pay=Fly-(1+Y)x] GoBack FullScreen Close Quit
18/113 kJ Ik J I GoBack FullScreen Close Quit ~ 5.1.9 ±SnL´x˙i3ûènJ{ߢp ûm±·¸†5Oé(XU, ).–©J{ S0 = xw, èÆßô5J{S1, S2, · · · %7L¿èëÅC˛ßO ˛Sn − Sn−1)ºèûèn − 1⁄ûènÉmºJ| (å ±èK).b½X1, X2, · · · ¥ÿù¹|EJ|Ö’·”©Ÿ èF(x)ßK Sn = Sn−1(1 + γ) + Xn, Ÿ•γè½|«, {Sn}¥òMarkovÛß=£V«è pxy = F[y − (1 + γ)x]
§5.1.2 n步转移概率，C-K方程 定义5.1.5称条件概率 p=P(Xm+n=lXm=i,云，j∈S,m≥0，n≥1 (5.1.6) 为Markov链的n步转移概率，相应地称Pm)=(p)为m步 转移矩阵。 当n=1时，-p,P)=P,此外规定 19/113 (0) 0, i卡j (5.1.7) 1,i=j 显然，n步转移概率p”指的就是系统从状态经过n步后转 移到的概率，它对中间的m一1步转移经过的状态无要求. GoBack FullScreen Close Quit
19/113 kJ Ik J I GoBack FullScreen Close Quit §5.1.2 n⁄=£V«ßC-Kêß ½¬ 5.1.5 °^áV« p (n) ij = P{Xm+n = j|Xm = i}, i, j ∈ S, m ≥ 0, n ≥ 1 (5.1.6) èMarkovÛn⁄=£V«ßÉA/°P(n) = (p (n) ij ) èn⁄ =£› . n = 1û, p (1) ij = pij, P(1) = Pßd 5½ p (0) ij = ( 0, i 6= j 1, i = j (5.1.7) w,ßn⁄=£V«p (n) ij ç“¥X⁄lGi²Ln⁄= £jV«ßßÈ•mn − 1⁄=£²LGÃá¶
下面的定理给出了p和p,的关系。 定理5.1.1（Chapman-Kolmogorov方程，简 称C-K方程) 对一切n,m≥0，i,j∈ nathcals有 (1) (m+n) =1 >pp PP (5.1.8) 20/113 k∈S (2) P(m)=P.Pm-1)=P.P.P(m-2)=·=Pn(5.1.9) 证明： GoBack FullScreen Close Quit
20/113 kJ Ik J I GoBack FullScreen Close Quit e°½nâ— p (n) ij ⁄pij'X. ½n 5.1.1 ( Chapman-Kolmogorovêßß{ °C-Kêß) ÈòÉn, m ≥ 0, i, j ∈ mathcalSk (1) p (m+n) ij = X k∈S p (m) ik p (n) kj (5.1.8) (2) P(n) = P · P(n−1) = P · P · P(n−2) = · · · = Pn (5.1.9) y²µ
y n)=P{Xm+n=jxo=i} Pij P{Xm+n j,Xo=i} P{Xo=i} ∑ P[Xmin =j,Xm =k,Xo=i} (全概率公式) k∈S P{Xo=i} = P{Xm+n j,Xm =k,Xo=i}p{Xm=k,Xo=i} 21/113 kES P{X0=} P{Xm=k,Xo=ih P{Xm+n jlXm =k,Xo=i}P{Xm=kXo=i} k∈S (m (m) P ).P kES ∑ (m)(n) Pik Pkj k∈S GoBack (2)是(1)的矩阵形式，利用矩阵乘法易得 FullScreen Close Quit
21/113 kJ Ik J I GoBack FullScreen Close Quit p (m+n) ij = P{Xm+n = j|X0 = i} = P{Xm+n = j, X0 = i} P{X0 = i} = X k∈S P{Xm+n = j, Xm = k, X0 = i} P{X0 = i} ( V«˙™) = X k∈S P{Xm+n = j, Xm = k, X0 = i} P{X0 = i} P{Xm = k, X0 = i} P{Xm = k, X0 = i} = X k∈S P{Xm+n = j|Xm = k, X0 = i}P{Xm = k|X0 = i} = X k∈S p (n) kj · p (m) ik = X k∈S p (m) ik p (n) kj (2)¥(1)› /™ß|^› ¶{¥