+健康与疾病例2.,X,=2~疾病健康和疾病状态同上，X=1～健康，0.80.25死亡为第3种状态，记X,=30.180.65P11=0.8, P12=0.18, P13=0.02P21=0.65, P22=0.25, P23=0.10.020.13P31=0, P32=0, P33-1ai(n +1) = ai(n)pii +α2(n)p21 +as(n)p31a2(n +1) = ai(n)p12 +az(n)p22 +as(n)p32αs(n+1) =ai(n)P13 +αz(n)p23 +as(n)p33
1 2 3 0.02 0.1 1 0.8 0.18 0.25 0.65 例2. 健康和疾病状态同上，Xn=1~ 健康, Xn=2~ 疾病 3 1 1 3 2 2 3 3 3 3 2 1 1 2 2 2 2 3 3 2 1 1 1 1 2 2 1 3 3 1 ( 1) ( ) ( ) ( ) ( 1) ( ) ( ) ( ) ( 1) ( ) ( ) ( ) a n a n p a n p a n p a n a n p a n p a n p a n a n p a n p a n p + = + + + = + + + = + + p11=0.8, p12=0.18, p13=0.02 死亡为第3种状态，记Xn=3 健康与疾病 p21=0.65, p22=0.25, p23=0.1 p31=0, p32=0, p33=1
状态与状态转移+设投保时处于健康状态，预测a(n),n=1,2..23050n0.12930.80.7570.7285ai(n)10.0326000.180.1890.1835az(n)00.020.0540.08800.8381as(n)不论初始状态如何，最终都要转到状态3；一旦ai(k)= a2(k)=0,as(k)=1,则对于n>k,ai(n)=0,az(n)=0，as(n)=l,即从状态3不会转移到其它状态
n 0 1 2 3 a2 (n) 0 0.18 0.189 0.1835 a3 (n) 0 0.02 0.054 0.0880 a1 (n) 1 0.8 0.757 0.7285 设投保时处于健康状态，预测 a(n), n=1,2. • 不论初始状态如何，最终都要转到状态3 ； • 一旦a1 (k)= a2 (k)=0, a3 (k)=1, 则对于n>k, a1 (n)=0， a2 (n)=0, a3 (n)=1, 即从状态3不会转移到其它状态。 状态与状态转移 0 0 1 50 0.1293 0.0326 0.8381
马氏链的基本方程状态X,=1,2,...k (n=0,1,.k状态概率a,(n)=P(X,=i),Za,(n)=1ili=1,2,...,k, n= 0,1,...转移概率p, =P(X,++= jX,=i) P, ≥0,Zp, = 1,i=1,2,,k1=a,(n+1)=Za,(n)pm, i=1,2,...,k基本方程a(n)= (a(n),az(n), ,ar(n)a(n+1)=a(n)P～状态概率向量P=(p)x～转移概率矩阵a(n) = a(O)P（非负，行和为1）
1,2,, , 0,1, ( ) ( ), = = = = i k n a n P X i 状态概率 i n ( ) 1 p P X j X i 转移概率 i j = n+ = n = X =1,2, k (n = 0,1, ) 马氏链的基本方程 状态 n ( ) 1 1 = = a n k i i p p i k k j i j i j 0, 1, 1,2, , 1 = = = （非负，行和为 ） 转移概率矩阵 1 P ={pi j}kk ~ a(n +1) = a(n)P a n a n p i k k j i j j i ( 1) ( ) , 1,2, , 1 + = = = 基本方程 ~ 状态概率向量 ( ) ( ( ), ( ), , ( )) 1 2 a n a n a n a n = k n a(n) = a(0)P
马氏链的两个重要类型a(n +1)= a(n)P1.正则链～从任一状态出发经有限次转移（如例1）。能以正概率到达另外任一状态正则链3N,P>0正则链=3w, a(n)→w(n→)w~稳态概率w满足wP=w0.8w +0.7w2 = Wl[0.8 0.2 0.2wl =0.7w2例1. P =0.2w, + 0.3wz = w,0.7 0.3kZw=(7/9,2/9)w满足=1Wi+W.=W;i=1
w满足 wP = w 马氏链的两个重要类型 1. 正则链 ~ 从任一状态出发经有限次转移 能以正概率到达另外任一状态（如例1）。 , 0 N 正则链 N P a(n +1) = a(n)P 正则链w, a(n) →w(n →) = 0.7 0.3 0.8 0.2 例1. P w = (7 / 9,2 / 9) 1 2 2 1 2 1 0.2 0.3 0.8 0.7 w w w w w w + = + = 1 1 = = k i w满足 wi 1 w1 +w2 = 1 2 0.2w = 0.7w w ~ 稳态概率
马氏链的两个重要类型2.吸收链～存在吸收状态（一日到达就不会离开的状态i,pi-1），且从任一非吸收状态出发经有（如例2）。限次转移能以正概率到达吸收状态I0有r个吸收状态的吸收链R有非rxrP=的转移概率阵标准形式零元素R9y=(yi,2,::yk-r) = MeM =(I -Q)" =ZQ"e=(1,1, ..,1)S=0Ji～从第i个非吸收状态出发，被某个吸收状态吸收前的平均转移次数
= R Q I P r r 0 马氏链的两个重要类型 2. 吸收链 ~ 存在吸收状态（一旦到达就不会离 开的状态i, pii=1）,且从任一非吸收状态出发经有 限次转移能以正概率到达吸收状态（如例2）。 有r个吸收状态的吸收链 的转移概率阵标准形式 R有非 零元素 = − = − = 0 1 ( ) s s M I Q Q T e = (1,1, ,1) y y y y Me = ( 1 , 2 , k−r ) = yi ~ 从第 i 个非吸收状态出发，被某个 吸收状态吸收前的平均转移次数