3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为 马尔科夫链。例:蛙跳问题 假定池中有N张荷叶,编号为1,2, 3,N,即蛙跳可能有N个状态(状态确知 且离散)。青蛙所属荷叶,为它目前所处的状 态;因此它未来的状态,只与现在所处状态有 关,而与以前的状态无关(无后效性成立)
3、马尔科夫链 时间和状态都是离散的马尔科夫过程称为 马尔科夫链。例：蛙跳问题 假 定池 中有N 张荷 叶，编 号为1 ，2 ， 3,……,N，即蛙跳可能有N个状态（状态确知 且离散）。青蛙所属荷叶，为它目前所处的状 态；因此它未来的状态，只与现在所处状态有 关，而与以前的状态无关（无后效性成立）
P22 P41 P42 P31 P44
1 2 3 4 P33 P22 P44 P41 P42 P31 P32
写成数学表达式为: P(X+1=jx=1t,x, x1=i) P(X+1=j xt=1) 定义:P=P(x+1=jx=i) 即在x=i条件下,使 t+1 的条件概率 是从状态一步转移到状态的概率,因此它又 称一步状态转移概率 由状态转移图,由于共有N个状态,所以有
写成数学表达式为： P( xt+1 = j | xt = i t , xt-1 = it―1,……x1 = i1) =P( xt+1 = j | xt = i t ) 定义：Pij = P( xt+1 = j | xt = i) 即在xt = i的条件下，使 xt+1 = j的条件概率， 是从 i状态一步转移到j状态的概率，因此它又 称一步状态转移概率。 由状态转移图，由于共有N个状态，所以有
状态转移矩阵 1.一步状态转移矩阵 系统有N个状态,描述各种状态下向其他状态转移的 概率矩阵 PIl p P 定义为 P P2N PNNN×N 这是一个N阶方阵,满足概率矩阵性质 )P≥0i=1,2,…N非负性性质 2)∑Pj=1 行元素和为1,i=1,2…N
二．状态转移矩阵 1.一步状态转移矩阵 系统有N个状态，描述各种状态下向其他状态转移的 概率矩阵 P11 P12 …… P1N 定义为 P21 P22 …… P2N : : : PN1 PN2 …… PNN 这是一个N阶方阵，满足概率矩阵性质 1） Pij ≥ 0,i,j = 1,2, ……, N 非负性性质 2） ∑ Pij = 1 行元素和为1 ,i=1,2,…N N×N P =
如:W1=[14,14,1/2,0] 概率向量 W2=[1/3,0,2/3] W3=[1/4,14,14,1/2] W4=[1/3,1/3,-1/3,0,2/3] 非概率向量 3)若A和B分别为概率矩阵时,则AB为概率 矩阵
如： W1 = [1/4, 1/4, 1/2, 0] W2 = [1/3, 0, 2/3] W3 = [1/4, 1/4, 1/4, 1/2] W4 = [1/3, 1/3, -1/3,0, 2/3] 3）若A和B分别为概率矩阵时，则AB为概率 矩阵。 概率向量 非概率向量