马氏决策规划简介
马氏决策规划简介
平 ★★ 马尔可夫过程 马尔可夫过程是一类特殊的随机过程 它因伟大的俄国嶽学家马尔可夫而得名 这种过程的特点是存在着确定的转移欐 率,与系统先前的历史无关,有一个很 形象的比喻来形容这个过程:池塘里的 青蛙在着叶上跳来跳去,如果将它在某 一时刻所在的荷叶称为状态,则青蛙 来处于什么状态只有它现在所在的状态 有关,与它以前所处的状态无关。这种 性质就是所谓的“一阶 Markov性”或」 “无后效性
马尔可夫过程 马尔可夫过程是一类特殊的随机过程， 它因伟大的俄国数学家马尔可夫而得名。 这种过程的特点是存在着确定的转移概 率，与系统先前的历史无关，有一个很 形象的比喻来形容这个过程：池塘里的 青蛙在荷叶上跳来跳去，如果将它在某 一时刻所在的荷叶称为状态，则青蛙未 来处于什么状态只有它现在所在的状态 有关，与它以前所处的状态无关。这种 性质就是所谓的“一阶Markov性”或 “无后效性” ★ ★ ★ ★ ★
:基本概念 1状态转移概率 畏定系统有n个可能的状态,处于这些 状态的概率分别为p1,p2.pi,pn, 例如,有1000名顾客在每周只到A和B 购物,设定时间阶段为一周,在某 周,有900名顾客到A购物,我们称为 状态1,有100名顾客到B,成为状态2, 因此,系统的两个状态和概率分别为 状态1:顾客到A购物,0.9 状态2:顾客到B购物,0.1
一：基本概念 ❖ 1.状态转移概率 假定系统有n个可能的状态，处于这些 状态的概率分别为 p1,p2…pi ,…pn， 例如，有1000名顾客在每周只到A和B 购物，设定时间阶段为一周，在某一 周，有900名顾客到A购物，我们称为 状态1，有100名顾客到B，成为状态2， 因此，系统的两个状态和概率分别为 状态1：顾客到A购物，0.9 状态2：顾客到B购物，0.1
2状态转移概率矩阵 假定市场调查数据显示,在随后的一周 内,上周去A购物的顾客有90%仍然在A 购物,有10%的顾客则流向了B,去B购 物的顾客有80%继续在B购物,而20% 则流向了A,这些状态转移概率可用如下 矩阵表示 BLIK D END ENN
假定市场调查数据显示，在随后的一周 内，上周去A购物的顾客有90％仍然在A 购物，有10％的顾客则流向了B，去B购 物的顾客有80％继续在B购物，而20％ 则流向了A，这些状态转移概率可用如下 矩阵表示 2.状态转移概率矩阵
0.90.1 0.20.8 该矩阵成为超市的一步转移矩阵。 对于k步(周期)的,nk表示在给定 周期内处于状态i的系统在经过k步后转移到状 态j的概率,p(k)表示系统的k步转移 概率矩阵,则有 k p 1 p P(k) 3n Pn1Pn2…P 状态转移概率矩阵描述了研究对象的变化过程, 它有如万特征: 2=10≤p≤联(,j=12,m
0.9 0.1 0.2 0.8 p = k ij p 11 12 1 21 22 2 3 1 2 ..... ..... ( ) ..... ..... ..... ..... k k k n k k k n n k k k n n nn p p p p p p P k p p p p = 该矩阵成为超市的一步转移矩阵。 对于k步（周期）的， 表示在给定 周期内处于状态i 的系统在经过k步后转移到状 态j的概率，p(k) 表示系统的k步转移 概率矩阵，则有 状态转移概率矩阵描述了研究对象的变化过程， 它有如下特征： 0 1( , 1, 2,...... ) k ij = p i j n 1 1 n k ij j p = =