无后效性（马尔可夫性）如果某阶段状态给定后，则在这个阶段以后过程的发展不受这个阶段以前各段状态的影响；过程的过去历史只能通过当前的状态去影响它未来的发展；构造动态规划模型时，要充分注意是否满足无后效性的要求；状态变量要满足无后效性的要求如果状态变量不能满足无后效性的要求，应适当地改变状态的定义或规定方法。状态具有无后效性的多阶段决策过程的状态转移方程如下动态规划中能3=(8m)处理的状态转移方程的形式。Sk+1 = Th(Sk,uk)
如果状态变量不能满足无后效性的要求，应 适当地改变状态的定义或规定方法 。 ),( ),( ),( 1 2223 1112 k usTs kkk usTs usTs = = = + LL 动态规划中能 处理的状态转移 方程的形式 。 状态具有无后效性的多阶段决策过程的状 态转移方程如下 如果某阶段状态给定后，则在这个阶段以后 过程的发展不受这个阶段以前各段状态的影响； 过程的过去历史只能通过当前的状态去影响 它未来的发展； 构造动态规划模型时，要充分注意是 否满足无后效性的要求； 状态变量要满足无后效性的要求； 无后效性(马尔可夫性)
5、策略：是一个按顺序排列的决策组成的集合。在实际问题中，可供选择的策略有一定的范围，称为允许策略集合。从允许策略集合中找出达到最优效果的策略称为最优策略。6、状态转移方程：是确定过程由一个状态到另一个状态的演变过程，描述了状态转移规律。7、指标函数和最优值函数：用来衡量所实现过程优劣的一种数量指标，为指标函数。指标函数的最优值，称为最优值函数。在不同的问题中，指标函数的含义是不同的，它可能是距离、利润、成本、产量或资源消耗等。动态规划模型的指标函数，应具有可分离性，并满足递推关系
5、策略：是一个按顺序排列的决策组成的集合。在 实际问题中，可供选择的策略有一定的范围，称为允 许策略集合。从允许策略集合中找出达到最优效果的 策略称为最优策略。 6、状态转移方程：是确定过程由一个状态到另一个 状态的演变过程，描述了状态转移规律。 7、指标函数和最优值函数：用来衡量所实现过程优 劣的一种数量指标，为指标函数。指标函数的最优 值，称为最优值函数。在不同的问题中，指标函数的 含义是不同的，它可能是距离、利润、成本、产量或 资源消耗等。 动态规划模型的指标函数，应具有可分离性，并满 足递推关系
小结：无后效性动态规划本质上是多阶段决策过任；概念：阶段变量k、状态变量Sk、决策变量urSk+1 = Th(Sk,uk)方程：状态转移方程指标: Vk.n =Vk.n(Sk,uk, Sk+1, u+1,**, Sn+1)效益f ,(sk)=, opt Vk.n(Sk-uk,**,Sn+1)k"un可递推Vk.n (Sk, Uk, Sk+1, Uk+1, *", Sn+1)= Pk[sk,uk,Vk+1,n(sk+1,uk+1,... , Sn+1)]指标函数形式：和、积
小结: { } )( ),( , 1 , f k sk opt susV nkknk uu nk + = L L )],(,[ ϕ= + ,1 kknkkkk ++ 11 n + 1 L susVus 方程 :状态转移方程 ),( k +1 = usTs kkk 概念 : 阶段变量k﹑状态变量sk﹑决策变量uk; 指标: ),( = , kkkknknk ++ 11 n+1 L sususVV 动态规划本质上是多阶段决策过程; 效益 指标函数形式: 和、 积 无后效性 ),( , kkkknk ++ 11 n+1 L sususV 可递推
解多阶段决策过程问题，求出最优策略，即最优决策序列(u',u,,...,un)最优轨线，即执行最优策略时的状态序列fi(st)(si,S2,...s.最优目标函数值从k到终点最优策略Ii,n = Vi'n(si,1子策略的最优目标函数值f,(s)=on1k,nSk'uk,..,s
},{ * * 2 * 1 L uuu n 最优策略，即最优决策序列 },{ * * 2 * 1 n L sss 解多阶段决策过程问题，求出 ( ) { } ( ) f k s k opt kknk susv n k uu n , 1 , , + = L L f1 ( s 1 ) 最优轨线，即执行最优策略时的状态序列 最优目标函数值 ),( * ** 1 * 1 * ,1 * ,1 n = n L ususVV nn 从 k 到终点最优策略 子策略的最优目标函数值
（二）、动态规划的基本思想1、动态规划方法的关键在于正确地写出基本的递推关系式和恰当的边界条件（简称基本方程）。要做到这一点，就必须将问题的过程分成几个相互联系的阶段，恰当的选取状态变量和决策变量及定义最优值函数，从而把一个大问题转化成一组同类型的子问题，然后逐个求解。即从边界条件开始，逐段递推寻优，在每一个子问题的求解中，均利用了它前面的子问题的最优化结果，依次进行，最后一个子问题所得的最优解，就是整个问题的最优解
1、动态规划方法的关键在于正确地写出基本的递推 关系式和恰当的边界条件（简称基本方程）。要做到 这一点，就必须将问题的过程分成几个相互联系的阶 段，恰当的选取状态变量和决策变量及定义最优值函 数，从而把一个大问题转化成一组同类型的子问题， 然后逐个求解。即从边界条件开始，逐段递推寻优， 在每一个子问题的求解中，均利用了它前面的子问题 的最优化结果，依次进行，最后一个子问题所得的最 优解，就是整个问题的最优解。 （二）、动态规划的基本思想