4、策略策略是一个按顺序的决策组成的集合。由过程的第阶段开始到终止状态为止的过程，称为问题的后部子过程（或称为k子过程），由每段的决策按顺序排列组成的决策函数序列(u^(sk),u,(sn))称为k子过程策略，简称子策略，记为pkn(sr），即：Pk,n(sk) ={ur(sk) ,uk+i(Sk+1), ..., un(sn) )简称策略当-1时，此决策函数序列称为全过程的一个策略，Pi.n(s），即含n个阶段的动态规划问题的策略。即：Pi.n(si) =(u;(s) ,u,(s2), ..., u,(s,) )
4、策略 策略是一个按顺序的决策组成的集合。 由过程的第k阶段开始到终止状态为止的过程，称为问题的 后部子过程（或称为k子过程）。 由每段的决策按顺序排列组成的决策函数序列{uk (sk ),., un (sn )}称为k子过程策略，简称子策略，记为pk ,n(sk ），即： pk ,n(sk ）={uk (sk ) ,uk+1(sk+1), ., un (sn ) } 当k=1时，此决策函数序列称为全过程的一个策略，简称策略 ，p1, n(s1），即含n个阶段的动态规划问题的策略。即： p1,n (s1）={u1 (s1 ) ,u2 (s2 ), ., un (sn ) }
5、状态转移，从s,的某一状态值出发，当决策变量u,(s)的取值决定后，下一阶段状态变量sk+的取值就随之确定了，也即是s+的值随s和u(s)的值变化而变化，这种转移规律被称为状态转移。状态转移确定从一个状态到另一个状态的转移方程。由状态转移方程描述：简写为Sk+=T（sk，uk）状态转移方程在大多奖下图中，上一阶段决策就是下一阶段的状态所以状态转移方程为：Sk+1=uk(Sk）Sk+i=Sk-ukERE3B63DEC
5、状态转移 从sk 的某一状态值出发，当决策变量uk (sk )的取值决定后， 下一阶段状态变量sk+1 的取值就随之确定了，也即是sk+1 的 值随sk 和uk (sk )的值变化而变化，这种转移规律被称为状态 转移。状态转移确定从一个状态到另一个状态的转移方程 。由状态转移方程描述：简写为sk+1 =T（sk ，uk ） 状态转移方程在大多数情况下可用数学公式表达，如： sk+1=sk -uk A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 4 3 5 3 3 8 2 2 2 1 3 3 3 5 2 5 6 6 4 3 下图中，上一阶段决策就是下一阶段的状态 ，所以状态转移方程为：sk+1=uk (sk )
状态的性质：无后效性无后效性原则：对任何阶段k，Sk+=T（sk，u），Sk+仅取决于当前状态s,和当前决策uk，与k阶段前的状态和决策无关，也即是说，k阶段以后的发展不受该阶段以前状态的影响过去的历史只能通过当前状态来影响今后的发展。“反”例子：·典型的开发河流的水电站问题，即如何开发河流的不同阶段？T上游的开发将影响下游的开发，这样就不符合无后效性原则
状态的性质：无后效性 无后效性原则： 对任何阶段k，sk+1 =T（sk ，uk ）, sk+1仅取决于当前状态 sk和当前决策uk，与 k 阶段前的状态和决策无关，也即 是说，k 阶段以后的发展不受该阶段以前状态的影响， 过去的历史只能通过当前状态来影响今后的发展。 典型的“反”例子： 开发河流的水电站问题，即如何开发河流的不同阶段？ 上游的开发将影响下游的开发，这样就不符合无后效性 原则
6、指标函数或损益函数动态规划也是一类优化问题，存在反映决策者偏好的指标函数（损益函数）。指标函数（损益函数）应具有可分离性、递推性和单调性指标函数有阶段的指标函数和过程的指标函数之分：■阶段的指标函数是对应某一阶段状态和从该状态出发的一个阶段的决策的某种效益度量，或表示从状态S经过的变化量决策U到达下一状态后指标函数（损益函数），用vk(Sk.u）表示
6、指标函数或损益函数 动态规划也是一类优化问题，存在反映决策者偏好的指标 函数（损益函数）。 指标函数（损益函数）应具有可分离性、递推性和单调性 指标函数有阶段的指标函数和过程的指标函数之分： 阶段的指标函数是对应某一阶段状态和从该状态出发的 一个阶段的决策的某种效益度量，或表示从状态sk经过 决策uk到达下一状态后指标函数（损益函数）的变化量 ，用vk (sk ,uk )表示
例如：在下图例题第5阶段中，当s.=E时，u.取F时，则阶段指标函数(损益函数）Vs(E,F)=3。当s5=E，u3取F时，则vs(E3,F)=？DEE63DE
例如： 在下图例题第5阶段中，当s5=E1时，u5取F1时，则阶段指标 函数（损益函数）v5 (E1 ,F1 )=3。 当s5=E3，u3取F1时，则v5 (E3 ,F1 )= 6？ A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 4 3 5 3 3 8 2 2 2 1 3 3 3 5 2 5 6 6 4 3