合2.动变规划的基本概念 通常称式(-1)为多阶段决策过程的状态转移方 程。有些问题的状态转移方程不一定存在数学 表达式,但是它们的状态转移,还是有一定规 律可循的。 (六)指标函数 用來衡量策略或子策略或决策的效果的某 种数量指标,就称为指标函数。它是定义在全 过程或各子过程或各阶段上的确定数量函数, 对不同问题,指标函数可以是诸如费用、成本 产值、利润、产量、耗量、距离、时间、效用, 等等。例如:图5-1的指标就是运费
26 通常称式(5-1)为多阶段决策过程的状态转移方 程。有些问题的状态转移方程不一定存在数学 表达式，但是它们的状态转移，还是有一定规 律可循的。 (六) 指标函数 用来衡量策略或子策略或决策的效果的某 种数量指标，就称为指标函数。它是定义在全 过程或各子过程或各阶段上的确定数量函数。 对不同问题，指标函数可以是诸如费用、成本、 产值、利润、产量、耗量、距离、时间、效用， 等等。例如：图5—1的指标就是运费。 2.动态规划的基本概念
2.动变规划的基本概龙 1)阶段指标函数(也称阶段效应)。用 8k(Su)表示第k段处于S状态且所作决策为 u(S)时的指标,则它就是第k段指标函数,简记 为8k。图5-1的g值就是从状态S到状态Sh+1的距 离。譬如,B(V2,V=3,即到的距离为3。 (2)过程指标函数(也称目标函数)。用 R(S,u1)表示第k子过程的指标函数。如图5-1的 R(Shu)表示处于第k段S状态且所作决策为U时, 从S点到终点h的距离。由此可见,R(Sh,l)不 仅跟当前状态S有关,还跟该子过程策略D(S 有关,因此它是S和p(S)的函数,严格说来, 应表示为 RK(Sk, Pk(sk))
27 (1)阶段指标函数（也称阶段效应）。用 gk(sk,uk)表示第k段处于sk状态且所作决策为 uk(sk)时的指标，则它就是第k段指标函数，简记 为gk 。图5-1的gk值就是从状态sk到状态sk+1的距 离。譬如，gk(v2,v5)=3,即v2到v5的距离为3。 (2)过程指标函数（也称目标函数）。用 Rk(sk,uk)表示第k子过程的指标函数。如图5-1的 Rk(sk,uk)表示处于第k段sk状态且所作决策为uk时， 从sk点到终点v10的距离。由此可见，Rk(sk,uk)不 仅跟当前状态sk有关，还跟该子过程策略pk(sk) 有关，因此它是sk和pk(sk)的函数，严格说来， 应表示为: 2.动态规划的基本概念 ( , ( )) k k k k R s p s
2.动变规划的基本概龙 不过实际应用中往往表示为RA(S,U)或 R(S)。还跟第k子过程上各段指标函数有关 过程指标函数R(S)通常是描述所实现的全过 程或k后部子过程效果优劣的数量指标,它是 由各阶段的阶段指标函数g(Sl)累积形成的, 适于用动态枧划求解的问题的过程指标函数 (即目标函数),必须具有关于阶段指标的可 分离形式,对于部子过程的指标函数可以表示 为 Rkn=Rkn(sk, uk, skl,uk+,,Sn,,un) 8k(Sk2lk)④gk+1(S+1,l4k+)④…⊕gn(Sn2,n 式中,⊕表示某种运算,可以是加、减、乘 除、开方等。 (5-2)
28 不过实际应用中往往表示为Rk(sk,uk)或 Rk(sk)。还跟第k子过程上各段指标函数有关， 过程指标函数Rk(sk)通常是描述所实现的全过 程或k后部子过程效果优劣的数量指标，它是 由各阶段的阶段指标函数gk(sk,uk)累积形成的， 适于用动态规划求解的问题的过程指标函数 （即目标函数），必须具有关于阶段指标的可 分离形式．对于部子过程的指标函数可以表示 为： 式中，表示某种运算，可以是加、减、乘、 除、开方等。 2.动态规划的基本概念 ( , ) ( , ) ( , ) ( , , , , , , ) 1 1 1 , , 1 1 k k k k k k n n n k n k n k k k k n n g s u g s u g s u R R s u s u s u = = + + + + + (5-2)
2.动变规划的基本概龙 多阶段决策问题中,常见的目标函数形式之 是取各阶段效应之和的形式,即 Rk=∑g1(S1,1) k (5-3) 有些问题,如系统可靠性问题,其目标函数 是取各阶段效应的连乘积形式,如 RA=∏ (5-4) k 总之,具体问题的目标函数表达形式淠要视 具体问题而定
29 多阶段决策问题中，常见的目标函数形式之 一是取各阶段效应之和的形式，即: (5-3) 有些问题，如系统可靠性问题，其目标函数 是取各阶段效应的连乘积形式，如： (5-4) 总之，具体问题的目标函数表达形式需要视 具体问题而定。 2.动态规划的基本概念 = = n i k k i i ui R g (s , ) = = n i k k i i ui R g (s , )
2.动变规划的基本概龙 (七)最优解 用(S)表示第k子过程指标函数R(sk,pA(s) 在状态Sk下的最优值,即 fr(Sk)=opt R(Sk, Pk(sk i, k=1, 2,,n Pk∈Pk(Sk) 称f(S)为第k子过程上的最优指标函数;与它 相应的子策略称为S状态下的最优子策略,记 为p水(S);而构成该子策赂的各段决策称为该 过程上的最优决,记为u(S),1(Sk1)…ln(Si) 有 )={(8)21(skA)…;u2(sn)2k=12…n 简记为 p={uk,l+12…,ln},k=1,2,…,n
30 (七) 最优解 用fk(sk)表示第k子过程指标函数 在状态sk下的最优值,即 称fk(sk)为第k子过程上的最优指标函数；与它 相应的子策略称为sk状态下的最优子策略，记 为pk *(sk) ；而构成该子策赂的各段决策称为该 过程上的最优决策，记为 ； 有 简记为 2.动态规划的基本概念 ( , ( )) k k k k R s p s f s opt R s p s k n k k k k p P s k k k K k ( ) { ( , ( ))}, 1,2, , ( ) = = ( ), ( ), , ( ) k k k 1 k 1 n n u s u s u s + + p s u s u s u s k n k k k k k k n n ( ) { ( ), ( ), , ( )}, 1,2, , = 1 1 = + + pk = {uk ,uk 1 , ,un },k =1,2, ,n +