北京交通大学动态规划的基本概念经济管理学院School of Econnics and ManagomentBoijingJiaotong University建模1.阶段2.状态3.决策4.策略5.状态转移方程6.指标函数和最优值函数北京交通大学
动态规划的基本概念 1. 阶段 2. 状态 3. 决策 4. 策略 5. 状态转移方程 6. 指标函数和最优值函数 建模
82动态规划的基本概念和定义6C12E1？D18B15432F13C265GE2D283C3B2F26335E3D38636C443241561、阶段、阶段变量（按时间和空间）地分把所给问题的过程，适当为若干个相互联系的阶段；描述阶段的变量称为阶段变量，常用 k表示
A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 4 2 2 1 2 3 3 3 5 5 2 6 6 4 3 1 2 3 4 5 6 §2 动态规划的基本概念和定义 1、阶段、阶段变量 把所给问题的过程，适当（按时间和空间）地分 为若干个相互联系的阶段；描述阶段的变量称为阶段 变量，常用 k 表示
2、状态、状态变量每个阶段开始所处的自然状态或客观条件，描述过程的状况，通常一个阶段有若干个状态。e6描述过程状态的变C12E1D138量称为状态变量，B1325F1C26它可用一个数、一5E2D2组数或一向量来描C3B236F2福1述，常用 s表示第E36D3836k阶段的状态4C432456状态允许集合，状态变量的取值允许集合或范围
2、状态、状态变量 每个阶段开始所处的自然状态或客观条件,描述过程 的状况,通常一个阶段有若干个状态. A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 4 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 2 2 1 2 3 3 3 5 5 2 6 6 4 3 1 2 3 4 5 6 描述过程状态的变 量称为状态变量， 它可用一个数、一 组数或一向量来描 述, 常用 sk 表示第 k 阶段的状态. s2=? 状态允许集合，状态变量的取值允许集合或范围
3、决策、决策变量某一阶段、某个状态，可以做出不同的决定（选择)，决定下一阶段的状态，这种决定称为决策在最优控制中也称为控制Uss决策变量，描述决策的变量D2(BC16uk(Sk),表示第k阶段当12ED1状态为 S时的决策变量B11F1C2允许决策集合：3E2D28C33B2?F2常用Dk(sk)表示第k阶E36D383段从状态s.出发的允许4A决策集合。234156
在最优控制中也称为控制. 3、决策、决策变量 某一阶段、某个状态,可以做出不同的决定(选择),决 定下一阶段的状态,这种决定称为决策. A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 4 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 2 2 1 2 3 3 3 5 5 2 6 6 4 3 1 2 3 4 5 6 决策变量, 描述决策的变量. uk (sk ), 表示第 k 阶段当 状态为 sk 时的决策变量. 允许决策集合， 常用Dk (sk )表示第k阶 段从状态sk出发的允许 决策集合. uk (sk ) Dk (sk ) D2 (B1 )?
4、多阶段决策过程在每个阶段进行决策口控制过程的发展：其发展是通过一系列的状态转移来实现的：系统过去的历系统当前的史状态和决策状态和决策6C12状态转移方程的一般形式El2D18B135F1C2S,=TL5E23D28Si=A,ui-B1,C33B2?F2YE36S2=?D383644Sk+1=Tk(Si,ui, S2, U2,sk uk234156
A B1 B2 C1 C2 C3 C4 D1 D2 D3 E1 E2 E3 F1 F2 G 4 5 3 1 3 6 8 7 6 6 8 3 5 3 3 8 2 2 1 2 3 3 3 5 5 2 6 6 4 3 1 2 3 4 5 6 系统当前的 状态和决策 4、多阶段决策过程 在每个阶段进行决策 控制过程的发展； 其发展是通过一系列的状态转移来实现的； 系统过去的历 史状态和决策 B1 C1 s2 =T1 (s1 , u1 ) s3 =T2 (s1 , u1 , s2 , u2 ) sk+1 =Tk (s1 , u1 , s2 , u2 ,, sk , uk ) 状态转移方程的一般形式 s1=A,u1=B1 , s2=?