6 第八章动态规划 表86 项法 动动 值 60 0 C 1 64 58.2介绍基本概念与原然后念与其他 一、介绍基本概念与原然 (应)阶段 应用动态规划方类时，问题的广能划分为若干阶段。在每一阶段都可作出不同的决策， 以泛两这个阶段的发过优.这，是所谓多阶段决策过引 已经指出.如果我们细 那么，劲态规划的的便在王从众多的策略中寻求最优策略。这个寻求过优在一单 决策的 个阶段，如此逐阶段规序线号，直至在决策的最处阶段。 态网 态络铺 可解为的某种特铁，算态发此变第少等分设 有了发个 变第。在动态 品佛不度 段决策过优的发可以用过优路阶段算态的演变 出每一阶段说同时的一各可能算态，算态已 可用一个教成一组 表示称为 态络细（或向铺。我们用5表示阶段k的算器变量。例2前动问题中每一阶段说同时 的算态是表未分即的动动，在第1阶段（对C决策），81=0,1,2,3,4在第2阶段（对B 决策)，2=0,1,2,3,4在第3阶段（对A决策） 53=4.例1最短路线向题中各阶段说同时 的算态是铁路线已过地点，如第1阶段可能算态是D1 D2.它们不是数，但如有的要可 模用两个数（例如1 态2)分策表示D 态D.算态府数表示以便于进行计算， (数)决策网决策络细 过优从处同算态说同逐阶段 个 每一阶段达到一个可能算态。下一阶段进 从字么算态，但决于这一阶段作出的膜也 铺或向铺).我们用k表示第k阶段的决策变量。例如，例2中的决策变量表示的是对 动项法的选择，例1中各阶段的决 是整线的选择不是数。 为了计算方便，可以 漿不同的决策至为地规模为不同的数.各阶段研可能的决策称为问阶段进发决策终导 为Xk,每个阶段的致许决策继续不一模相同。每一阶段某一算态下可能的决策一单也 变能是问阶段致许决策继续的一个之继 (下)态去直引 如果第k阶段说同时算态为，作出的决策为k,那么第k阶段了（即第k一1阶段
6 ÷✡ø✡ùûú➋ü✏ý✡þ Ù 8–6 ①③② ⑦ s✁⑧ ❡✁⑩✽ A 3 60 B 0 40 C 1 64 §8.2 ➞❧➟❧➠❧➡❧➢❧➤❧➥❧➦❧➧❧➨➩➤❧➥➩➫❧➭ ➽➺➾ ➞❧➟❧➠❧➡❧➢❧➤❧➥❧➦❧➧ (➯)❙✢▲✡◆ ➯Ó③Ó⑧✚Ó❻❈✇Ó②✭ , ❁Ó❂✢✓✢➲Ô ❈Ó❉☞Ó❊Ó❋Ó❘Ó❙, ☛Ó◗✧❘Ó❙✖Ó✗❚Ó❯ ❼Ó✬Ó✓Ó✳✡✴, ✷✢➳✢➵Ó✜●Ó❘Ó❙✓ç✢➸✒✁✼✡✛ ✜✢✆✡✦✡✱Ó⑦ ❨▲Ó◆Ó❬Ó❭✢➺✢➻Ó✛➼■✢☞Ö✍✏ÐÓ⑨❯ , ❴Ó❛Ó❱Ó❲Ó❜Ó✧ ● ✗ Ô✁☛✡✠✓✡❃✡✻✁✮❘✡❙✡✟✻✡➨❘✡❙✓✡✧❑❢✡✳✡✴ ( ◗✡●✡❘✡❙✧ ●✳✡✴) ✘ ☞✧ ● ❭✡❣, ❤✡✐, ⑧✚✡❻❈✡✓ ② ✓✡❧☛ ④✡❃♠ ❦✡✓✡✴✡♥➋♦r✸✡✹✰✻✡✼✰✴✡♥✡✛ ✜ ● ✸✰✹✡✒✝✼, ☛✧✁➃✁➽✁➾ í✢✚☛✢➙✳Ó✴Ó✒✢✼Ó✓✇ ✭❍✁➛, ❷Ó✱Ó⑦➪➚✢➶✢➹✢➘Ó✛➴✍✢➷Ó③ k ❚Ó☞ÙÓÚ❘Ó❙✓Ó✵Ó✶Ó✛ß➡✢➬✡✷ k = 1 Ù✡Ú✡ô✡➇✡✓✡Ñ 1 ❘✡❙, ❷☛✁➙✳✡✴✡✓✡✻✡➨ 1 ●✡❘✡❙,k = 2 Ù✡Ú☛✁➙✳✡✴✡✓❋Û✡Ñ 2 ●✡❘✡❙, ❴✡➈✡❶❘✡❙✁❻❡✁➮✡➍, ï✡ã☛✁➙✳✡✴✡✓✡✻✁✮❘✡❙✛ (➱)❙ ➄ t✁✃➄ t✁❐✁❒ ➄ t ✗✡✯✡❥☞✁❮✁❰✓✡⑤✡⑥✡✤✁Ï✡✛Ð➇✚✡ç➎✵✁Ñ, ❽✁Ò✁❉❮✁❰✲ ñ✡ç✁➸❙ ✵✁Ñ✡✛ ☛ ⑧✚ ❻ ❈✡❁✡❂➋♦, ➇ ✚✦✡❈✡❉❘✡❙✚✡➆❘✡❙✳✡✴✡✓✡P✝✶, ❘✡❙✓✰❹✁❽✁Ò✁❉✁➇✚ ✓✡✵✁Ñ✡✛✢❦❘ ❙✳✡✴✡✒✁✼✡✓ç✁➸✗✡✷✡③✰✒✝✼✡➆❘✰❙➇ ✚ ✓✝Ó✰✵✁✛✝Ô✩ ✛✢➯✰③✰⑧✚✰❻❈✁✓✝➲Ô✝➈✝Õ✁✻❢ ó ❯✰◗✧❘✰❙✫✝✬✭ ✓✰✧✝➆✰✗Ô➇ ✚ ✛☎➇✚✍✝➷✰✗✰✷✰③✰✧●Û (✩✰✧✝Ö✰Û) ✛✰Ù✰Ú, ✘ ☞ ➄ t✁❐✁❒(✩Ø×✁❒)✛➉❱✡❲✡③ sk Ù✡Ú❘✡❙ k ✓✁➇✚✵✡✶✡✛➉ÿ 2 ⑦ s✡❁✡❂➋♦◗ ✧❘✡❙✫✁✬✭ ✓✁➇✚✦❈Ù❖➋✡❉✁❷✡✓⑦ s✝⑧, ☛ Ñ 1 ❘✡❙ (✏ C ✳✡✴), s1 = 0,1,2,3,4; ☛ Ñ 2 ❘✡❙ (✏ B ✳✡✴),s2 = 0,1,2,3,4; ☛ Ñ 3 ❘✡❙ (✏ A ✳✡✴), s3 = 4✛➉ÿ 1 ✻✡ä✡➱✡➮✡❁✡❂➋♦✏➆❘✡❙✫✁✬✭ ✓✁➇✚✦✡Ï✡➱✡➮✁✍✡✒✡❰✡✥, ❴✡Ñ 1 ❘✡❙✗ Ô➇ ✚✦ D1 ✚ D2, ✂✡❲✡❼✡✦✡Û, ➁✡❴✡✲✁✓✡❖✡✗ Ú✔✡③→●Û (ÿ✡❴ 1 ✚ 2) ❉✁✴✡Ù✡Ú D1 ✚ D2 ✛☎➇✚ ③✡Û✡Ù✡Ú, ✷✡❧✡④å✡æô✡➇✡✛ (Û)❙✢❬✡❭✁✃✡❬✡❭✁❐✁❒ ☛✢➙✒✢✼Ó❃✢✮✢✬✢➇✚ ✫✢✬✡❶❘✡❙✭❖■ç✁➸, ◗ ✧❘Ó❙ÓðÓ✟✧ ● ✗ Ô➇ ✚ ✛ íÓ✧❘Ó❙✡å ❃✝Ü✰✐✝➇✚ , ➁✰✳✰④✰✜✰✧❘✰❙✰❚✰❯ ✓✰✳✰✴, ✾✝✆✰✦✰✫,❬✰❭Ý✆✰✦✰➆❘✰❙✏✝➇✚ Ó✰✵✝Þ✰⑥✰✗ Ô❺Ó✓Óàá ✛ ☛✢ß❦Ó❁Ó❂➋♦, ✳Ó✴Ó✗Ó✷áà✢➧✢✑Ó➧Ó❰Ó③✡✧●Û (✩Ó✧✢ÖÓÛ) ÙÓÚ, ✘ ☞ ❬Ó❭✢❐ ❒(✩â×✁❒)✛✢❱✡❲✡③ xk Ù✡Ú✡Ñ k ❘✡❙✓✡✳✡✴✡✵✡✶✡✛✢ÿ✡❴, ÿ 2 ♦✏✓✡✳✡✴✡✵✡✶✡Ù✡Ú✡✓✡✦✁✏ ⑤✰✧⑦ s ①➀② ✓✰àá , ÿ 1 ♦r➆❘✰❙✓✰✳✰✴✰✦✰➱✰➮✰✓✰àá , ❼✰✦✰Û✰✛ ☞✰ñ ô✰➇✇ ❧, ✗✰✷ ❇ ❼Ó✬Ó✓Ó✳Ó✴✢ã☞❰ ❻ ✔ ☞❼✡✬✡✓ÓÛ✡✛ ➆❘✡❙✢ä✎Ó✗Ô ✓Ó✳✡✴✡✘☞❪ ❘✡❙æå✢ç❬Ó❭✢è✢é, ✹✡☞ Xk ✛ ◗✡●✡❘✡❙✓✁êß ✳✡✴✁ë✁ì✡❼✡✧✁✔❍ ✬✡✛ ◗ ✧❘✡❙⑤✡✧✁➇✚í✡✗Ô ✓✡✳✡✴✡✧✁➃✡✾ ✵Ô✦✁❪❘✡❙êß ✳✡✴✁ë✁ì✡✓✡✧● ❳✁ë✡✛ (í)❙ ➄ t✁î✁ï✁ð✁➻ ❴✡❛✡Ñ k ❘✡❙✫✁✬✭ ➇ ✚✡☞ sk, ❚✡❯ ✓✡✳✡✴☞ xk, ❤✡✐✡Ñ k ❘✡❙✁ñ (❷✡Ñ k − 1 ❘✡❙
$82动态规划的基本概念和基本原理 7 初)的状态8k-1就已被个定.这就是说，sk-1随sk及%而变化.可以把这一关系看成是 1与态的函数关系记为 5k-1=g1(Sk:Tk) (8.1) 这一等式表示了某一阶段的状态 下一阶段状态转移的规律，称为状态转移方程有很多 问题，这种函数关系可以用数学解式表示.例如，对于例2有：k-1=一，S≥x 这给计算带。方便.有的问题，例如例1，这种函数关系很难用解析式表达，但这并不妨得 我们用动态规划方法.解决向题。 (五)优指 动态规划问题的求解就是寻求最优策略，即寻找最优的可行的决策序列.这就需要有 个指 ,用以已量一个策略的优劣，即已量一个可以在现的状态演变过优的优劣，这个 指南欧名优器在圆1中优劣指是从A至E的瑞线总长度，例2是3个项法数资的 决定于过优的最初状态 果斋直 接果，它是s 态的函数记为4(s,。例如例2中有： d4(s1,0)=481=0,1,2,3,4 d山(s3,2)=48,s3=4. 设最个过优从第n阶段新同，由第太阶段化=1,2叫)的状态开同至某一最 终状态的这一段过优，称为 k阶段状态s跳的都可过程（相应的决策序列称为s趾的都 可策略)。从例1例2的解题步骤可知，动态规划方法的每一阶段都要找出该阶段每一状 态的最优后部过怀（最优后部策路）。从第k阶段状态k开同的每一后部过优都可称全 过优那样，规定一个指 具有最优指的后部过优称为最代都可过程。其相应指记为 4(s).例如在例2中，2(3表示从第阶段（对B投资）的状态3（剩余资金为3万方 开同的最优后部过优的总益值。 ()指这推方程 例1 列2中，在计算各个阶段的最优后部过优指，时，都要利用上一阶段已， 最优后部品优指 ，:第大阶段在状专下可采用不同岛决宽每一决数事有修 一流的失黄又对将的过优进从第大一阶段时具有不同的所同 态例2，我们是这样计算第k阶段状态 的最优后部过优指为的： f(sk)=max/min{d(k,k)+fk-1(g(sk,k)lk∈X， k=1,2,m (8.2) f0(so)=0 如果用，)表示第k阶段在果取决策的条特下8的最优后部过优指为即 f(k,s)=d(sk,k)+fk-1(g1(sk,工k)》
§8.2 ú➋ü✏ý✡þ❈ò❖ó✁ô✁õ✁ö✁÷✁ó✁ô✁ø✁ù 7 ✮) ✓✁➇✚ sk−1 ✆➋✍❖ú●✔✡✛ ✜✁✆✡✦✡✫,sk−1 û sk ❤ xk ✑✡✵✁Ñ✡✛ ✗✡✷✡❜✡✜✡✧❩✡❑❆✡❞✡✦ sk−1 ➥ sk ✚ xk ✓✁ü✡Û❩✡❑, ✹✡☞ sk−1 = g1(sk, xk) (8.1) ✜Ó✧ÓÒ✢ýÓÙÓÚñ⑤Ó✧❘Ó❙✓✢➇✚ ✭×íÓ✧❘Ó❙➇ ✚❸Ó❹Ó✓❻✢þ, ✘ ☞ÿ➄t✢î✢ï✢ð✢➻Ó✛ ✲❝ ❦ ❁Ó❂, ✜Ó⑥✢üÓÛ❩Ó❑✗Ó✷Ó③ÓÛÓ➀✡❥✁✁ý✡ÙÓÚ✡✛ ÿ✡❴, ✏Ó④Óÿ 2 ✲: sk−1 = sk − xk, sk ≥ xk ✛ ✜✁➉✡ô✡➇✄✂✁✛✇ ❧✡✛ ✲✡✓✡❁✡❂, ÿ✡❴✡ÿ 1, ✜✡⑥✁ü✡Û❩✡❑✁❝➝✡③✡❥✄✁ý✡Ùð , ➁✡✜✡➂✡❼✄☎✄✆ ❱✡❲✡③✡⑧✚✡❻❈✇✡②✛✡❥✡✳✡❁✡❂✡✛ (✝)❙✟✞✄✠✄✡✄☛ ⑧✚Ó❻❈Ó❁Ó❂Ó✓Ó✹Ó❥✢✆Ó✦✡✸Ó✹✡✻✡✼Ó✴✡♥, ❷Ó✸ÓqÓ✻Ó✼Ó✓Ó✗æ ✓Ó✳Ó✴Ó❡✡❢Ó✛ ✜✢✆✡⑩Ó❖✡✲ ✧ ● ⑨✌☞, ③✰✷✌✍✰✶✰✧● ✴✰♥✰✓✰✼✌✎, ❷✌✍✰✶✰✧● ✗✰✷ ☛✰✠✓✝➇✚ Ó✰✵✰✒✝✼✰✓✰✼✌✎, ✜ ● ⑨✄☞✡✘☞ ✞✄✠✄✡✄☛✡✛ ÿ 1 ♦✏✼✄✎✡⑨✄☞✡✦✡❃ A ã E ✓✡➱✡➮❸õ✡ö, ÿ 2 ✦ 3 ●✁①③②⑤⑦s✡✓ ❸❡✁⑩✽, ✼✄✎✡⑨✄☞✡✳✁✔✡④✡✒✁✼✡✓✡✻✁✮✁➇✚ ✚✡➆❘✡❙✱✄✏✁➁✡✓✡✳✡✴, ❷✁✂✡✦✁✮✁✬✁➇✚ ✚✡✳ ✴Ó❡Ó❢Ó✓✢üÓÛÓ✛➼✑☛➆ ●Ó❘Ó❙, ☛Ó◗✧✢➇✚íÓ✱❚Ó❯ ✓◗ ✧✡✳Ó✴✡✖✡✲Ó✧●✁✑✄✒✁❸❡ ❛Ó✓✡ï ✣ ❡ ❛, ✂✡✦ sk ✚ xk ✓✁ü✡Û, ✹✡☞ dk(sk, xk)✛✢ÿ✡❴✡ÿ 2 ♦✏✲: d1(s1, 0) = 48, s1 = 0, 1, 2, 3, 4; d3(s3, 2) = 48, s3 = 4. ❮ ✻✰●✒✝✼✰❃✰Ñ n ❘✰❙✫✝✬✰✛❖✪rÑ k ❘✰❙ (k = 1,2,. . .,n) ✓✝➇✚ sk ✫✝✬✰ã✰⑤✰✧✰✻ è✝➇✚ ✓✰✜✰✧❙ ✒✝✼, ✘ ☞✔✓ k ▲✰◆➄ t sk ✕✌✖✌✗➺✝➻(❍➯✰✓✰✳✰✴✰❡✰❢✰✘☞ sk ✕✌✖ ✗❭✡❣)✛ ❃✡ÿ 1❙ ÿ 2 ✓✡❥✡❂✡➛✡➜✡✗✁✸, ⑧✚✡❻❈✇✡②✓◗ ✧❘✡❙✖✡❖✡q❯ ❪ ❘✡❙✡◗✧✁➇ ✚ ✓✰✻✰✼✰➨✝✎✰✒✝✼ (✻✰✼✰➨✝✎✰✴✰♥)✛ ❃✰Ñ k ❘✰❙➇ ✚ sk ✫✝✬✰✓◗ ✧✰➨✝✎✰✒✝✼✰✖✰✗✌✘ä ✒✁✼✡❤✡❀, ❻ ✔✡✧● ⑨✄☞, ➣ ✲✡✻✡✼✡⑨✄☞✡✓✡➨✁✎✡✒✁✼✡✘☞✚✙✞✖✄✗➺✁➻✡✛ ➫✡❍➯✡⑨✄☞✹✡☞ fk(sk)✛ ÿ✡❴☛ ÿ 2 ♦,f2(3) Ù✡Ú✡❃✡Ñ 2 ❘✡❙ (✏ B ⑦ s) ✓✁➇✚ 3(❺✁➂✁s✁t☞ 3 ✉✁✈✁✇) ✫✁✬✡✓✡✻✡✼✡➨✁✎✡✒✁✼✡✓❸❡✁⑩✽✡✛ (✛)❙✟✡✄☛✄✜✄✢✁ð✁➻ ÿ 1❙✢ÿ 2 ♦, ☛ô✡➇✡➆●✡❘✡❙✓✡✻✡✼✡➨✝✎✰✒✝✼✡⑨✌☞✭ , ✖✡❖✁★✡③❅✧❘✡❙ ✍❚ ✟ ✓ ✻✡✼✡➨✁✎✡✒✁✼✡⑨✄☞✡✛✢Ñ k ❘✡❙✡☛➇ ✚ sk í✡✗✄✏✡③✡❼✡✬✡✓✡✳✡✴, ◗ ✧✡✳✡✴✡✖✡✲✡✧●✄✑✄✒③② ☞✡✓✡ï✁✣✡⑨✄☞ dk(sk, xk); ❼✡✬✡✓✡✳✡✴✄✣❇❢ ❚✡✒✁✼å ❃✡Ñ k − 1 ❘✡❙✭ , ➣ ✲✡❼✡✬✡✓✁✫✁✬ ➇ ✚ (➆Ó✲Ó❼Ó✬Ó✓Ó✻Ó✼Ó➨✢✎Ó✒✁✼Ó⑨✄☞)✛ ✏Ó④✡ÿ 1 ✚Óÿ 2, ❱Ó❲Ó✦Ó✜Ó❀ÓôÓ➇ÓÑ k ❘Ó❙➇ ✚ sk ✓✡✻✡✼✡➨✁✎✡✒✁✼✡⑨✄☞✡✓: fk(sk) = max/min{dk(sk, xk) + fk−1(g1(sk, xk))|xk ∈ Xk}, k = 1, 2, . . . , n; f0(s0) = 0 (8.2) ❴✡❛✡③ fk(sk, xk) Ù✡Ú✡Ñ k ❘✡❙✡☛✏✁➁✡✳✡✴ xk ✓✡â✄✤✡í sk ✓✡✻✡✼✡➨✁✎✡✒✁✼✡⑨✄☞, ❷ fk(sk, xk) = dk(sk, xk) + fk−1(g1(sk, xk))
8 第八章动态规划 则式(8.2)可写为： f(sk)=max/min{fu(sx,rk)EX),k =1.2.....n; f(sk,工k)=d(sk,k)+f-1(g1(sk,工k)月 (8.3) fo(so)=0. 以例2中儿个具体数字为例（参见表8-3）： f2(3,0)=d2(3,0)+1(3-0)=40+78=118 f2(3.1)=d2(3.1)+f(3-1)=42+68=110 f2(3,2)=d2(3,2)+3-2)=50+64=114. f26,3)=d42(3,3)+3-3)=60+48=108 2(3)=max{f2(3.0,f(3,1),f2(3,2).f2(3,3)} =max{118,110,114.108}=118. 式（⑧.2）或（⑧3）称为指标递推方程也称为动态规划的基本方程.只有建立了这个 递推关系才能对一个问题从第一阶段开始逐段进行计算，最终找到全过程的最优解。 这里需要指出，f(k,)可以定义为d4(5k,)和-1(1(sk,》的函数 f(sk,x)=2(d4(sk,工k),fk-1(1(sk,x4)》 (8.4)】 函数2要求能够写出数学表达式，但并不一定是式(83)中相加的形式，例如可以为 f(sk,)=d(sk,x)·fk-1(g1(sk,x》 显然此时还需规定f(s0)=1, 二、动态规划基本原理 建立指标递推方程的基础，在例1中已作介绍.更为一般的表述则是关国Bellman首 先提出的最优化原理： “作为整个过程的最优策略具有这样的性质即无论过去的状态和决策如何，对前面 的决策所形成的状态而言，余下的诸决策必须构成最优策略 根据这个原理和具体向题指标计算的特点，可列出相邻两阶段的指标递推方程.最优 化原理中包含着对所定义的状态的特殊要求.这个要求就是动态规划问题中的状态一定 要具备“无后效性”。所谓“无后效性”，指的是在状态转移过程中，一旦达到某一阶段的某 一状态，以后过程的发展仅仅取决于这一时刻的状态.而与这一时刻以前的状态和决策无 关.例1中，只要第1阶段的初始状态是D2,那么不管前面3个阶段的决策如何，即不管 各阶段是经过什么状态而达到D2的，都不影响从状态D2出发的最优策略（铺设D2至 E的铁路).例2中，第1阶段，只要剩余的投资额为1，那么这1百万元无论是向A投资 3向B投资0剩下的.不是向A投资2向B投资1下的.等待.都不影响在这一状态 下对C的最优策略（投资1百万元）。这个原则是建立动态规划模型的基本要求，十分重 要。如果规定的状态只能描述过程而不具备无后效性，就不是动态规划意义下的状态，即 不能据以建立动态规划镇羽.例1，例2状态的无后效性是十分明显的 个实际问题建立动态规划模型，可归纳为以下儿个步骤：
8 ÷✡ø✡ùûú➋ü✏ý✡þ Õ✁ý (8.2) ✗✄✥☞ : fk(sk) = max/min{fk(sk, xk)|xk ∈ Xk}, k = 1, 2, . . . , n; fk(sk, xk) = dk(sk, xk) + fk−1(g1(sk, xk)); f0(s0) = 0. (8.3) ✷✡ÿ 2 ♦➩●✡➣✡↔Û✡Ü☞ ÿ (✦✁❁✡Ù 8–3): f2(3, 0) = d2(3, 0) + f1(3 − 0) = 40 + 78 = 118, f2(3, 1) = d2(3, 1) + f1(3 − 1) = 42 + 68 = 110, f2(3, 2) = d2(3, 2) + f1(3 − 2) = 50 + 64 = 114, f2(3, 3) = d2(3, 3) + f1(3 − 3) = 60 + 48 = 108, f2(3) = max{f2(3, 0), f2(3, 1), f2(3, 2), f2(3, 3)} = max{118, 110, 114, 108} = 118. ý (8.2) ✩ (8.3) ✘ ☞ ✡✄☛✄✜✄✢✁ð✁➻, ✾✡✘☞ s✡t✉✡✈✕✄✧✄★ð✁➻✄✩☎✵✄✪✄✫✄✬✄✭✄✮✄✯ ✰✄✱✄✲✄✳, ✴✄✵✄✶✄✷✄✯✄✸✄✹✄✺✄✻✄✷✄✼✄✽✄✾✄✿✄❀✄✽✄❁✄❂✄❃✄❄, ❅✄❆✄❇✄❈✄❉✄❊✄❋✄●✄❅✄❍✄■✄✩ ✮✄❏✄❑✄▲✄▼✄◆,fk(sk, xk) ❖✄P✄◗✄❘✄❙ dk(sk, xk) ❚ fk−1(g1(sk, xk)) ●✄❯✄❱: fk(sk, xk) = g2(dk(sk, xk), fk−1(g1(sk, xk))) (8.4) ❯✄❱ g2 ▲✄❲✄✵✄❳✄❨✄◆✄❱✄❩✄❬✄❭✄❪, ❫✄❴✄❵✄✷✄◗✄❛✄❪ (8.3) ❜❞❝✄❡✄●✄❢✄❪, ❣✄❤✄❖✄P✄❙ fk(sk, xk) = dk(sk, xk) · fk−1(g1(sk, xk)) ✐✄❥, ❦✄❧✄♠✄❑✄♥✄◗ f0(s0) = 1✩♦q♣❞rqsqtq✉q✈q✇q①q② ✫✁✬✁▼✁③✰✁✱✁④❋✁●✁⑤✄⑥, ⑦✁❣ 1 ❜✁⑧⑩⑨✁❶✁❷✁✩❹❸✁❙✁✷✁❺✁●✁❬✄❻✄❼✁❛✄❽✁❾ Bellman ❿ ➀✄➁◆✄●➃➂✄➄✄➅✄➆✄➇: “⑨✌❙✌➈✌✯✌❊✌❋✌●✌❅✌❍✌➉✌➊✌➋✌✪✌✮✌➌✌●✌➍✌➎: ➏✌➐✌➑✌❊✌➒✌●✌➓✌➔✌❚✌→✌➉✌❤✌➣, ✶✌↔✌↕ ●✄→✄➉✄➙✄❢✄➛✄●✄➓✄➔✄➜✄➝, ➞✄➟✄●✄➠✄→✄➉✄➡✄➢✄➤✄➛✄❅✄❍✄➉✄➊✄✩ ” ➥✁➦✮✁✯✁➧✁➨✁❚✁➋✁➩✁✸✁✹✄▼✁③✄❃✁❄✄●✁➫✄➭, ❖✁➯✁◆✁❝✁➲✁➳✁✼✁✽✁●✁▼✁③✰✁✱✄④❋✁✩➵❅✄❍ ➸➧✄➨➺❜❞➻✄➼✄➽✄✶✄➙✄◗✄❘✌●✌➓✄➔✌●✌➫✄➾✌▲✄❲✌✩✟✮✌✯✌▲✄❲✌➚✄❛✌➪✌➔✄♥✌➶✌✸✄✹➹❜❞●✌➓✌➔✄✷✌◗ ▲✄➋✄➘ “➴✄➷✄➬✄➮”✩➱➙✄✃ “➴✄➷✄➬✄➮”, ▼✄●✄❛✄⑦✄➓✄➔✄❐✄❒✄❊✄❋➺❜, ✷✄❮✄❭✄❈✄❰✄✷✄✼✄✽✄●✄❰ ✷✄➓✄➔, P✄Ï✄❊✄❋✄●✄Ð✄Ñ✄Ò✄Ò✄Ó✄→✄Ô✄✮✄✷✄❧✄Õ✄●✄➓✄➔, ➜✄Ö✄✮✄✷✄❧✄Õ✄P✄↔✄●✄➓✄➔✄❚✄→✄➉✄➐ ✲ ✩×❣ 1 ❜, Ø✄▲✄✻ 1 ✼✄✽✄●✄Ù✄✿✄➓✄➔✄❛ D2, Ú✄Û✄❵✄Ü✄↔✄↕ 3 ✯✄✼✄✽✄●✄→✄➉✄❤✄➣, ➏✄❵✄Ü Ý✼✌✽✌❛✌Þ✌❊✌ß✌Û✌➓✌➔✌➜✌❭✌❈ D2 ●, à✌❵✌á✌â✌✺✌➓✌➔ D2 ◆✌Ð✌●✌❅✌❍✌➉✌➊ (ã✌ä D2 å E ●✄æ✄ç)✩×❣ 2 ❜, ✻ 1 ✼✄✽, Ø✄▲✄è✄➞✄●✄é✄ê✄ë✄❙ 1, Ú✄Û✄✮ 1 ì✄í✄î✄➐✄➑✄❛➺ï A é✄ê 3 ï B é✄ê 0 è✄➟✄●, ♠✄❛➺ï A é✄ê 2 ï B é✄ê 1 è✄➟✄●, ð✄ñ, à✄❵✄á✄â✄⑦✄✮✄✷✄➓✄➔ ➟✌✶ C ●✌❅✌❍✌➉✌➊ (é✌ê 1 ì✌í✌î)ò✟✮✌✯✌➧✌❼✌❛✌✫✌✬✌➪✌➔✌♥✌➶✌ó✌ô✌●✌⑤✌õ✌▲✌❲, ö✌÷✌ø ▲✄ò✟❤✄ù✄♥✄◗✄●✄➓✄➔✄Ø✄✵✄ú✄❻✄❊✄❋✄➜✌❵✄➋✄➘✌➐✄Ï✌û✄➍, ➚✄❵✄❛✄➪✄➔✄♥✄➶✄ü✄❘✄➟✄●✄➓✄➔, ➏ ❵✄✵➦ P✄✫✄✬✄➪✄➔✄♥✄➶✄ó✄ô✄ò✟❣ 1, ❣ 2 ➓✄➔✄●✄➐✄Ï✄û✄➍✄❛✄ö✄÷➺ý✐ ●✄ò ✶✄✷✄✯✄þ✄ÿ✄✸✄✹✄✫✄✬✄➪✄➔✄♥✄➶✄ó✄ô, ❖✁✁✂✄❙✄P✄➟✁✄✄✯✁☎✁✆: