电子科技大学：《最优化理论与应用 Optimization Theory and Applications》课程教学资源（课件讲稿，共六章）最优化理论与方法 OPTIMIZATION THEORY AND METHODS

§4.2精确一维搜索.. 243 4.2.1黄金分割法 243 4.2.1.1单峰函数 ..243 4.2.1.2 基本思想 ..245 4.2.1.3 算法分析 ..250 4.2.2 Fibonacci法.. 251 4.2.2.1 基本思想 251 4.2.2.2 算法过程 253 4.2.2.3 算法分析 255 4.2.3二次插值法.·· 256 4.2.3.1基本思想 256 4.2.3.2三点二次插值法， 258 4.2.4两点三次插值法 261 4.2.4.1基本思想 261 4.2.4.2三次多项式. 262 §4.3非精确一维搜索. 263 4.3.1 Goldstein准则. ..265 VIlI

➜ 4.2 ° ( ‘|¢ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 4.2.1 ‘ 7 ©  { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 4.2.1.1 ü ¸ ¼ ê . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 4.2.1.2 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . 245 4.2.1.3 Ž{© Û . . . . . . . . . . . . . . . . . . . . . . . . . . . 250 4.2.2 Fibonacci { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 4.2.2.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . 251 4.2.2.2 Ž { L § . . . . . . . . . . . . . . . . . . . . . . . . . . . 253 4.2.2.3 Ž{© Û . . . . . . . . . . . . . . . . . . . . . . . . . . . 255 4.2.3  g Š { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 4.2.3.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . 256 4.2.3.2 n :  g Š {. . . . . . . . . . . . . . . . . . . . . . . . 258 4.2.4 ü : n g Š { . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 4.2.4.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . 261 4.2.4.2 n g õ ‘ ª . . . . . . . . . . . . . . . . . . . . . . . . . . 262 ➜ 4.3 š ° ( ‘|¢ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263 4.3.1 Goldstein O K. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265 VIII

4.3.2 Volfe准则.. 267 4.3.3 Armijo准则 269 4.3.4收敛性定理. 272 §4.4最速下降法.. 276 4.4.1基本思想. ..276 4.4.2最速下降法 278 4.4.3收敛性.. 278 4.4.4最优步长 282 §4.5牛顿法... 286 4.5.1基本思想 286 4.5.2几何解释 288 4.5.3牛顿法. 290 4.5.4优缺点及其改进 292 4.5.5收敛性 294 §4.6共轭方向法. 。。 299 4.6.1共轭梯度法 ..308 4.6.1.1FR共轭梯度法 ..312 X

4.3.2 Wolfe O K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267 4.3.3 Armijo O K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269 4.3.4  ñ 5 ½ n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272 ➜ 4.4  „ e ü {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 4.4.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276 4.4.2  „ e ü { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 4.4.3  ñ 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278 4.4.4  ` Ú  . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282 ➜ 4.5 Ú î { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 4.5.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286 4.5.2 A Û ) º . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 288 4.5.3 Ú î {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 4.5.4 ` " : 9 Ù U ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292 4.5.5  ñ 5. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294 ➜ 4.6
Ý  • {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299 4.6.1
Ý F Ý { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 4.6.1.1 FR
Ý F Ý { . . . . . . . . . . . . . . . . . . . . . . . . 312 IX

4.6.2 拟牛顿法 .320 4.6.2.1 一般格式 .320 4.6.2.2 对称秩一公式.... 321 4.6.2.3 对称秩一算法：...... .328 4.6.2.4对称秩二公式：...... 337 4.6.2.5DFP算法........ ......346 4.6.2.6 Broyden和Huang类校正公式 ...............351 84.7信赖域方法...... ..356 4.7.1基本思想 ....357 4.7.2信赖域方法的收敛性 ..... ..... 365 第五章 约束最优化方法 367 85.1最优性条件..... .368 5.1.1可行方向 368 5.1.2一阶必要条件....... ...372 5.1.3二阶充分条件.....，，， ..... 377 X

4.6.2 [Úî{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 4.6.2.1 „‚ª . . . . . . . . . . . . . . . . . . . . . . . . . . . 320 4.6.2.2 顝úª . . . . . . . . . . . . . . . . . . . . . . . . . 321 4.6.2.3 顝Ž{ . . . . . . . . . . . . . . . . . . . . . . . . . 328 4.6.2.4 顝úª . . . . . . . . . . . . . . . . . . . . . . . . . 337 4.6.2.5 DFPŽ{ . . . . . . . . . . . . . . . . . . . . . . . . . . . 346 4.6.2.6 BroydenÚHuangaúª . . . . . . . . . . . . . . . 351 ➜ 4.7 &6{. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 4.7.1 ÄgŽ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 4.7.2 &6{Âñ5 . . . . . . . . . . . . . . . . . . . . . . . . . . 365 1ÊÙ å`z{ 367 ➜ 5.1 `5^‡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 5.1.1 Œ1• . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368 5.1.2 7‡^‡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 372 5.1.3 ¿©^‡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 377 X

§5.2惩罚函数法... 386 5.2.1基本思想 386 5.2.2罚因子与拉格朗日乘子之间的关系 387 §5.3外点罚函数法 389 5.3.1基本思想 ...389 5.3.2一般约束最优化处理. ...391 5.3.3算法.. ..394 5.3.4收敛性定理 397 §5.4内点罚函数法 403 5.4.1基本思想. ..404 5.4.2算法... 408 5.4.3收敛性定理 411 5.4.4小结 414 §5.5乘子法. ...415 §5.6 Rosen梯度投影法. 432 5.6.1基本思想 433 5.6.2下降可行方向的确定 ..435 XI

➜ 5.2 ¨ v ¼ ê {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 5.2.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 5.2.2 v Ï f † . ‚ K F ¦ f ƒ m  ' X . . . . . . . . . . . . . . . . . . 387 ➜ 5.3 : v ¼ ê { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 5.3.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389 5.3.2 „  å  ` z ? n . . . . . . . . . . . . . . . . . . . . . . . . . . 391 5.3.3 Ž { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394 5.3.4  ñ 5 ½ n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 ➜ 5.4 S : v ¼ ê { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 403 5.4.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404 5.4.2 Ž { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408 5.4.3  ñ 5 ½ n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 5.4.4 ( . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 414 ➜ 5.5 ¦ f { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415 ➜ 5.6 Rosen F Ý Ý K {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432 5.6.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 5.6.2 e ü Œ 1  •  ( ½ . . . . . . . . . . . . . . . . . . . . . . . . . . 435 XI

5.6.3直线搜索及终止准则...... .440 5.6.4算法........ .442 第六章 直接搜索方法 455 6.1步长加速法.. 455 6.1.1基本思想 456 6.1.2探索性移动........ 457 6.1.3 Hooke-Jeeves步长加速法. 459 S6.2 Powell方向加速法 ,, 462 6.2.1基本算法 462 6.2.2 共轭程度的判别 .470 6.2.3 Powelli改进算法.... .475 6.2.4基本算法........ .475 第二部分 应用篇 477 索引 478 习题 484 XII

5.6.3 †‚|¢9ªŽOK . . . . . . . . . . . . . . . . . . . . . . . . . . 440 5.6.4 Ž{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442 18Ù †|¢{ 455 ➜ 6.1 Ú\„{. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 455 6.1.1 ÄgŽ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456 6.1.2 &¢5£Ä . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 457 6.1.3 Hooke-JeevesÚ\„{ . . . . . . . . . . . . . . . . . . . . . . 459 ➜ 6.2 Powell•\„{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 6.2.1 ÄŽ{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462 6.2.2
ݧÝO . . . . . . . . . . . . . . . . . . . . . . . . . . . . 470 6.2.3 PowellU?Ž{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 6.2.4 ÄŽ{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475 1Ü© A^Ÿ 477 ¢ Ú 478 S K 484 XII