电子科技大学：《最优化理论与应用 Optimization Theory and Applications》课程教学资源（课件讲稿，共六章）最优化理论与方法 OPTIMIZATION THEORY AND METHODS

最优化理论与方法 OPTIMIZATION THEORY AND METHODS 张晓伟 数学科学学院 Zhangxiaowei@uestc.edu.cn http://faculty.uestc.edu.cn/zhangxiaowei VERSION:20200816151400

`zn؆{ Optimization Theory and Methods Ü¡• êƉÆÆ Zhangxiaowei@uestc.edu.cn http://faculty.uestc.edu.cn/zhangxiaowei Version: 20200816151400

目 录 前言 II 目录 XIII 算法 XV 勘误 XVI 第一部分算法篇 1 第一章最优化问题与数学基础 2 81.1最优化问题 ...... 2 1.1.1 发展史........ 2 1.1.2一些例子....... 4 1.1.3数学模型.，..... 17 1.1.4 问题分类....... 20 IV

8 ¹ c ó II 8 ¹ XIII Ž { XV t Ø XVI 1Ü© Ž{Ÿ 1 1Ù `z¯K†êÆÄ: 2 ➜ 1.1 `z¯K. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.1 uФ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.1.2 ~f . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.1.3 êÆ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 1.1.4 ¯K©a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 IV

§1.2数学基础 21 1.2.1 等值线 21 1.2.2 可微与梯度：： 24 1.2.3 方向导数..... 28 1.2.4 Hesse矩阵...... 30 1.2.5 多元函数的Taylor展式 , 35 1.2.6 开集与闭集..... 39 1.2.7 局部极小点.：：.. 42 1.2.8最优性条件..... 43 1.2.9 凸集...... 45 1.2.10凸函数 47 1.2.11凸规划 ,,,,,, 53 第二章 线性规划和单纯形方法 59 §2.1例子与标准形式 59 §2.2二维线性规划的图解法 72 V

➜ 1.2 ê Æ Ä : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.2.1  Š ‚. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 1.2.2 Œ ‡ † F Ý . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 1.2.3  •  ê . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 1.2.4 Hesse Ý . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 1.2.5 õ ¼ ê Taylor Ð ª . . . . . . . . . . . . . . . . . . . . . . . . 35 1.2.6 m 8 † 4 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 1.2.7 Û Ü 4 : . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 1.2.8  ` 5 ^ ‡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 1.2.9 à 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 1.2.10 à ¼ ê. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 1.2.11 à 5 y. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53 1Ù ‚55yÚüX/{ 59 ➜ 2.1 ~f†IO/ª . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 ➜ 2.2 ‘‚55yã){ . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 V

82.3基本概念与解的性质 .... 73 2.3.1基本概念 76 2.3.2一个例子 80 2.3.3解的性质 83 82.4单纯形法...... 92 2.4.1准备工作 92 2.4.2单纯形方法....... 119 2.5初始基可行解的确定法 135 2.5.1两阶段方法...... 138 2.5.2大M法....... 150 S2.6单纯形法的改进 .155 2.6.1避免循环 .155 2.6.2修正单纯形法...... .......158 第三章 对偶线性规划 168 83.1对偶问题的提出..... 168 3.1.1经济问题 168 VI

➜ 2.3 Ä  V g † )  5 Ÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 2.3.1 Ä  V g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 2.3.2 ‡ ~ f . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2.3.3 )  5 Ÿ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 ➜ 2.4 üX / { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.4.1 O  ó Š . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 2.4.2 üX /{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119 ➜ 2.5 Ð © Ä Œ 1 )  ( ½ { . . . . . . . . . . . . . . . . . . . . . . . . . . . 135 2.5.1 ü  ã{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 2.5.2 Œ M { . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 ➜ 2.6 üX / {  U ? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 2.6.1 ;  Ì ‚ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 2.6.2 ? üX / {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 1nÙ éó‚55y 168 ➜ 3.1 éó¯KJÑ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 3.1.1 ² L ¯ K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 VI

3.1.2对称形式 174 3.1.3非对称形式...... .178 3.1.4 混合形式 183 §3.2对偶定理 ,, 187 83.3对偶单纯形方法 204 3.3.1基本思想 ,,, 204 3.3.2对偶单纯形法..... 213 83.4对偶线性规划的应用 ,,,, 219 3.4.1对偶单纯形法的应用. 219 3.4.2 影子价格...... 229 第四章 无约束最优化计算方法 233 S4.1下降迭代算法 ,, 234 4.1.1基本思想 234 4.1.2一维搜索 .237 4.1.3 收敛速度 , 239 4.1.4 终止准则 242 VII

3.1.2 é ¡ / ª . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 3.1.3 š é ¡ / ª . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178 3.1.4 · Ü / ª . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183 ➜ 3.2 é ó ½ n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187 ➜ 3.3 é óüX /{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 3.3.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 3.3.2 é óüX / {. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 ➜ 3.4 é ó ‚ 5 5 y A^ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219 3.4.1 é óüX / { A^ . . . . . . . . . . . . . . . . . . . . . . . . . . 219 3.4.2 K f d ‚ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229 1oÙ Ãå`zOŽ{ 233 ➜ 4.1 eüSŽ{ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 4.1.1 Ä  g Ž . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234 4.1.2 ‘|¢ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237 4.1.3  ñ „ Ý . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239 4.1.4 ªŽ O K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 VII