第四章无约束优化方法 第一节 概述 从第一章列举的机械设计问题，大多数实际问题是约 束优化问题。 约束优化问题的求解——转化为一系列的无约束优化问 题实现的。 因此，无约束优化问题的解法是优化设计方法的基本组 成部分，也是优化方法的基础。 ( ) * 无约束优化问题的极值条件 = f x 0
第四章无约束优化方法 第一节 概述 从第一章列举的机械设计问题，大多数实际问题是约 束优化问题。 约束优化问题的求解——转化为一系列的无约束优化问 题实现的。 因此，无约束优化问题的解法是优化设计方法的基本组 成部分，也是优化方法的基础。 ( ) * 无约束优化问题的极值条件 = f x 0
解析法 数值法 数学模型复杂时不便求解 可以处理复杂函数及没有数学表达式 的优化设计问题 k k k 1 k x x a d + = + 搜索方向问题是无约束优化方法的关键。 各种无约束优化方法的区别：确定搜索方向的方法不同。 无约束优化方法分类 利用目标函数的一阶或二阶导数 利用目标函数值 （最速下降法、共轭梯度法、牛顿法） （坐标轮换法、鲍威尔等）
解析法 数值法 数学模型复杂时不便求解 可以处理复杂函数及没有数学表达式 的优化设计问题 k k k 1 k x x a d + = + 搜索方向问题是无约束优化方法的关键。 各种无约束优化方法的区别：确定搜索方向的方法不同。 无约束优化方法分类 利用目标函数的一阶或二阶导数 利用目标函数值 （最速下降法、共轭梯度法、牛顿法） （坐标轮换法、鲍威尔等）
开始 给定x、d的初始值 计算a* 使f(x+ad)极小 x-x+a*d 是 满足收敛条件 否 结束 形成新的d
第二节 最速下降法 优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法： ( ) k k k 1 k x x a f x + = − 以负梯度方向为搜索方向，所以称最速下降法或梯度法。 搜索方向确定为负梯度方向，还需确定步长因子 k a 即求一维搜索的最佳步长，既有 ( ) ( ) ( ) ( ) 1 min min k k k k k k k f x f x a f x f x a f x + = − = − =
第二节 最速下降法 优化设计追求目标函数值最小，若搜索方向取该点的负梯度 方向，使函数值在该点附近的范围内下降最快。 按此规律不断走步，形成以下迭代算法： ( ) k k k 1 k x x a f x + = − 以负梯度方向为搜索方向，所以称最速下降法或梯度法。 搜索方向确定为负梯度方向，还需确定步长因子 k a 即求一维搜索的最佳步长，既有 ( ) ( ) ( ) ( ) 1 min min k k k k k k k f x f x a f x f x a f x + = − = − =
( ) ( ) ( ) 0 T k k k k = − − = f x a f x f x ( ) ( ) 1 0 T k k f x f x + = ( ) 1 0 T k k d d + = 由此可知，在最速下降法中，相邻两个迭代点上的函数 梯度相互垂直。而搜索方向就是负梯度方向，因此相邻 两个搜索方向互相垂直
( ) ( ) ( ) 0 T k k k k = − − = f x a f x f x ( ) ( ) 1 0 T k k f x f x + = ( ) 1 0 T k k d d + = 由此可知，在最速下降法中，相邻两个迭代点上的函数 梯度相互垂直。而搜索方向就是负梯度方向，因此相邻 两个搜索方向互相垂直