第四章无约束优化方法 1.概述 2.最速下降法 3.牛顿型方法 4.梯度法及共轭梯度法 5.DFP变尺度法 6.坐标轮换法; 7.鲍威尔法; 2021/2/20
2021/2/20 1 第四章 无约束优化方法 6. 坐标轮换法; 7. 鲍威尔法; 4. 梯度法及共轭梯度法; 5. DFP变尺度法. 1. 概述 2. 最速下降法 3. 牛顿型方法
1概述 有些实际问题,其数学模型本身就是 个无约東优化问题可以按无约束问题来 处理 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 约束优化问题的求解可以通过一系列无 约束优化方法来达到 2021/2/20 2
2021/2/20 2 1.概述 • 有些实际问题，其数学模型本身就是一 个无约束优化问题可以按无约束问题来 处理 • 通过熟悉无约束优化问题的解法可以为 研究约束优化问题打下良好的基础 • 约束优化问题的求解可以通过一系列无 约束优化方法来达到
·无约束优化问题 x x 2: 使f(x)③min ·对于无约束优化问题的求解,可以直接就用第 章讲述的极值条件来确定极值点位置。这就 是把求函数极值的问题变成求解方程 f 0 ·数值求解 x'+ ard 0,1,2,L) 各种无约束优化方法的区别就在于确定其搜索 方向的方法不同 2021/2/20
2021/2/20 3 • 无约束优化问题 • 对于无约束优化问题的求解，可以直接就用第 三章讲述的极值条件来确定极值点位置。这就 是把求函数极值的问题变成求解方程 • 数值求解 • 各种无约束优化方法的区别就在于确定其搜索 方向的方法不同。 T 1 2 [ , , , ] ( ) min x x x xn f x = ® L 使 ? f 0 1 ( 0,1, 2, ) k k k x x d k ak + = + = L
开始 无约束优化方法的分类 给定xd的初始值 类是利用目标函数的 阶或二阶导数的无约 计算a 束优化方法 使∫(x+ad)最小 最速下降法、共轭梯度法 x? x ad 牛顿法及变尺度法等。 否 >另一类是只利用目标函 是/满足收敛条 件? 数值的无约束优化方法 结束 给定新的d 坐标轮换法,单形替换法 及鲍威尔( Powel)法等。 图10无约束极小化算法的粗框图 2021/2/20
2021/2/20 4 • 无约束优化方法的分类 ➢一类是利用目标函数的 一阶或二阶导数的无约 束优化方法 • 最速下降法、共轭梯度法、 牛顿法及变尺度法等。 ➢另一类是只利用目标函 数值的无约束优化方法 • 坐标轮换法，单形替换法 及鲍威尔（Powell）法等。 开始 给定 x d 的初始值 计算a * 使 f a (x d + )最小 a * x x d ? 满足收敛条 件？ 结束 给定新的 d 图 10 无约束极小化算法的粗框图 是 否
2.最速下降法 目标函数值fx)→min 从某点x出发,其搜索方向d取该点的负梯度方向(最速 下降方向),使函数值在该点附近的范围内下降最快 k+1=xk- ak?f(k) k 0,1,2,L 由于最速下降法是以负梯度方向作为搜索方向,所以 最速下降法又称为梯度法 问题转化为求最佳步长因子的一维搜索问题 f(xk+1)=f(xk-ak? f(xk)) minf(xk-a? f(xk)) mini ca) 2021/2/20
2021/2/20 5 2. 最速下降法 • 目标函数值f(x) →min • 从某点x出发，其搜索方向dk取该点的负梯度方向(最速 下降方向) ，使函数值在该点附近的范围内下降最快 • 由于最速下降法是以负梯度方向作为搜索方向，所以 最速下降法又称为梯度法 • 问题转化为求最佳步长因子的一维搜索问题 ( ) 1 0,1, 2, x x a f x k k k k k + = - ? L ( ) ( ( )) ( ( )) ( ) k k k k k k 1 min min a a f x f x a f x f x a f x a + = - ? - ? j