4-1梯度法 基本思想:函数的负梯度方向是函数值在该点 下降最快的方向。将n维问题转化为一系列沿负梯度 方向用一维搜索方法寻优的问题,利用负梯度作为 搜索方向,故称最速下降法或梯度法。 搜索方向取该点的负梯度方向Vf(x)(最速下降方 向),使函数值在该点附近的范围内下降最快。 k+1 x'+a s k (k=0,1,2,…) x=x4-aVf(x)(k=0,1,2,…)
4-1 梯度法 1 ( 0,1,2, ) k k k k s k + x x = + = 1 ( ) ( 0,1,2, ) k k k k a f k + x x x = − = 基本思想：函数的负梯度方向是函数值在该点 下降最快的方向。将n维问题转化为一系列沿负梯度 方向用一维搜索方法寻优的问题，利用负梯度作为 搜索方向，故称最速下降法或梯度法。 搜索方向s取该点的负梯度方向 −f ( ) x (最速下降方 向) ，使函数值在该点附近的范围内下降最快
为了使目标函数值沿搜索方向Vf(x)能够获得 最大的下降值,其步长因子,应取一维搜索的最佳 步长。即有 f(x)=fix-a, vf(r=min flx-avf(x)] min(a) 根据一元函数极值的必要条件和多元复合 函数求导公式,得 g(a)=-{Vx4-aV(x)}v(x)=0 IVf(xi' vf(x=o k+1 0
为了使目标函数值沿搜索方向 能够获得 最大的下降值，其步长因子 应取一维搜索的最佳 步长。即有 ( )k −f x k 1 ( ) [ ( )] min [ ( )] min ( ) k k k k k k a a f f a f f a f + = − = − = x x x x x 根据一元函数极值的必要条件和多元复合 函数求导公式，得 '( ) [ ( )] ( ) 0 T k k k k = − − = f f f x x x 1 [ ( )] ( ) 0 k T k f f + = x x 1 ( ) 0 k T k s s + =
在最速下降法中, 相邻两个迭代点上的函 数梯度相互垂直。而搜 索方向就是负梯度方向, 因此相邻两个搜索方向 互相垂直。这就是说在 迭代点向函数极小点靠 近的过程,走的是曲折 的路线。形成“之”字 形的锯齿现象,而且越 接近极小点锯齿越细。 图4-2最速下降法的搜索路径
在最速下降法中， 相邻两个迭代点上的函 数梯度相互垂直。而搜 索方向就是负梯度方向， 因此相邻两个搜索方向 互相垂直。这就是说在 迭代点向函数极小点靠 近的过程，走的是曲折 的路线。形成“之”字 形的锯齿现象，而且越 接近极小点锯齿越细。 图4-2 最速下降法的搜索路径
X2 f(x=ar sx S k+1 (k) (k+2 0 X1 梯度法的迭代过程
方法特点 (1)初始点可任选,每次迭代计算量小,存储 量少,程序简短。即使从一个不好的初始点出 发,开始的几步迭代,目标函数值下降很快, 然后慢慢逼近局部极小点 (2)任意相邻两点的搜索方向是正交的,它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时,步长变得很小,越走越慢
方法特点 （1）初始点可任选，每次迭代计算量小，存储 量少，程序简短。即使从一个不好的初始点出 发，开始的几步迭代，目标函数值下降很快， 然后慢慢逼近局部极小点。 （2）任意相邻两点的搜索方向是正交的，它的 迭代路径为绕道逼近极小点。当迭代点接近极 小点时，步长变得很小，越走越慢