y=y-BoVp(y) 2 41「2-4 10 20」10-20B β为一维搜索最佳步长,可由极值条件: P(y)=min oly-Bvo(y = min (B) Φ(6)=(2-4B)2+(10-20B)2 由d(B0)=0 26 0.5 52 从而算得一步计算后设计点的位置及其目标函数:
1 0 0 0 0 0 0 ( ) 2 4 2 4 10 20 10 20 = − − − = − y y y β为一维搜索最佳步长，可由极值条件： 1 0 0 2 2 ( ) min [ ( )] min ( ) ( ) (2 4 ) (10 20 ) = − = = − + − y y y 0 由 = ( ) 0 0 26 0.5 52 = = 从而算得一步计算后设计点的位置及其目标函数：
2-4B 0 10-20B」0 (y)=0 经变换后,只需一次迭代,就可找到最优解。 这是因为经过尺度变换: 等值线由椭圆变成圆
1 0 0 1 2 4 0 10 20 0 ( ) 0 − = = − = y y 经变换后，只需一次迭代，就可找到最优解。 这是因为经过尺度变换： 1 1 2 2 5 y x y x = = 等值线由椭圆变成圆
梯度法的特点 ●(1)理论明确,程序简单,对初始点要求不严格。 ●(2)对一般函数而言,梯度法的收敛速度并不快,因 为最速下降方向仅仅是指某点的一个局部性质。 ●(3)梯度法相邻两次搜索方向的正交性,决定了迭代 全过程的搜索路线呈锯齿状,在远离极小点时逼近速度 较快,而在接近极小点时逼近速度较慢。 (4)梯度法的收敛速度与目标函数的性质密切相关。 对于等值线(面为同心圆(球)的目标函数,一次搜索 即可达到极小点
梯度法的特点 ⚫ （1）理论明确，程序简单，对初始点要求不严格。 ⚫ （2）对一般函数而言，梯度法的收敛速度并不快，因 为最速下降方向仅仅是指某点的一个局部性质。 ⚫ （3）梯度法相邻两次搜索方向的正交性，决定了迭代 全过程的搜索路线呈锯齿状，在远离极小点时逼近速度 较快，而在接近极小点时逼近速度较慢。 ⚫ （4）梯度法的收敛速度与目标函数的性质密切相关。 对于等值线(面)为同心圆（球）的目标函数，一次搜索 即可达到极小点
4-2牛顿法及其改进 基本思想: 在x邻域内用一个二次函数p(x)来近似代替原目 标函数,并将(x)的极小点作为对目标函数f(x) 求优的下一个迭代点x经多次迭代,使之逼近目 标函数f(x)的极小点 牛顿法是求函数极值的最古老算法之 f(x)ao(x)=f(x)+Vf()(x-x) +(x-x)yV/( xr-X 2 设x为(x)的极小点 (x4)=0 Vf(x)+vf(x(x k+1 +x)=0
4-2 牛顿法及其改进 2 ( ) ( ) ( ) ( ) ( ) 1 ( ) ( )( ) 2 k k T k k T k k f f f f = + − + − − x x x x x x x x x x x 设 x k+1 为 ( ) x 的极小点 1 ( ) 0 k + = x 基本思想 ： 在x k邻域内用一个二次函数 来近似代替原目 标函数，并将 的极小点作为对目标函数 求优的下一个迭代点 。经多次迭代，使之逼近目 标函数 的极小点。 牛顿法是求函数极值的最古老算法之一。 ( ) x ( ) x f ( ) x k+1 x f ( ) x 2 1 ( ) ( )( ) 0 k k k k f f + + + = x x x x
x=x-[Vf(x)Vf(x)(k=0,2,…) 这就是多元函数求极值的牛顿法迭代公式。 对于二次函数,海赛矩阵碮一个常矩阵,其中 各元素均为常数。因此,无论从任何点出发,只 需一步就可找到极小点 例4-2求目标函数f(x)=x2+25x2的极小点 解取初始点x°=[2,2 x'=xo-[v2/(x2)1-V5(xo)= 1000 50
1 2 1 [ ( )] ( ) ( 0,1,2, ) k k k k f f k + − x x x x = − = 这就是多元函数求极值的牛顿法迭代公式。 对于二次函数 ，海赛矩阵H是一个常矩阵，其中 各元素均为常数。因此，无论从任何点出发，只 需一步就可找到极小点。 例4－2 求目标函数 的极小点。 解 取初始点 2 2 1 2 f x x ( ) 25 x = + 0 [2,2]T x = 1 0 2 0 1 0 1 0 2 4 0 2 ( ) ( ) 2 100 0 1 0 50 f f − = − = − = x x x x