梯度法和共轭梯度法 无约束最优化问题 2.梯度法 3.共轭梯度法
梯度法和共轭梯度法 1. 无约束最优化问题 2. 梯度法 3. 共轭梯度法
无约束最优化问题 无约束最优化问题 min f(x) s,t.x∈Rn 其中f(x)有一阶连续偏导数。 解析方法:利用函数的解析性质构造迭代公式使之收敛到最优解
一. 无约束最优化问题 无约束最优化问题 n s t x R f x . . min ( ) 其中f (x)有一阶连续偏导数。 解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解
梯度法(最速下降法) 迭代公式:x4+1=xk+41dk 如何选择下降最快的方向? vf(xk)函数值增加最快的方向 函数值下降的方向 7(x)函数值下降最快的方向
二. 梯度法（最速下降法） 迭代公式： k k k k x = x + d +1 如何选择下降最快的方向？ ( ) k f x ( ) k − f x 函数值下降最快的方向 函数值增加最快的方向 函数值下降的方向 k x
梯度法(最速下降法) 1搜索方向:d=-Vf(x),也称为最速下降方向; 2搜索步长:λ取最优步长即满足∫(x+λd)=minf(x+d) 梯度法算法步骤: 1给定初始点x1∈R",允许误差E>0,令k=1 2计算搜索方向d=-V∫(x); 3若dk‖≤,则停止计算,x为所求极值点否则,求最优步长2 使得∫(x+4d)=min∫(x4+adk) 4令xA=x4+d,令k:=k+1,转2
梯度法（最速下降法）： 1. 搜索方向：d k = − f (x k ) ,也称为最速下降方向； 2.搜索步长: k 取最优步长, 即满足 f (x k k d k ) min f (x k d k )。 + = + 梯度法算法步骤： 1. 给定初始点 x 1 R n ,允许误差 0, 令k = 1。 2. ( ); k k 计算搜索方向 d = − f x k k k 3.若|| d || ,则停止计算，x 为所求极值点；否则，求最优步长 使得 f (x k k d k ) min f (x k d k )。 + = + 4.令 x k+1 = x k + kd k ,令k := k + 1,转2
例用最速下降法求解:minf(x)=x2+3x2,设初始点为x2=(2,1), 求迭代一次后的迭代点x2。 解::Vf(x)=(2x1,6x2) d=-Vf(x2)=(-4,-6) .x+ad=(2-4,1-61) 令p(4)=∫(x2+Mn1)=(2-4x)2+3(1-6元)2 求解 mIn qp(1) 13 令q(孔)=-8(2-44)-36(1-6元)=0→M62 36-8 x2=x+1d=( 3131
. : min ( ) 3 , (2,1) , 2 1 2 2 1 T 例 用最速下降法求解 f x = x + x 设初始点为x = 求迭代一次后的迭代点 x 2 。 解： ( ) ( 2 ,6 ) , 1 2 T f x = x x ( ) ( 4, 6) . 1 1 T d = −f x = − − ( 2 4 ,1 6 ) . 1 1 T x + d = − − 令 () = f (x 1 + d 1 ) = (2 − 4) 2 + 3(1 − 6) 2 ， min () 求解令() = −8( 2 − 4) − 36(1 − 6 ) = 0 62 13 1 = T x x d ) 31 8 , 31 36 ( 1 1 2 1 − = + =