收敛性 性质.设f(x)有一阶连续偏导数,若步长λ满足 f(x+n d )=min f(+nd) 则有Vf(xx+1d)d=0。 证明:令g(4)=f(xk+d),所以 o()=Vf(x+ad")d ∫(xx+A1d)=min∫(x+a) g(λ)=Vf(x+x2d)d=0 注:因为梯度法的搜索方向d+=-f(x4+1d),所以 (dk+)d4=0→d中1⊥dk
收敛性 ( ) min ( ) k k k k k f x d f x d + = + 则有 f (x k + kd k ) T d k = 0。 性质. 证明：令 () = f (x k + d k )，所以 ( ) ( ) . k k T k = f x + d d ( ) min ( ) k k k k k f x d f x d + = + ( ) = ( + ) = 0 . k T k k k k f x d d 设 f (x) 有一阶连续偏导数，若步 长 k 满 足 注： (d k+1 ) T d k = 0 d k+1 ⊥ d k 。 因为梯度法的搜索方向 d k+1 = − f (x k + kd k )，所以
锯齿现象 在极小点附近,目标函数可以用二次函数近似其等值面近似 椭球面 注最速下降方向反映了目标函数的一种局部性质。它只是 局部目标函数值下降最快的方向 最速下降法是线性收敛的算法
锯齿现象 在极小点附近，目标函数可以用二次函数近似，其等值面近似 椭球面。1 x * x 2 x 3 x 最速下降方向反映了目标函数的一种局部性质。它只是 局部目标函数值下降最快的方向。 注 最速下降法是线性收敛的算法
共轭梯度法 1.共轭方向和共轭方向法 定义设A是nxn的对称正定矩阵,对于R中的两个非零向量d1和d2 若有d1Ad2=0,则称d和d2关于A共轭 设d2,d2,…,d是R"中一组非零向量,如果它们两两关于A 共轭,即dAd=0,i≠j,i,=1,2,…,k。 则称这组方向是关于A共轭的,也称它们是一组A共轭方向 注:如果A是单位矩阵,则 0→ d1⊥ 共轭是正交的推广
三. 共轭梯度法 1. 共轭方向和共轭方向法 定义 若有 d Ad ，则称d 和d 关于A共轭。 T1 2 1 2 = 0 d d d R A 设 1 , 2 , , k 是 n 中一组非零向量，如果它们两两关于 共轭，即 d Ad j i j i j k。 Ti = 0, , , = 1,2, , 则称这组方向是关于A共轭的，也称它们是一组A共轭方向。 注： 0 0 1 2 1 2 d I d = d d = T T 1 2 d ⊥ d 共轭是正交的推广。 设 A是 n n的对称正定矩阵，对于R n中的两个非零向量 d 1 和d 2 ， 如果A是单位矩阵，则