记 k hk+1=x-xk+1=(8:-ad. i=0 利用泰勒展开公式，有 f(a)fCh ≥fk+1+9+1hk+1 = fk+1+∑(B-a)g+1d. =0 下面只需证明 g呢+1d=0,i=0,1,.,k (4.2) 即可.事实上，因 Back 9j+1-9j=G(xj+1-xj)=ajGdj, Close
6/24 JJ II J I Back Close P hk+1 = x − xk+1 = X k i=0 (βi − αi)di . |^V–m˙™, k f(x) = fk+1 + g T k+1hk+1 + 1 2 h T k+1Ghk+1 ≥ fk+1 + g T k+1hk+1 = fk+1 + X k i=0 (βi − αi)g T k+1di . e°êIy² g T k+1di = 0, ∀ i = 0, 1, · · · , k (4.2) =å. Ø¢˛, œ gj+1 − gj = G(xj+1 − xj) = αjGdj
故当i<k时有 9R+1d=91d+∑g+1-9)Pd 1=i+1 =g41d山，+ >Gd:=0, j=+1 其中上式的第一项与求和项为0分别由精确线搜索和共轭性得到.当 i=k直接由精确线搜索可得91d,=0.从而(4.2)式成立.至此，定 理的结论已经得到证明 注从定理41可知，在精确线搜索下，用算法4.1求解正定二次 目标函数极小化问题(41)，至多在步内即可求得其唯一的极小点 这种能在有限步内求得二次函数极小点的性质通常称为二次终止性， Back Close
7/24 JJ II J I Back Close i < k ûk g T k+1di = g T i+1di + X k j=i+1 (gj+1 − gj) T di = g T i+1di + X k j=i+1 αjd T j Gdi = 0, Ÿ•˛™1òëܶ⁄ëè 0 ©Od°(Ç|¢⁄›5. i = k Üd°(Ç|¢å g T k+1dk = 0. l (4.2) ™§·. ñd, ½ n(ÿƲy². 5 l½n 4.1 å, 3°(Ç|¢e, ^é{ 4.1 ¶)½g 8IºÍ4zØK (4.1), ñı3 n ⁄S=嶟çò4:. ˘´U3kÅ⁄S¶gºÍ4:5üœ~°èg™é5.
§4.2共轭梯度法 共轭梯度法是在每一迭代步利用当前点处的最速下降方向来生 成关于凸二次函数f的Hesee阵G的共轭方向，并建立求f在Rm上 的极小点的方法.这一方法最早是由Hesteness和Stiefel于l952年为 求解对称正定线性方程组而提出来的，后经Fletcher等人研究并应用 于无约束优化问题取得了丰富的成果，共轭梯度法也因此成为当前求 解无约束优化问题的重要算法类 设函数f由(4.1)所定义，则f的梯度和Hesse阵分别为 g(x)=Vf(x)=Gx+b,G(x)=V2f(x)-G. (4.3) 下面我们来讨论算法4.1中共轭方向的构造.我们取初始方向d,为初 始点xo处的负梯度方向，即 do=-7f(co)=-90 Back (4.4 Close
8/24 JJ II J I Back Close §4.2 ›F›{ ›F›{¥3zòSì⁄|^c:?ÅÑe¸êï5) §'u‡gºÍ f Hesee G ›êï, øÔ·¶ f 3 R n ˛ 4:ê{. ˘òê{Å@¥d Hesteness ⁄ Stiefel u 1952 cè ¶)È°½Ç5êß| J—5, ² Fletcher <ÔƒøA^ uÃÂ`zØK ¥L§J, ›F›{èœd§èc¶ )ÃÂ`zØKáé{a. ºÍ f d (4.1) §½¬, K f F›⁄ Hesse ©Oè g(x) = ∇f(x) = Gx + b, G(x) = ∇2 f(x) = G. (4.3) e°·Ç5?ÿé{ 4.1 •›êïE. ·Ç–©êï d0 è– ©: x0 ?KF›êï, = d0 = −∇f(x0) = −g0. (4.4)