不难发现，满足上式的向量u和k不唯一，可取以和Vk分别平行 于Bk5k和k,即令山=YBk5k,Uk=9,其中Y,0是待定的参数.于 是我们有 Ek=0YBkSkSk Bk+B02ykyr. 将uk,vk的表达式代入（⑤.7）得 [(YBLSK)SK](YBS)+B[(0VR)S)(0VR)=Vk-BLSK, 整理得 [a2(Sk BkSk)+1Bk5k+[B92(s)-1=0. 故此，可令a2(Sk BkSk)+1=0及B92(ys)-1=0,即 ay2=- 1 B02= 1 S BkSk y东Sk Back Close
11/52 JJ II J I Back Close ÿJuy, ˜v˛™ï˛ uk ⁄ vk ÿçò, å uk ⁄ vk ©O²1 u Bksk ⁄ yk, =- uk = γBksk, vk = θyk, Ÿ• γ, θ ¥ñ½ÎÍ. u ¥·Çk Ek = αγ2Bksks T k Bk + βθ2 yky T k . Ú uk, vk Là™ì\ (5.7) α[(γBksk) T sk](γBksk) + β[(θyk) T sk)(θyk) = yk − Bksk, n [αγ2 (s T k Bksk) + 1]Bksk + [βθ2 (y T k s) − 1]yk = 0. d, å- αγ2 (s T k Bksk) + 1 = 0 9 βθ2 (y T k s) − 1 = 0, = αγ2 = − 1 s T k Bksk , βθ2 = 1 y T k sk
从而得到如下的BFGS秩2修正公式如下 Bk+I=Bk Bkskst Bk⊥ % STBkSk (5.8) y东Sk 显然，由（⑤.8）可知，若Bk对称，校正后的B+1也对称，并且可以 证明BGS校正公式的如下性质： 引理5.1设Bk对称正定，Bk+1由BFGS校正公式(5.8)确定， 那么B+1对称正定的充要条件是ysk>0. 证必要性是显然的.因ysk=sBk+1Sk,故若Bk+1正定，则显 然有y5k>0 下面证明充分性.设ysk>0且Bk正定.由校正公式（⑤.8），对 任意的0卡d∈R”,我们有 Bd-Bd(u (5.9) Back St BESk y东Sk Close
12/52 JJ II J I Back Close l Xe BFGS ù 2 ?˙™Xe Bk+1 = Bk − Bksks T k Bk s T k Bksk + yky T k y T k sk . (5.8) w, d (5.8) å, e Bk È°, Bk+1 èÈ°, øÖå± y² BFGS ˙™Xe5ü: ⁄n 5.1 Bk È°½, Bk+1 d BFGS ˙™ (5.8) (½, @o Bk+1 È°½øá^ᥠy T k sk > 0. y 7á5¥w,. œ y T k sk = s T k Bk+1sk, e Bk+1 ½, Kw ,k y T k sk > 0. e°y²ø©5. y T k sk > 0 Ö Bk ½. d˙™ (5.8), È ?ø 0 6= d ∈ R n , ·Çk d TBk+1d = d TBkd − (d TBksk) 2 s T k Bksk + (d T yk) 2 y T k sk . (5.9)
因B.对称正定，故存在对称正定阵B2,使得B%=B2B2.从而， 利用Cauchy-Schwarz不等式得 (dBs)2=【(BaT(BY2s)2≤IB2d2 Bse2 -(BPd)T(BPd).(BPsk)T(BNPsK) =(d Bid)(sk Brsk). (5.10) 不难发现，上式成立等式的充要条件是存在实数Tk≠0，使得B2d= TBsk,即d=TS 故而，若不等式(5.10)严格成立，则由(5.9)得 Bad>Bd. D St BESk Sk Back Close
13/52 JJ II J I Back Close œ Bk È°½, 3È°½ B 1/2 k , ¶ Bk = B 1/2 k B 1/2 k . l , |^ Cauchy-Schwarz ÿ ™ (d TBksk) 2 = [(B 1/2 k d) T (B 1/2 k sk)]2 ≤ kB 1/2 k dk 2 kB 1/2 k skk 2 = (B 1/2 k d) T (B 1/2 k d) · (B 1/2 k sk) T (B 1/2 k sk) = (d TBkd)(s T k Bksk). (5.10) ÿJuy, ˛™§· ™øá^á¥3¢Í τk 6= 0, ¶ B 1/2 k d = τkB 1/2 k sk, = d = τksk. , eÿ ™ (5.10) Óǧ·, Kd (5.9) d TBk+1d > dTBkd − (d TBkd)(s T k Bksk) s T k Bksk + (d T yk) 2 y T k sk > 0
否则，若(5.10)等式成立，即存在Tk,使得d=Tk5k,则由(5.9)，(5.10) 得 严B+1d=d2_ (s买)2 =sk>0. Ui Sk Vi.Sk 故对任意的d∈R”,d卡0，总有dBk+1d>0.证毕 上面的引理表明，若初始矩阵B0对称正定且在迭代过程中保持 s>0,Hk≥0，则由BFGS校正公式产生的矩阵序列{B}是对称 正定的.从而方程组Bkd=一g9k有唯一解d,且d,是函数∫在xk处 的下降方向. 引理5.2若在BFGS算法中采用精确线搜索或Wolfe搜索准 则，则有5k>0. 证注意到对于精确线搜索有9+1d=0.故 y sk ak(gk+1-gk)dk =-akgt dk>0. Back Close
14/52 JJ II J I Back Close ƒK, e (5.10) ™§·, =3 τk, ¶ d = τksk, Kd (5.9), (5.10) d TBk+1d = (d T yk) 2 y T k sk = τ 2 k (s T k yk) 2 y T k sk = τ 2 k y T k sk > 0. È?ø d ∈ R n , d 6= 0, ok d TBk+1d > 0. y. ˛°⁄nL², e–©› B0 È°½Ö3SìLß•± y T k sk > 0, ∀ k ≥ 0, Kd BFGS ˙™)› S {Bk} ¥È° ½. l êß| Bkd = −gk kçò) dk, Ö dk ¥ºÍ f 3 xk ? e¸êï. ⁄n 5.2 e3 BFGS é{•Ê^°(Ç|¢½ Wolfe |¢O K, Kk y T k sk > 0. y 5øÈu°(Ç|¢k g T k+1dk = 0. y T k sk = αk(gk+1 − gk) T dk = −αkg T k dk > 0.
对于Volfe搜索准则，利用该准则的第二个不等式（即Vf(xk+ad,)Td,≥ ogd,得 yE Sk:=ak(gk+1-gk)dk>ak(o-1)gi di =-(1-o)gfd>0. 证毕. 已有证明表示，Armijo搜索准则一般不能保证y以sk>0.但Armi- j加准则因其简单且易于程序实现而深得人们的喜爱，因此，为了保证 采用Armijo准则时矩阵序列{B.}的对称正定性，可采用如下的校正 方式 Bk, 若sk≤0 Bk+1= Bk- BkskSt B+班 (5.11) St BRSk 若sk>0. USk Back Close
15/52 JJ II J I Back Close Èu Wolfe |¢OK, |^TOK1áÿ ™ (= ∇f(xk+αkdk) T dk ≥ σgT k dk), y T k sk = αk(gk+1 − gk) T dk ≥ αk(σ − 1)g T k dk = −αk(1 − σ)g T k dk > 0. y. Æky²L´, Armijo |¢OKòÑÿUy y T k sk > 0. Armijo OKœŸ{¸Ö¥ußS¢y <ÇUO, œd, è y Ê^ Armijo OKû› S {Bk} È°½5, åÊ^Xe ê™ Bk+1 = Bk, e y T k sk ≤ 0, Bk − Bksks T k Bk s T k Bksk + yky T k y T k sk , e y T k sk > 0. (5.11)