阶导数(Hsse阵)对目标函数进行二次函数近似，然后把二次模型的 极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的 近似极小点 下面来推导牛顿法的迭代公式.设f(x)的Hesse阵G(x) = V2f(x)连续，截取其在x处的泰勒展开式的前三项得 @=i+呢c-4)+c-PGe-, 其中f=f(xk),9k=又f(xk),Gk=72f(xk).求二次函数qk(x)的稳 定点，得 Vgk(x)=gk+Gk(x-Tk)=0. 若G非奇异，那么解上面的线性方程组（记其解为x+1)即得牛顿法 的迭代公式 Tk+1=Tk-Gk gk. (3.4) Back Close
11/33 JJ II J I Back Close Í (Hesse ) È8IºÍ?1gºÍCq, ,rg . 4:äè#Sì:, øÿ‰E˘òLß, Üñ¶˜v°› Cq4:. e°5Ì⁄Ó{Sì˙™. f(x) Hesse G(x) = ∇2 f(x) ÎY, Ÿ3 xk ?V–m™cnë qk(x) = fk + g T k (x − xk) + 1 2 (x − xk) TGk(x − xk), Ÿ• fk = f(xk), gk = ∇f(xk), Gk = ∇2 f(xk). ¶gºÍ qk(x) ½:, ∇qk(x) = gk + Gk(x − xk) = 0. e Gk ö¤., @o)˛°Ç5êß| (PŸ)è xk+1) =⁄Ó{ Sì˙™ xk+1 = xk − G −1 k gk. (3.4)
在迭代公式(3.4)中每步迭代需要求Hesse阵的逆G1,在实际计算中 可通过先解Gkd=一9k得dk,然后令xk+1=xk十d来避免求逆.这 样，可以写出基本牛顿法的步骤如下： 算法3.2（基本牛顿法） 步0给定终止误差值0≤e《1,初始点x0∈R”.令k:=0. 步1计算9k=又f(x).若‖g‖≤E,停算，输出x*≈xk 步2计算Gk=V2f(x),并求解线性方程组得解d山： Gid=-gk- 步3令xk+1=xk十d,k:=k+1,转步1. 牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性.下面 的定理表明了这一性质 Back Close
12/33 JJ II J I Back Close 3Sì˙™ (3.4) •z⁄SìIᶠHesse _ G −1 k , 3¢SOé• åœL k) Gkd = −gk dk, ,- xk+1 = xk + dk 5;ù¶_. ˘ , å±—ƒ ⁄Ó{⁄½Xe: é{ 3.2 (ƒ ⁄Ó{) ⁄ 0 â½™éÿ ä 0 ≤ ε 1, –©: x0 ∈ R n . - k := 0. ⁄ 1 Oé gk = ∇f(xk). e kgkk ≤ ε, é, —— x ∗ ≈ xk. ⁄ 2 Oé Gk = ∇2 f(xk), ø¶)Ç5êß|) dk: Gkd = −gk. ⁄ 3 - xk+1 = xk + dk, k := k + 1, =⁄ 1. ⁄Ó{Å‚—`:¥¬ÒÑ›Ø߉k¤‹ ¬Ò5. e° ½nL² ˘ò5ü