最优化问题的基本术语1ib0io搜索步长确定方法：iooaof(x +αPk)=min f(x + α Pk)αVf(x+αkPk)Pk=0称αk为最优步长，且有txo16/58
16/58 搜索步长确定方法： ( ) min ( ) k k k xk pk f x p f + = + 称 ( + ) = 0. k T f xk k pk p k 为最优步长，且有 . x0 . 1 x . x2 最优化问题的基本术语
最优化问题的基本术语iiiobdiio收敛性（Convergence)102如果一个算法只有当初始点充分接近最优解时，产生的点列才收敛，则称该算法为具有局部收敛的算法。如果对任意的初始点，由算法产生的点列都收敛，则称该算法为具有全局收敛的算法。具有全局收敛性的算法才有实用意义但对算法的局部收敛性分析，在理论上是重要的，因为它是全局收敛性分析的基础17/58
17/58 收敛性(Convergence) 如果一个算法只有当初始点充分接近最 优解时，产生的点列才收敛，则称该算法为 具有局部收敛的算法。 如果对任意的初始点，由算法产生的点 列都收敛，则称该算法为具有全局收敛的算 法。 具有全局收敛性的算法才有实用意义。 但对算法的局部收敛性分析，在理论上是重 要的，因为它是全局收敛性分析的基础。 最优化问题的基本术语
最优化问题的基本术语ibo收敛速度（RateofConvergence）而且 :设序列（x收敛于x*，而xXk+1lim=βk-→>一xX若0<β<1,则称序列(x}为线性收敛的，称β为收敛比;若β=0，则称序列(x,为超线性收敛的。18/58
18/58 收敛速度(Rate of Convergence) 设序列 xk 收敛于 x*, 而且： = − + − → * * 1 lim x x x x k k k 若 0 1, 则称序列 xk 为线性收敛的，称 为收敛比； 若 = 0, 则称序列 xk 为超线性收敛的。 最优化问题的基本术语
最优化问题的基本术语0收敛速度（RateofConvergence）1001设序列(x,收敛于x*，若对p≥1,有：xk+1lim0<β<+8:β,Tk-→光则称序列(x,}为p阶收敛的。特别当p=2时称为二阶收敛的。19/58
19/58 设序列 xk 收敛于 x*, 若对 = + − + − → lim , 0 * * 1 p k k k x x x x 则称序列 xk 为 p 1, 有： p阶收敛的。 特别当： p = 2 时称为二阶收敛的。 收敛速度(Rate of Convergence) 最优化问题的基本术语
最优化问题的基本术语110b011o终止准则(Termination）1对于一种算法，应该有某种终止准则，当某次送代满足终止准则时，就停止送代。常用的终止准则有：k+1K<8(1) xk+1 -x<或xkF(xk+1)- f(xk)(2) [F(xk+1)-(xk)< 或C[f(xk)(3) /Vf(xk)/= gk<8其中 ε>0 是预先给定的。20/58
20/58 终止准则(Termination) 对于一种算法，应该有某种终止准则，当某次迭代 满足终止准则时，就停止迭代。常用的终止准则有： (1) xk+1 − xk 或 + − k k k x x 1 x ( ) − ( ) k+ k f x f x 1 (2) ( ) ( ) ( ) + − k k k f x f x 1 f x 或 ( ) = xk gk (3) f 其中 0 是预先给定的。 最优化问题的基本术语