最优化问题的基本术语s1660110o今当x)具有连续的一阶偏导数，10010ooaongk = Vf(x),由Taylor公式：f(xk + apk)= f(xk)+ ag/ pk + o(α)当α>0充分小，且gpk<0时，有f(x+α pk)< f(x),此时p,是f(x)在x,处的一个下降方向通常称满足：Vf(x）pk<0的方向p为f(x)在x,处的处的下降方向。11/58
11/58 当f(x)具有连续的一阶偏导数，令 ( ), k xk g = f 由Taylor公式： ( + ) = ( ) + + ( ) k T k k k k f x p f x g p 当 0充分小，且gk T pk 0时，有 ( ) ( ), k k k f x + p f x 此 时 是 ( )在 处的一个下降方向. k x xk p f 通常称满足： ( ) 0 k T k f x p 处的下降方向。 的方向pk为f ( x)在xk处 的 最优化问题的基本术语
最优化问题的基本术语liibdo几何意义：iooaounVf(X,)均为下降方向X12/58
12/58 几何意义： 最优化问题的基本术语
最优化问题的基本术语Shiie可行方向(FeasibleDirection）10口、设区域 SC R",xkE S，对于向量pk≠ 0,若存在实数α>0，使得对任意的αE(0,α),有Xk+apkE S则称p，为x，点的关于区域S的的可行方向若下降方向关于区域S可行，则称为可行下降方向13/58
13/58 设区域 S R , x S, k n 0, 对于向量pk 若存在实数 0, 使得对任意的 （0,）,有 xk + pk S 则 称pk为xk点的关于区域S的 的可行方向. 若下降方向关于区域 S 可行，则称为可行下降方向. 可行方向（Feasible Direction） 最优化问题的基本术语
最优化问题的基本术语1iob0io可行下降点列的产生010ioaon在x,处求得一个方向Pk（可行下降方向在射线xk+αpk(α>0)上求一点:Xk+1 =Xk +αkPk使得f(xk+1)<f(x),其中α,称为步长Xk+2Pk+1PkXk+114/58
14/58 可行下降点列的产生 在 xk 处求得一个方向 （可行下降方向） 在射线 + ( 0) xk pk 上求一点： xk +1 = xk + k pk 使得 ( ) ( ), k 1 xk f x f + 其中 k 称为步长。 xk pk pk xk+1 k+1 p k+2 x 最优化问题的基本术语
最优化问题的基本术语最优化问题的算法的一般选代格式皖·00721给定初始点x。，令k=0。initial point步1确定x,处的可行下降方向Pk;步2确定步长αk>0,使得：Step Lengthf(x +αkPk)< f(x)步3令xk+1=X+αkPk步4若xk+1满足某种终止准则，则停止；否则令k=k+1,转步1.15/58
15/58 最优化问题的算法的一般迭代格式 给定初始点 , x0 令 k = 0。 步1 确定 xk 处的可行下降方向 ; pk 步2 确定步长 0, k 使得： ( ) ( ) k k k xk f x + p f 步3 令 xk +1 = xk + k pk 步4 若 xk +1 满足某种终止准则，则停止； 否则令 k = k + 1, 转步1. initial point Step Length 最优化问题的基本术语