证:由 Taylor公式得 f(x+ dp)=f(x)+ivf(x)p+o(a p D 若(8)式成立,则易知定理结论成立 证毕 若ⅴf(x)≠0,取P=-f(x),(8)式自然成立,故知此时负梯度方向一定是下降方向。 定理5设f(x)在点x∈R"处可微,若x是问题(1)的局部最优解,则必有 Vf(x')=0 证:用反证法。若Vf(x)≠0,则在x点必存在下降方向-Vf(x*),从而与x是局部最优解的 假设矛盾,故Vf(x)=0 证毕 定理6(二阶必要条件)设∫(x)在点x'∈R”处二阶可微,若x是局部最优解,则vf(x)=0 且Hese矩阵H(x)半正定。 证:此时有 f(x+4)=f(x')+pH(x')p+o(2‖p|) 因x是局部最优解,故当λ充分小时,pH(x)p≥0,由p的任意性知,H(x)半正定。证毕 定理7(二阶充分条件)设∫(x)二阶可微,若Vf(x')=0,V2f(x)=H(x)正定,则x是问 题(1)的严格局部最优解 证:由H(x)正定,故vp,pH(x')p>0,于是对充分小的必有 12pH(x')p+o(2‖p2)>0 又因Vf(x)=0,从而由 aylor公式知,f(x2+4)>f(x) 证毕 在使用上述最优性条件的过程中,人们普遍感到求得驻点x后,再计算Hese矩阵并判断其是 否正定有时相当麻烦,计算量也很大,更何况有时Hese矩阵半正定或有些函数的极值恰好在梯度 不存在的点处取得,则以上二阶充分条件便不能使用 19860年Boo0给出了八(x)是问题(1)严格局部最优解的一阶充分条件
178 证： 由 Taylor 公式得 f (x p) f (x) f (x) p ( || p ||) T + = + + 若(8)式成立，则易知定理结论成立。 证毕 若 f (x) 0 ，取 p = − f (x) ，(8)式自然成立，故知此时负梯度方向一定是下降方向。 定理 5 设 f (x) 在点 n x R * 处可微，若 * x 是问题(1)的局部最优解，则必有 ( ) 0 * f x = 。 证： 用反证法。若 ( ) 0 * f x ，则在 * x 点必存在下降方向 ( ) * − f x ，从而与 * x 是局部最优解的 假设矛盾，故 ( ) 0 * f x = 。 证毕 定理 6 （二阶必要条件）设 f (x) 在点 n x R * 处二阶可微，若 * x 是局部最优解，则 ( ) 0 * f x = ， 且 Hesse 矩阵 ( ) * H x 半正定。 证： 此时有 ( ) ( || || ) 2 1 ( ) ( ) * * 2 * 2 2 f x p f x p H x p p T + = + + 因 * x 是局部最优解，故当 充分小时， p H x p T ( ) * 0 ，由 p 的任意性知， ( ) * H x 半正定。 证毕 定理 7 （二阶充分条件）设 f (x) 二阶可微，若 ( ) 0 * f x = ， ( ) ( ) 2 * * f x = H x 正定，则 * x 是问 题（1）的严格局部最优解。 证： 由 ( ) * H x 正定，故 p, p H x p T ( ) * 0 ，于是对充分小的 必有 ( ) ( || || ) 0 2 1 2 * 2 2 p H x p + p T 又因 ( ) 0 * f x = ，从而由 Taylor 公式知， ( ) ( ) * * f x + p f x 。 证毕 在使用上述最优性条件的过程中，人们普遍感到求得驻点 * x 后，再计算 Hesse 矩阵并判断其是 否正定有时相当麻烦，计算量也很大，更何况有时 Hesse 矩阵半正定或有些函数的极值恰好在梯度 不存在的点处取得，则以上二阶充分条件便不能使用。 1986 年 Botsko 给出了 ( ) f x 是问题（1）严格局部最优解的一阶充分条件：
定理8设o(x’,6)表示以点x'=(xx2,…,x)∈R"为中心以8为半径的开球,又已知 n元函数f(x)(x∈R")在o(x,d)内连续,且在o(x,d)/{x}内可微,若x∈o(x,)/{x} 都有 )Vf(x) 则x是问题(1)严格局部最优解。 证:利用一阶 Taylor公式,将f(x·)在x点展开 f(x)=f(x)+V(x)(x-x)+(-x) (10) 由于(9)成立,故有Vf(x)(x-x)<0,Vx∈o(x’,δ)/{x'"},于是由(10)约略有 f(x°)<f(x),yx∈o(x,6)/{x'} 格地由中值公式及(9),有 f(x-f(x=Vf(x) ==V('(-x 其中x=x+6(x-x2)0<0<1 这说明x是问题(1)严格局部最优解。 上述一阶充分条件克服了以往的某些不足,是对原最优性条件的很好补充,但由于x的不确定性 这有时给检验(11)式是否成立带来一定的困难。下面的几个改进结果,可使其发挥更大的作用 °设O(x,δ)表示以点x=(x,x2…,x)∈R"为中心以δ为半径的开球,n元函数 f(x)x=(x1,x2…x,)∈R")在o(x,δ)内连续,在o(x,δ)/{x}内可微,则x是问题(1)的局部 最优解的必要条件是 ≥0,i=1.2 其中 ),i 证:若x是问题(1)的局部最优解,由(10)必有 (x-x)Vf(x)≥0,Vx∈o(x,d)/{x'} 179
179 定理 8 设 ( , ) * x 表示以点 T n x = x x xn R ( , , , ) 1 2 为中心以δ为半径的开球，又已知 n 元函数 ( )( ) n f x x R 在 ( , ) * x 内连续，且在 ( , ) * x / { } x 内可微，若 x ( , ) * x / { } x ， 都有 ( − ) ( ) 0 x x f x T (9) 则 x 是问题（1）严格局部最优解。 证: 利用一阶 Taylor 公式,将 f( ) x 在 x 点展开: f (x ) f (x) f (x) (x x) ( x x ) T = + − + − (10) 由于(9)成立,故有 f (x) (x x) T − <0, x ( , ) * x / { } x ,于是由(10)约略有 f (x ) f (x), x ( , ) * x / { } x 严格地,由中值公式及(9),有 ( ) ( ) 0 1 ( ) − ( ) = ( ) ( − ) = − f x f x f x x x f x x x T T 其中 = + ( − ),0 1 x x x x . 这说明 x 是问题（1）严格局部最优解。 证毕 上述一阶充分条件克服了以往的某些不足，是对原最优性条件的很好补充，但由于 x 的不确定性， 这有时给检验(11)式是否成立带来一定的困难。下面的几个改进结果，可使其发挥更大的作用[33]。 1 ° 设 ( , ) * x 表示以点 T n x = x x x n R ( , , , ) * * 2 * 1 为中心以 为 半 径 的 开 球 ， n 元函数 ( )( ( , , , ) ) 1 2 T n f x x = x x x n R 在 ( , ) * x 内连续，在 ( , ) * x / { } x 内可微，则 x 是问题（1）的局部 最优解的必要条件是 i i i i x f x x x − ( ) ( ) ( ) 0，i = 1,2, ,n (11) 其中 T i i i n i x (x , x , , x , x , x , , x ) 1 2 1 1 ( ) + − = ，i = 1,2, ,n 。 证: 若 x 是问题（1）的局部最优解,由(10)必有 ( − ) ( ) 0 x x f x T , x ( , ) * x / { } x