《数学分析》第七讲 微分学在最优化方面的应

第十一章多元函数微分学 第二章第六节 微分学在最优化方面的应用 26-1多元函数的无条件极值 2-6-2多元函数的条件极值 第七讲微分学在最优化方面的应用 课后作业: 阅读:第二章第五节52:pp.60--63 预习:第二章第五节52:pp.60--63 作业:第二章习题4:pp.59--60 6,(3),(5);7,(1),(2);8;10;12;13. 引言:多元函数极值问题的提法与普遍性 最优化问题的普遍性 黑格尔的名言:“存在的必然是合理的,而合理的必将是存在的。”这句 话前半句包含着一个静态的最优问题:而后半句则包含着一个动态的最 优问题.因为“合理”,就某种意义下的“最优”。 最优化问题的提法 在“某种条件”下的“某量最优”分 某量:目标函数∫:DcR”→R 条件:约束条件:x∈cD 问题 ∫Mmn(x) S.t.x∈9 问题举例 例一,今有m个点P(a,b,c),1=1…,m,求一点Px,y,z),到各 点距离平方之和最小。 Mm/(G)=∑(x-x)+(-y)+(-) 例二,今有一空间曲面F(x,y,)=0及一点P(xn 0-0 在此曲面 上找一点P(x,y,)到P点距离最小。 Mmnf()=√x-x)+(-y)+(=- s.F(x,y,)=0 第十一章多元函数微分学

第十一章 多元函数微分学 第十一章 多元函数微分学 第二章 第六节 微分学在最优化方面的应用 2-6-1 多元函数的无条件极值 2-6-2 多元函数的条件极值 第七讲 微分学在最优化方面的应用 课后作业： 阅读：第二章第五节 5.2: pp. 60---63 预习：第二章第五节 5.2: pp. 60---63 作业: 第二章 习题 4: pp. 59---60 : 6, (3), (5); 7, (1), (2) ; 8; 10; 12; 13. 引言：多元函数极值问题的提法与普遍性 ⚫ 最优化问题的普遍性： 黑格尔的名言：“存在的必然是合理的, 而合理的必将是存在的。”这句 话前半句包含着一个静态的最优问题；而后半句则包含着一个动态的最 优问题. 因为“合理”，就某种意义下的“最优”。 ⚫ 最优化问题的提法 在“某种条件”下的“某量最优”  某量: 目标函数 f D R R :  n → 条件: 约束条件: x   D  问题: ( )    s t x  Min f x   . . ⚫ 问题举例 例一，今有 m 个点 ( ) i i i i P a ,b ,c , i = 1,  ,m, 求一点 P(x, y,z) ，到各 点距离平方之和最小。 ( ) (( ) ( ) ( ) ) = = − + − + − m i i i i Min f x x x y y z z 1  2 2 2 例二，今有一空间曲面 F(x, y,z) = 0 及一点 ( ) 0 0 0 0 P x , y ,z ，在此曲面 上找一点 P(x, y,z) 到 P0 点距离最小。 ( ) ( ) ( ) ( )  ( )    = = − + − + − . . , , 0 2 0 2 0 2 0 s t F x y z Min f x x x y y z z 

第十一章多元函数微分学 例三,今有一空间曲线 (x,y,=)=0 lG(r,y,=)=0 及一点P(x02y,=0),在此曲线 上找一点P(x,y,=)到P点距离最小 Mm/(x)=√(x-x)+(y-y0)2+(-=0)2 st.F(xy)=0.,G(xy,)=0 一般非线性规划 Minf() s.G(x)≤0 x∈D 「 Min CIx 线性规划:{s.t.Ax≤b, x≥0 其中,变量是x∈R",而A∈Rm和b∈R"是给定的矩阵与向量 另外有变分问题;最优控制问题。此时目标函数的自变量不是在 R中,而是在函数空间中。 例如,求两点间最速下降曲线:设的线为y=y(x) Min d j 1+l") s.t. y(a)=yu, y(b)=y2 26-1多元函数的无条件极值 (一)极值的必要条件 极值与极值点:设函数∫:DcR”→R,若存在点x0∈D某 个邻域U,V∈U都有f(x)≥f(x0)则称f(x0)是f(x) 个极小值( minimum),并称x为f的一个极小值点 类似地可定义若x∈U都有∫(x)≤f(x0)则称f(x0)是 f(x)的一个极大值( maximum),并称x为f(x)的一个极大值点 极限的必要条件 第十一章多元函数微分学

第十一章 多元函数微分学 第十一章 多元函数微分学 例三，今有一空间曲线 ( )  ( )   = = , , 0 , , 0 G x y z F x y z 及一点 ( ) 0 0 0 0 P x , y ,z ，在此曲线 上找一点 P(x, y,z) 到 P0 点距离最小。 ( ) ( ) ( ) ( )  ( ) ( )    = = = − + − + − . . , , 0, , , 0 2 0 2 0 2 0 s t F x y z G x y z Min f x x x y y z z  一般非线性规划： ( ) ( )        x D s t G x Min f x . . 0    线性规划：        0 . . x s t A x b Min C x T , 其中, 变量是 , n x  R 而 m n A R   和 m b  R 是给定的矩阵与向量 另外有变分问题；最优控制问题。此时目标函数的自变量不是在 n R 中, 而是在函数空间中。 例如，求两点问最速下降曲线：设的线为 y = y(x) ( ( )) ( ) ( ) ( )      = = +  =   1 2 2 . . , 2 1 s t y a y y b y dx g y x y x v dl Min b a B A 2-6-1 多元函数的无条件极值 (一) 极值的必要条件 ⚫ 极值与极值点: 设函数 f D R R :  n → , 若存在点 x0  D  某 个邻域 U ,  x U  都有 ( ) ( ) 0 f x f x    则称 ( ) 0 f x  是 f (x)  的一 个极小值 (minimum)，并称 0 x  为 f 的一个极小值点. 类似地可定义: 若  x U  都有 ( ) ( ) 0 f x f x    则称 ( ) 0 f x  是 f (x)  的一个极大值 (maximum)，并称 0 x  为 f (x)  的一个极大值点. ⚫ 极限的必要条件

第十一章多元函数微分学 定理(极值点的必要条件)设函数∫:DcR”→>R在点x∈D 达到极值,若∫在该点可微,则有,f(。)=0,i=1…,n 或者 ()=(9(6)2..96 证明一:f(x)在点x∈D达到极小值→ →3U(G)cD,∈Uδ(0),f(x)≥f(0) r|<d,f(x0+Ax)-f()≥20 afo) 0,i=1 证明二:f(x)在点x∈D达到极小值→ →3U()cD,∈U6(元),f(x)≥f(x) Go)=f()-ffo)=(grad fo)Ar+ (0+1)-1(x)=(gm(),+)20 其中,l是任意的单位向量,<δ gd/(元)+0)-(m/)y元≥0 vlb∈R",grdf(x0) → grad f(x)=0, 可微函数只能在驻点取得极值.但是驻点并非极值的充分条件 例如二元函数f(x,y)=x2-y2,原点(00)是它的一个驻点,但是该 函数在原点不取极值,这是因为,在x轴上原点以外的部分 x2-y2>0,y轴上原点以外的部分x2-y2<0 另外,如果是不可微的函数,取得极值的点也可能不是驻点.例如 原点(00)是二元函数z=√x2+y2的极小值点,然而这个函数在原 点不存在偏导数,从而不可微这是由不可微函数的优化理论。 第十一章多元函数微分学

第十一章 多元函数微分学 第十一章 多元函数微分学 定理（极值点的必要条件）设函数 f D R R :  n → 在点 x0  D  达到极值，若 f 在该点可微，则有, f i (x0 ) 0, i 1,  ,n   = = 或者 ( ) ( ) ( ) 0 0 1 0 0 =             = T n x f x x f x gradf x     . 证明一： f (x)  在点 x0  D  达到极小值   U (x0 )  D   , ( ) 0 x U x      , ( ) ( ) 0 f x f x     i = 1,  ,n ,xi   , f (x0 + xi ei )− f (x0 )  0     ( ) 0 0 =   i x f x  ,i = 1,  ,n . 证明二： f (x)  在点 x0  D  达到极小值   U (x0 )  D   , ( ) 0 x U x      , ( ) ( ) 0 f x f x     f (x0 ) = f (x)− f (x0 ) = (grad f (x0 )) x + o()  0     T   f(x0 + tl 0 )− f (x0 ) = t(grad f (x0 )) l 0 + o(t)  0 T      , 其中， 0 l  是任意的单位向量, t    lim( ( 0 )) 0 (1) ( ( 0 )) 0 0 0  + =   → grad f x l o grad f x l T T t     ,  ( ) 0 0 0 l R , grad f x l n      ⊥ ,  grad f (x0 ) = 0  , 可微函数只能在驻点取得极值.但是驻点并非极值的充分条件, 例如二元函数 2 2 f (x, y) =x −y ,原点 (0,0) 是它的一个驻点,但是该 函数在原点不取极值, 这是因为 ,在 x 轴上原点以外的部分 0 2 2 x −y  , y 轴上原点以外的部分 0 2 2 x −y  . 另外,如果是不可微的函数, 取得极值的点也可能不是驻点.例如, 原点 (0,0) 是二元函数 2 2 z = x +y 的极小值点,然而这个函数在原 点不存在偏导数,从而不可微.这是由不可微函数的优化理论

第十一章多元函数微分学 (二)极值的充分条件 定理(极值点的充分条件)设∫:R”→R在M0∈R”点某邻域 U(M0)内二阶偏导数连续,且M0是驻点,即gray(M0=0,则 1.H(M)正定时,M是f(x)的极小值点 2.H(M0)负定时,M是f(x)的极大值点 3.HM0)不定时,M0不是f(x)的极值点 其中,H(M0)为∫(x)在M处的海森矩阵 证明:为简便起见,只对于二元函数的情形给出证明 当n=2时,函数f(x,y)在Mxo,y)处的海森矩阵是 3/(M0)o3/(M0) Oy HM0-a/(M)a3/(M) 今记:A=f(x0,y0) B af(xo, yo) af(xo, yo) vM∈U(M0),f(M)=f(x,y)在M0处的2阶Tay1or公式为 4y(M0)=f(M)-f(M0 (x-x。y-y0)H(M y-y af(Mo af(Mo) (x-xo -yo af(Mo)a(Mo16+o(p2) (x-xo y-yo A Bx-xo B Cly-y 再设M=(x0+1(x-x)=(x+△x < Jo +tAy 第十一章多元函数微分学

第十一章 多元函数微分学 第十一章 多元函数微分学 (二) 极值的充分条件 定理（极值点的充分条件）设 f R R : n → 在 n M0  R 点某邻域 ( ) U M0 内二阶偏导数连续，且 M0 是驻点，即 gradf (M 0 ) = 0 ，则 1． ( ) H f M0 正定时， M0 是 f (x)  的极小值点； 2． ( ) H f M0 负定时， M0 是 f (x)  的极大值点； 3． ( ) H f M0 不定时， M0 不是 f (x)  的极值点. 其中， ( ) H f M0 为 f (x)  在 M0 处的海森矩阵. 证明:为简便起见,只对于二元函数的情形给出证明. 当 n=2 时,函数 f (x, y) 在 ( , ) 0 0 0 M x y 处的海森矩阵是 ( ) ( ) ( ) ( )                         = 2 0 2 0 2 0 2 2 0 2 0 ( ) y f M x y f M x y f M x f M H f M 今记: 2 0 0 2 0 0 2 2 0 0 2 ( , ) , ( , ) , ( , ) y f x y C x y f x y B x f x y A   =    =   = ( ) M U M0 , f (M) = f (x, y) 在 M 0 处的 2 阶 Taylor 公式为 ( ) ( ) ( ) 0 M0 f M = f M − f = ( ) ( ) 2 0 0 0 0 0 ( ) 2 1 o  y y x x x x y y H f M +        − − − − = ( ) ( ) ( ) ( ) ( ) ( ) 2 0 0 2 0 2 0 2 0 2 2 0 2 0 0 2 1 o  y y x x y f M x y f M x y f M x f M x x y y +        − −                         − − = ( ) ( ) 2 0 0 0 0 2 1 o  y y x x B C A B x x y y +        − −       − − . 再设 ( ) ( )         +  +  =        + − + − = y t y x t x y t y y x t x x Mt 0 0 0 0 0 0 , t  

第十一章多元函数微分学 4y(M0)=f(M1)-f(M0) t-o ,0B Cly-yo o 由于lm 4(M0) =lim f(M)-f(M0) 4(M0)=f(M1)-f(M0)与二次函数(二次型) AB∥Ax B CIAMFHAxo-yo (4△x)+2 BAr Ay+C(4y) 的符号相同。因此有 1.若A>0,AC-B2>0,二次函数(Hew矩阵H/(xo,y0)正 定).在点Mx0,y)的某个邻域中恒有 f(x,y)-f(xo,y0)>0. 因此∫(x,y)在点Mx0,y)取得极小值 2.若A<0.,AC-B2>0,f(x,y)在点Mx,3)取得极大值 3.若AC-B2<0,二次函数可正可负(即海森矩阵H/(x0,y0) 既非正定,也非负定),因此f(x,y)-f(x0,y0)的符号也是 不定的于是f(xy)在点M』xo,y)既不取极小值,也不取极 大值 第十一章多元函数微分学

第十一章 多元函数微分学 第十一章 多元函数微分学 ( ) ( ) ( ) 0 M0 f M f M f  = t − = = ( ) ( ) 2 0 0 0 0 2 2 o t y y x x B C A B x x y y t +        − −       − − = ( ) ( ) 2 2 2 o t y x B C A B x y t +                  . 由于 ( ) ( ) ( ) 2 0 0 2 0 0 lim lim t f M f M t f M t t t − =  → → = ( )                   y x B C A B x y 2 1 , ( ) ( ) ( ) 0 M0 f M f M f  = t − 与二次函数(二次型) ( )                   y x B C A B x y 2 1 = ( , ) 0 0 H x y f = ( ( ) ( ) ) 2 2 2 2 1 A x + Bxy + C y 的符号相同。因此有： 1. 若 0, 0 2 A  AC −B  ,二次函数( Hessian 矩阵 ( , ) 0 0 H x y f 正 定).在点 ( , ) 0 0 0 M x y 的某个邻域中,恒有 f (x, y) − f (x0 , y0 )  0. 因此 f (x, y) 在点 ( , ) 0 0 0 M x y 取得极小值. 2. 若 0, 0 2 A  AC −B  , f (x, y) 在点 ( , ) 0 0 0 M x y 取得极大值. 3. 若 0 2 AC −B  ,二次函数可正可负(即海森矩阵 ( , ) 0 0 H x y f 既非正定,也非负定),因此 ( , ) ( , ) 0 0 f x y − f x y 的符号也是 不定的.于是 f (x, y) 在点 ( , ) 0 0 0 M x y 既不取极小值,也不取极 大值