《最优化问题数学基础》PPT教学课件

例23求目标函数)=+2+3x2+4x3的梯 度和Hes矩阵 2 解因为 6x2-x2+4x 6x3+4x2-2x1x3 I-x 所以6x 2xx

• 例2.3 求目标函数 的梯 度和Hesse矩阵． • • 解 因为 • • • • • 所以 2 2 2 3 1 3 2 1 2 3 3 2 4 f (X) = x1 + 2x + 3x − x x + 4x x − x x 2 1 2 3 3 1 1 4x 2x x x x f = − −   3 2 1 2 2 2 6x x 4x x f = − +   3 2 1 3 3 6x 4x 2x x x f = + −             + − − + − −  = 3 2 1 3 3 2 1 2 2 2 1 2 3 3 1 6 4 2 6 4 4 2 ( ) x x x x x x x x x x x f X

又因为 12x2-2 x x 2 M3 12 6-2 x 12 所以 Vf() 2 4 2 46-2

• 又因为 • • • • • • 所以 2 2 2 2 2 1 2 1 3 1 1 2 1 3 2 2 2 2 2 2 1 2 2 3 3 12 2 2 2 12 4 6 2 f f f x x x x x x x x x f f f x x x x x x    = − = − = −       = = = −    ， ， ， ， ， ，           − − − − − −  = 3 1 1 2 2 1 3 2 1 2 2 4 6 2 2 12 4 12 2 2 2 ( ) x x x x x x x x f X

例24设∈R∈Rb∈R,求线性函数 在任意点X处的梯度和Hes矩阵 解:设,=[,则 f(x,x2,…,xn)= a,+b of =1,2,…,n 2.2) Vf(X)={a1,a2,…,an 由式(22)进而知 i,j=1,2,…,n Oxox V f(X=O (阶零矩阵)

例2.4 设 ，求线性函数 在任意点X处的梯度和Hesse矩阵． 解:设 , 则 （2.2） ∴ 由式（2.2）进而知 ∴ （阶零矩阵）． 1 a R , X R , b R n n    f X a X b T ( ) = + 1 2 1 2 [ ] [ ] T T n n a a a a X x x x = = ， ， ， ， ， ， ， 1 2 1 ( ) n n i i i f x x x a x b = ， ， ， = +  1 2 i i f a i n x  = =  ， ，， ， f X a a a a T  ( ) =[ 1 , 2 ,  , n ] = 2 0 1 2 i j f i j n x x  = =   ， ， ，， ，  f (X) = O 2

例25设是对称矩阵,c,求二次函数 在任意点处的梯度和Hese矩阵, 解设A() X-x,x,,x,I,b=[bb则 f(x,x2,…,x)=∑∑a1xx+∑bx1+c 将它对各变量(=2求偏导数,得 of(xr ∑41x+b∑ Vf(X) 0f(X) ∑ anix,+b ∑ V/(X=AX+b

例2.5 设 是对称矩阵， ，求二次函数 在任意点处的梯度和Hesse矩阵． 解 设 则 将它对各变量 求偏导数，得 ∴ n n a R   1 b R c R n  ， f X( ) = 1 2 T T X AX b X c + + 1 2 1 2 ( ) [ ] [ ] T T A a X x x x b b b b = = = ij n n n n  ， ， ， ， ， ， ， ， 1 2 1 1 1 1 ( ) 2 n n n n ij i j i i i j i f x x x a x x b x c = = = ， ， ， = + +   ( 1 2 ) i x i n = ，， ， 1 1 1 1 1 1 1 1 1 ( ) ( ) ( ) n n j j j j j j n n n nj j n nj j n j j f X a x b a x x b f X f X b a x b a x x = = = =        +                   = = = +                          +                  f (X) = AX + b

在上式中显然 ∑x)+b,1=1,2 再对它们求偏导数得f(x a,i,j=1,2,…,n V f(X) 以上例子说明,元函数求导与一元函数的求导在 形式上是一致的,即线性函数的一阶导数为常向量, 其二阶导数为零矩阵;而二次函数的一阶导数为线性 向量函数,二阶导数为常矩阵 最后介绍在今 后的计算中要用到的向量函数的导数

在上式中显然 再对它们求偏导数得 ∴ 以上例子说明，元函数求导与一元函数的求导在 形式上是一致的，即线性函数的一阶导数为常向量， 其二阶导数为零矩阵；而二次函数的一阶导数为线性 向量函数，二阶导数为常矩阵． 最后介绍在今 后的计算中要用到的向量函数的导数． 1 ( ) 1 2 n ij j i j i f X a x b i n x =  = + =   ， ，， ， 2 ( ) 1 2 ij i j f X a i j n x x  = =   ， ， ，， ， A a a a a a a a a a f X n n nn n n =              =        1 2 21 22 2 11 12 1 2 ( )