《最优化问题数学基础》PPT教学课件

of(Xo) viCe=v(o 1.(cos(v/C)e)=v/. 上式中的等号,当且仅当的方向与的方向相同时才成 由此可得如下重要结论(如图2.1所示): (1)梯度方向是函数值的最速上升方向; (2)函数在与其梯度正交的方向上变化率为零 (3)函数在与其梯度成锐角的方向上是上升的,而在与 其梯度成钝角的方向上是下降的; (4)梯度反方向是函数值最速下降方向

= ·1· • • 上式中的等号，当且仅当的方向与的方向相同时才成 立． • 由此可得如下重要结论(如图2.1所示）： • (1)梯度方向是函数值的最速上升方向； • (2)函数在与其梯度正交的方向上变化率为零； • (3)函数在与其梯度成锐角的方向上是上升的，而在与 其梯度成钝角的方向上是下降的； • (4)梯度反方向是函数值最速下降方向． 0 0 ( ) ( )T f X f X e P  =   0 f X( ) 0 0 (cos( ( ) , )) ( )    f X e f X ·1·

对于一个最优化问题,为了尽快得到最 优解,在每一步迭代过程中所选取的搜 索方向总是希望它等于或者是靠近于目 标函数的负梯度--图2.1的方向,这样 才能使函数值下降的最快 上升方向 Vf(xo) 变化率为0的方向 下降方向 vf(xo)

• 对于一个最优化问题，为了尽快得到最 优解，在每一步迭代过程中所选取的搜 索方向总是希望它等于或者是靠近于目 标函数的负梯度-----图2.1的方向，这样 才能使函数值下降的最快．

例22试求目标函数在点处的最速下降方向, 并求沿这个方向移动一个单位长后新点的目标 函数值 解因为 20f=2x2 所以最速下降方向是一V(X= 2 这个方向上的单位向量是 Vf(o)0 ‖-Vf(X0 故新点是X=X+c 对应目标函数值为 2 f(X1)=0+2+1=5

• 例2.2 试求目标函数在点处的最速下降方向， 并求沿这个方向移动一个单位长后新点的目标 函数值． • 解 因为 • • 所以最速下降方向是－ = = ． • 这个方向上的单位向量是 • • 故新点是 • 对应目标函数值为 1 1 2 f x x  =  2 2 2 f x x  =  0 f X( ) 1 2 1 0 2 3 2 2 x x x x = =   −     − 0 6       − 0 0 ( ) 0 ( ) 1 f X e f X −   = =   −   − 1 0 0 0 0 3 1 2 X X e       = + = + =             − 2 2 1 f X( ) 0 2 1 5 = + + =

§2.3海色矩阵及泰勒展式 海色( Hesse)矩阵 前面说过,梯度X是关于的一阶 导数,现在要问关于的二阶导数是 什 定义2.5设::→R,∈R,如果在点 处对于自变量的各分量的二阶偏导数 都存在,则称函数在点处二阶可导,并 且称矩阵

§2.3 海色矩阵及泰勒展式 • 一、海色（Hesse）矩阵 • 前面说过，梯度 是 关于 的一阶 导数，现在要问 关于 的二阶导数是 什么？ • 定义 2.5 设： : ， ，如果在点 • 处对于自变量的各分量的二阶偏导数 • 都存在，则称函数在点处二阶可导，并 且称矩阵 f X( ) f X( ) X f X( ) X f 1 R R n → n X0 R

f(o Oxa f(o af(Xo 0f( V f(Xo) ChOx f(X0)2f(X0) o-f(Xo) 是在点处的 Hesse矩阵 在数学分析中已经知道,当在点处的所有 阶偏导数为连续时有 1,2,…,n ox ax 因此,在这种情况下 Hesse矩阵是对称的

• • • • 是 在点 处的Hesse矩阵． • 在数学分析中已经知道，当 在点 处的所有 二阶偏导数为连续时有 • • 因此，在这种情况下Hesse矩阵是对称的． 2 2 2 0 0 0 2 1 1 2 1 2 2 2 0 0 0 2 2 0 2 1 2 2 2 2 2 0 0 0 2 1 2 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) n n n n n f X f X f X x x x x x f X f X f X f X x x x x x f X f X f X x x x x x             =              f X 0 f X 0 2 2 0 0 ( ) ( ) 1 2 i j j i f X f X i j n x x x x   = =     ， ，，