第一章最优化问题与数学基础 Zhangxiaowei@uestc.edu.cn 1.2.数学基础 24 (3)等值线稠密的地方，目标函数值变化较快，稀疏的地方， 变化较慢； (4)在极值点附近，等值线近似地为同心椭圆族。 1.2.2可微与梯度 定义1.3设f:DCRn→R,且X0∈D,若存在n维向量L, 对任意n维向量P，都有 lim f(X°+P)-f(X)-FP ≥0 (1-2-4) ‖P‖-→0 IPI 则称∫(X)在X0可微
1Ù `z¯KêÆÄ: Zhangxiaowei@uestc.edu.cn 1.2. êÆÄ: 24 (3) È/§8I¼êCz¯§DÕ/§ Czú¶ (4)34:NC§ Cq/Ó%ý x" 1.2.2 FÝ ½Â 1.3 f : D ⊂ Rn → R§ X 0 ∈ D§e3nþL§ é?¿nþP§Ñk lim kPk→0 f(X 0 + P) − f(X 0 ) − L TP kPk = 0. (1-2-4) K¡f(X )3X 0"
第一章最优化问题与数学基础 Zhangxiaowei@uestc.edu.cn 1.2.数学基础 25 其中，‖P‖=Vp+吃+…+%是向量P的模。 若令 f(X+P)-f(X)-LTP IPI 二0 则1imPI10a=0。于是上式与下式等价 f(X0+P)-f(X)=ITP+aP=ITP+0(P).(1-2-5) 下面定理给出了n维向量L的具体表达式。 定理1.1若f(X)在X0处可微，则f(X)在X0关于各变量的一
1Ù `z¯KêÆÄ: Zhangxiaowei@uestc.edu.cn 1.2. êÆÄ: 25 Ù¥§kPk = p p 2 1 + p 2 2 + · · · + p 2 n´þP " e- f(X 0 + P) − f(X 0 ) − L TP kPk = α, KlimkPk→0 α = 0"u´þªeª d f(X 0 + P) − f(X 0 ) = L TP + αkPk = L TP + o(kPk). (1-2-5) e¡½nÑ nþLäNLª" ½n 1.1 ef(X )3X 0?§Kf(X )3X 0'uCþ
第一章最优化问题与数学基础 Zhangxiaowei@uestc.edu.cn 1.2.数学基础 26 阶偏导数存在，且 =(ar 0x2 证明令e2=(0,…,0,1,0,…,0),依次取P=pe,i= 1,…,n,则由式(1-2-5)得证！ 定义1.4（梯度） 以f(X)的n个偏导数为分量的向量Vf(X)称 为f(X)的梯度。显然Vf(X)=L。 若P=X-X0,则式(1-2-5)可记为： f(x)-f(X)=vf(x)(X-X)+o(-X)
1Ù `z¯KêÆÄ: Zhangxiaowei@uestc.edu.cn 1.2. êÆÄ: 26 ê3§ L = ∂f(X 0 ) ∂x1 , ∂f(X 0 ) ∂x2 , · · · , ∂f(X 0 ) ∂xn T . y ² -e i = (0, · · · , 0, 1[i] , 0, · · · , 0)T§ g P = pie i§i = 1, · · · , n§Kdª(1-2-5)y ❙ ½Â 1.4 (FÝ) ±f(X )n ê©þþ∇f(X )¡ f(X )FÝ"w,∇f(X ) = L" eP = X − X 0§Kª(1-2-5)Pµ f(X ) − f(X 0 ) = ∇f(X 0 ) T (X − X 0 ) + o(kX − X 0 k).
第一章最优化问题与数学基础 Zhangxiaowei@uestc.edu.cn 1.2.数学基础 27 梯度的性质： (I)若Vf(X)卡0，则Vf(X)与过xX点的等值线垂直。 (II)沿梯度方向函数具有最大的变化率。 几种特殊函数的梯度： (I)对任意常数c,Vc=0。 (II)V(bTX)=b,b=(b1,b2,·,bn)F∈R”。 III)V(X1X)=2X。 (IV)V(XTAX)=2AX,这里A=AT。 (V)V(XTAX)=AX+AX
1Ù `z¯KêÆÄ: Zhangxiaowei@uestc.edu.cn 1.2. êÆÄ: 27 FÝ5µ (I)e∇f(X 0 ) 6= 0§K∇f(X 0 )LX 0: R" (II)÷FݼêäkCzÇ" A«AϼêFݵ (I)é?¿~êc§∇c = 0" (II)∇(b TX ) = b§b = (b1, b2, · · · , bn) T ∈ Rn" (III)∇(X TX ) = 2X" (IV)∇(X TAX ) = 2AX§ùpA = AT" (V)∇(X TAX ) = AX + ATX"
第一章最优化问题与数学基础 Zhangxiaoweiuestc.edu.cn 1.2.数学基础 28 1.2.3方向导数 定义1.5（方向导数） 设P∈R”,‖P‖=1，可微函 数∫(X)在X点沿方向P的方向导数为： df (X) lim f(X+aP)-f(X) dP a→0+ ap Vf(X)T(aP)+o(llaP) lim a→0+ aP (1-2-6) =Vf(X)TP =Vf()ll cos(Vf(),P) 其中，（口f(X),P)表示向量Vf(X)与P的夹角
1Ù `z¯KêÆÄ: Zhangxiaowei@uestc.edu.cn 1.2. êÆÄ: 28 1.2.3 ê ½Â 1.5 (ê) P ∈ Rn §kPk = 1§ ¼ êf(X )3X:÷Pêµ df(X ) dP = lim α→0+ f(X + αP) − f(X ) kαPk = lim α→0+ ∇f(X ) T (αP) + o(kαPk) kαPk = ∇f(X ) TP = k∇f(X )k cos(∇f(X ), P) (1-2-6) Ù¥§(∇f(X ), P)L«þ∇f(X )PY"