第1节基本概念 例3试证明f(X)=-x2-x0为凹函数 证:首先用凸函数的定义证明,即对任意指定两点a1和a2,看下述 各式是否成立? an+(1-a)a2]≥a(-a2)+(1-a)-a2) 或 a12(a-a)-2a1a2(a-a)+a2(a-a2)≥0 或(a-a2)an-a2)2≥0 由于0<a<1,故a-a2>0。显然,不管a1和a2取什么值,总有 (a-a)(a1-a2)≥0 成立,从而证明了f(x1)=-x2为凹函数。用同样的方法可以证明 f2(x2)=-x2也是凹函数。根据性质2,f(X)=-x2-x2为凹函数。 清华大学出版社
第1节 基本概念 2 2 1 2 f X x x ( ) = − − 2 2 2 1 2 1 2 − + − − + − − a a a a (1 ) ( ) (1 )( ) 2 2 2 2 2 1 1 2 2 a a a a ( ) 2 ( ) ( ) 0 − − − + − 2 2 1 2 ( )( ) 0 − − a a 0< 1 2 − > 0 2 2 1 2 ( )( ) 0 − − a a 2 1 1 1 f x x ( ) = − 2 2 2 2 f x x ( ) = − 2 2 1 2 f X x x ( ) = − − 例3 试证明 证： 首先用凸函数的定义证明，即对任意指定两点α1和α2，看下述 各式是否成立? 或 或 由于 ，故 成立，从而证明了 为凹函数。用同样的方法可以证明 也是凹函数。根据性质2， 为凹函数。 为凹函数。 。显然，不管α1和α2取什么值，总有 清华大学出版社 26
第1节基本概念 证:再用定理3证明 任意选取第一点X=(a,b)第二点x(2=(a2,b2)。如此, fo (1) -b2.f(X(2)=-a2 Vf(X)=(-2x,-2x2) Vf(X0)=(-2a1,-2b) ⑩为凹函数。现看下述各式是否成立? a2-b25-a2-b2+(2a-2 41 6 ,-b 或-a2-b2≤ -2a(a2-a1)-2b(b2-b) 或-(a2-2aa2+a2)-(b2-2b2+b2)≤0 或-(a2-a)2-(b2-b)2≤0 不管a1、a2、b1、b2取什么值,上式均成立,从而得证。 清华大学出版社
第1节 基本概念 证：再用定理3证明 为凹函数。现看下述各式是否成立? (1) T 1 1 X a b = ( , ) (2) T 2 2 X a b = ( , ) (1) 2 2 (2) 2 2 1 1 2 2 T 1 2 (1) T 1 1 ( ) . ( ) ( ) ( 2 , 2 ) ( ) ( 2 , 2 ) = − − = − − = − − = − − f X a b f X a b f X x x f X a b 2 2 2 2 2 1 2 2 1 1 1 1 2 1 ( 2 2 ) a a a b a b a b b b − − − − − + − − − 2 2 2 2 2 2 1 1 1 2 1 1 2 1 − − − − − − − − a b a b a a a b b b 2 ( ) 2 ( ) 2 2 2 2 2 1 2 1 2 1 2 1 − − + − − + ( 2 ) ( 2 ) 0 a a a a b b b b 2 2 2 1 2 1 − − − − ( ) ( ) 0 a a b b 任意选取第一点 ，第二点 。如此， 或 或 或 不管a1、a2、b1、b2取什么值，上式均成立，从而得证。 清华大学出版社 27
第1节基本概念 下面用定理4证明。由于 X XI 2x 82f(X) 2<0 af(X) 2 02f(X)2f(X)=0 Ox, a Ox a 20 4>0 0 其海赛矩阵处处负定,故f(X)为(严格)凹函数。 清华大学出版社
第1节 基本概念 1 2 1 2 2 2 2 2 1 2 2 2 1 2 2 1 ( ) ( ) 2 2 ( ) ( ) 2 0 2 ( ) ( ) 0 2 0 4 0 0 2 f X f X x x x x f X f X x x f X f X x x x x H = − = − = − = − = = − = = − f X( ) 下面用定理4证明。由于 其海赛矩阵处处负定，故 为(严格)凹函数。 清华大学出版社 28
第1节基本概念 4.凸函数的极值 前已指出,函数的局部极小值并不一定等天它的最小值,前者只不过反 欧了函数的局部性质。最优化的目的,往往是要求数在整个域中的 最小值(或最大值。为此,必须将所得的全部极小值进行比较有时尚需 考虑边界值,以便从中选出最小者。然而,对于定义在凸集上的凸函数 来说,则用不着进行这种麻烦的工作,它的极小值就等于其最小值。 清华大学出版社
第1节 基本概念 4．凸函数的极值 前已指出，函数的局部极小值并不一定等于它的最小值，前者只不过反 映了函数的局部性质。而最优化的目的，往往是要求函数在整个域中的 最小值(或最大值)。为此，必须将所得的全部极小值进行比较(有时尚需 考虑边界值)，以便从中选出最小者。然而，对于定义在凸集上的凸函数 来说，则用不着进行这种麻烦的工作，它的极小值就等于其最小值。 清华大学出版社 29
第1节基本概念 定理5若(X为定义在凸集R上的凸函数,则它的任一极小点也是它在R 上的最小点(全局极小点),而且极小点集为凸集。 证明:设是一个局部极小点,则对于充分小的邻域N2(x)中的X,均有 f(x)≥f(X) 令y是R中的任一点,对于充分小的0<<1,就有 (1-2)X+)∈N(X) 从而 f(1-)X+Y)≥f(X') 由于f(X)为凸函数,故 (1-)f(X)+f(Y)≥f(1-)x+Y) 将上述两个不等式相加,移项后除以λ,得到 f(Y)≥f(X) 这就是说,Ⅸ是全局极小点。由性质3,所有极小点集合为一个凸集。3 清华大学出版社
第1节 基本概念 * N X( ) * f X f X ( ) ( ) 0 λ 1 * * ((1 λ)X Y N X λ ) ( ) − + * * f X Y f X ((1− + λ) λ ) ( ) f X( ) * * (1− + − + λ) ( ) f X f Y f X Y λ ( ) ((1 λ) λ ) * f Y f X ( ) ( ) 定理5 若f(X)为定义在凸集R上的凸函数，则它的任一极小点也是它在R 上的最小点（全局极小点），而且极小点集为凸集。 证明：设X*是一个局部极小点，则对于充分小的邻域 中的X，均有 令Y是R中的任一点，对于充分小的λ ，就有 从而 由于 为凸函数，故 将上述两个不等式相加，移项后除以λ，得到 这就是说，X*是全局极小点。由性质3，所有极小点集合为一个凸集。 清华大学出版社 30