西安交通大学：《工程优化方法及其应用》研究生课程教学课件（PPT讲稿）06 最小二乘问题的求解方法

2x + 2x2 = 3例1 给定方程组xi－2x,=1,试用最小二乘法求此【x, +4x,=3方程组的近似解。解 令 f(x) =(2x +2x -3) +(xi -2x2 -1) +(xi +4x2 -4),则原问题化为min f(x) 。xeE2232记A=-21一.x=X234L14则 f(x) =(Ax -b)(Ax-b)。310766.. x* =(A'A)-ATb =:ATA=ATb=162416L3]6/20

6/20  + = − = + = 给定方程组 ,试用最小二乘法求此 4 3 2 1 2 2 3 1 2 1 2 1 2 x x x x x x 方程组的近似解。 ( ) (2 2 3) ( 2 1) ( 4 4) , 2 1 2 2 1 2 2 令 f x = x1 + x2 − + x − x − + x + x − 则原问题化为 min2 f (x) 。 xE 记 ，  =   =   = − 313 , , 1 4 1 2 2 2 21 b xx A x 则 f (x) = (Ax − b)T (Ax − b)。 例1 解 , 6 24 6 6    A A = T ，  = 16 10 A b T x A A A b T 1 T * ( )−  = 。  = 3134

三、非线性最小二乘法m(P)min f(x)=rT(x)r(x)= Er?(x)XeEni=1其中r(x)=(r(x), r(x),.., rm(x)T, xe E"是x的非线性函数。非线性最小二乘问题是无约束最优化的特殊情形，由于目标函数有特殊结构，因此可以对一股无约束最优化方法进行改造，得到一些更有效的特殊方法7/20

7/20 三、非线性最小二乘法 =  = = m i i T x E P f x r x r x r x n 1 2 （ ） min ( ) ( ) ( ) ( ) 是 的非线性函数。 其 中 （ ， ， ， ， x r x r x r x r x x E n = m  T 1 2 ( ) ( ) ( )  ( )) 非线性最小二乘问题是无约束最优化的特殊情 形，由于目标函数有特殊结构，因此可以对一 般无约束最优化方法进行改造，得到一些更有 效的特殊方法

f(x)的梯度为mg(x) = Vf(x)=2Zr; (x)Vr; (x) = 2J(x) r(x)i1Oror其中axOxn称为r(x)的Jacobi矩阵J(x) =·Ormormaxaxf(x)的Hessian矩阵为mG(x) =2E(Vr; (x)Vr; (x)T +r; (x)V'r; (x)i=1m其中S(x)=Zr; (x)V’r; (x)= 2[J(x) J(x) + S(x)li=18/20

8/20 其中                       = n m m n x r . x r x r . x r J x 1 1 1 1 ( )    f (x)的梯度为 g(x) = f (x) = =  m i i i r x r x 1 2 ( ) ( ) 2J(x) r(x) T = f (x)的Hessian矩阵为 = =   +  m i i i T i i G x r x r x r x r x 1 2 ( ) 2 ( ( ) ( ) ( ) ( )) 2[J(x) J(x) S(x)] T = + = =  m i i i S x r x r x 1 2 其 中 ( ) ( ) ( ) 称为r(x)的Jacobi矩阵