最小二乘问题的求解方法一、最小二乘问题的概念二、线性最小二乘法三、非线性最小二乘法四、最小二乘问题的Matlab求解1/20
1/20 一、最小二乘问题的概念 二、线性最小二乘法 三、非线性最小二乘法 四、最小二乘问题的Matlab求解 最小二乘问题的求解方法
一、最小二乘问题的概念如下最优化问题称为非线性最小二乘问题m(P)min f(x)=rr(x)r(x)=Er(x)xeEni=1其中r(x)=(r(x), r(x),.., rm(x), xeE是x的非线性函数。如果r(x)是线性函数,即r(x)= Ax-b,则称问题(P)是线性最小二乘问题求解最小二乘问题等价于求解方程组：r;(x)=0 i=1,2,..,m最小二乘问题在数据拟合，参数估计和函数逼近等方面有广泛的应用。2/20
2/20 一、最小二乘问题的概念 = = = m i i T x E P f x r x r x r x n 1 2 （ ） min ( ) ( ) ( ) ( ) 是 的非线性函数。 其 中 （ ， ， ， ， x r x r x r x r x x E n = m T 1 2 ( ) ( ) ( ) ( )) 如下最优化问题称为非线性最小二乘问题。 则称问题(P)是线性最小二乘问题。 最小二乘问题在数据拟合，参数估计和函数逼近 等方面有广泛的应用。 求解最小二乘问题等价于求解方程组： ri (x) = 0 i = 1,2, ,m 如果r(x)是线性函数，即r(x) = Ax − b
二、线性最小二乘法(P) min (x)=rT(x)r(x) = Ax-bl1.问题Ae Rmxn,xeR",beRm页（P）的最优解A'Ax*=A'b2.性质x*是问题证：f(x) = (Ax-b)"(Ax -b)= xTAT Ax - 2bT Ax + bT b若x*是问题的最优解，则Vf(x*) = 2A' Ax* - 2A'b = 0即ATAx* = A'b3/20
3/20 二、线性最小二乘法 (P) min f (x) r (x)r(x) T = x *是问题（P）的最优解 m n n m A R x R b R , , A Ax A b T T = * 2 1. 问题 = Ax − b 2. 性质 x A Ax b Ax b b f x Ax b Ax b T T T T T = − + = − − 2 ( ) ( ) ( ) ( ) 2 2 0 * * f x = A Ax − A b = T T 证： 若x *是问题的最优解， 则 A Ax A b T T = 即 *
若x*满足ATAx*=A'b,则Vx=x*+Ax-bl =A(x*+8)-b=[(Ax *-b)+ AS} [(Ax *-b)+ AS]=Ax* -b + A8 + 28' A'(Ax* -b)=Ax* -b + A + 28T(A" Ax* - A'b)Ax*-b +A8 ≥Ax*-b故f(x)=Ax-b在x=x*处取得最小值4/20
4/20 x x δ * 则 = + 2 2 * Ax − b = A(x + ) − b 2 ( ) 2 * 2 * Ax b A A Ax b T T = − + + − * 2 2 = Ax − b + A 故 在 处取得最小值. 2 * f (x) = Ax − b x = x 2 ( ) 2 * 2 * Ax b A A Ax A b T T T = − + + − [(Ax * b) A ] [(Ax * b) A ] T = − + − + 若 x *满足A T Ax* = A T b， 2 * Ax − b
二、线性最小二乘法(P) min f(x)=rT(x)r(x) = Ax-bl1.问题Ae Rmxn,xe R"n,be Rm2.性质x是问题（P）的最优解>A'Ax*=A'b若(ATA)可逆x* =(AT A)-I ATbx* =(A)-1b若A为可逆方阵LetAERnxmwithn>m,thenmatrixATAispositivesemidefinite,Ifrank(A)=mthenATAispositivedefinite.5/20
5/20 二、线性最小二乘法 (P) min f (x) r (x)r(x) T = x *是问题（P）的最优解 m n n m A R x R b R , , A Ax A b T T = * 2 1. 问题 = Ax − b 2. 性质 * 1 ( ) T T x A A A b − = * 1 x A b ( )− = 若(ATA)可逆 若A为可逆方阵