《最优化方法》课程教学资源（题解）第七次 最小二乘法

最小二乘法 一、线性最小二乘法 非线性最小二乘法 1.改进的 Gauss- Newton法 2. Levenber ger- Marquart方法

最小二乘法 • 一、线性最小二乘法 • 二、非线性最小二乘法 • 1.改进的Gauss-Newton法 • 2.Levenberger-Marquart方法

线性最小二乘法 1. (P) min S()=f(x)f(x) Ax-b 这里∫(x)=Ax-b A∈R"M,x∈R",b∈Rm 2.问题(P)的最优解x满足 A Ax=a b

一、线性最小二乘法 1. (P) min S(x) f (x) f (x) T = 2.问题（P）的最优解 x * 满 足 这 里 f ( x ) = Ax − b m n n m A R , x  R , b  R  A Ax A b T T = 2 = Ax − b

证明"→"S(x)=x TATAx-2baxtbb VS(x=2A Ax-2A b=0 "<"Vx=x"+6 4x-b2=|(x2+6)- =(4x*-b)+A8[(4x*-b)+A6 b+|4。+20A(Ax-b Ax-b+|4|2+26(4Ax-4b) Ax +|A6 可见,当δ=0时取到最小值

" " S( x ) x A Ax b Ax b b T T T T 证明： = − 2 + S(x) = 2A Ax − 2A b = 0 T T ""  x = x * +δ 2 2 Ax b A( x ) b * − = +  − Ax b A A ( Ax b ) * T T * = − +  + 2 − 2 2 2 2 Ax b A * = − + 可见，当δ= 0时取到最小值. 2 ( ) 2 * 2 * Ax b A A Ax A b T T T = − +  +  − [(Ax * b) A ] [(Ax * b) A ] T = − + − +

2x,+2x,=3 例给定方程组x1-2x2=1,试用最小二乘法求此方程组 x,+4x,=3 的近似解。 解:令F(x)=(2x1+2x2-3)2+(x1-2x2-1)2+(x1+4x2-4)2, 则原问题化为minF(x)。 x∈ 22 3 记A=1-2,x b=1 则F(x)=(4x-b)(4x-b)

例      + = − = + = 给定方程组 ,试用最小二乘法求此方程 组 4 3 2 1 2 2 3 1 2 1 2 1 2 x x x x x x 的近似解。 解： ( ) ( 2 2 3) ( 2 1) ( 4 4) , 2 1 2 2 1 2 2 令 F x = x1 + x2 − + x − x − + x + x − 则原问题化为 min xR F(x) 。 记 ，           =       =           = − 3 1 3 , , 1 4 1 2 2 2 2 1 b x x A x 则 F(x) = (Ax − b) T (Ax − b)

22 21 66 2-2 624 211 10 Ab 16 (4A) 918 1818 2 10 ∴x=(4A)Ab 1818 3

, 6 24 6 6 1 4 1 2 2 2 2 2 4 2 1 1       =           −       −  A A = T 。      =                 − = 16 10 3 1 3 2 2 4 2 1 1 A b T 。           − −  = − 18 1 18 1 18 1 9 2 ( ) 1 A A T x A A A b T 1 T * ( ) −  = 。           =                − − = 3 1 3 4 16 10 18 1 18 1 18 1 9 2