82曲线拟合的最小二乘法一、多项式拟合的最小二乘法对于一组数据(xi,J)(i=1,2,…,m)，确定多项式P(x)=a, +ax+...+a,x"使得 β=[P(x,)-y,I 达到最小，这里 n<<m。p实际上是ao,ai,……,an的多元函数，即(ao,a,..a.)--Z[a aix, . a,x -y,]"0Φ=0, k= ,.,n在?的极值点应有Oak上页下页返园
上页 下页 返回 §2 曲线拟合的最小二乘法 对于一组数据(xi , yi ) (i = 1, 2, ., m) ， n n P(x) a a x . a x 0 1 实际上是 a0 , a1 , ., an 的多元函数，即 [ ] m i i n a a an a a xi an xi y 1 2 0 1 0 1 ( , , . , ) . 在 的极值点应有 k n ak 0 , 0, . , 一、多项式拟合的最小二乘法 m i i i P x y 1 2 使得 [ ( ) ] 达到最小，这里n << m。 确定多项式
(ao,a,..,a,)-2[a, +ax, +..+ a,x' -y,]-Z[P(x,) -y,]"=0, k=,.,n法方程组（或正规方程组OakaP(x,)Φ =22[P(x,)-y,]2Z[P(x,)-y;.x0=aakaaki=li-lmn回归系数=22[Za,x; -yilxhi=1j=02[2-2yx=2a;i=0boobonaCmZtch=Zy记bjkyitt=i=1i=1ba上页no下页返园
上页 下页 返回 [ ] m i i n a a an a a xi an xi y 1 2 0 1 0 1 ( , , . , ) . k n ak 0 , 0, . , k i m i i i k a P x P x y a ( ) 0 2 [ ( ) ] 1 k i m i n j i j a j xi y x 1 0 2 [ ] n j m i k i i m i j k aj xi y x 0 1 1 2 记 n n n n n n c c a a b b b b . . . . . . . . . . . . . . . . . 0 0 0 00 0 法方程组(或正规方程组) 回归系数 k i m i P xi yi x 1 2 [ ( ) ] m i j k bjk xi 1 m i k k i xi c y 1 [ ] m i i i P( x ) y 1 2
定理最小二乘拟合多项式存在唯一(n<m)。定理B=的解确是的最小点。即：设为解，则任意=(bob... bn)r对应的多项式 F(x)=b,x必有(a)=2 [P(x,)-y,} ≤Z [F(x,)-y,} =p(b)=证明: (b)-()= [F(x,)-,- [P(x,)-,}==E [F(x,)-P(x,)+P(x,)-y}-Z[P(x,)-y;}i=1i=l2=Z [F(x,)-P(x,)} +2Z[F(x,)-P(x,)[P(x)-y]im0Z[F(x,)- P(x,)P+2Z(b, -a,)Z(x,)-y;]≥0i=1j=1i=1上页注：最小二乘法首先要求设定P(x）的形式。下页P(x)不一定是多项式，通常根据经验确定。返园
上页 下页 返回 定理 Ba = c 的解确是 的最小点。即：设a 为解，则任 意 b = (b0 b1 . bn ) T 对应的多项式 必有 n j j F x bj x 0 ( ) m i m i a P xi yi F xi yi b 1 1 2 2 ( ) [ ( ) ] [ ( ) ] ( ) 证明： m i i i m i b a F xi yi P x y 1 2 1 2 ( ) ( ) [ ( ) ] [ ( ) ] m i i i m i F xi P xi P xi yi P x y 1 2 1 2 [ ( ) ( ) ( ) ] [ ( ) ] m i i i i i m i F xi P xi F x P x P x y 1 1 2 [ ( ) ( )] 2 [ ( ) ( )][ ( ) ] 0 注：最小二乘法首先要求设定P(x) 的形式。 P(x) 不一定是多项式，通常根据经验确定。 定理 最小二乘拟合多项式存在唯一(n < m)。 [ ] [ ] n j m i i i j j j i m i i i F x P x b a x P x y 1 1 2 1 ( ) ( ) 2 ( ) ( ) 0
例1.回到本节开始的实例，从散点图可以看出纤维强度和拉伸倍数之间近似与线性关系故可选取线性函数P(x) =a +a,xm使得达到最小p(ao,a,)=E[(a, +a,x,)-y,}i=1mae=2Z[(a, +ax,)-y,]=0令daoi-1ma=2[(ao +aix,)-y;lx; = 0da,i=lm(2x,)a,=Zy;+得maoi=lmm?上页ZCx,)ao +(Zx;)a =)X,yi下页i=1i-1i=1返园
上页 下页 返回 例1.回到本节开始的实例，从散点图可以看出 纤维强度和拉伸倍数之间近似与线性关系 P(x) a0 a1 x 故可选取线性函数 使得 m i i i a a a a x y 1 2 0 1 0 1 ( , ) [( ) ] 达到最小 m i i i a a x y a 1 0 1 0 2 [( ) ] 0 m i i i xi a a x y a 1 0 1 1 2 [( ) ] 0 令 m i m i i i ma x a y 1 1 0 1 ( ) m i m i i i m i i i x a x a x y 1 1 1 1 2 0 ( ) ( ) 得
mZ0x, =127.5m=24i18-mZx=829.617-i16F=爱5; =113.1Yi合14F=3x,y; = 731.62i=124a +127.5a, = 113.12356789410127.5a.+829.61a, =731.6a, =0.8587解得a. =0.1505即为所求的最小二乘解P(x)=0.1505+0.8587x上页下页拟合曲线与散点的关系如图返园
上页 下页 返回 m 24 a 0 0 .1505 P(x) 0.1505 0.8587x 即为所求的最小二乘解 解得 a 1 0 .8587 m i x i 1 127 . 5 731 . 6 1 m i i i x y 829 .61 1 2 m i x i 113 . 1 1 m i i y 24 a 0 127 . 5 a 1 113 . 1 127.5a0 829.61 a 1 731.6 拟合曲线与散点的关系如图 1 2 3 4 5 6 7 8 9 10 1234567891 2 3 4 5 6 7 8 9 10 123456789