设(x,y)(=0,1…,m)为给定的一组数据 设x,y的关系为y=S(x) 其中S(x)来自函数类Φ如(1)中y(x)来自线性函数类 设函数类Φ的基函数为q,(x)(i=0,1,…n)一般要求n≤m 也称Φ是由Q(x)(=0,1,…,m)生成的函数集,即 Φ= span{q0(x)01(x)…qn(x)} S(x)=∑a(x)∈d 仍然定义平方误差 12=∑82=∑(S(x)-y)2
设x, y的关系为 y = S(x) 其中S(x)来自函数类F 如(1)中y(x)来自线性函数类 设(xi , yi )(i = 0,1,L,m)为给定的一组数据 (x)(i 0,1, ,n) 设函数类F的基函数为ji = L 一般要求n £ m 也称F是由ji (x)(i = 0,1,L,n)生成的函数集,即 { ( ), ( ), , ( )} 0 1 span x x x F = j j L jn å= = m i i 0 2 2 2 d d å= = - m i i i S x y 0 2 ( ( ) ) 仍然定义平方误差 å= = n j j j S x a x 0 ( ) j ( ) ÎF
我们选取的度量标准是 在函数类Φ中选取一个函数S*(x) -2 0 1(x)+…+an*pn(x) 18+=∑(S*(x)-y)2 i=0 min S(x)∈Φ 2 min∑(S(x)y)2 -(3) S(x)∈④ 其中S(x)=∑a(x)为中的任意函数 0
我们选取的度量标准是 在函数类F中选取一个函数S *(x) å= = n j j j S x a x 0 * *( ) j ( ) * ( ) * ( ) * ( ) 0 0 1 1 a x a x a x = j + j +L+ n jn 2 2 d * å= = - m i i i S x y 0 2 ( *( ) ) å= ÎF = - m i i i S x S x y 0 2 ( ) min ( ( ) ) 2 2 ( ) min d ÎF = S x 其中 = å 为F中的任意函数 = m j j j S x a x 0 ( ) j ( ) ---------(2) ---------(3)
称满足条件(3)的求函数S*(x)=∑a(x)方法为 0 数据拟合的最小二乘法 S*(x)=∑a9(x)为最小二乘解 j=0 S(x)=∑a9(x)拟合函数a(=0,1…,n)为拟合系数 j=0 8=称为最小二乘解的平方误差 在确定了拟合函数S(x)后如何求拟合系数a(=0,1…,n) 使得S*(x)=∑1(x)满足拟合条件(3)呢? j=0
数据拟合的最小二乘法 称满足条件 的求函数 å 的方法为 = = n j j j S x a x 0 * (3) *( ) j ( ) å 为最小二乘解 = = n j j j S x a x 0 * *( ) j ( ) ( ) ( )为拟合函数, ( 0,1, , )为拟合系数 0 S x a x a j n j n j = å j j = L = j S(x) , a ( j 0,1, ,n) 在确定了拟合函数 后 如何求拟合系数 j = L 使得 *( ) ( )满足拟合条件(3)呢？ 0 * å= = n j j j S x a j x 称为最小二乘解的平方误差 2 2 d *
法方程组 由 S(x)=∑a9(x) 可知12=∑|(xy)2=∑位∑a9(x)y) i=0 为拟合系数a(=0,1…,n)的函数 二次函数 因此可假设 01 )=∑Ca9(x)-y i=0j=0 因此求最小二乘解转化为
å å= = = - m i i n j j j i a x y 0 2 0 å ( j ( ) ) = = - m i i i S x y 0 2 ( ( ) ) 二、法方程组 2 2 d å= = n j j j S x a x 0 由 ( ) j ( ) 为拟合系数a j ( j = 0,1,L,n)的函数 可知 因此可假设 ( , , , ) y a0 a1 L an å å= = = - m i i n j j j i a x y 0 2 0 ( j ( ) ) 因此求最小二乘解转化为 二次函数
求v(ao,a…,an)的最小值(极小值)点a*a1*灬…,an*的问题 由多元函数取极值的必要条件 y(ana1… 0 k=0,1 Oe k 得 业=∑2∑q9(x)-y)(x)=0 0=0 D∑a9(x)(x)-y9(x)=0 i=0j=0 ∑∑q9、(x)(x)=∑y94(x) 0j=0 i=0
求y(a0 ,a1 ,L,an )的最小值(极小值)点a0 *,a1 *,L,an *的问题 由多元函数取极值的必要条件 0 ( , , , ) 0 1 = ¶ ¶ k n a y a a L a k = 0,1,L,n [2( ( ) ) ( )] 0 0 k i m i i n j j j i å åa j x y j x = = = - k ¶a ¶y 得 = 0 即 åå å = = = = m i i k i m i k i n j j j i a x x y x 0 0 0 j ( )j ( ) j ( ) [ ( ) ( ) ( )] 0 0 0 å å - = = = k i m i i n j j j i k i a j x j x yj x