非线性最小二乘法估计 如果(x;0)是0的非线性函数，最小二乘法不能给出参数的严格解， 需要通过迭代法求的近似解，使得下式最小 x2(0)=(少-元)V-(5-元) 如果采用牛顿法求上式的最小值，第+1次迭代公式可采用 G(nD=0-G-(G()g() G 8'x2 81= a0, a0,a0 Io-G(m 迭代终止判据： →5w-i-∑@-0y<a→百=百w 是一个给定的小数。 6
6 非线性最小二乘法估计 λ θ ( ; x ) θ θ G G G 如果 是 的非线性函数，最小二乘法不能给出参数的严格解， 需要通过迭代法求 的近似解,使得下式最小 2 1 ( ) ( ) ( ) T χ θ λ y V y λ − = − − G G G G G 如果采用牛顿法求上式的最小值，第 n+1次迭代公式可采用 ( ) ( ) ( 1) ( ) 1 ( ) ( ) 2 2 2 ˆ ˆ ˆ ˆ ˆ ˆ ( ) ( ) n n n n n n i ij i i j G g g G θ θ θ θ θ θ θ θ χ χ θ θ θ + − = = = − ∂ ∂ = = ∂ ∂ ∂ G G G G G G G G i ， 1/ 2 ( 1) ( ) ( 1) ( ) 2 1 ˆ ˆ ˆ ˆ ( ) n n n n i i i θ θ θ θ ε ε + + = ⎡ ⎤ − = − < ⎢ ⎥ ⎣ ⎦ ∑ G G 迭代终止判据： 是一个给定的小数。 ˆ ˆ( 1 n ) θ θ + = G G
最小二乘估计量的方差 协方差矩阵元U,=cov[©，0，]在线性情况下的误差传递可以写为 6=(AV-A)AV-=By U=BVB'=(AV-A) 等效地，可以利用下式来计算 =立a,-wa,x） 如果y是高斯变量时， 其与RCF边界一致。 7
7 最小二乘估计量的方差 ˆ ˆ co v[ , ] 协方差矩阵元 Uij = θ θi j 在线性情况下的误差传递可以写为 1 1 ( ) − − U = BVB = A V A T T 等效地，可以利用下式来计算 2 2 1 1 , ˆ 1 ( ) ( ) ( ) ( ) 2 N ij i k kl j l k l i j U a x V a x θ θ χ θ θ − − = ⎡ ⎤ ∂ = = ⎢ ⎥ ⎢ ⎥ ∂ ∂ ⎣ ⎦ G ∑ G 如果 yi是高斯变量时， 其与RCF边界一致。 ˆ 1 1 1 ( ) T T θ A V A A V y By − − − = ≡ G G G
最小二乘估计量的方差（续） 对于(x,0)是参数的线性函数情况下，x(0)是二次型的 网--2 (0,-00,-8,) ia-a 方差从正切平面到椭圆 x2(0)=x2(a)+1=x2m+1 如果(x;)不是的线性函数，上述式子会有偏差，但仍不失为较好的近似。 可以把区间x(⑥)≤X+1看作“置信区间”， 给出了包含真值B的可能性。 注意：上式并不依赖于y是否为高斯变量，但无论何种情况，都要计算 协方差矩阵V,=cov[y,y,]: 8
8 最小二乘估计量的方差 ( 续 ) 2 λ θ ( ; x ) χ (θ ) G G 对于 是参数的线性函数情况下， 是二次型的 ) ˆ )( ˆ ( 2 1 ) ˆ ( ) ( ˆ , 1 2 2 2 2 i i j j m i j i j θ θ θ θ θ θ χ χ θ χ θ θ θ − − ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎣ ⎡ ∂ ∂ ∂ = + = = ∑ G G G G 方差从正切平面到椭圆 ) 1 1 ˆ ( ) ( 2 min 2 2 χ θ = χ θ + = χ + G G λ θ ( ; x ) θ G G 如果 不是 的线性函数，上述式子会有偏差，但仍不失为较好的近似。 2 2 mi n χ θ( ) ≤ + χ 1 θ G G 可以把区间 看作“置信区间”，给出了包含真值 的可能性。 cov[ , ] i ij i j y V y = y 上式并不依赖于 是否为高斯变量，但无论何种情况，都要计算 协方差矩阵 注意：
多项式的最小二乘法拟合 用一个多项式来拟合右图 6 th order.2=45.5 1order.2=3.99 2x0…0)=20,x 4h order.2=0.0 i=0 第0阶（一个参数） 例如： 第1阶（两个参数） 第4阶（五个参数） 0 5 >对于单参数拟合情况（例如上图的横线）： 47 (a) 0。=2.66±0.13 46.5 =45.5 46 标准误差oa是根据x2(⑨±o6)=Xam+1 45.5 来确定的。 2.5 2.6 2.7 2.8 29)
9 多项式的最小二乘法拟合 用一个多项式来拟合右图 ∑= = m j j m j x x 0 0 λ( ;θ ,..., θ ) θ 第 0 阶 (一个参数 ) 第 1 阶 (两个参数 ) 第 4 阶 (五个参数 ) ¾对于单参数拟合情况 (例如上图的横线): 45.5 2.66 0.13 ˆ 2 min 0 = = ± χ θ 0 0 2 2 ˆ ˆ 0 min ˆ () 1 θ θ 标准误差 σ χ 是根据 θ ± σ = + χ 来确定的。 例如: