Y(,1)=∑v()-9()02(22) 损失函数( loss function) 代价函数( cost function) Y()=[y(1)y(2) E()=c()e(2)
T Y(t) = y(1) y(2) y(t) = = − t i T Y θ t y i φ i θ 1 2 [ ( ) ( ) ] 2 1 ( , ) T E(t) = ε(1) ε(2) ε(t) 损失函数（loss function） 代价函数（cost function） （2.2）
Φ(t) P0)=(0(000(00)423 e(i)=y(i)-y(i)=y(i)-g(i)0 残差( residuals)
( ) ( ) 1 1 1 ( ) ( ) ( ) ( ) ( ) − = − = = t i T T P t t t φ i φ i = ( ) (1) ( ) φ t φ t T T ε i y i y i y i φ i θ T ( ) = ( ) − ˆ( ) = ( ) − ( ) （2.3） 残差（residuals）
(,7226=EESI 2 E=Y-Y=Y-①0(24)
E =Y −Y =Y −θ ˆ 2 1 2 2 1 2 1 ( ) 2 1 V(θ,t) ε i E E E T t i = = = = （2.4）
定理21最小二乘估计 使损失函数(22)最小的参数应满足 ①ΦO=ΦY(2.5) 如果矩阵ΦΦ非奇异( nonsingular),则 最小值唯一,并且由下式给出 0=(b o'dDTY (2.6>
θ Y T T = θ ( ) Y T T = −1 （2.5） 定理2.1 最小二乘估计 使损失函数（2.2）最小的参数应满足 如果矩阵 非奇异（nonsingular），则 最小值唯一，并且由下式给出 （2.6） T
注1:方程(25)称为正规方程( normal equation) 式(26)可写为 0()=∑(0(|∑)y( (29) =P(∑)y( i=1
= = = = − = t i t i t i T P t φ i y i θ t φ i φ i φ i y i 1 1 1 1 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ˆ 注1：方程（2.5）称为正规方程（normal equation） （2.9） 式（2.6）可写为