正规方程解的行列式表 消去a的正规方程组: ∑Xb+∑元61=∑x()(∑x∑b Σxxb→∑xb=∑x()∑立∑x人b∑x 元j∑元元2 x1x2△x1 2Y∑ ∑x∑ⅸ a=y-bx1b,x2 XIx 元x2∑x ∑x元∑x 请注意,这里使用的是离均差
11 正规方程解的行列式表示 请注意,这里使用的是离均差。 消去 的正规方程组: b x b x x x x x x x x x x x x b x x x x x x x x x x x b x x b b x x x x x x x x b x b x x b x x b x a y y y Y y y y y y a 2 2 1 1 2 1 2 1 1 2 2 1 2 1 2 1 1 2 2 2 1 2 1 1 2 2 1 2 2 1 2 2 1 1 2 1 2 1 2 1 2 1 1 2 2 1 2 2 2 2 1 1 2 1 2 1 2 1 2 1 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ (2) (1) ˆ = = = − − = + = + =
简化了正规方程的矩阵表示 由正规方程①)式解得:a=bx1-b2x2代回去,消去a,并简记为 ∑xb+Σxx61=∑x(∑x∑x元b∑元 Σ立6+∑b1=∑立∑x人b,∑x ∑x2-∑x X1X2 XIx2 ∑x22-∑) x1y-x1xX2∠x2y b1 ∑i∑x Xy ∑x2x2-∑和) b人(∑北∑x人Σx∑Ex∑ ∑X∑x)
简化了正规方程的矩阵表示 ( ) ( ) ( ) − − − − = = − − − = = + = + = = − − − − x x y y x x y y y y x x y y y y a y a x x x x x x x x x x x x x x x x x x x x x x b b x x x x x x x x x x x x x x x x b b x x x x x x x x b x b x x b x x b x b x b x 1 2 2 2 2 2 1 2 1 2 1 2 1 1 2 2 2 2 2 1 1 1 2 2 2 2 2 1 2 1 2 2 1 2 2 1 1 2 1 1 2 2 2 2 2 1 2 1 2 1 1 2 2 2 2 1 2 2 1 2 2 1 1 2 1 2 1 2 1 2 2 1 2 2 1 2 2 2 2 1 1 2 1 2 1 2 1 2 1 2 2 1 1 ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 由正规方程(1)式解得:ˆ ˆ ˆ 代回去,消去ˆ,并简记为:
最小二乘法的矩阵表示 模型:y=a+bxn+b2x2+L分Y=XB+Y=Y+i u=y-yB i=Y-BX ii= 2i(Y-XB)(Y-XB)=YY-YXB-B'XY+ B'XXB XI 1x11m3x130(yX)=BXx7是一个数 YY-2B'YY+BXXB =∑2=mm(y-2Bxy+x68x) ∑a)ayy-2XBY+BXAB 2XY+2XXB=0 aB aB XXB=XY (XX)XXB=(XX)XY B=(rX)XY 以一元模型y=a+bx+L为例 ∑x XX x (XX) x y=/∑ y x x xiy xX;∑x
最小二乘法的矩阵表示 ( )( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) = − − = = = + + = = = = − + = − + = = − + = = − + = = = − − = − − + = − = − = + + + = + = + − − − − x y y X Y n n X X n X X a b X XB X Y X X X XB X X X Y B X X X Y X Y X XB B Y Y X B Y B X XB B Y Y B X Y B X XB Min Y Y B X Y X B BX Y XB B X Y u u Y XB Y XB Y Y Y XB B X Y B X XB u Y XB u Y BX a Y XB u Y Y u i i i i i i i i i i i i i i i i i X X XnnX X X XnnX i i i i i x x x x x x x x x y x u u u u y b x b x u 2 2 1 2 1 1 1 2 2 1 1 1 1 1 3 3 1 1 3 3 1 2 1 1 2 2 2 2 0 ˆ ˆ ˆ 2 ˆ ˆ ˆ min 2 ˆ ˆ ˆ 2 ˆ ˆ ' ˆ ˆ ˆ ˆ ˆ ˆ ' ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ ˆ 以一元模型 为例: 是一个数 模型:
原始数据的矩阵表示 模型:y=a+bxn+b2x2+L台Y=XB+ x11X12 y2 x21X22 B=6 b 2 X XXi X=xu X2r x XX= Xil Xil ii2 x12X22 x XX WilLie x
14 原始数据的矩阵表示 = = = = = = = + + + = + x x x x x x x x x x x x x x x x u u u b b x x x x x x y y y y b x b x u i i i i i i i i i i n n n n n n i i i i n X X X u a Y X B a Y XB u 2 2 1 2 2 1 2 2 1 1 1 2 1 2 2 2 2 1 1 2 1 1 2 1 2 1 1 2 2 1 2 2 1 1 1 2 2 1 1 1 2 2 1 1 1 1 1 1 模型:
简化—中心化处理 原模型:y,=a+bx1+b2x2+l4 x1-x1x12-x: Y x21-X1x22-x B b1 (b2 Xnx n2X2 ur x′=Xxnx1x21-x1xn-x XX= ∑x∑xⅸ2 x12-x2x22-X Xn2X2 ∑ ili Xi2 y-y=b,xx+62x2-x2+u,eY=Xb+u Y= XB Mim(l)→XB=Xy→B=(XX)XY 15
15 简化——中心化处理 Min u u X XB X Y B ( X X ) X Y y Y XB u Y XB X X X X B u y y y Y a y b x x b x x u x x x x x x x x x x x x x x x x x x u u u b b x x x x x x x x x x x x y y y y b x b x u i i i i i i i i i i n n n n n n i i i i = = − = − + − + = + = = − − − − − − = = = − − − − − − = − − − = = + + + − 1 1 1 1 2 2 2 2 1 2 2 1 2 2 1 1 2 2 2 2 2 2 2 1 1 1 2 1 1 1 1 2 1 2 1 2 2 2 2 2 1 2 2 1 1 2 1 1 1 1 1 2 1 1 1 2 2 ˆ ˆ ( ) ˆ ˆ ( ) ( ) 原模型: 中心化