《理工科代数基础》最小二乘法与广义逆

1214 作业: P2419,22,24.P261 看书 206 215 226 230 答疑时间:周二,周五下午3:30-5:30; 地点:理学院数学楼1108室或大厅

1 看书： 1214 答疑时间：周二,周五 下午 3:30-5:30； 地点: 理学院数学楼1108室 或大厅。 224 19, 22, 24. P 作业： P P 206 215 − P246 1. P P 226 230 −

§5最小二乘法与广义逆 (一)一个变量的最小二乘法 R(a) 3x=10 例4x=7记a=4,b=7 5x=8 ax=b.在R(a)中找一个向量p使b-p最小 p=ax,把作为x的近似值 (ORa=p,(b-pla, p=ax 0=(a, b-ax=a(b-ax=a'b a ax b b X - p=ax L aa aa

2 §5 最小二乘法与广义逆 , 8 7 10 , 5 4 3 5 8 4 7 3 10           =           =     = = = a b x x x 例 记 （一）一个变量的最小二乘法： a b p R(a) a b ax a b ax a b a ax b p b p a p ax T T T R a = − = − = − = − ⊥ = 0 ( , ) ( ) ( ) , ( ) , ( ) , . . ( ) . 把 作为 的近似值 在 中找一个向量 使 最小 p ax x x ax b R a p b p = = − , a. a a a b p ax a a a b x T T T T  = → = =

(二)多变元的最小二乘法:设A是m×n矩阵, 记A=(an,a2,…,an),AX=∑xa∈R( 当AX=b无解时,即bgR(A), 记(b)x=P=AX∈R(A),这时(b-P)⊥R(A) a∈R(4,a=AY,有0=(a,b-p) (a, b-AY)=(AY, 6-AX)=Y!A(b-AX) →(b-AX)=0→AAX=Ab 把AAX=Ab称为正则方程,它的解是 AX=b的最小二乘解

3 , ( ), ( , , , ), ( ), ( ) , 1 1 2 A X b b R A A A X x R A A m n n i n i i =  = =   = 当 无解时 即 记 二 多变元的最小二乘法：设 是 矩阵      ( ) 0 . ( , ) ( , ) ( ). ( ), , 0 ( , ) A b AX A AX A b b AX AY b AX Y A b AX R A AY b p T T T T T → − = → = = − = − = −   = = −    有  ( ) ( ), ( ) ( ) 记 b R(A) = p = AX R A 这时 b− p ⊥R A 的最小二乘解. 把 称为正则方程，它的解是 AX b A AX A b T T = =

当r(4)=n时,r(AA)=r(4)=n AA可逆.→>X=(4A)(Ab), AX=b有唯一最小二乘解 b在R(A)的投影是: P=AX=A(AA(Ab 记投影变换为σ,由上述讨论,对vb∈Rm ,o∈R(A)o=R(A),此时,R(A)2=kera R"=R(AOR(A=OV o kero, R"到R(4)的正交投影o在自然基下 的矩阵为A(4A)2(A)

4 r(A) n , r(A A) r(A) n, T 当 = 时 = = ， 此时， 记投影变换为 ，由上述讨论 对       ( ) ( ) ker , ( ), ( ), ( ) ker , , =  =    = =   ⊥ ⊥ R R A R A V b R A V R A R A b R m m . . ( ) ( ), 1 有唯一最小二乘解 可逆 AX b A A X A A A b T T T  =  → = − ( ) ( ). ( ) : 1 p AX A A A A b b R A T − T = = 在 的投影是 ( ) ( ). ( ) T 1 T m A A A A R R A −  的矩阵为 到 的正交投影 在自然基下

a→>B=oa Ⅹ→Y=AX 这里Rm→R(A) 6 H p=A(A A)A b 定理20:设A是m×n矩阵,r(4)=n,则R到 R(A)的正交投影在自然基下的矩阵为 P=A(4 AA 反之,若线性变换在一组基下的矩阵是 P=A(A'A)A' 则a是R到R(4)的正交投景

5 X →Y = AX  →  = b p A A A A b R R A T T m 1 ( ) ( ) − = →  这里 ( ) . ( ) 20 , ( ) , T 1 T m P A A A A R A A m n r A n R − =  = 的正交投影在自然基下的矩阵为 定理 ：设 是 矩阵 则 到 反之, 1 , ( ) , ( ) . T T m P A A A A R R A   − = 若线性变换 在一组基下的矩阵是 则 是 到 的正交投影