最小二乘法与正交性 一个更好的做法是通过Gram-Schmidt?求A=QR分解 11 …:0 丫1m ·其中Q为正交阵：QrQ=1 这意味若，9=日 - i=j i≠j ·R为上三角阵 通过QR分解，ATA元=ATb→x=R-1QTb 并不需要计算ATA 实践中，更常用，更数值稳定的是Householder反射子，而不是Gram-Schmidt
最小二乘法与正交性 一个更好的做法是通过Gram-Schmidt求� = ��分解 ⋮ �! ⋮ ⋮ �" ⋮ ⋮ �# ⋮ … ⋮ �$ ⋮ = ⋮ �( ⋮ ⋮ �& ⋮ ⋮ �) ⋮ … ⋮ �* ⋮ �!! … �!$ 0 ⋱ ⋮ 0 0 �$$ • 其中�为正交阵：�%� = � – 这意味着 �+, �, = - 1, � = � 0, � ≠ � • �为上三角阵 通过QR分解， �-�� = �-� ⇒ � = �&!�%� 并不需要计算 �%� 实践中，更常用，更数值稳定的是Householder反射子，而不是Gram-Schmidt 7
嫩细 最小二乘法与正交性 正交变换 非正交变换 8
最小二乘法与正交性 8 正交变换 非正交变换
最小二乘法与正交性 若Q为正交阵：QTQ=I,则lQxl2=lxl2 Isometry:保距映射 思考：除了长度，还可以考虑角度 (Qx,Qy〉=？ 9
最小二乘法与正交性 9 若�为正交阵：�!� = �，则 �� " = � " Isometry：保距映射 思考：除了长度，还可以考虑角度 ��,�� =?
正交系统中的最小二乘法：傅里叶级数 给定函数f和一组基函数中，能否找到系数{c}使得 设0= φk(x)=c0s(kx),k=1,2,…,n, n+k (x)=sin(kx),k 1,2,...,n-1 则函数族中o(x),中1(x),…在[-兀，π]上是正交的 证明：cos(kx)和sin(kx)在[-π，π上的积分都为0，再由积化和差公式即可得： 1 sin(y)cos()(sin(-x)+sin+x)) cosy)cos(x)=(cos(y-x)+cosy+x)) 1 sin(y)sin(x)=(cos(y-x)-cos(y+x)) 11
正交系统中的最小二乘法：傅里叶级数 给定函数 �和一组基函数�%，能否找到系数{�"}使得 � � ≈ - " �" �" � 设 �$ = % & , �'(�) = cos(��) , � = 1,2, … , �, �()' � = sin �� , � = 1,2, … , � − 1 则函数族�! � ,�" � , …在[−�, �]上是正交的 证明： cos(��)和 sin �� 在[−�, �]上的积分都为0，再由积化和差公式即可得： sin � cos � = 1 2 (sin � − � + sin(� + �)) cos � cos � = 1 2 (cos � − � + cos(� + �)) sin � sin � = 1 2 (cos � − � − cos(� + �)) 11
正交系统中的最小二乘法：傅里叶级数（选讲） 给定函数f,能否找到系数{a,b}使得 n-1 ao f(x)≈号+an cosnx+ 2 (ak cos kx bk sin kx) k=1 这里也可以使用最小二乘法(sketch): ·记误差函数为 E(x):=f(x)- 00 +an cosnx+】 。 考虑川E(x)匠=(E(x),E(x)》=∫E(x)2dx ·对E(x)陉关于系数{a,b求偏导并设为0， 即得到法线方程 。 由于正交性，可推导得 (f,cos kx) ak= (cos kx,coskx) (f,sin kx） bk= (sin kx,sin kx) 12
正交系统中的最小二乘法：傅里叶级数（选讲） 给定函数 �，能否找到系数{�", �"}使得 � � ≈ �$ 2 + �( cos �� + - '*% (+% �' cos �� + �' sin �� 这里也可以使用最小二乘法（sketch）： • 记误差函数为 � � ≔ � � − �& 2 + �' cos �� + > ()$ '#$ �( cos �� + �( sin �� • 考虑 � � & & = � � , �(�) = ∫+, , � � &�� • 对 � � ! !关于系数 {�%, �%}求偏导并设为0，即得到法线方程 • 由于正交性，可推导得 �' = �, cos �� cos �� , cos �� �' = �, sin �� sin �� , sin �� 12