第四节 向量到子空间的距离· 最小二乘法 在欧氏空间中可以引入向量间的距离概念。 定义8长度 称为向量和的距离，记 为d(,) 不难证明距离的三条基本性质： (1)d(,)=d( (2)d(,)0当且仅当 时等号 成立。 (3)d(,)d(,)+d(
第四节 向量到子空间的距离 • 最小二乘法 在欧氏空间中可以引入向量间的距离概念。 定义 8 长度| |称为向量 和 的距离，记 为d( , ). 不难证明距离的三条基本性质： （1） d( , ) = d( , )； （2） d( , ) 0 当且仅当 = 时等号 成立。 （3） d( , ) d( , ) + d( , )
在中学几何中学过一个点到一个平面（或一 条直线)上所有点的距离以垂线为最短，下面可 以证明一个固定向量和一个子空间中各向量间的 距离也以“垂线最短”。 先设一个子空间W,它是由向量 19 29· 所生成，即W=L(1, 29 ).说一个向量 垂直于子空间W,就是指向量 垂直于W中任 意一个向量。 现给定，设是W中的向量，满 垂直于W,则对W中任意向量，有
在中学几何中学过一个点到一个平面（或一 条直线）上所有点的距离以垂线为最短，下面可 以证明一个固定向量和一个子空间中各向量间的 距离也以“垂线最短”。 先设一个子空间W, 它是由向量 1 , 2 , …, k所生成，即W=L( 1 , 2 , …, k ). 说一个向量 垂直于子空间W，就是指向量 垂直于 W 中任 意一个向量。现给定 ，设 是 W中的向量，满 足 垂直于 W，则对W中任意向量 ，有 | | | |
证明 )+( 因W是子空间， W, W,则 W,故 垂 毫舌股定理 2+1 2= 故 这个几何事实可以用来解决一些实际问题。 其中的一个应用就是解决最小二乘法问题
证明 = （ ）+ （ ） 因 W 是子空间， W ， W ，则 W ，故 垂 直于 。 W 由勾股定理 | | 2+ | | 2= | | 2 故 | | | | 这个几何事实可以用来解决一些实际问题。 其中的一个应用就是解决最小二乘法问题
最小二乘法问题：线性方程组 4111+a12x2+…+41,x,-b1=0 21x1+422x2+…+2x,-b2=0 (1) anx1+an2x2++ansxs-b=0 可能无解，即任何一组数x1,x2,,x,都能使 2a+as++a- (2) 不等于0。我们设法找x,x2,,x,使（2)最小， 称为方程组(1)的最小二乘解。这种问题就叫最 小二乘问题。 回
最小二乘法问题：线性方程组 + + + − = + + + − = + + + − = 0 0 0 1 1 2 2 21 1 22 2 2 2 11 1 12 2 1 1 n n ns s n s s s s a x a x a x b a x a x a x b a x a x a x b 可能无解，即任何一组数x1 , x2 , …, xs都能使 = + + + − n i ai x ai x ais xs bi 1 2 1 1 2 2 ( ... ) 不等于0。我们设法找 x1 0 , x2 0 , …, xs 0使（2）最小， 称为方程组（1）的最小二乘解。这种问题就叫最 小二乘问题。 （1） （2）
令 11 2 41s da L22 … A= B- … x= y= j Ax (3) 上页
令 , ... ........................ ... ... = n n nsss a a a a a a a a a A 1 2 21 22 2 11 12 1 = bn bb B 21 , = x s xx x 21 Ax a x a x a x y s j nj j s j j j s j j j = = ===11 2 1 1 （ 3 ）