中国矿亚大业CHINAUNIVERSITY OFMININGANDTECHNOLOGY显然(4)是一个关于a,a,a,的n+1元线性方程组引入记号P, = (0,(xo),P,(x),..,P,(xm)j = (yo,yi,.,ym)则由内积的概念可知(5)(Pkp,)=Epr(x,)p,(x,)i=0m(Pr,d) =k(x,)y;-(6)i=0显然内积满足交换律(Pk,,)=(P.Pk)
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 显然 ( 4 )是一个关于 a 0 , a 1 , " , a n 的 n + 1元线性方程组 引入记号 ( ( ), ( ), , ( )) r 0 r 1 r m = ϕ x ϕ x " ϕ x ϕ r ( , , , ) 0 1 m y = y y " y K ( , ) ( ) ( ) 0 j i m i k j k i ϕ ϕ ∑ ϕ x ϕ x = = 则由内积的概念可知 0 ( ,) ( ) m k k ii i ϕ ϕ y x y = = ∑ G -(5) -(6) ( , ) ϕk ϕ j ( , ) 显然内积满足交换律 = ϕ j ϕk
中国矿亚大医CHINA UNIVERSITY OFMININGAND TECHNOLOGY方程组（4）便可化为ao(k,Po)+ai(k,Pi)+...+an(Pk,Pn)=(Pk,f)(7)k =0,1,...,n这是一个系数为(k),常数项为(k,f)的线性方程组将其表示成矩阵形式(βo,f)ao(Po,p)... (Po,pn)(Po,Po)(1,)ai(P1,Po)(P1,P1)...(Pi,n)--(8)·(Pn,Po)(PnrPn)(Pn.P1) ...0a
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 方程组(4)便可化为 ( , ) ( , ) ( , ) ( , ) 0 0 1 1 a a a f ϕ k ϕ + ϕ k ϕ + " + n ϕ k ϕ n = ϕ k k = 0 , 1 , " , n -(7) 这是一个系数为 (ϕ k , ϕ j),常数项为 (ϕ k , f )的线性方程组 将其表示成矩阵形式 ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ ( , ) ( , ) ( , ) ϕ0 ϕ0 ϕ0 ϕ1 " ϕ0 ϕ n ( , ) ( , ) ( , ) ϕ1 ϕ0 ϕ1 ϕ1 " ϕ1 ϕ n ( , ) ( , ) ( , ) ϕ n ϕ0 ϕ n ϕ1 " ϕ n ϕ n # # # -(8) ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ a n a a # 1 0 ⎟ ⎟ ⎟ ⎟ ⎟ ⎠ ⎞ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ ⎛ = ( , ) ( , ) ( , ) 1 0 f f f ϕn ϕ ϕ #
中国矿亚大医CHINA UNIVERSITY OF MINING AND TECHNOLOGY记P.(x)P(x)p(x.).9,(x)...P.(x.)P(x,)G=.....:,(xm) 9(xm)... ,(xm))a=(ao,a,...,an)", j=(yo,yr,..,yn)G'Ga=G'j则(8)可表示为称(8)式为函数序列P.(x),P (x),.,,(x)在点x,，,X上的法方程组
CHINA UNIVERSITY OF MINING AND TECHNOLOGY 记 00 10 0 01 11 1 1 () () () () () () () () () n n nm m nm xx x xx x G xx x ϕϕ ϕ ϕϕ ϕ ϕϕ ϕ ⎡ ⎤ ⎢ ⎥ ⎢ ⎥ = ⎢ ⎥ ⎢ ⎥ ⎢⎣ ⎥⎦ " " ## # " 则(8)可表示为 T T G Ga G y = G G 01 0 1 ( , , , ), ( , , , ) T T n n a aa a y y y y = = G G " " , , , 法方程 组 ( 8 ) ( ), ( ), , ( ) 0 1 0 1 在点 上的 称 式为函数序列 m n x x x x x x " ϕ ϕ " ϕ
中国矿亚大整CHINAUNIVERSITY OFMININGANDTECHNOLOGY几点备注：1、法方程组G'Ga=Gy一定有解！证明：即证 R(GTG)=R(G'G,G)利用线性代数知识易证关于矩阵的秩成立：R(G) = R(GT)= R(GTG)又由关于秩的不等式得：R(G'G)≤ R(GTG,G' y)= R(GT (G,y)≤ R(G')= R(G'G)从而 R(GTG)= R(G'G,GTy)
CHINA UNIVERSITY OF MINING AND TECHNOLOGY () ( ) ( ) T T RG RG RG G = = 利用线性代数知识易证关于矩阵的秩成立： ( )( , ) T TT RG G RG GG y ≤ 又由关于秩的不等式得： 从而 ( )( , ) T TT RG G RG GG y = ( ( , () ) ) T T = ≤ RG G y R G ( ) T = RG G T T 1、法方程组 一定有解！ G Ga G y = ( )( , ) T TT RG G RG GG = y 几点备注： 证明：即证
中国矿大业CHINAUNIVERSITYOFMININGANDTECHNOLOGY设法方程组GTGa=GTy的解为 a"=(ai,ai,a,)e R!则函数s*(x)=a,p,(x)+a,9(x)+...+a,p,(x)就是最小二乘解!证明设s(x)=ap(x)+a,p(x)+...+a,p,(x)I( s(x)- y。I( s(x)yos(x,)-yls(x,)Ji则 Q=(s(x,)-y,) =Ga-y::i=l(s(xm)-ym/2(s(x,)yn因此最小二乘问题等价为：求aER"+，使得Q= |Ga -yl, = min又因为对vaeR"+，a=a"+c
CHINA UNIVERSITY OF MINING AND TECHNOLOGY T T 2 设法方程组 的解为 G Ga G y = (,) 1 0 1 G " T n n a aa a R ∗ ∗∗ ∗ + = ∈ 则函数 ** * *( ) ( ) ( ) ( ) n n sx a x a x a x = + ++ 00 11 ϕ ϕ ϕ " 就是最小二乘解！ 证明 () () () () n n 设 sx a x a x a x = 00 11 ϕ + ++ ϕ ϕ " 则 ( ) ( ) ( ) ( ) ( ) 2 0 0 2 1 1 0 2 m i i i m m sx y sx y Q sx y sx y = ⎛ ⎞ − ⎜ ⎟ − = −= ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎝ ⎠ − ∑ # ( ) ( ) ( ) n n sx y sx y sx y ⎛ ⎞⎛ ⎞ ⎜ ⎟⎜ ⎟ = − ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟⎜ ⎟ ⎝ ⎠⎝ ⎠ 2 0 0 1 1 2 # # 2 2 G = − Ga y min 2 2 G Q Ga y = −= n a R + ∈ 因此最小二乘问题等价为：求 ，使得 1 , 又因为对 G n 1 a R + ∀ ∈ G G G aa c ∗ = +