92内积空间的最佳逼近 9 上面两式相加即得 在内积空间中，若∫与g的内积为零，即(f,g)=0,则称∫与g是正交的.此时， f+g2=fP+Ig2,类似于欧式空间中的勾股定理。 下面，在内积空间中讨论最佳逼近问题， 定义9.8设V是内积空间，McV为有限维子空间.对于x∈V,如果有元素 m*∈M使得 lle -m'll inf lle-mll ad(z,M). 则称m*为子集M逼近x的最佳逼近元，将所有M中x的最佳逼近元构成的集合记 作B(x,这里‖·I是V内积诱导的范数. 首先，我们证明内积空间中最佳逼近元的存在唯一性 定理9.8对于任意的x∈V,存在唯一的最佳逼近元m∈M. 证明据定义，V是内积空间，按内积诱导的范数‖·‖构成赋范线性空间，M是V的 有限维子空间.因此，利用推论93，存在性得证 下证唯一性，用反证法.设M中存在两个不同的最佳逼近元素m1,m2,使得 dx,M)=e-m1=lz-m2.因M是V的线性子空间，故(m1+m2)/2∈M.容 易看出 de,M≤-mi专≤-m+-m=de,, 即(m1+m2)/2亦是x的最佳逼近元.此外，利用内积的平行四边形等式可得 de,=k-m专m=m+2 2 -e-+k-刊-- =d(c.M)2-illmi-mall2. 因此，m1=m2,与假设矛盾，故原命题正确. 其次，我们给出刻画内积空间最佳逼近元的特征性质
9.2 内积空间的最佳逼近 9 上面两式相加即得. 在内积空间中, 若 f 与 g 的内积为零, 即 (f, g) = 0, 则称 f 与 g 是正交的. 此时, ∥f + g∥ 2 = ∥f∥ 2 + ∥g∥ 2 , 类似于欧式空间中的勾股定理. 下面, 在内积空间中讨论最佳逼近问题. 定义 9.8 设 V 是内积空间, M ⊂ V 为有限维子空间. 对于 x ∈ V , 如果有元素 m∗ ∈ M 使得 ∥x − m∗ ∥ = inf m∈M ∥x − m∥ , d(x, M), 则称 m∗ 为子集 M 逼近 x 的最佳逼近元, 将所有 M 中 x 的最佳逼近元构成的集合记 作 BM(x), 这里 ∥ · ∥ 是 V 内积诱导的范数. 首先, 我们证明内积空间中最佳逼近元的存在唯一性. 定理 9.8 对于任意的 x ∈ V , 存在唯一的最佳逼近元 m∗ ∈ M. 证明 据定义, V 是内积空间, 按内积诱导的范数 ∥ · ∥ 构成赋范线性空间, M 是 V 的 有限维子空间. 因此, 利用推论9.3, 存在性得证. 下证唯一性, 用反证法. 设 M 中存在两个不同的最佳逼近元素 m1, m2, 使得 d(x, M) = ∥x − m1∥ = ∥x − m2∥. 因 M 是 V 的线性子空间, 故 (m1 + m2)/2 ∈ M. 容 易看出 d(x, M) 6 x − m1 + m2 2 6 1 2 x − m1 + 1 2 x − m2 = d(x, M), 即 (m1 + m2)/2 亦是 x 的最佳逼近元. 此外, 利用内积的平行四边形等式可得 d(x, M) 2 = x − m1 + m2 2 2 = x − m1 2 + x − m2 2 2 = 1 2 ( ∥x − m1∥ 2 + ∥x − m2∥ 2 ) − x − m1 2 − x − m2 2 2 = d(x, M) 2 − 1 4 ∥m1 − m2∥ 2 . 因此, m1 = m2, 与假设矛盾, 故原命题正确. 其次, 我们给出刻画内积空间最佳逼近元的特征性质.
10 第九章函数逼近 定理9.9对任意的x∈V,则m∈M为x的最佳逼近元的充分必要条件是 x-m*与M中的任意元素正交，即 (e-m',m)=0,m∈M 证明（必要性）用反证法.假设存在某一元素m∈L,使得(x-m*,m)≠0.显然，m 不为零元素.若令 n-mi A-(-m'.m) 则有 川x-m*-入m°2=(x-m*-入m°，x-m*-m) =1x-m*2-2A(x-m',m)+X2 =x-m*2-入2 <lx-m*2, 与m'为x的最佳逼近元的定义矛盾！故假设错误，原命题正确. (充分性)若对任意的m∈M,均有(x-m',m)=0成立，则有 1x-m2-x-m*2=川m2-lm*2-2(x,m)+2(x,m*) =m-m*2+2(x-m',m'-m) =lm-m*2≥0. 因此，m'为x的最佳逼近元 定理9.9的几何意义：x在M中的正交投影m'即为x的最佳逼近元.利用该定理 最佳逼近元的距离可表示为： dx,M)2=(e,x)-(e,m) (9.3) 下面，假设M是X的n维线性子空间，M有一组基：p1,P2,…,pm,那么x的最 佳逼近元m可表示为m=c9.利用定理9.9，m分别取91,2，…，Pn,可得 =1 ∑(e,9)g=(e,9》.j=1,2…,n (9.4)
10 第九章 函数逼近 定理 9.9 对任意的 x ∈ V , 则 m∗ ∈ M 为 x 的最佳逼近元的充分必要条件是 x − m∗ 与 M 中的任意元素正交, 即 (x − m∗ , m) = 0, ∀m ∈ M. 证明 (必要性) 用反证法. 假设存在某一元素 m ∈ M, 使得 (x − m∗ , m) ̸= 0. 显然, m 不为零元素. 若令 m◦ = m ∥m∥ , λ = (x − m∗ , m◦ ), 则有 ∥x − m∗ − λm◦ ∥ 2 = (x − m∗ − λm◦ , x − m∗ − λm◦ ) = ∥x − m∗ ∥ 2 − 2λ(x − m∗ , m◦ ) + λ 2 = ∥x − m∗ ∥ 2 − λ 2 < ∥x − m∗ ∥ 2 , 与 m∗ 为 x 的最佳逼近元的定义矛盾! 故假设错误, 原命题正确. (充分性) 若对任意的 m ∈ M, 均有 (x − m∗ , m) = 0 成立, 则有 ∥x − m∥ 2 − ∥x − m∗ ∥ 2 = ∥m∥ 2 − ∥m∗ ∥ 2 − 2(x, m) + 2(x, m∗ ) = ∥m − m∗ ∥ 2 + 2(x − m∗ , m∗ − m) = ∥m − m∗ ∥ 2 > 0. 因此, m∗ 为 x 的最佳逼近元. 定理9.9的几何意义: x 在 M 中的正交投影 m∗ 即为 x 的最佳逼近元. 利用该定理, 最佳逼近元的距离可表示为: d(x, M) 2 = (x, x) − (x, m∗ ). (9.3) 下面, 假设 M 是 X 的 n 维线性子空间, M 有一组基: φ1, φ2, · · · , φn, 那么 x 的最 佳逼近元 m∗ 可表示为 m∗ = ∑n i=1 c ∗ i φi . 利用定理9.9, m 分别取 φ1, φ2, · · · , φn, 可得 ∑n i=1 (φi , φj ) c ∗ i = (x, φj ), j = 1, 2, · · · , n, (9.4)
92内积空间的最佳逼近 11 称式(9.4)为最佳逼近元的法方程组.若引入记号 (p1,p1）(p1,p2)…(p1,pn) (x,p1) (p2,p1）(p2,p2）·（p2,pn) C (x,p2) G c"= (pn,p）(pn,p2)…(n,pn)/ (n) 则法方程组可写成Gc*=b.基于{P:产1的线性无关性，容易证明矩阵G是正定的. 因此，法方程组的解存在且唯一 进一步，若P1,p2,·,Pn构成M的一组正交基，则G是一个对角矩阵，法方程组 可以直接解出，最佳逼近元m*显式地表示为 m'=了色) 台(9,9P (9.5) 称式(9.S)为x的广义Fourier展开，p,的系数为广义Fourier系数.利用{p,}是1的正 交性，可知式(9.3)等价于 -mp-ap-2e求-长 i▣1 在上式中，若令n→oo,则得Bessel不等式： e2Ip.2≤Iz =1 特别地，若最佳逼近元序列收敛于x,则上述不等式变成等式，称为广义Parseval等式 最后，我们讨论有限维内积空间正交基的存在性 定理9.10任何n维内积空间M都存在正交基 证明因M是有限维线性空间，故存在一组基P1,2,·,Pn.接下来，通过如下算法 构造正交基e1,e2,…,em (1)e1=P1; ②4=-a aGg,j=2,…,n
9.2 内积空间的最佳逼近 11 称式 (9.4) 为最佳逼近元的法方程组. 若引入记号 G = (φ1, φ1) (φ1, φ2) · · · (φ1, φn) (φ2, φ1) (φ2, φ2) · · · (φ2, φn) . . . . . . . . . . . . (φn, φ1) (φn, φ2) · · · (φn, φn) , c ∗ = c ∗ 1 c ∗ 2 . . . c ∗ n , b = (x, φ1) (x, φ2) . . . (x, φn) , 则法方程组可写成 G c ∗ = b. 基于 {φi} n i=1 的线性无关性, 容易证明矩阵 G 是正定的. 因此, 法方程组的解存在且唯一. 进一步, 若 φ1, φ2, · · · , φn 构成 M 的一组正交基, 则 G 是一个对角矩阵, 法方程组 可以直接解出, 最佳逼近元 m∗ 显式地表示为 m∗ = ∑n i=1 (x, φi) (φi , φi) φi , (9.5) 称式 (9.5) 为 x 的广义 Fourier 展开, φi 的系数为广义 Fourier 系数. 利用 {φi} n i=1 的正 交性, 可知式 (9.3) 等价于 ∥x − m∗ ∥ 2 = ∥x∥ 2 − ∑n i=1 (c ∗ i ) 2 ∥φi∥ 2 , c∗ i = (x, φi) (φi , φi) . 在上式中, 若令 n → ∞, 则得 Bessel 不等式: ∑∞ i=1 (c ∗ i ) 2 ∥φi∥ 2 6 ∥x∥ 2 . 特别地, 若最佳逼近元序列收敛于 x, 则上述不等式变成等式, 称为广义 Parseval 等式. 最后, 我们讨论有限维内积空间正交基的存在性. 定理 9.10 任何 n 维内积空间 M 都存在正交基. 证明 因 M 是有限维线性空间, 故存在一组基 φ1, φ2, · · · , φn. 接下来, 通过如下算法 构造正交基 e1, e2, · · · , en: (1) e1 = φ1; (2) ei = φi − ∑ i−1 j=1 (φi , ej ) (ej , ej ) ej , j = 2, · · · , n
12 第九章函数逼近 先证e4卡0.若不然，则9：与e1,e2,…,C-1线性相关，与P1,Pp2,…,Pn是一组基相 矛盾.接着，用归纳法证明e1,e2,·,en相互正交.容易验证：e2与e1正交.对于一般 的e,利用归纳假设，则有 o-a6d-e=6-e.-0 (e) 其中k=1,2,·,i-1.定理得证 若将{e}”1进一步规范化，则得M的一组标准正交基.证明过程中用到的算法 称为Gram-Schmidt.正交化，是一个非常重要的构造性算法.下面针对一些重要内积空 间的最佳逼近问题作更深入的讨论， 9.3最小二乘法 在科学研究和工程应用领域，经常会遇到函数f(x)的表达式未知或者难以用初等 函数表示的情况，但是可以通过观察或测量的方式获得∫(x)的一组离散值 {(工，)：头=f(x)};=1 即观测数据.那么如何根据这些数据，来确定自变量x和因变量y之间的关系？一种方 式是使用插值的方法，即 p(x)=f(x,i=1,2,…,n, 来构造函数p(x)以逼近未知函数f(x).但是，该方法存在以下两个问题： (1)当数据有误差时，用插值方式来构造函数不能合理地处理误差带来的影响： (2)当数据量很大时，用多项式插值容易出现数值不稳定的情况 另一种方式是使用拟合的方法，要求p(x)与f(x)之间的误差或距离最小，即 mnlp-f儿，i=1,2,…,n (9.6) 其中·‖表示函数空间重的某种范数.明显地，这是一个函数逼近问题 在数据拟合问题(9.6)中，选用函数空间P[a,)及范数‖·p是合适的.但是仍存 在一个问题，即函数∫(x)是信息不全的，仅知道f(x)在某些观测点的值.因此，我们可
12 第九章 函数逼近 先证 ei ̸= 0. 若不然, 则 φi 与 e1, e2, · · · , ei−1 线性相关, 与 φ1, φ2, · · · , φn 是一组基相 矛盾. 接着, 用归纳法证明 e1, e2, · · · , en 相互正交. 容易验证: e2 与 e1 正交. 对于一般 的 ei , 利用归纳假设, 则有 (ei , ek) = (φi , ek) − ∑ i−1 j=1 (φi , ej ) (ej , ej ) (ej , ek) = (φi , ek) − (φi , ek) (ek, ek) (ek, ek) = 0, 其中 k = 1, 2, · · · , i − 1. 定理得证. 若将 {ei} n i=1 进一步规范化, 则得 M 的一组标准正交基. 证明过程中用到的算法 称为 Gram-Schmidt 正交化, 是一个非常重要的构造性算法. 下面针对一些重要内积空 间的最佳逼近问题作更深入的讨论. 9.3 最小二乘法 在科学研究和工程应用领域, 经常会遇到函数 f(x) 的表达式未知或者难以用初等 函数表示的情况, 但是可以通过观察或测量的方式获得 f(x) 的一组离散值 { (xi , yi) : yi = f(xi) }n i=1, 即观测数据. 那么如何根据这些数据, 来确定自变量 x 和因变量 y 之间的关系? 一种方 式是使用插值的方法, 即 φ(xi) = f(xi), i = 1, 2, · · · , n, 来构造函数 φ(x) 以逼近未知函数 f(x). 但是, 该方法存在以下两个问题: (1) 当数据有误差时, 用插值方式来构造函数不能合理地处理误差带来的影响; (2) 当数据量很大时, 用多项式插值容易出现数值不稳定的情况. 另一种方式是使用拟合的方法, 要求 φ(x) 与 f(x) 之间的误差或距离最小, 即 min φ∈Φ ∥φ − f∥, i = 1, 2, · · · , n, (9.6) 其中 ∥ · ∥ 表示函数空间 Φ 的某种范数. 明显地, 这是一个函数逼近问题. 在数据拟合问题 (9.6) 中, 选用函数空间 L p [a, b] 及范数 ∥ · ∥p 是合适的. 但是仍存 在一个问题, 即函数 f(x) 是信息不全的, 仅知道 f(x) 在某些观测点的值. 因此, 我们可
93最小二乘法 13 选择使用式(9.1)的离散逼近来刻画f(x)与(x)之间的误差或距离，即 (9.7) 在实际应用中，p常取1,2或+0.当p=2时，最优化问题(9.6)称为最小二乘问 题.最小二乘法源于天文学和测地学的应用需要，分别由德国数学家高斯(C.F.Gauss) 和法国数学家勒让德(A.M.Legendre)独立提出，如今被广泛应用于统计学、逼近论和 控制论等领域。当p=1或p=+∞时，最优化问题(9.6)的求解变得复杂了，因为目标 函数是不可微的.但是，近年来随着压缩感知与稀疏表示技术的发展，己经涌现了一些 较好的数值方法用于求解这类优化问题，感兴趣的读者可参见文献[0). 在数据拟合问题(9.6)中，另一个关键的问题是函数空间重的选取，即问题的数 学模型.一般来说，函数空间重主要靠人们的专业知识或工作经验来决定.常用的 函数空间重包括：多项式空间Pn【x、样条函数空间S(Pmz,M,△)或经验函数空间 {aebr|a,b∈R}等 为了简化问题，下面假设重是线性空间，函数组{：(x)},构成它的一组基，取 p=2,那么问题(9.6)可写成 p-f=ame Cpr）-fc) (9.8) 称为数据的最小二乘拟合问题.因为p=2,所以可用内积空间的最佳逼近理论来处理 不难验证，式(9.7)的范数‖·2是离散内积 ,g)∑f)gx) (9.9) 诱导的拟范数.因此，根据定理9.9，最小二乘拟合问题可通过法方程组求解，即 Gc=b,G=(g)∈Rmxm,c=()∈Rm,b=(b)∈Rm, (9.10) 其中9%=∑ 4= pi()f(xt) =1 例9.7澳大利亚生物学家P.Sale和R.Dybdall两年间在某处做的鱼类抽样调查 如下表所示：
9.3 最小二乘法 13 选择使用式 (9.1) 的离散逼近来刻画 f(x) 与 φ(x) 之间的误差或距离, 即 ∥φ − f∥p , (∑n i=1 φ(xi) − f(xi) p )1 p . (9.7) 在实际应用中, p 常取 1, 2 或 +∞. 当 p = 2 时, 最优化问题 (9.6) 称为最小二乘问 题. 最小二乘法源于天文学和测地学的应用需要, 分别由德国数学家高斯 (C. F. Gauss) 和法国数学家勒让德 (A. M. Legendre) 独立提出, 如今被广泛应用于统计学、逼近论和 控制论等领域. 当 p = 1 或 p = +∞ 时, 最优化问题 (9.6) 的求解变得复杂了, 因为目标 函数是不可微的. 但是, 近年来随着压缩感知与稀疏表示技术的发展, 已经涌现了一些 较好的数值方法用于求解这类优化问题, 感兴趣的读者可参见文献 [10]. 在数据拟合问题 (9.6) 中, 另一个关键的问题是函数空间 Φ 的选取, 即问题的数 学模型. 一般来说, 函数空间 Φ 主要靠人们的专业知识或工作经验来决定. 常用的 函数空间 Φ 包括: 多项式空间 Pn[x]、样条函数空间 S(Pm[x], M, ∆) 或经验函数空间 { aebx | a, b ∈ R } 等. 为了简化问题, 下面假设 Φ 是线性空间, 函数组 {φi(x)} m i=1 构成它的一组基, 取 p = 2, 那么问题 (9.6) 可写成 min φ∈Φ φ − f 2 2 = min c1,c2,··· ,cm∈R ∑n i=1 [∑m j=1 cjφj (xi) − f(xi) ]2 , (9.8) 称为数据的最小二乘拟合问题. 因为 p = 2, 所以可用内积空间的最佳逼近理论来处理. 不难验证, 式 (9.7) 的范数 ∥ · ∥2 是离散内积 (f, g) , ∑n i=1 f(xi) g(xi) (9.9) 诱导的拟范数. 因此, 根据定理9.9, 最小二乘拟合问题可通过法方程组求解, 即 G c = b, G = (gij ) ∈ R m×m, c = (ci) ∈ R m, b = (bi) ∈ R m, (9.10) 其中 gij = ∑n l=1 φi(xl)φj (xl), bi = ∑n l=1 φi(xl)f(xl). 例 9.7 澳大利亚生物学家 P. Sale 和 R. Dybdall 两年间在某处做的鱼类抽样调查 如下表所示: