第三讲 线性最小二乘问题 问题介绍 2 初等变换矩阵 3 QR分解 奇异值分解 5 线性最小二乘问题的求解方法 6 最小二乘问题的推广及其应用* 现代数值分析（数值线性代数），潘建瑜 http://math.ecnu.edu.cn/~jypan
第三讲 线性最小二乘问题 1 问题介绍 2 初等变换矩阵 3 QR 分解 4 奇异值分解 5 线性最小二乘问题的求解方法 6 最小二乘问题的推广及其应用 ∗ 现代数值分析（数值线性代数）, 潘建瑜 http://math.ecnu.edu.cn/~jypan
最小二乘问题 最小二乘问题有着广泛的应用背景，如数据拟合，最优控制，信号与图像处理， 压缩感知，机器学习，数据科学等，是计算数学的一个重要研究分支，也是一个 非常活跃的研究领域， 最小二乘问题 线性最小二乘问题，总体最小二乘问题，约束最小二乘问题，.··… 本讲主要介绍求解线性最小二乘问题的三种直接法
最小二乘问题 最小二乘问题有着广泛的应用背景，如数据拟合，最优控制，信号与图像处理， 压缩感知，机器学习，数据科学等, 是计算数学的一个重要研究分支, 也是一个 非常活跃的研究领域. 最小二乘问题 线性最小二乘问题, 总体最小二乘问题, 约束最小二乘问题, . . . . . . 本讲主要介绍求解线性最小二乘问题的三种直接法
1 秦 问题介绍 考虑线性最小二乘问题 min llAx -bl2 (3.1) EE比" 其中A∈Rm×n,b∈Rm.问题(3.1)的解称为最小二乘解 ·当m=n且A非奇异时，这就是一个线性方程组，解为x=A-1b; ·当m<n时，未知量个数大于约束个数，欠定（或亚定）方程组 ·当m>n时，约束个数大于未知量个数，超定方程组 http://math.ecnu.edu.cn/~jypan 3/54
1 问题介绍 考虑线性最小二乘问题 min x∈Rn ∥Ax − b∥ 2 2 (3.1) 其中 A ∈ R m×n , b ∈ R m. 问题 (3.1) 的解称为最小二乘解. • 当 m = n 且 A 非奇异时, 这就是一个线性方程组, 解为 x = A−1 b; • 当 m < n 时, 未知量个数大于约束个数, 欠定 (或亚定) 方程组 • 当 m > n 时, 约束个数大于未知量个数, 超定方程组 http://math.ecnu.edu.cn/~jypan 3/54
类 白为了讨论方便，本讲总是假定A是满秩的 一本讲我们主要讨论超定线性最小二乘问题的求解， http://math.ecnu.edu.cn/~jypan 4/54
✍ 为了讨论方便, 本讲总是假定 A 是满秩的. ✍ 本讲我们主要讨论超定线性最小二乘问题的求解. http://math.ecnu.edu.cn/~jypan 4/54
秦 2 初等变换矩阵 2.1基本变换矩阵 2.2 Householder变换 2.3 Givens变换 2.4正交变换的舍入误差分析 http://math.ecnu.edu.cn/~jypan 5/54
2 初等变换矩阵 2.1 基本变换矩阵 2.2 Householder 变换 2.3 Givens 变换 2.4 正交变换的舍入误差分析 ∗ http://math.ecnu.edu.cn/~jypan 5/54