第三讲 线性最小二乘问题 1 问题介绍 2 初等变换矩阵 3 QR分解 4 奇异值分解 5 线性最小二乘问题的求解方法 6 最小二乘问题的推广及其应用* 现代数位分析（数值线性代数），潘建瑜 http://math.ecnu.edu.cn/~jypan
第三讲 线性最小二乘问题 1 问题介绍 2 初等变换矩阵 3 QR 分解 4 奇异值分解 5 线性最小二乘问题的求解方法 6 最小二乘问题的推广及其应用 ∗ 现代数值分析（数值线性代数）, 潘建瑜 http://math.ecnu.edu.cn/~jypan
4‖ 秦 奇异值分解 4.1奇异值，奇异向量和奇异值分解 4.2奇异值基本性质 4.3奇异值更多性质* http://math.ecnu.edu.cn/~jypan 2/38
4 奇异值分解 4.1 奇异值，奇异向量和奇异值分解 4.2 奇异值基本性质 4.3 奇异值更多性质 ∗ http://math.ecnu.edu.cn/~jypan 2/38
秦 4.1 奇异值，奇异向量和奇异值分解 奇异值分解(SVD)分解是矩阵计算中非常有用的工具之一 定理(SVD)设A∈Cmxn(m≥n),则存在酉矩阵U∈Cmxm和V∈Cnxn 使得 UAV= 或A=U V* 其中∑=diag(o1,o2,,0n)∈Rnxn,且o1≥.…≥on≥0. 上述分解称为A的奇异值分解(SVD),O1,02,,0n称为A的奇异值，它们 是矩阵AA的特征值的平方根， (板书) 西在不做特别说明的情况下，我们总是假定o1≥02≥··≥0n≥0. 西如果A∈Rm×n是实矩阵，则U,V也都可以是实矩阵 http://math.ecnu.edu.cn/~jypan 3/38
4.1 奇异值，奇异向量和奇异值分解 奇异值分解 (SVD) 分解是矩阵计算中非常有用的工具之一. 定理 (SVD) 设 A ∈ C m×n (m ≥ n), 则存在酉矩阵 U ∈ C m×m 和 V ∈ C n×n 使得 U ∗AV = Σ 0 或 A = U Σ 0 V ∗ , 其中 Σ = diag(σ1, σ2, . . . , σn) ∈ R n×n , 且 σ1 ≥ . . . ≥ σn ≥ 0. 上述分解称为 A 的奇异值分解 (SVD) , σ1, σ2, . . . , σn 称为 A 的奇异值, 它们 是矩阵 A∗A 的特征值的平方根. (板书) ✍ 在不做特别说明的情况下, 我们总是假定 σ1 ≥ σ2 ≥ · · · ≥ σn ≥ 0. ✍ 如果 A ∈ R m×n 是实矩阵, 则 U, V 也都可以是实矩阵. http://math.ecnu.edu.cn/~jypan 3/38
秦 奇异向量 矩阵U=[u1,2,,um和V=[y1,2,,vn的列向量分别称为A的 左奇异向量和右奇异向量，即存在关系式 A=0ii,i=1,2,.,n, A*u=0Ui,i=1,2,..,n A*i=0,i=n+1,n+2,..,m. http://math.ecnu.edu.cn/~jypan 4/38
奇异向量 矩阵 U = [u1, u2, . . . , um] 和 V = [v1, v2, . . . , vn] 的列向量分别称为 A 的 左奇异向量 和 右奇异向量 , 即存在关系式 Avi = σiui , i = 1, 2, . . . , n, A ∗ui = σivi , i = 1, 2, . . . , n, A ∗ui = 0, i = n + 1, n + 2, . . . , m. http://math.ecnu.edu.cn/~jypan 4/38
秦 SVD的其他形式 A=U V*=01山1v1+2u2v吃+十OnUnV晴 记Un=[u1,2,…,unJ∈Cmxm,则Un是单位列正交矩阵，且 A=UnEV* (3.1) 这就是所谓的细SVD (thin SVD)或 降阶SVD (reduced SVD),有的文献 将(3.1)称为奇异值分解。 当k<n时，我们称 Ak=01山11+02u2陵+·+0kukW 为A的截断SVD (truncated SVD). http://math.ecnu.edu.cn/~jypan 5/38
SVD 的其他形式 A = U Σ 0 V ∗ = σ1u1v ∗ 1 + σ2u2v ∗ 2 + · · · + σnunv ∗ n 记 Un = [u1, u2, . . . , un] ∈ C m×n , 则 Un 是单位列正交矩阵, 且 A = UnΣV ∗ (3.1) 这就是所谓的 细 SVD (thin SVD ) 或 降阶 SVD (reduced SVD ), 有的文献 将 (3.1) 称为奇异值分解. 当 k < n 时, 我们称 Ak = σ1u1v ∗ 1 + σ2u2v ∗ 2 + · · · + σkukv ∗ k 为 A 的 截断 SVD (truncated SVD ). http://math.ecnu.edu.cn/~jypan 5/38