数值分析 第三讲线性最小二乘问题 线性最小二乘问题的求解方法 目录 3.1问题介绍 3.2 Householder变换和Givens变换 3.3QR分解 3.4奇异值分解 3.5线性最小二乘问题的求解方法 https://math.ecnu.edu.cn/-jypan/Teaching/NA
数值分析 第三讲 线性最小二乘问题 线性最小二乘问题的求解方法 3.1 问题介绍 3.2 Householder 变换和 Givens 变换 3.3 QR 分解 3.4 奇异值分解 3.5 线性最小二乘问题的求解方法 目录 https://math.ecnu.edu.cn/~jypan/Teaching/NA
3-5 线性最小二乘问题的求解方法 3.5线性最小二乘问题的求解方法 3.5.1正规方程 3.5.2 Cholesky分解法 3.5.3QR分解法 3.5.4SVD分解法 潘建瑜@MATH.ECNU https://math.ecnu.edu.cn/-jypan/Teaching/NA
3-5 线性最小二乘问题的求解方法 3.5 线性最小二乘问题的求解方法 3.5.1 正规方程 3.5.2 Cholesky 分解法 3.5.3 QR 分解法 3.5.4 SVD 分解法 潘建瑜 @MATH.ECNU https://math.ecnu.edu.cn/~jypan/Teaching/NA
3-5-1正规方程 min llAx -bll? x∈Rn 定理设A∈Rmxn(m≥n),则x*∈R”是线性最小二乘问题的解当且仅当残量r= b-Ax与Ran(A)(值域)正交，即x*是下面的正规方程（或法方程）的解 AT(b-A)=0AT Ax=ATb. (3.1) (板书)】 http://nath.ecnu.edu.cn/-jypan 3/20
3-5-1 正规方程 min x∈Rn ∥Ax − b∥ 2 2 定理 设 A ∈ R m×n (m ≥ n), 则 x∗ ∈ R n 是线性最小二乘问题的解当且仅当残量 r = b − Ax∗ 与 Ran(A) (值域) 正交, 即 x∗ 是下面的正规方程 (或法方程) 的解 A ⊺ (b − Ax) = 0 或 A ⊺ Ax = A ⊺ b. (3.1) (板书) http://math.ecnu.edu.cn/~jypan 3/20
解的存在性与唯一性 由于 AbE Ran(AT)=Ran(AT A), 因此正规方程ATAx=ATb是相容(consistent)的，即最小二乘解总是存在的， http://nath.ecnu.edu.cn/-jypan 4/20
解的存在性与唯一性 由于 A ⊺ b ∈ Ran(A ⊺ ) = Ran(A ⊺ A), 因此正规方程 A ⊺Ax = A ⊺ b 是相容 (consistent) 的, 即 最小二乘解总是存在的. 定理 设 A ∈ R m×n (m ≥ n), 则 A ⊺A 对称正定当且仅当 A 是列满秩的, 即 rank(A) = n. 此时, 线性最小二乘问题的解是唯一的, 其表达式为 x∗ = (A ⊺ A) −1A ⊺ b. http://math.ecnu.edu.cn/~jypan 4/20
解的存在性与唯一性 由于 ATbERan(AT)=Ran(ATA), 因此正规方程ATAx=ATb是相容(consistent)的，即最小二乘解总是存在的， 定理设A∈Rmxn(m≥n),则ATA对称正定当且仅当A是列满秩的，即rank(A)=n. 此时，线性最小二乘问题的解是唯一的，其表达式为 .=(ATA)-1ATb. http://nath.ecnu.edu.cn/-jypan 4/20
解的存在性与唯一性 由于 A ⊺ b ∈ Ran(A ⊺ ) = Ran(A ⊺ A), 因此正规方程 A ⊺Ax = A ⊺ b 是相容 (consistent) 的, 即 最小二乘解总是存在的. 定理 设 A ∈ R m×n (m ≥ n), 则 A ⊺A 对称正定当且仅当 A 是列满秩的, 即 rank(A) = n. 此时, 线性最小二乘问题的解是唯一的, 其表达式为 x∗ = (A ⊺ A) −1A ⊺ b. http://math.ecnu.edu.cn/~jypan 4/20