第十五讲奇异值分解X = UDVTVT00XrxrnXrrxpnxpU:列基V:行基D:权/奇异值
第十五讲 奇异值分解 权 奇异值 行基 列基 /: : : D V U 𝑋 = 𝑈𝐷𝑉 ⊤ 𝑋 𝑛 × 𝑝 𝑈 𝑛 × 𝑟 𝑉 ⊤ 𝑟 × 𝑝 = 𝐷 𝑟 × 𝑟
奇异值分解（SVD)对任一n×p矩阵X，其列向量张成的空间（简称列空间）记作列空间C(X) = (Xt: t E RP)引理1.(1) C(X) = C(XXT), C(XT) = C(XTx).(2）XTX与XXT有相同的非O特征根，特征向量相互关联：若a是XTX的特征向量，则b=Xa是XXT的特征向量；若b是XXT的特征向量，则a=XTb是XTX的特征向量。证: (1) C(XXT) = (XXTt: tE RP) = (Xs: S = XTt E RP) c C(X)若xE C(XXT),XXTx= 0 =xTXXTx= 0= XTx= 0= XEC(X)I= C(XXT)+ C(X)+, C(X) C(XXT).(2).XTb = XTXa = aa = XXT(Xa) = (Xa)a注：XXT的特征向量刻画矩阵C(XXT）=C(X);XTX的特征向量刻画矩阵C(XTX)=C(XT）
2 引理1. (1) 𝐶 𝑋 = 𝐶 𝑋𝑋⊤ , 𝐶 𝑋 ⊤ = 𝐶 𝑋 ⊤𝑋 . 奇异值分解(SVD) 对任一𝑛 × 𝑝矩阵𝑋, 其列向量张成的空间（简称列空间）记作 𝐶 𝑋 = 𝑋𝐭: 𝐭 ∈ 𝑅 𝑝 证: 1 𝐶 𝑋𝑋⊤ = 𝑋𝑋⊤𝐭: 𝐭 ∈ 𝑅 𝑝 = 𝑋𝐬: 𝐬 = 𝑋 ⊤𝐭 ∈ 𝑅 𝑝 ⊂ 𝐶 𝑋 若𝐱 ∈ 𝐶 𝑋𝑋⊤ ⊥, 𝑋𝑋⊤𝐱 = 0 ⇒ 𝐱 ⊤𝑋𝑋⊤𝐱 = 0 ⇒ 𝑋 ⊤𝐱 = 0 ⇒ 𝐱 ∈ 𝐶 𝑋 ⊥ ⇒ 𝐶 𝑋𝑋⊤ ⊥ ⊂ 𝐶 𝑋 ⊥ , 𝐶 𝑋 ⊂ 𝐶 𝑋𝑋⊤ . 2 . 𝑋 ⊤𝐛 = 𝑋 ⊤𝑋𝐚 = 𝐚𝜆 ⇒ 𝑋𝑋⊤ 𝑋𝐚 = 𝑋𝐚 𝜆. 注： 𝑋𝑋⊤的特征向量刻画矩阵𝐶(𝑋𝑋⊤) = 𝐶(𝑋) ; 𝑋 ⊤𝑋的特征向量刻画矩阵𝐶(𝑋 ⊤𝑋) = 𝐶(𝑋 ⊤) . 列空间 2 𝑋 ⊤𝑋与𝑋𝑋⊤有相同的非0特征根，特征向量相互关联：若𝐚是 𝑋 ⊤𝑋的特征向量，则𝐛 = 𝑋𝐚是𝑋𝑋⊤的特征向量；若𝐛是𝑋𝑋⊤的特 征向量，则𝐚 = 𝑋 ⊤𝐛 是𝑋 ⊤𝑋的特征向量
定理1(奇异值分解，SVD).任一秩为r的n×p矩阵X可表示为奇异值分解X=UDrTxp =Jau,vt +..+/a,u,v,其中uTU=vTV=I,D=diag(/a….a,)的对角元称为奇异值,其中≥.≥,>0为xTx或XXT的r个正特征根，U=(u,u),V=(V1.,V,)的各列分别是XXT，XTx的特征向量。X=UDVTSVD:a,uivt +... +vauy.X=VTVTUD:X一VTDnxrrxrVTrxp/AnxpXUnxpU:列基V:行基D：权/奇异值ui..ur3
3 的各列分别是 ， 的特征向量。 其中 为 或 的 个正特征根， 其中 的对角元称为奇异值 定理 奇异值分解， 任一秩为 的 矩阵 可表示为 V XX X X X X XX r U U U V V I D X U D V r n p X r r r r r n r r r r p r r r T T T T T T T T T ( ,., ) . 0 ( ,., ), , diag( ,., ) , . 1( SVD). 1 1 1 1 1 1 1 v v u u u v u v 权 奇异值 行基 列基 /: : : D V U SVD: 𝑋 = 𝑈𝐷𝑉 ⊤ 𝑋 𝑛 × 𝑝 𝑈 𝑛 × 𝑟 𝑉 ⊤ 𝑟 × 𝑝 = 𝐮1 ⋯ 𝐮𝑟 𝝀𝟏 𝜆𝑟 ⋱ 𝐯1 ⊤ ⋮ 𝐯𝑟 ⊤ 𝑋 𝑛 × 𝑝 𝑋 = 𝜆1𝐮1𝐯1 ⊤ + ⋯ + 𝜆𝑟𝐮𝑟𝐯𝑟 ⊤ 奇异值 分解 𝐷 𝑈 𝑉 𝐷 ⊤ 𝑟 × 𝑟
证明：考虑xTx的非o特征根入i，特征向量vi：XTXv=v;ai,i=1,,r.其中D2=diag(a..),特征方程：XTXV=VD2V = (vi,., Vr)两边左乘XXXtXV = XVd2令Y=XVY的列向量是XXT的特征向量YTY = VTXTXV= D2XXty = Yd2= D-1yTYD-1 = Ir令U=YD-1U的列向量是XXT正交单位特征方程：XXTU=UD2化特征向量。UTU=IrY =XV = UD右乘VTX = udVt.XVVT =- UDVTXVVT=XC(V) = C(XTX) = C(XT)= VVT = PV = PxT = XVVT = XPxT = X4
4 证明：考虑𝑋 ⊤𝑋的非0特征根𝜆𝑖 , 特征向量𝐯𝑖 : 𝑋 ⊤𝑋𝐯𝑖 = 𝐯𝑖𝜆𝑖 , 𝑖 = 1, . , 𝑟. 𝑌的列向量是𝑋𝑋⊤的特征向量 𝑌 ⊤𝑌 = 𝑉 ⊤𝑋 ⊤𝑋𝑉 = 𝐷 2 ⇒ 𝐷 −1𝑌 ⊤𝑌𝐷 −1 = 𝐼𝑟 令 𝑌 = 𝑋𝑉 令𝑈 = 𝑌𝐷 −1 其中𝐷 2 = diag 𝜆1, . , 𝜆𝑟 ， 𝑉 = 𝐯1, . , 𝐯𝑟 𝑋𝑋⊤𝑋𝑉 = 𝑋𝑉𝐷 2 两边左乘𝑋 𝑋𝑉𝑉 ⊤ = 𝑈𝐷𝑉 ⊤ 右乘𝑉 ⊤ 特征方程：𝑋 ⊤𝑋𝑉 = 𝑉𝐷 2 𝐶 𝑉 = 𝐶 𝑋 ⊤𝑋 = 𝐶 𝑋 ⊤ ⇒ 𝑉𝑉 ⊤ = 𝑃𝑉 = 𝑃𝑋 ⊤ ⇒ 𝑋𝑉𝑉 ⊤ = 𝑋𝑃𝑋 ⊤ = 𝑋 𝑋 = 𝑈𝐷𝑉 ⊤. 𝑋𝑉𝑉 ⊤ = 𝑋 𝑋𝑋⊤𝑌 = 𝑌𝐷 2 特征方程：𝑋𝑋⊤𝑈 = 𝑈𝐷 2 𝑌 = 𝑋𝑉 = 𝑈𝐷 𝑈的列向量是𝑋𝑋⊤正交单位 化特征向量。𝑈 ⊤𝑈 = 𝐼𝑟
口若X已经中心化，则SVD台PCASVD评注XTX=（n一1)S，Y=XV=UD是所有非0奇异值对应的主成分。X= UDVT = /aiuivI +..+/arurvT.口正交展开：口V、U分别是X的行、列特征：XXTU=UD2，XTXV=VD2口对偶方程：XV=UD，XTU=VD对U,V的特定一列u,v(对应的特征根)：Xv=uVa,，XTu=VaXueC(X)VEC(X)T虽然X不是方阵，没有特征向量，但V，u)可看作是X及其伴随X的“特征向量”不变量n
5 若𝑋已经中心化, 则 SVD ⇔ PCA 𝑋 ⊤𝑋 = 𝑛 − 1 𝑆，𝑌 = 𝑋𝑉 = 𝑈𝐷 是所有非0奇异值对应的主成分。 正交展开： 𝑋 = 𝑈𝐷𝑉 ⊤ = 𝜆1𝐮1𝐯1 ⊤ + ⋯ + 𝜆𝑟𝐮𝑟𝐯𝑟 ⊤. 𝑉、𝑈分别是𝑋的行、列特征： 𝑋𝑋⊤𝑈 = 𝑈𝐷 2 ，𝑋 ⊤𝑋𝑉 = 𝑉𝐷 2 对偶方程： 𝑋𝑉 = 𝑈𝐷，𝑋 ⊤𝑈 = 𝑉𝐷 ( ) T vC X uC(X ) X T X 虽然𝑋不是方阵，没有特征向量，但{𝐯，𝐮}可 看作是𝑋及其伴随𝑋 ⊤的“特征向量”/不变量 对𝑈, 𝑉的特定一列𝐮, 𝐯 (对应的特征根𝜆): X 𝐯 = 𝐮 𝜆， 𝑋 ⊤𝐮 = 𝐯 𝜆 SVD评注