奇异值(singular values) 通知：第5次作业将于今天稍后发布 对于一般的m×n实数矩阵A,可以有奇异值分解： A=USVT A的形状：m×n U的形状：mm S的形状：mxn V的形状：nxn UTU=Im VTV=In 观察： AAT USSTUT ATA=VSTSVT AAT和ATA都是实数对称阵，可做特征值分解！ 2
奇异值 (singular values) 通知：第5次作业将于今天稍后发布 对于一般的�×�实数矩阵�，可以有奇异值分解： � = � � �� � 的形状：�×� �的形状：�×� �的形状：�×� �的形状：�×� ��� = ��, ��� = �� 观察： ��� = ������ ��� = ������ ���和���都是实数对称阵，可做特征值分解！ 2
SVD 定理：AAT和ATA有着相同的非零特征值。 证明：考虑AAT的特征值≠0和特征向量u:AATu=λu ATA(ATu)=AT(AATu)=AT(Au)=A(ATu) 可见，只要ATu≠0，则ATu为ATA的一个特征向量，特征值也是。不 妨假设ATu=0,则AATu=A(ATu)=0,与≠0矛盾。 类似地，考虑ATA的特征值)≠0和特征向量v:ATAv=λv,也有 AAT(Av)=A(ATAv)=A(Av)=A(Av). 同理有Av≠0，因此Av为AAT的一个特征向量，特征值也是λ。 3
SVD 定理：���和���有着相同的非零特征值。 证明：考虑���的特征值� ≠ �和特征向量�： ���� = �� ��� ��� = �� ���� = �� �� = �(���) 可见，只要��� ≠ �，则���为 ���的一个特征向量，特征值也是�。不 妨假设��� = �，则���u = � ��� = �，与 � ≠ �矛盾。 类似地，考虑���的特征值� ≠ �和特征向量�： ���� = ��，也有 ��� �� = � ���� = � �� = � �� . 同理有 �� ≠ �，因此��为 ���的一个特征向量，特征值也是�。 3
SVD AAT和ATA有着相同的非零特征值 把它们记作{)}，另外对AAT和ATA进行谱分解，可得到正规正交的向量 {u,{v}作为它们的特征向量： AATui Aiui ATAvi=Aivi 把{u,组合成矩阵U,v组合成矩阵V,则有UrU=Im,VTV=In 回顾之前的证明： 若u为AAT的一个特征向量，则ATu为ATA的一个特征向量，且有着 相同的特征值； 若v为ATA的一个特征向量，则Av为AAT的一个特征向量，且有着 相同的特征值 4
SVD ���和���有着相同的非零特征值 把它们记作 �! ，另外对���和���进行谱分解，可得到正规正交的向量 �� , �� 作为它们的特征向量： ����� = ���� ����� = ���� 把 �� ,组合成矩阵�， �� 组合成矩阵�，则有��� = ��, ��� = �� 回顾之前的证明： • 若�为���的一个特征向量，则���为���的一个特征向量，且有着 相同的特征值； • 若�为���的一个特征向量，则��为���的一个特征向量，且有着 相同的特征值 4
SVD 回顾之前的证明： ·若u为AAT的一个特征向量，则ATu为ATA的一个特征向量，且有着相同的特征值： 。 若v为ATA的一个特征向量，则Av为AAT的一个特征向量，且有着相同的特征值 AATui Aiui ATAvi=Aivi ATui=ivi Av:=V几iu 不失一般性地假设m>n,则有 UrAV=diag(,,V几n) →A=USVI S的对角线元素被称作奇异值(singular values)),通常记作o1≥o2≥…≥on≥0 从几何上看，矩阵A的作用为：Rn上的旋转变换、伸缩变换和Rm上的旋转变换 5
SVD 回顾之前的证明： • 若�为���的一个特征向量，则���为���的一个特征向量，且有着相同的特征值； • 若�为���的一个特征向量，则��为���的一个特征向量，且有着相同的特征值 ����� = ���� ����� = ���� ���� = �� �� ��� = �� �� 不失一般性地假设� > �，则有 ���� = ���� ��, … , �� ⇒ � = � � �� �的对角线元素被称作奇异值(singular values)，通常记作�$ ≥ �% ≥ ⋯ ≥ �& ≥ 0 从几何上看，矩阵�的作用为： ℝ�上的旋转变换、伸缩变换和ℝ�上的旋转变换 5
SVDRayleigh quotient 回顾特征值的min-max刻画，记Rg(x)= xTBx 对于对称的矩阵B,R(x)在特征值处取到极值 回顾lAl2=maX A业，cond2(A)=IIAIl2·‖A-1l2 x≠0lx2 对于对称正定的矩阵A, IAl2=入max(A) cond2(A)=Amax(A)/Amin(A) 对于一般的矩阵呢？ lAll2 =amax (ATA)=Omax(A) condz(A)=VAmax(ATA) Omax(A) √min(ATA) Omin(A) 6
SVD与Rayleigh quotient 回顾特征值的min-max刻画，记�� � ≔ ��� � ��� 对于对称的矩阵�， �� � 在特征值处取到极值 回顾 � ! ≔ max +,- .+ ( + ( ， ����/ � ≔ � / ⋅ �01 / 对于对称正定的矩阵�， � ! = �23+(�) ����/ � = �23+(�)/�245(�) 对于一般的矩阵呢？ � / = �23+ �6� = �23+ � ����/ � = �23+ �6� �245 �6� = �23+ � �245 � 6