推论1.假设矩阵A，的秩为r，其奇异值分解A=UDVTD=diag(/...a,),≥...≥,>0.则对任何k≤r，PRpxkQRxk, PTP=QTQ=Ik,maxtrPTAQ =trUTAVk,P,o其中U,=(u..u),V=(vi.)分别为U,V的前k列。证明：记P=(P…Pk)Q=(q.,qk),trPTAQ=p,Aq,，应用定理3即得。i=16
6 其中 分别为 的前 列。 ， ， 则对任何 ， 推论 假设矩阵 的秩为 其奇异值分解 ( ,., ), ( ,., ) , max , diag( ,., ), . 0. , 1. , , 1 1 , 1 1 U V U V k trP AQ trU AV Q R P P Q Q I D k r P R A r A UDV k k k k k k P Q k q k p k r r q p u u v v T T T T T 证明：记 ( ,., ), ( ,., ), ，应用定理3即得。 1 1 1 i k i P p pk Q q qk trP AQ pi Aq T T
典则相关分析（CCA）典则相关分析（ccA：Canonicalcorrelationanalysis）研究两个随机向量之间的相关性，它试图在两个向量内部分别发现最能代表两组之间相关性的线性组合。CCA由H.Hotelling提出。例1.140个七年级学生进行了4项测试，X1 = reading speed, x2 =reading power;Yi = arithmetic speed, Y2 = arithmetic power;相关系数矩阵如下：XiX2y2yi(1.000.630.240.06)t41.00J0.07-0.06专1.000.42J11.00y2(口阅读x=（αx1,x2)T与数学y=(y1,y2)T的协方差Zxy是一个矩阵，如何用一个实数度量它们之间的相关性？口如果xy高度相关，原因是什么（是因为x2与y1强相关?）
7 例1. 140 个七年级学生进行了4项测试， 𝑥1 = reading speed, 𝑥2 = reading power; 𝑦1 = arithmetic speed, 𝑦2 = arithmetic power; 相关系数矩阵如下： 典则相关分析（CCA） 典则相关分析（CCA:Canonical correlation analysis）研究两个 随机向量之间的相关性，它试图在两个向量内部分别发现最能代表 两组之间相关性的线性组合。CCA由H.Hotelling提出。 1.00 1.00 0.42 1.00 0.06 0.07 1.00 0.63 0.24 0.06 2 1 2 1 1 2 1 2 ， yx yy xx xy y y x x x x y y 阅读 𝐱 = (𝑥1, 𝑥2) ⊤ 与数学 𝐲 = (𝑦1, 𝑦2) ⊤ 的协方差 Σ𝐱𝐲 是一个矩阵，如 何用一个实数度量它们之间的相关性？ 如果 𝐱, 𝐲 高度相关，原因是什么 （是因为 𝑥2与 𝑦1 强相关?）
一般地，我们考虑如下典则相关分析问题：CCA问题的提出S.0x假设valx,y在这哪些方向上相关性最大？gx1求解方向aERp，bERq使得aTx，bTy的协方差最大cov(aTx, bTy)=aTZxyb这是有意义的问题，但传统上人们经常考虑相关系数最大化求解方向aERP，bERq使得第一对典则变量aTx，bTy的相关系数最大：aT2xybcorr(aTx, bTy) max!VaTZxxa/bTZyb该问题没有唯一解。因为是研究相关系数，典则相关分析约束投影坐标方差为1：Var(aTx) = aTZxxa = 1, var(bTy) = bTZyvb = 1在该约束下极大化cov(aTx, bTy) = aTxyb。0
8 一般地，我们考虑如下典则相关分析问题： 假设var 𝐱𝑝×1 𝐲𝑞×1 = Σ𝐱𝐱 Σ𝐱𝐲 Σ𝐲𝐱 Σ𝐲𝐲 , 𝐱, 𝐲 在这哪些方向上相关性最大? 求解方向 𝐚 ∈ 𝑅 𝑝，𝐛 ∈ 𝑅 𝑞使得第一对典则变量 𝐚 ⊤𝐱，𝐛 ⊤𝐲 的相关系 数最大： corr 𝐚 ⊤𝐱，𝐛 ⊤𝐲 = 𝐚 ⊤Σ𝐱𝐲𝐛 𝐚⊤Σ𝐱𝐱𝐚 𝐛⊤Σ𝐲𝐲𝐛 = max! 该问题没有唯一解。因为是研究相关系数，典则相关分析约束投影 坐标方差为1： var(𝐚 ⊤𝐱) = 𝐚 ⊤Σ𝐱𝐱𝐚 = 1, var 𝐛 ⊤𝐲 = 𝐛 ⊤Σ𝐲𝐲𝐛 = 1 在该约束下极大化 cov 𝐚 ⊤𝐱，𝐛 ⊤𝐲 = 𝐚 ⊤Σ𝐱𝐲𝐛。 求解方向 𝐚 ∈ 𝑅 𝑝，𝐛 ∈ 𝑅 𝑞使得 𝐚 ⊤𝐱，𝐛 ⊤𝐲 的协方差最大 cov 𝐚 ⊤𝐱，𝐛 ⊤𝐲 = 𝐚 ⊤Σ𝐱𝐲𝐛 这是有意义的问题，但传统上人们经常考虑相关系数最大化. CCA问题 的提出