简介 1.1 典型相关分析.. 1 1.1.1 CCA-LDA.. 14 1.1.2 PCA-CCA-PLS 17 1.2多维标度法 20 1.2.1度量MDS... 24 1.2.2非度量MDS 31 Previous Next First Last Back Forward
简介 1.1 典型相关分析 . . . . . . . . . . . . . . . . . . 1 1.1.1 CCA-LDA . . . . . . . . . . . . . . . . 14 1.1.2 PCA-CCA-PLS . . . . . . . . . . . . . 17 1.2 多维标度法 . . . . . . . . . . . . . . . . . . . 20 1.2.1 度量 MDS . . . . . . . . . . . . . . . . 24 1.2.2 非度量 MDS . . . . . . . . . . . . . . 31 Previous Next First Last Back Forward 1
1.1 典型相关分析 ·典型相关分析(Canonical correlation analysis,CCA)研究多 个变量与多个变量之间的相关性 ·工厂对原料的主要质量指标X=(X1,·,X)'和产品质量的 主要指标Y=(Y,,Yg)/之间的关系很感兴趣 ·婚烟研究中，小伙子对他所追求姑娘的主要指标X和姑娘向往 的主要指标Y之间的关系 ·直接使用Coπ(X,Y)(或者相关系数矩阵)在多元场合无法从整 体上合适解释两者之间相关性 ·Hotelling(1935,1936)最早提出使用它们的线性组合变量（典 型变量)a'X和bY之间的相关性来度量X和Y之间的相关 性.什么样的a,b合适呢？ Previous Next First Last Back Forward
1.1 典型相关分析 • 典型相关分析 (Canonical correlation analysis, CCA) 研究多 个变量与多个变量之间的相关性 • 工厂对原料的主要质量指标 X = (X1, . . . , Xp) ′ 和产品质量的 主要指标 Y = (Y1, . . . , Yq) ′ 之间的关系很感兴趣 • 婚姻研究中, 小伙子对他所追求姑娘的主要指标 X 和姑娘向往 的主要指标 Y 之间的关系 • 直接使用 Cov(X, Y)(或者相关系数矩阵) 在多元场合无法从整 体上合适解释两者之间相关性 • Hotelling (1935,1936) 最早提出使用它们的线性组合变量 (典 型变量)a ′X 和 b ′Y 之间的相关性来度量 X 和 Y 之间的相关 性. 什么样的 a, b 合适呢? Previous Next First Last Back Forward 1
·选择a,b,使得相关性最大： (a,6)=arg max corr(a'X,B'Y) a,b≠0 Cov(a'X,b'Y) arg max a.b#0 va'Cou(X)ab'Cou(Y)b 注意到corr(caX,cbY)=corr(a'X,bY),c≠0，因此上述 (à，)不唯一.为此，可施加适当的限制条件使解唯一.自然的 限制条件为 a'Cou(X)a Var(a'x)=1,b'Cov(Y)b=Var(b'Y)=1 ·记∑xx=Cou(X),∑yy=Cou(Y),∑xy=Cou(X,Y),则 问题转换为 最大化a'∑xYb s.t.a∑xxa=1,b'yyb=1 Previous Next First Last Back Forward 2
• 选择 a, b, 使得相关性最大: (ˆa, ˆb) = arg max a,b̸=0 corr(a ′X, b′Y) = arg max a,b̸=0 Cov(a ′X, b′Y) √ a ′Cov(X)ab′Cov(Y)b 注意到 corr(ca′X, cb′Y) = corr(a ′X, b′Y), ∀c ̸= 0, 因此上述 (ˆa, ˆb) 不唯一. 为此, 可施加适当的限制条件使解唯一. 自然的 限制条件为 a ′Cov(X)a = V ar(a ′X) = 1, b′Cov(Y)b = V ar(b ′Y) = 1 • 记 ΣXX = Cov(X), ΣY Y = Cov(Y), ΣXY = Cov(X, Y), 则 问题转换为 最大化 a ′ΣXY b s.t. a′ΣXXa = 1, b′ΣY Y b = 1 Previous Next First Last Back Forward 2
·假设∑xx>0,yy>0,则使用Lagrange乘子法 G(a,b)=a'∑xyb- 2(axxa-1)-a65yb-1) 分别对a,b求偏导并令为零，得到 2xyb-入1∑xxa=0 广义特征根问题 Eyxa-A2Eyyb=0 由此得到 X1=X1a'∑xxa=a∑xyb=2 因此记入=X1=2,将b=yxa带入得到 xyY∑yxa-A2xxa=0 EyxExxExrb-X2Errb=0 Previous Next First Last Back Forward 3
• 假设 ΣXX > 0, ΣY Y > 0, 则使用 Lagrange 乘子法 G(a, b) = a ′ΣXY b − 1 2 λ1(a ′ΣXXa − 1) − 1 2 λ2(b ′ΣY Y b − 1) 分别对 a, b 求偏导并令为零, 得到 { ΣXY b − λ1ΣXXa = 0 ΣY Xa − λ2ΣY Y b = 0 广义特征根问题 由此得到 λ1 = λ1a ′ΣXXa = a ′ΣXY b = λ2 因此记 λ = λ1 = λ2, 将 λb = Σ−1 Y Y ΣY Xa 带入得到 { ΣXY Σ −1 Y Y ΣY Xa − λ 2ΣXXa = 0 ΣY XΣ −1 XXΣXY b − λ 2ΣY Y b = 0 Previous Next First Last Back Forward 3
即a,b分别为矩阵 MI=EXxExYEYYEYx M2 =EYYEYxExxExy 的特征根为入2所对应的特征向量： ·若记K=ΣxyV,a=a,B=b,则 KK'a=X2a K'KB=X2B 即α，B分别为矩阵KK'和K'K的特征根2所对应的特征 向量 。因此第一典则方向为 (a1,b)=arg maxa'∑xyb s.t.axxa=l,b'∑yyb=1 Previous Next First Last Back Forward 4
即 a, b 分别为矩阵 M1 = Σ−1 XXΣXY Σ −1 Y Y ΣY X M2 = Σ−1 Y Y ΣY XΣ −1 XXΣXY 的特征根为 λ 2 所对应的特征向量. • 若记 K = Σ−1/2 XX ΣXY Σ −1/2 Y Y , α = Σ1/2 XXa, β = Σ1/2 Y Y b, 则 KK′α = λ 2α K ′Kβ = λ 2 β 即 α, β 分别为矩阵 KK′ 和 K′K 的特征根 λ 2 所对应的特征 向量. • 因此第一典则方向为 (a1, b1) = arg max a,b a ′ΣXY b s.t. a′ΣXXa = 1, b′ΣY Y b = 1 Previous Next First Last Back Forward 4