§8.3主成分分析 多元分析讨论多变量(多指标)问题,由于变量 较多,增加了问题的复杂性。但在许多实际问题 中我们经常发现变量之间有一定的相关性,人们 自然希望用较少的变量来代替原来较多的变量, 且使这些较少的变量尽可能地反映原来变量的信 息。将这种思想引入统计学,就产生了主成分分 析,典型相关分析等。下面只介绍主成分分析 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 1 §8.3 主成分分析 多元分析讨论多变量（多指标）问题，由于变量 较多，增加了问题的复杂性。但在许多实际问题 中我们经常发现变量之间有一定的相关性，人们 自然希望用较少的变量来代替原来较多的变量， 且使这些较少的变量尽可能地反映原来变量的信 息。将这种思想引入统计学，就产生了主成分分 析，典型相关分析等。下面只介绍主成分分析
协方差阵Σ已知时的情形 设X=(X,X2,…,X)是一个维随机向量,其二 阶矩存在,记p=E(X,∑=D(X),∑已知。 考虑它的线性变换 H1=LX=lnX1+…+lnX, (8.23) Y=LX=L.X.+…+lX Pp P 其中 kok ),k=1,2,…,p 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 2 一、协方差阵Σ已知时的情形 设 ( , , , ) X = X1 X2 X p 是一个p 维随机向量，其二 阶矩存在，记 = E(X), = D(X)， 已知。 考虑它的线性变换 = = + + = = + + , , 1 1 1 1 11 1 1 p pp p T p p p p T Y L X l X l X Y L X l X l X （8.23） Lk = (l 1k ,l 2k , ,kpk ),k = 1,2, , p 其中
易见 D(1)=L∑L,c0v(,)=L∑L,j=1,2,…,P 假如希望用Y来代替原来的个变量X1,…,X,这就 要求Y尽可能多地反映原来的个变量的信息,这里 的“信息”用什么来表达? 最经典的方法是用Y的方差来表达。 D(H)越大,表示F包的信息越多 由(824)看出,对L必须有某种限制,否则 可使D(Y1)→∞。 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 3 易见 i T D(Yi ) = Li L j T cov(Yi ,Yj ) = Li L i, j = 1,2, , p 假如希望用Y1来代替原来的p 个变量X X p , , 1 ，这就 要求Y1尽可能多地反映原来的p 个变量的信息，这里 的“信息”用什么来表达？ 最经典的方法是用Y1的方差来表达。 ( ) D Y1 越大，表示Y1包的信息越多。 由（8.24）看出，对L1必须有某种限制，否则 可使D(Y1 ) →
常用的限制是 LL i=1,2,…,P (8.25) 故我们希望在约束式(8.25)下找L1,使得D(H)达到 最大,这样的Y称为第一主成分。 如果第一个主成分不足以代表原来的个变量,就考虑 采用Y,为了最有效地代表原变量的信息,Y,中不应含 有已有的信息,用数学公式来表达就应有 C0v(Y1,y2)=0 于是,求V就转化为在约束式(825)和式(826)下 求L2,使D(Y2)达到最大,所求的2称为第二主成分。 湘潭大学数学与计算科学学院国国4层m
湘潭大学数学与计算科学学院 上一页 下一页 4 常用的限制是 = 1, i T Li L i = 1,2, , p （8.25） 故我们希望在约束式（8.25）下找L1 ，使得 ( ) D Y1 达到 最大，这样的Y1称为第一主成分。 如果第一个主成分不足以代表原来的p 个变量，就考虑 采用Y2，为了最有效地代表原变量的信息，Y2 中不应含 有Y1已有的信息， 用数学公式来表达就应有 cov(Y1 ,Y2 ) = 0 于是，求Y2 就转化为在约束式（8.25）和式（8.26）下 求L2，使 ( ) D Y2 达到最大，所求的Y2 称为第二主成分
类似地,我们可能定义第三主成分、第四主成分,…。 般地讲X的第个主成分Y=LX是指:在约束式(8.25) 及c0v(LX1,DX)=0(k<i)下求L,使得D(Y)达到最大。 令λ1,2,…,为∑的特征根(λ1≥2≥…n≥0), t1,t2,…,tn为相应的单位特征向量 若特征根有重根,对应于这个重根的特征向量组成一个 R的子空间,子空间的维数等于重根的次数。 在子空间中任取一组正交的坐标系,这个坐标系的单位向 量就可用来作为它的特征向量。 显然这时特征向量的取法不惟一,有无穷多种取法,在 下面的讨论中我们总假定已选定某一种取法。 湘潭大学数学与计算科学学院一页一页
湘潭大学数学与计算科学学院 上一页 下一页 5 类似地，我们可能定义第三主成分、第四主成分，…。 一般地讲X 的第i个主成分Y L X T i = i 是指：在约束式（8.25） 及cov(L X , L X ) 0(k i) T i k T i = 下求Li，使得 ( ) D Yi 达到最大。 令 p , , , 1 2 为 的特征根 ( 0) 1 2 p ， p t ,t , ,t 1 2 为相应的单位特征向量。 若特征根有重根，对应于这个重根的特征向量组成一个 p R 的子空间，子空间的维数等于重根的次数。 在子空间中任取一组正交的坐标系，这个坐标系的单位向 量就可用来作为它的特征向量。 显然这时特征向量的取法不惟一，有无穷多种取法，在 下面的讨论中我们总假定已选定某一种取法