推导过程X=[x1X2xnJXXT=EI=1xixXT-luixxTui所以目标函数最后化为maxfulxxTui)目标函数和约束条件构成了一个最大化问题：ului = 1
推导过程 所以目标函数最后化为： 目标函数和约束条件构成了一个最大化问题：
拉格朗日乘数法f(u)=uixxTu+a(1-uu)构造拉格朗日函数：of对u,求导：2XXTui-2Aui=0→XxTu1=Audui显然，u，即为XXT特征值入对应的特征向量！XXT的所有特征值和特征向量都满足上式，那么将上式代入uxxu=uui=a目标函数表达式即可得到所以，如果取最大的那个特征值入，那么得到的目标值就最大
拉格朗日乘数法 显然，u1即为XX T 特征值 对应的特征向量！XX T 的所有特征值和特征向量都满足上式，那么将上式代入 所以，如果取最大的那个特征值 ，那么得到的目标值就最大。 构造拉格朗日函数： 对u1求导: 目标函数表达式即可得到
步骤1.去均值，方差归一化（预处理的实质是将坐标原点移到样本点的中心点）2.求特征协方差矩阵3.求协方差矩阵的特征值和特征向量4.将特征值按照从大到小的顺序排序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵5.将样本点投影到选取的特征向量上。假设样例数为m，特征数为n，减去均值后的样本矩阵为DataAdjust(m*n)，协方差矩阵是n*n，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么投影后的数据FinalData为FinalData(mxk)=DataAdjust(mxn)×EigenVectors(nxk)这样，就将原始样例的n维特征变成了k维，这k维就是原始特征在k维上的投影，代表了原始的n个特征
步骤 1. 去均值,方差归一化(预处理的实质是将坐标原点移到样本点的中心点) 2. 求特征协方差矩阵 3. 求协方差矩阵的特征值和特征向量 4. 将特征值按照从大到小的顺序排序,选择其中最大的k个,然后将其对应的k个特征向量分别作为 列向量组成特征向量矩阵 5. 将样本点投影到选取的特征向量上。假设样例数为m，特征数为n，减去均值后的样本矩阵为 DataAdjust(m*n)，协方差矩阵是n*n，选取的k个特征向量组成的矩阵为EigenVectors(n*k)。那么 投影后的数据 FinalData 为 这样,就将原始样例的n维特征变成了k维,这k维就是原始特征在k维上的投影,代表了原始的n个特征。 FinalData(m×k)=DataAdjust(m×n) ×EigenVectors(n×k)
PCA具体举例第一步第二步分别求x和y的均值，然后对于求特征协方差矩阵所有的样例，都减去对应的均值，x=1.81，=1.91。x142.50.70.52.22.9.6165555566154444442.2Cov:1.9Data=.615444444.7165555563.0.69.493. 12.32.7-1.31-1.21.39.9921.6.091291.1DataAdjust-1.61.291.091.549791.10.9.19.31-.81.81-.31.31-.71-1.01
PCA具体举例 第一步 分别求x和y的均值，然后对于 所有的样例，都减去对应的均 值，𝑥ҧ=1.81，𝑦ത =1.91。 第二步 求特征协方差矩阵 Cov = .616555556 .615444444 （.615444444 .716555556 ） x 2.5 0.5 2.2 1.9 3.1 2.3 2 1 1.5 1.1 y 2.4 0.7 2.9 2.2 3.0 2.7 1.6 1.1 1.6 0.9 Data= x .69 -1.31 .39 .09 1.29 .49 .19 -.81 -.31 -.71 y .49 -1.21 .99 .29 1.09 .79 -.31 -.81 -.31 -1.01 DataAdjust =
PCA具体举例第三步第四步求协方差的特征值和特征向量将特征值按照从大到小的顺序排得到序，选择其中最大的k个，然后将其对应的k个特征向量分别作为列向量组成特征向量矩阵eigenvalues=(04908339891.28402771(-0.677873399,-0.735178656).735178656-.677873399eigevectors.735178656677873399
PCA具体举例 第三步 求协方差的特征值和特征向量， 得到 第四步 将特征值按照从大到小的顺序排 序，选择其中最大的k个，然后将 其对应的k个特征向量分别作为列 向量组成特征向量矩阵： eigenvalues = .0490833989 （1.28402771 ） eigenvectors = -.735178656 -.677873399 （ .677873399 -.735178656） (-0.677873399,-0.735178656)T