二次型定理1.若×正定矩阵的特征根为≥2≥…≥>0的极值对应的正交、单位长特征向量为v1,V2.,Vp)，则MX T2= 最大值在特征向量v,达到，且对v2≤k≤pvTZV=ΛkmaxIvll=1,vV1..,Vk-1最大值在特征向量vk达到证明：记=diag(..,),V=(vi..,),TV=TV=I,即有谱分解=VAVT。对任何向量veSp-l,令y=VTv，则yy=l，vTzv=yAy，故v=Ay=aa=当y2=.=y。=0时等号成立，因为y=vv，故最大值在v1v2时即v=v,时达到。类似地，在vlv约束下，y=vx=0，所以zv=yAy=Zayi<n最大值在y,=.=y,=0，即v,v=...=v,v=O时达到，故v=v,时达到最大。以此类推。6
6 二次型 的极值 定理1. 若𝑝 × 𝑝 正定矩阵Σ 的特征根为𝜆1 ≥ 𝜆2 ≥ ⋯ ≥ 𝜆𝑝> 0， 对应的正交、单位长特征向量为𝐯1, 𝐯2, . , 𝐯𝑝), 则 max 𝐯 =1 𝐯 ⊤Σ𝐯 = 𝜆1 最大值在特征向量𝐯1达到，且对∀ 2 ≤ 𝑘 ≤ 𝑝 max 𝐯 =1,𝐯⊥𝐯1,.,𝐯𝑘−1 𝐯 ⊤Σ𝐯 = 𝜆𝑘 最大值在特征向量𝐯𝑘达到. 以此类推。 最大值在 ，即 时达到，故 时达到最大。 即 时达到。类似地，在 约束下， ，所以 当 时等号成立，因为 ，故最大值在 时， 。对任何向量 令 ，则 ， ，故 证明：记 即 有谱分解 3 3 2 2 2 2 1 1 1 1 2 2 1 1 2 1 1 2 1 1 1 1 . 0 . 0 . 0 . 0 ,., , 1 diag( ,., ), ( ,., ), , v v v v v v v v y y v v v v v x v v v v v v v y y v y v y y v v y y v v T T T T T T T T T T T T T T T p p p i i i p k k p p i i p i i p p p p y y y y y y y y y V V S V V V V V V I
约定：口随机向量xERp方差矩阵Z=Var(x）>0的谱分解Z = VAVT, VTV = VVT = Ip, A = diag(A1.., ap),其中V=(Vi,,Vp),≥…≥>0为Z的特征根,V1.,Vp为对应的正交、单位长特征向量。口因为PCA只考虑方差，我们不妨假定uE(x）=0。主成分最大特征根的特征向量v1=argmaxvTZv称为第一主成分定义方向，x在vi上的投影坐标y1≤vTx称为第一主成分。在V的正交补空间，继续寻找投影长度最大的方向，vTzv称为第k主成分方向，x在Vk上maxVk = argvll=1,vIV1,.,Vk-的投影坐标yk≤vTx称为第k个主成分,k=2,.,p。(vTx)(vT):所有主成分(主成分变换)：y=:X= VTxVTXVpV称为载荷矩阵。V = (v1, ,Vp) = (vi),行下标i：变量。列下标i：主成分
7 主成分 定义 约定： 随机向量𝐱 ∈ 𝑅 𝑝 , 方差矩阵Σ = var 𝐱 > 0的谱分解 Σ = 𝑉Λ𝑉 ⊤ ，𝑉 ⊤𝑉 = 𝑉𝑉 ⊤ = 𝐼𝑝, Λ = diag(𝜆1,., 𝜆𝑝), 其中𝑉 = (𝐯1, . , 𝐯𝑝), 𝜆1 ≥ ⋯ ≥ 𝜆𝑝> 0为Σ的特征根， 𝐯1, . , 𝐯𝑝为对应的正交、单位长特征向量。 因为PCA只考虑方差，我们不妨假定𝝁 = 𝐸 𝐱 = 0。 最大特征根的特征向量𝐯1 = arg max 𝐯 =1 𝐯 ⊤Σ𝐯 称为第一主成分 方向，𝐱 在𝐯1上的投影坐标𝑦1 ≜ 𝐯1 ⊤𝐱称为第一主成分。 在𝐯1的正交补空间，继续寻找投影长度最大的方向. 𝐯𝑘 = arg max 𝐯 =1,𝐯⊥𝐯1,.,𝐯𝑘−1 𝐯 ⊤Σ𝐯称为第𝑘主成分方向， 𝐱 在𝐯𝑘上 的投影坐标𝑦𝑘 ≜ 𝐯𝑘 ⊤𝐱称为第𝑘个主成分, 𝑘 = 2, . , 𝑝。 所有主成分 (主成分变换): 𝐲 = 𝐯1 ⊤𝐱 ⋮ 𝐯𝑝 ⊤𝐱 = 𝐯1 ⊤ ⋮ 𝐯𝒑 ⊤ 𝐱 = 𝑉 ⊤𝐱. 𝑉称为载荷矩阵。 𝑉 = 𝐯1, . , 𝐯𝑝 = 𝑣𝑖𝑗 , 行下标 𝑖 ：变量。列下标 𝑗：主成分