10.1特征提取一PCA ■正交变换 n给定n维空间中的一组标准正交基,2…,, 它诱导了一个线性变换: L:x→yL(x)=y=(y,y2…yn) x i=1.2.·,n x=∑y正交展开 反之,任何一个正交变换也确定了一组正交基
10.1 特征提取－PCA 正交变换 给定n维空间中的一组标准正交基 ， 它诱导了一个线性变换： 反之，任何一个正交变换也确定了一组正交基。 φ φ φn , , , 1 2 L L : x → y T n L(x) y ( y , y , , y ) = = 1 2 L .i T i y = x φ i =1,2,L,n. . 1 i n i i x ∑ y φ = = 正交展开
10.1特征提取一PCA ■误差 用m个分量表示带来的误差: A(m)=x∑=∑y i=m+1 希望误差平方的期望最小: e(m)=EAx(m) 2 E 2 i=m+1 对所有的x求期望
10.1 特征提取－PCA 误差 用m个分量表示带来的误差： 希望误差平方的期望最小： ( ) . 1 1 i n i m i i m i i x m x ∑ y φ ∑ y φ = = + ∆ = − = ( ) ( ) . 1 2 2 2 ∑ = + = ∆ = n i m i e m E x m E y 对所有的 x求期望
10.1特征提取一PCA ■求解最小均方误差正交基: 首先假定随机矢量为零均值(期望)的,否 则减掉均值即可。 Ex=0 找n个正交基的,n2…,n,使得对任意一组 正交基2Q2…,n,和所有的m≤n, e2(m)=E∑(x)≤en2(m)=E∑xq) i=m+1 i=m+1
10.1 特征提取－PCA 求解最小均方误差正交基： 首先假定随机矢量为零均值（期望）的，否 则减掉均值即可。 找n个正交基 ，使得对任意一组 正交基 ，和所有的 Ex = 0. φ φ φn , , , 1 2 L ( ) ( ) ( ) ( ) . 1 2 2 1 2 2 ∑ ∑ = + = + = ≤ = n i m i T n i m i T eφ m E x φ eϕ m E x ϕ ϕ ϕ ϕn , , , 1 2 L m ≤ n
10.1特征提取一PCA ■对于一个固定的m mie2(m)=minE∑mx=min∑Σ i=m+1 i=m+1 st.=1=m+1m+2,…n ∑=E(x).协方差矩阵
10.1 特征提取－PCA 对于一个固定的m ∑ ∑ = + = + = = Σ n i m i T i n i m i T T i e m E xx 1 1 2 min φ ( ) min φ φ min φ φ s.t. i 1, i m 1,m 2,Ln 2 φ = = + + ( ). T Σ = E xx 协方差矩阵
10.1特征提取一PCA a用 Lagrange乘子法: mint ∑Σ-∑列顶) i=m+1 i=m+1 得到Σn=1 m是2的特征向量,是特征根 ∑的Σ=∑ i=m+1
10.1 特征提取－PCA 用Lagrange 乘子法： min( ) 1 2 1 ∑ ∑ = + = + Σ − n i m i i n i m i T φi φ λ φ 得到 Σφi = λiφi φi 是 Σ 的特征向量，λi 是特征根。 ∑ ∑ = + = + = Σ = n i m i n i m i T m i e 1 1 2 φ ( ) φ φ λ