北京大学：《模式识别》课程教学资源（课件讲稿）特征的选择和提取（第三部分）

第七章 特征的选择和提取 2010.12.06

第七章 特征的选择和提取 2010.12.06

基于K-L变换的特征提取 主成分分析(PCA)

基于K-L变换的特征提取 主成分分析（PCA）

3 主成分的意义 2 y2 乃1 X1

3 主成分的意义

4 KL变换 口对随机向量x,用确定的完备正交归一向量系u (j=1,2,,∞)展开 x-Zcmu,c=ux; i=j 。i≠方

4 K-L 变换  对随机向量 x，用确定的完备正交归一向量系 uj （j = 1 ,2, …, ∞）展开 1 , ; T jj j j j c c   x u ux    1, . 0, T i j i j i j       其中，u u

5 KL变换 口用有限项逼近x =2c,u, i=1 ■均方误差 5=E[(x-r(x-刘]=∑吲E['], 目标函数：mim5=min∑u,(Y=E[xx i=d+l st.u,u,=1,i=d+1,…,0;

5 K-L 变换  用有限项逼近 x  均方误差  1 ; d j j j c  x u     1 ( )( ) ; T T T j j j d  E E                x x x x u xx u 1 min min ( ) . . 1, 1, , ; T T j j j d T i i E s t i d                u u xx u u  目标函数：