J966 PCA的优点是简单,而且无参数限制,可以方便 的应用与各个场合。 因此应用极其广泛,从神经科学到计算机图形学 都有它的用武之地。被誉为应用线性代数最有价 值的结果之一
PCA的优点是简单,而且无参数限制,可以方便 的应用与各个场合。 因此应用极其广泛,从神经科学到计算机图形学 都有它的用武之地。被誉为应用线性代数最有价 值的结果之一
966 在PCA中,我们感兴趣的是找到一个从原d维输 入空间到新的k维空间的具有最小信息损失的 映射。 X在方向w上的投影为: z=w"x
在PCA中,我们感兴趣的是找到一个从原d维输 入空间到新的k维空间的具有最小信息损失的 映射。 X在方向w上的投影为:
主成分的定义及导出 /966 设x=(x,2,,xn)/为一个n维随机向量,Co(x)=∑ 主成分z,是这样的,样本投影到21上之后被广泛散布, 使得样本之间的差别变得最明显,即最大化方差。 设31=wx 希望在约束条件 w=1下寻求向量%, 使 var(3)=w∑w最大化
主成分的定义及导出 设 为一个n维随机向量, 主成分 是这样的,样本投影到 上之后被广泛散布, 使得样本之间的差别变得最明显,即最大化方差。 设 希望在约束条件 下寻求向量 , 使 最大化 1 2 ( , ,..., )T n x x x x Cov x( ) 1 z 1z 1 1 T z w x 1 w 1 w1 var 1 1 1 T z w w
J966 写成拉格朗日问题 maxw∑w,-(ww,-1) (1) 91 现在关于州求导并令其等于0,得到 2∑W-2aw=0→∑w=Q4 如果%是∑的特征向量,是对应的 特征值,则上式是成立的
写成拉格朗日问题 现在关于 求导并令其等于0,得到 如果 是 的特征向量, 是对应的 特征值,则上式是成立的 max ( 1) (1) 1 1 1 1 1 w w w w T T w w1 1 1 1 1 2 w 2w 0 w w w1
/96 同时我们还得到 w∑W=cww=C 为了使方差最大,选择具有最大特征值 的特征向量,因此,第一个主成分 是输入样本协方差阵的具有最大特征值 对应的特征向量
同时我们还得到 为了使方差最大,选择具有最大特征值 的特征向量 ,因此,第一个主成分 是输入样本协方差阵的具有最大特征值 对应的特征向量