第5章特征选择与特征提取
第5章特征选择与特征提取5.1基本概念5.2类别可分性测度5.3基于类内散布矩阵的单类模式特征提取5.4基于K-L变换的多类模式特征提取
5.1 基本概念 5.2 类别可分性测度 5.3 基于类内散布矩阵的单类模式特征提取 5.4 基于K-L变换的多类模式特征提取 第5章 特征选择与特征提取
5.1基本概念1.两种数据测量情况①由于测量上可实现性的限制或经济上的考虑，所获得的测量值为数不多。②能获得的性质测量值很多。如果全部直接作为分类特征，耗费机时，且分类效果不一定好。有人称之为“特征维数灾难”。特征选择和提取的目的：经过选择或变换，组成识别特征尽可能保留分类信息，在保证一定分类精度的前提下，减少特征维数，使分类器的工作即快又准确
5.1 基本概念 ① 由于测量上可实现性的限制或经济上的考虑，所获得的测量 值为数不多。 ② 能获得的性质测量值很多。如果全部直接作为分类特征，耗 费机时，且分类效果不一定好。有人称之为“特征维数灾难” 。 特征选择和提取的目的：经过选择或变换，组成识别特征， 尽可能保留分类信息，在保证一定分类精度的前提下，减少特征 维数，使分类器的工作即快又准确。 1．两种数据测量情况
2.对特征的要求（1）具有很大的识别信息量。即应具有很好的可分性。(2）具有可靠性。模棱两可、似是而非、时是时非等不易判别的特征应丢掉。（3）尽可能强的独立性。重复的、相关性强的特征只选一个。（4）数量尽量少，同时损失的信息尽量小。3.特征选择和特征提取的异同（1）特征选择：从L个度量值集合{x，x2，..x中按一定准则选出供分类用的子集，作为降维（m维，m<L）的分类特征。（2）特征提取：使一组度量值（x，X2，x）通过某种变换h产生新的m个特征（yi,y2，ym），作为降维的分类特征，其中i=1,2,.,m;m<L
(1) 具有很大的识别信息量。即应具有很好的可分性。 (2) 具有可靠性。模棱两可、似是而非、时是时非等不易判别 的特征应丢掉。 (3) 尽可能强的独立性。重复的、相关性强的特征只选一个。 (4) 数量尽量少，同时损失的信息尽量小。 2．对特征的要求 3. 特征选择和特征提取的异同 （1）特征选择：从L个度量值集合 中按一定准 则选出供分类用的子集，作为降维（m维，m < L）的分类 特征。 x1 , x2 , xL （2）特征提取：使一组度量值 通过某种变换 产生新的m个特征 ，作为降维的分类特征， 其中 。 ( , , ) 1 2 L x x x () hi ( , , ) 1 2 m y y y i =1,2, ,m; m L
当模式在空间中发生移动、旋转、缩放时，特征值应保持不变，保证仍可得到同样的识别效果例：特征选择与特征提取的区别：对一个条形和圆进行识别。解：[法1]B①特征抽取：温测量三个结构特征(a)周长A(b)面积（c）两个互相垂直的内径比②分析：（c)是具有分类能力的特征，故选(c)，扔掉(a)、(b)。特征选择：一般根据物理特征或结构特征进行压缩
(c)是具有分类能力的特征，故选(c)， 扔掉(a) 、 (b) 。 B A 解：[法1] ① 特征抽取：测量三个结构特征 (a) 周长 (b) 面积 (c)两个互相垂直的内径比 —— 特征选择：一般根据物理特征或结构特征进行压缩。 ② 分析： 例：特征选择与特征提取的区别：对一个条形和圆进行识别。 当模式在空间中发生移动、旋转、缩放时，特征值应保持 不变，保证仍可得到同样的识别效果