2类别可分离性判据 号5 口特征选择或特征提取任务是从个特征中求出对 分类最有效的㎡个特征(m<n)。 ▣对于特征选择来讲，从个特征中选择出个特 征，有C种组合方式。 ■哪一种特征组的分类效果最好？ 需要一个定量的准则来衡量选择结果的好坏 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 2 类别可分离性判据 o特征选择或特征提取任务是从n个特征中求出对 分类最有效的m个特征(m＜n)。 o对于特征选择来讲，从n个特征中选择出m个特 征，有C m n种组合方式。 n哪一种特征组的分类效果最好？ n需要一个定量的准则来衡量选择结果的好坏
2类别可分离性判据 口类别可分离性判据：衡量不同特征及其组合对分类性 能好坏的影响，并用来导出特征选择与特征提取的 方法。 口理想准则：分类器错误概率 特征选择和提取的目的是用于分类，以分类器错误概率 为准则选取的特征，应当是最有效的特征。 ■ 从错误概率的计算公式可以发现，即使在类条件概率密 度已知的情况下错误概率的计算也很复杂，何况实际问 题中概率分布常常不知道，这使得直接用错误概率作为 准则来评价特征的有效性比较困难 ☐准则应具有什么特性？ 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 o类别可分离性判据:衡量不同特征及其组合对分类性 能好坏的影响，并用来导出特征选择与特征提取的 方法。 o理想准则：分类器错误概率 n 特征选择和提取的目的是用于分类，以分类器错误概率 为准则选取的特征，应当是最有效的特征。 n 从错误概率的计算公式可以发现，即使在类条件概率密 度已知的情况下错误概率的计算也很复杂，何况实际问 题中概率分布常常不知道，这使得直接用错误概率作为 准则来评价特征的有效性比较困难 o准则应具有什么特性？ 2 类别可分离性判据
2类别可分离性判据 /956 实际的类别可分离性判据应满足的条件： 度量特性：判据具有距离的特性 J>0,ifi≠jJ,=0,ifi=J,=J月 与错误率有单调关系：准则值越大，错误率也小。 当特征独立时有可加性： J,(x,x2,,x)=∑J,(x) 对特征数目是单调不减，即伽入新的特征后，判据值不减，具有单 调性： J(X1,X2,X4）≤J(x1,X2,Xd,X4+H) 常见类别可分离性判据 基于距离 基于概率分布 基于熵函数 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 2 类别可分离性判据 o 实际的类别可分离性判据应满足的条件： n 度量特性：判据具有距离的特性 n 与错误率有单调关系：准则值越大，错误率也小。 n 当特征独立时有可加性： n 对特征数目是单调不减，即加入新的特征后，判据值不减，具有单 调性： o 常见类别可分离性判据 n 基于距离 n 基于概率分布 n 基于熵函数 0, if ; 0, if ; ij ij ij ji J i j J i j J J 1 2 1 ( , ,..., ) ( ) d ij d ij k k J x x x J x 1 2 1 2 1 ( , ,..., ) ( , ,..., , ) ij d ij d d J x x x J x x x x
2类别可分离性判据 口基于几何距离的可分性判据 ■ 类内距离和类内散布矩阵 ■ 类间距离和类间散布矩阵 多类模式向量间的距离和总体散布矩阵 口基于类的概率密度函数的可分性判据 ■ Bhattacharyya判据(JB) Chernoff判据(JC) ■ 散度判据（灯D) 口基于熵函数的可分性判据 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 2 类别可分离性判据 o 基于几何距离的可分性判据 n 类内距离和类内散布矩阵 n 类间距离和类间散布矩阵 n 多类模式向量间的距离和总体散布矩阵 o 基于类的概率密度函数的可分性判据 n Bhattacharyya判据（JB） n Chernoff判据（JC） n 散度判据（JD） o 基于熵函数的可分性判据
2.1基于距离的可分性判据 口基于距离的可分性判据的实质是Fisher)准则的延伸 ,即综合考虑不同类样本的类内聚集程度与类间的 离散程度这两个因素。 ▣判据的优化体现出降维特征空间较好地体现类内密 集。一些不能体现类间分隔开的特征很可能被排除 掉了。 离散度矩阵（散布矩阵)：一种描述数据离散程度 的方法。 电子科技大学研究生《模式识别与机器学习》
电子科技大学研究生《模式识别与机器学习》 2.1 基于距离的可分性判据 o 基于距离的可分性判据的实质是Fisher准则的延伸 ，即综合考虑不同类样本的类内聚集程度与类间的 离散程度这两个因素。 o 判据的优化体现出降维特征空间较好地体现类内密 集。一些不能体现类间分隔开的特征很可能被排除 掉了。 o 离散度矩阵（散布矩阵）：一种描述数据离散程度 的方法