常见的特征选择方法将特征子集搜索机制与子集评价机制相结合。即可得到特征选择方法常见的特征选择方法大致分为如下三类：口过滤式口包裹式口嵌入式
常见的特征选择方法 常见的特征选择方法大致分为如下三类： 过滤式 包裹式 嵌入式 将特征子集搜索机制与子集评价机制相结合，即可 得到特征选择方法
过滤式选择先用特征选择过程过滤原始数据，再用过滤后的特征来训练模型：特征选择过程与后续学习器无关Relief（RelevantFeatures)方法[KiraandRendell,1992]为每个初始特征赋予一个“相关统计量”，度量特征的重要性特征子集的重要性由子集中每个特征所对应的相关统计量之和决定设计一个阈值，然后选择比值大的相关统计量分量所对应的特征或者指定欲选取的特征个数，然后选择相关统计量分量最大的指定个数特征如确定相关统计量？
过滤式选择 Relief (Relevant Features) 方法 [Kira and Rendell, 1992] ⚫ 为每个初始特征赋予一个“相关统计量”，度量特征的重要性 ⚫ 特征子集的重要性由子集中每个特征所对应的相关统计量之和决定 ⚫ 设计一个阈值，然后选择比阈值大的相关统计量分量所对应的特征 ⚫ 或者指定欲选取的特征个数，然后选择相关统计量分量最大的指定个 数特征 如何确定相关统计量？ 先用特征选择过程过滤原始数据，再用过滤后的特 征来训练模型；特征选择过程与后续学习器无关