特征选择的一般方法一遍历所有可能的子集不可行计算上遭遇组合爆炸，口可行方法基于评价结果产生初始候选评价候选子集产生下一个候子集的好坏选子集两个关键环节：子集搜索和子集评价
特征选择的一般方法 遍历所有可能的子集 ⚫ 计算上遭遇组合爆炸，不可行 可行方法 产生初始候选 子集 评价候选子集 的好坏 基于评价结果 产生下一个候 选子集 两个关键环节：子集搜索和子集评价
子集搜索用贫心策略选择包含重要信息的特征子集口前向搜索：逐渐增加相关特征口后向搜索：从完整的特征集合开始，逐渐减少特征口双向搜索：每一轮逐渐增加相关特征，同时减少无关特征
子集搜索 前向搜索：逐渐增加相关特征 后向搜索：从完整的特征集合开始，逐渐减少特征 双向搜索：每一轮逐渐增加相关特征，同时减少无关特征 用贪心策略选择包含重要信息的特征子集
前向搜索最优子集初始为空集，特征集合初始时包括所有给定特征特征集合特征集合-a从特征集合中选出最优特征a最优子集最优子集+（ai当前最优子集优于上一轮最优子集？N结束
特征集合 最优子集 特征集合 - {𝑎𝑖} 最优子集 + { 𝑎𝑖 } 从特征集合中选出最优特征𝑎𝑖 当前最优子集 优于上一轮最 优子集？ Y N 前向搜索 最优子集初始为空集，特征集合初始时包括所有给定特征 结束
子集评价口特征子集确定了对数据集的一个划分每个划分区域对应着特征子集的某种取值口样本标记对应着对数据集的真实划分通过估算这两个划分的差异，就能对特征子集进行评价；与样本标记对应的划分的差异越小，则说明当前特征子集越好
子集评价 特征子集确定了对数据集的一个划分 ⚫ 每个划分区域对应着特征子集的某种取值 样本标记对应着对数据集的真实划分 通过估算这两个划分的差异，就能对特征子集进行 评价；与样本标记对应的划分的差异越小，则说明 当前特征子集越好
用信息进行子集评价口特征子集A确定了对数据集D的一个划分A上的取值将数据集D分为V份，每一份用D'表示Ent(D）表示D上的信息D上的信息滴定义为Ent,口样本标记Y对应着对数据集D的真实划分21Ent(D)表示D上的信息第类样本所占比例为Pi特征子集A的信息增益为：Entl!GainlI :EntI
用信息熵进行子集评价 特征子集𝐴确定了对数据集𝐷的一个划分 ⚫ 𝐴上的取值将数据集𝐷分为𝑉份，每一份用𝐷 𝑣表示 ⚫ Ent(𝐷 𝑣 )表示𝐷 𝑣上的信息熵 样本标记𝑌对应着对数据集𝐷的真实划分 ⚫ Ent(𝐷)表示𝐷上的信息熵 ( A ) = ( D ) ¡ V X v = 1 j D v j j D j ( D v ) 特征子集𝐴的信息增益为： 𝐷上的信息熵定义为 第𝑖类样本所占比例为𝑝𝑖 D = X p o g p