集成学习(1) 集成学习方法训练多个学习器并结合它们来解决一个问题 个集成学习模型由多个基学习器( base learner)构成,而基学习器可以是决策 树、神经网络或其他学习算法,它们需要在训练数据上训练。 集成学习可以使用同一种基学习算法(同质的基学习器,也可以使用多种学习 算法训练不同种类的学习器构建异质集成。 集成学习一般比基学习器的泛化能力更强,可以把比随机猜测稍好的弱学习器 变成可以精确预测的强学习器 learner 1 learner 2 combination earner n
36 集成学习（1） ◼ 集成学习方法训练多个学习器并结合它们来解决一个问题。 ◼ 一个集成学习模型由多个基学习器(base learner)构成，而基学习器可以是决策 树、神经网络或其他学习算法，它们需要在训练数据上训练。 ◼ 集成学习可以使用同一种基学习算法（同质的基学习器，也可以使用多种学习 算法训练不同种类的学习器构建异质集成。 ◼ 集成学习一般比基学习器的泛化能力更强，可以把比随机猜测稍好的弱学习器 变成可以精确预测的强学习器
集成学习(2) 构建一个集成模型的计算未必显著高于单一学习器。这是因为单一学习器模型 调参经常会产生多个版本的模型,这与在集成学习中构建多个基学习器的代价 是相当的 常用于网络入侵检测、分子生物活性和蛋白质位点预测、肺栓塞检测、客户关 系管理、教育数据挖掘、音乐推荐、电影推荐等。 0.25 -o- averag 0.20 口- best single ●… combination 0.10 level
37 集成学习（2） ◼ 构建一个集成模型的计算未必显著高于单一学习器。这是因为单一学习器模型 调参经常会产生多个版本的模型，这与在集成学习中构建多个基学习器的代价 是相当的。 ◼ 常用于网络入侵检测、分子生物活性和蛋白质位点预测、肺栓塞检测、客户关 系管理、教育数据挖掘、音乐推荐、电影推荐等
Stacking Stacking方法(知识蒸馏)是指训练一个模型用于组合其他各个模型 先训练多个不同的模型,然后把训练得到的各个模型的输出为输入来训练一个 模型,以得到一个最终的输出。 Training Classification z乏a Meta-Classifier
38 Stacking ◼ Stacking方法（知识蒸馏）是指训练一个模型用于组合其他各个模型。 ◼ 先训练多个不同的模型，然后把训练得到的各个模型的输出为输入来训练一个 模型，以得到一个最终的输出
Bagging 基本思想是用一个不稳定(数据集小的变化可能使分 类结果有显著的变化)、弱学习算法(准确率不高) 对一个训练集用该算法使用多次,得到多个分类模型 对于新样本的分类,可以用这些分类模型进行投票 (得票最多的类别作为结果),结果会提高决策树的 分类准确率。 ■可以处理大数据集。 Blue
39 Bagging ◼ 基本思想是用一个不稳定（数据集小的变化可能使分 类结果有显著的变化）、弱学习算法（准确率不高）， 对一个训练集用该算法使用多次，得到多个分类模型。 对于新样本的分类，可以用这些分类模型进行投票 （得票最多的类别作为结果），结果会提高决策树的 分类准确率。 ◼ 可以处理大数据集
Boosting技术 C5.0使用 Boosting来提高模型准确率 Boosting的基本思想是每个样本都赋予权重,每次迭代对分类 错误的样本增加权重,以便下次的样本关注这些样本。这种方 法也能提高不稳定分类算法的准确率。 Boosting和 Bagging的区别是 Bagging的训练集是随机选择,相 互独立的,分类模型可以并行生成;而 Boosting的训练集不是 独立的,与前一轮的学习有关,分类模型只能顺序生成。 boost 调练集 训练可基()模
40 Boosting技术 ◼ C5.0使用Boosting来提高模型准确率。 ◼ Boosting的基本思想是每个样本都赋予权重，每次迭代对分类 错误的样本增加权重，以便下次的样本关注这些样本。这种方 法也能提高不稳定分类算法的准确率。 ◼ Boosting和Bagging的区别是Bagging的训练集是随机选择，相 互独立的，分类模型可以并行生成；而Boosting的训练集不是 独立的，与前一轮的学习有关，分类模型只能顺序生成