集成学习 周志华《机器学习》第8章 李航《统计机器学习》第8章
集成学习 周志华《机器学习》第8章 李航《统计机器学习》第8章
从决策树到提升方法 4.3.决策树的演化 DT -Boosting -GBDT -XGBoost 模型 原始论文 1984年 DT (CART) Classification Regression Trees 1995年 Boosting A Decision-Theoretic Generalization of On-Line Learning and an Application to Boosting 2001年 GBDT Greedy function approximation:A gradient boosting machine 2016年 XGBoost XGBoost:A Scalable Tree Boosting System 知乎@刘启林
从决策树到提升方法
集成学习 ▣ 个体与集成 ▣Boosting Adaboost ● GBDT ●xgboost ▣ Bagging与随机森林 口结合策略 平均法 ● 投票法 ·学习法 口 多样性 误差分歧分解 8 多样性度量 多样性扰动
集成学习 p 个体与集成 p Boosting l Adaboost l GBDT l xgboost p Bagging与随机森林 p 结合策略 l 平均法 l 投票法 l 学习法 p 多样性 l 误差-分歧分解 l 多样性度量 l 多样性扰动
个体与集成 ▣集成学习(ensemble learning)通过构建并结合多个学习器来提 升性能 个体学习器1 个体学习器2 结合 模块 →输出 个体学习器T
个体与集成 p 集成学习(ensemble learning)通过构建并结合多个学习器来提 升性能
个体与集成 口考虑一个简单的例子，在二分类问题中，假定3个分类器在三个样 本中的表现如下图所示，其中√表示分类正确，X号表示分类错误， 集成的结果通过投票产生。 测试例1测试例测试例3 测试例1测试例2测试例3 测试例1测试例2测试例3 h hy × + h2 X h2 h2 X h3 v h3 x 集群√ 集群√ 集群X X 十 (a)集群提升性能 (b)集群不起作用 (C)集群起负作用 口集成个体应：好而不同
个体与集成 p 考虑一个简单的例子，在二分类问题中，假定3个分类器在三个样 本中的表现如下图所示，其中√ 表示分类正确，X 号表示分类错误， 集成的结果通过投票产生。 p 集成个体应：好而不同