三Boosting与Bagging的比较VsBoosting算法Bagging算法Bagging通过重采样方法从原。Boosting在每轮训练中使用的训练始训练集中有放回的采样得到集不变，但训练集中每个样例会根据多个训练子集上一轮的学习结果进行调整BoostingBagging训练样本样本不变，但权重改变有放回抽样等权重训练阶段错误率小的分类器有更大的权重依赖独立学习器的关系串行并行并行性偏差-方差分解降低偏差降低方差
Boosting与Bagging的比较 Boosting算法 Bagging算法 • Boosting 在每轮训练中使用的训练 集不变，但训练集中每个样例会根据 上一轮的学习结果进行调整 • Bagging 通过重采样方法从原 始训练集中有放回的采样得到 多个训练子集 Boosting Bagging 训练样本 样本不变，但权重改变 有放回抽样 训练阶段 错误率小的分类器有更大的权重 等权重 学习器的关系 依赖 独立 并行性 串行 并行 偏差-方差分解 降低偏差 降低方差
集成方法组合数值型输出常用方法，分为简单平均法平均法和加权平均法。0分类任务常见的结合策略，分为绝对多数投票法、相投票法对多数投票法和加权投票法。当训练数据较多时，可以通过训练一个用于学习法组合所有个体学习器的策略来进行结合。Stacking是一种典型的学习法结合策略
集成方法 平均法 组合数值型输出常用方法，分为简单平均法 和加权平均法。 投票法 分类任务常见的结合策略，分为绝对多数投票法、相 对多数投票法和加权投票法。 学习法 当训练数据较多时，可以通过训练一个用于 组合所有个体学习器的策略来进行结合。 Stacking是一种典型的学习法结合策略