91分类器组合I ■假如基本分类器之间相互“独立”,只要 每个分类器的正确率都大于50%,最终 结果一定比每个分类器单独的结果好 如假设有21个分类器,每个分类器的错 误率为03并且独立。则多数投票法的错 误率为: error ∑C20.3(1-03)2=0.026<0
9.1 分类器组合I 假如基本分类器之间相互“独立”，只要 每个分类器的正确率都大于50%，最终 结果一定比每个分类器单独的结果好 如假设有21个分类器，每个分类器的错 误率为0.3并且独立。则多数投票法的错 误率为： 0.3 (1 0.3) 0.026 0.3 21 11 21 = ∑ 21 − = << = − i i i i Perror C
91分类器组合I n加权多数法( Weighted Majority) 每个分类器赋予一定的权重。训练过程 中,对分错的分类器进行惩罚,减少其 权重
9.1 分类器组合I 加权多数法（ Weighted Majority）—— 每个分类器赋予一定的权重。训练过程 中，对分错的分类器进行惩罚，减少其 权重
91分类器组合I ■问题:实际上很难找到多种完全独立的 分类算法。如果基本分类器之间不独立, 理论分析变得十分困难。实验结果也显 示这种方法并不十分有效,甚至不如从 基本分类器中挑出一个正确率最高的。 另外,也有人发现独立的分类器组合不 定比不独立的分类器组合好
9.1 分类器组合I 问题：实际上很难找到多种完全独立的 分类算法。如果基本分类器之间不独立， 理论分析变得十分困难。实验结果也显 示这种方法并不十分有效，甚至不如从 基本分类器中挑出一个正确率最高的。 另外，也有人发现独立的分类器组合不 一定比不独立的分类器组合好
91分类器组合I Wolpert于1992年提出的 Stacked Generalization( Stacking a Stacking的思想是把基本分类器的输出作 为下一级分类器的输入,再进行学习
9.1 分类器组合I Wolpert于1992年提出的Stacked Generalization（Stacking） Stacking的思想是把基本分类器的输出作 为下一级分类器的输入，再进行学习
91分类器组合I n偎设已有K个基本分类器C1,C2,…CR ■采用 Leave-one-out.思想,每次从训练集中挑出 个样本x,用其它所有样本分别训练 C1,C2,…Ck,得到的K个分类函数对x的类 别各有判断,记做:C1(x1)C2(x)…Ck(x) ■这K个数实际上是对样本x的一个全新的描述, 或者说新的特征。它还包含了各个分类器以及 训练集中其它所有样本的信息
9.1 分类器组合I 假设已有 个基本分类器 。 采用Leave-one-out思想，每次从训练集中挑出 一个样本 ，用其它所有样本分别训练 ，得到的 个分类函数对 的类 别各有判断，记做： 这 个数实际上是对样本 的一个全新的描述， 或者说新的特征。它还包含了各个分类器以及 训练集中其它所有样本的信息 K 1 2 , , , C C L CK i x 1 2 , , , C C L CK K i x 1 2 ( ), ( ), , ( ) C xi i C K i x L C x K i x