第16卷第6期 智能系统学报 Vol.16 No.6 2021年11月 CAAI Transactions on Intelligent Systems Now.2021 D0:10.11992/tis.202011023 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210923.1720.006.html 一种卷积神经网络集成的多样性度量方法 汤礼颖，贺利乐'，何林2，屈东东 (1.西安建筑科技大学机电工程学院，陕西西安710055,2.西安建筑科技大学理学院，陕西西安710055) 摘要：分类器模型之间的多样性是分类器集成的一个重要性能指标。目前大多数多样性度量方法都是基于 基分类器模型的0/1输出结果（即Oracle输出）进行计算.针对卷积神经网络的概率向量输出结果.仍需要将其 转化为Oracle输出方式进行度量，这种方式未能充分利用卷积神经网络输出的概率向量所包含的丰富信息。 针对此问题，利用多分类卷积神经网络模型的输出特性，提出了一种基于卷积神经网络的概率向量输出方式的 集成多样性度量方法，建立多个不同结构的卷积神经网络基模型并在CIFAR-10和CIFAR-IO0数据集上进行实 验。实验结果表明，与双错度量、不一致性度量和Q统计多样性度量方法相比，所提出的方法能够更好地体现 模型之间的多样性，为模型选择集成提供更好的指导。 关键词：卷积神经网络；集成学习；多样性度量；机器学习；分类器集成；概率向量输出；Oracle输出；基模型 中图分类号：TP181:TP391文献标志码：A文章编号：1673-4785(2021)06-1030-09 中文引用格式：汤礼颖，贺利乐，何林，等.一种卷积神经网络集成的多样性度量方法J.智能系统学报，2021,16(6)： 1030-1038. 英文引用格式：TANG Liying,HE Lile,HE Lin,etal.Diversity measuring method of a convolutional neural network ensemble[J. CAAI transactions on intelligent systems,2021,16(6):1030-1038. Diversity measuring method of a convolutional neural network ensemble TANG Liying',HE Lile',HE Lin',QU Dongdong (1.School of Mechanical and Electrical Engineering.Xi'an University of Architecture and Technology,Xi'an 710055,China; 2.School of Science,Xi 'an University of Architecture and Technology,Xi'an 710055,China) Abstract:Diversity among classifier models has been recognized as a significant performance index of a classifier en- semble.Currently,most diversity measuring methods are defined based on the 0/1 outputs(namely Oracle outputs)of the base model.The probability vector outputs of a convolutional neural network(CNN)still need to be converted into Oracle outputs for measurement,which fails to fully use the rich information contained in the CNN probability vector outputs.To solve this problem,a new diversity measuring method for probabilistic vector outputs based on CNNs is pro- posed.Several base models of CNN models with various structures are established and tested on the CIFAR-10 and CI- FAR-100 datasets.Compared with double-fault measure,disagreement measure,and Q-Statistic,the proposed method can better reflect the differences between the models and provide better guidance for a selective ensemble of CNN models. Keywords:CNN;ensemble learning;diversity measures;machine learning;multiple classifier ensembles;probability vector outputs;Oracle outputs;basic model 集成学习是一种重要的机器学习方法，主要 性能的重要因素)，产生泛化能力强、差异性大的 思路是多个分类器基于某种组合方式组合在一 基学习器是集成算法的关键。但如何有效的度量 起，来取得比单个分类器更好的性能，从而可显 并利用这些多样性还是一个悬而未决的问题。目 著提高学习系统的预测精度和泛化能力山。 前大多数多样性度量方法都是基于基分类器的 基分类器之间的多样性是影响集成系统泛化 01输出方式(Oracle输出)，主要分为两大类：成对 度量和非成对度量。成对度量方法主要有Q统 收稿日期：2020-11-20.网络出版日期：2021-09-24. 基金项目：国家自然科学基金项目(61903291). 计方法)、不一致度量方法、双错度量方法1和 通信作者：贺利乐.E-mail:hllnh2013@163.com 相关系数法向等：非成对度量方法主要有KW差
DOI: 10.11992/tis.202011023 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210923.1720.006.html 一种卷积神经网络集成的多样性度量方法 汤礼颖1 ，贺利乐1 ，何林2 ，屈东东1 （1. 西安建筑科技大学 机电工程学院, 陕西 西安 710055; 2. 西安建筑科技大学 理学院, 陕西 西安 710055） 摘 要：分类器模型之间的多样性是分类器集成的一个重要性能指标。目前大多数多样性度量方法都是基于 基分类器模型的 0/1 输出结果（即 Oracle 输出）进行计算，针对卷积神经网络的概率向量输出结果，仍需要将其 转化为 Oracle 输出方式进行度量，这种方式未能充分利用卷积神经网络输出的概率向量所包含的丰富信息。 针对此问题，利用多分类卷积神经网络模型的输出特性，提出了一种基于卷积神经网络的概率向量输出方式的 集成多样性度量方法，建立多个不同结构的卷积神经网络基模型并在 CIFAR-10 和 CIFAR-100 数据集上进行实 验。实验结果表明，与双错度量、不一致性度量和 Q 统计多样性度量方法相比，所提出的方法能够更好地体现 模型之间的多样性，为模型选择集成提供更好的指导。 关键词：卷积神经网络；集成学习；多样性度量；机器学习；分类器集成；概率向量输出；Oracle 输出；基模型 中图分类号：TP181;TP391 文献标志码：A 文章编号：1673−4785(2021)06−1030−09 中文引用格式：汤礼颖, 贺利乐, 何林, 等. 一种卷积神经网络集成的多样性度量方法 [J]. 智能系统学报, 2021, 16(6): 1030–1038. 英文引用格式：TANG Liying, HE Lile, HE Lin, et al. Diversity measuring method of a convolutional neural network ensemble[J]. CAAI transactions on intelligent systems, 2021, 16(6): 1030–1038. Diversity measuring method of a convolutional neural network ensemble TANG Liying1 ，HE Lile1 ，HE Lin2 ，QU Dongdong1 (1. School of Mechanical and Electrical Engineering, Xi ’an University of Architecture and Technology, Xi ’an 710055, China; 2. School of Science, Xi ’an University of Architecture and Technology, Xi’an 710055, China) Abstract: Diversity among classifier models has been recognized as a significant performance index of a classifier ensemble. Currently, most diversity measuring methods are defined based on the 0/1 outputs (namely Oracle outputs) of the base model. The probability vector outputs of a convolutional neural network (CNN) still need to be converted into Oracle outputs for measurement, which fails to fully use the rich information contained in the CNN probability vector outputs. To solve this problem, a new diversity measuring method for probabilistic vector outputs based on CNNs is proposed. Several base models of CNN models with various structures are established and tested on the CIFAR-10 and CIFAR-100 datasets. Compared with double-fault measure, disagreement measure, and Q-Statistic, the proposed method can better reflect the differences between the models and provide better guidance for a selective ensemble of CNN models. Keywords: CNN; ensemble learning; diversity measures; machine learning; multiple classifier ensembles; probability vector outputs; Oracle outputs; basic model 集成学习是一种重要的机器学习方法，主要 思路是多个分类器基于某种组合方式组合在一 起，来取得比单个分类器更好的性能，从而可显 著提高学习系统的预测精度和泛化能力[1]。 基分类器之间的多样性是影响集成系统泛化 性能的重要因素[2] ，产生泛化能力强、差异性大的 基学习器是集成算法的关键。但如何有效的度量 并利用这些多样性还是一个悬而未决的问题。目 前大多数多样性度量方法都是基于基分类器的 0/1 输出方式 (Oracle 输出)，主要分为两大类：成对 度量和非成对度量。成对度量方法主要有 Q 统 计方法[3] 、不一致度量方法[4] 、双错度量方法[5] 和 相关系数法[6] 等;非成对度量方法主要有 KW 差 收稿日期：2020−11−20. 网络出版日期：2021−09−24. 基金项目：国家自然科学基金项目（61903291）. 通信作者：贺利乐. E-mail: hllnh2013@163.com. 第 16 卷第 6 期 智 能 系 统 学 报 Vol.16 No.6 2021 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2021
第6期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1031· 异度量方法可、k评判间一致性度量方法、熵度量 性，针对每一个训练样本计算模型输出结果之间 方法、难度度量、广义差异性度量等。 的差异性来评估多样性。 近年来国内学者们也提出了一些新的研究多 样性度量方法。例如：邢红杰等1提出了一种关 13种传统多样性方法 系熵多样性度量方法，结合相关熵和距离方差描 假设存在分类器h和h(ij=1,2,…,T,i≠)， 述支持向量数据来实现选择性集成；李莉提出 1表示分类器正确，0表示分类器分类错误，两个 了一种距离信息熵的多样性描述方法实现基分类 分类器的联合输出结果用表1中a、b、c、d表 器集成，该方法在UCI数据集上具有与成对差异 示。a表示在训练过程中分类器h:和h,都对样本 性度量方法一致的效果；赵军阳等针对多分类 分类正确的样本个数，b表示在训练过程中分类器 器系统差异性评价中无法处理模糊数据的问题， h:对样本分类错误而分类器h,分类正确的样例 提出了一种采用互补性信息熵的分类器差异性度 个数，c表示分类器：对样本分类正确而分类器 量方法，该方法省略了对分类器输出结果的正确 h错分的样例个数，d表示分类器h和h都对样 性判别过程，直接处理分类器的输出结果，但是 本错分的样例个数。由此，总的样本个数可以表 未考虑集成规模与精度之间的平衡问题，对系统 示为m=a+b+c+d,两个分类器之间的关系如表1 的泛化性能有一定的影响：周刚等提出了一种 所示。 联合信息增益的过程多样性度量方法，该方法在 表1两个分类器之间的关系 西瓜数据集上拥有与传统方法相近的准确性。上 Table 1 Relationship between a pair of classifiers 述几种方法都是基于信息论角度来定义多样性的， 联合输出结果 h:=1 h;=0 基模型的训练和集成都采用机器学习方法得到，在 h,=1 应用卷积神经网络集成的多样性研究方面较少。 h:=0 b d 随着深度学习的快速发展，卷积神经网络 (convolutional neural network,CNN)I因其独特 1)9统计方法(Q) 的结构已成为当前图像识别领域的研究热点。卷 ad-bc Qi= 积神经网络分类器的输出方式与Oracle输出方式 ad+bc (1) 不同，采用的是c维向量输出方式。在处理多分 Q的取值为[-1,1]，当两个分类器总是对其正 类(c>2)问题中，分类器输出单元都需用Soft- 确分类或者错误分类，说明其行为是一致的，则 max激活函数进行数值处理，将多分类的输出数 有b=c=0,即Q=1,此时它们的多样性最低；反 值向量形式转化为类标签的相对概率向量方式， 之，如果两个分类器的分类刚好一个正确一个错 即c维向量形式D(a)=[d(a)d(a)…de-(al,d-1() 误，即Q=-1,这种情况下多样性最好。 为分类器D给出的样例属于第c-1类的置信度， 2)不一致性度量(D) 不一致性度量表示两个分类器之中一个判断 i=1,2,…,c-1,c为不同类标签的数目。针对卷积 正确一个判断错误的测试个数与总测试个数的 神经网络的概率向量输出结果，使用0/1输出准 比值。 则来统计分类器对样本分类结果的正确/错误个 数来计算多样性，是一种硬性的评判标准。如 Da=b+c (2) m 两个5分类器的输出概率向量是D(a)=(0.17,0.03, 3)双错度量方法(D) 0.60.05,0.15)和D()=(0.1,0.2,0.5,0.17,0.13),将它 De=d/m (3) 们转化为Oracle输出方式，两个分类器的结果都 D取值范围为[0,1]，值越大，说明两个分类 为第三类，二者输出结果一致，采用基于模型的 器都对其分类出错，多样性越差。 Oracle输出结果多样性度量方法将会判定二者没 2 基于概率向量输出方式的多样性 有任何不同。但事实上，两个分类器输出结果存 度量方法 在明显的不同，Oracle输出方式未能充分利用卷 积神经网络输出的概率向量所包含的丰富信息。 首先定义两个多类分类的分类器A和B, 针对此问题，本文充分利用多分类卷积神经 z(=1,2,…,m)为m个样本中的第j个样本，则对 网络的输出特性信息，提出了一种基于卷积神经 样本z的模型输出概率向量为 网络集成的多样性度量方法。采用概率向量输出 Da()=[dAda d…dA] 方式来表示模型分类结果，引入两个向量的差异 Ds(2)=[d。ds,da:…ds]
异度量方法 κ [7] 、 评判间一致性度量方法[8] 、熵度量 方法[9-10] 、难度度量 [11] 、广义差异性度量[12] 等。 近年来国内学者们也提出了一些新的研究多 样性度量方法。例如：邢红杰等[13] 提出了一种关 系熵多样性度量方法，结合相关熵和距离方差描 述支持向量数据来实现选择性集成；李莉[14] 提出 了一种距离信息熵的多样性描述方法实现基分类 器集成，该方法在 UCI 数据集上具有与成对差异 性度量方法一致的效果；赵军阳等[15] 针对多分类 器系统差异性评价中无法处理模糊数据的问题， 提出了一种采用互补性信息熵的分类器差异性度 量方法，该方法省略了对分类器输出结果的正确 性判别过程，直接处理分类器的输出结果，但是 未考虑集成规模与精度之间的平衡问题，对系统 的泛化性能有一定的影响；周刚等[16] 提出了一种 联合信息增益的过程多样性度量方法，该方法在 西瓜数据集上拥有与传统方法相近的准确性。上 述几种方法都是基于信息论角度来定义多样性的， 基模型的训练和集成都采用机器学习方法得到，在 应用卷积神经网络集成的多样性研究方面较少。 D(z) = [d0 (z) d1 (z) ··· dc−1 (z)] dc− 1 (z) c−1 i = 1,2,··· , c−1 Di(z) = (0.17,0.03, 0.6,0.05,0.15) Dj(z) = (0.1,0.2,0.5,0.17,0.13) 随着深度学习的快速发展，卷积神经网络 （convolutional neural network，CNN） [17] 因其独特 的结构已成为当前图像识别领域的研究热点。卷 积神经网络分类器的输出方式与 Oracle 输出方式 不同，采用的是 c 维向量输出方式。在处理多分 类 （c>2）问题中，分类器输出单元都需用 Softmax 激活函数进行数值处理，将多分类的输出数 值向量形式转化为类标签的相对概率向量方式， 即 c 维向量形式 ， 为分类器 D 给出的样例属于第 类的置信度， ，c 为不同类标签的数目。针对卷积 神经网络的概率向量输出结果，使用 0/1 输出准 则来统计分类器对样本分类结果的正确/错误个 数来计算多样性，是一种硬性的评判标准[18]。如 两个 5 分类器的输出概率向量是 和 ，将它 们转化为 Oracle 输出方式，两个分类器的结果都 为第三类，二者输出结果一致，采用基于模型的 Oracle 输出结果多样性度量方法将会判定二者没 有任何不同。但事实上，两个分类器输出结果存 在明显的不同，Oracle 输出方式未能充分利用卷 积神经网络输出的概率向量所包含的丰富信息。 针对此问题，本文充分利用多分类卷积神经 网络的输出特性信息，提出了一种基于卷积神经 网络集成的多样性度量方法。采用概率向量输出 方式来表示模型分类结果，引入两个向量的差异 性，针对每一个训练样本计算模型输出结果之间 的差异性来评估多样性。 1 3 种传统多样性方法 hi hj(i, j = 1,2,··· , T,i , j) a hi hj b hi hj c hi hj d hi hj m = a+b+c+d 假设存在分类器 和 ， 1 表示分类器正确，0 表示分类器分类错误，两个 分类器的联合输出结果用表 1 中 a、b、c、d 表 示。 表示在训练过程中分类器 和 都对样本 分类正确的样本个数， 表示在训练过程中分类器 对样本分类错误而分类器 分类正确的样例 个数， 表示分类器 对样本分类正确而分类器 错分的样例个数， 表示分类器 和 都对样 本错分的样例个数。由此，总的样本个数可以表 示为 ，两个分类器之间的关系如表 1 所示。 表 1 两个分类器之间的关系 Table 1 Relationship between a pair of classifiers 联合输出结果 hj = 1 hj = 0 hi = 1 a c hi = 0 b d 1)Q 统计方法（Q） Qi j = ad −bc ad +bc (1) Q b = c = 0 Qi j Qi j = −1 的取值为 [−1,1]，当两个分类器总是对其正 确分类或者错误分类，说明其行为是一致的，则 有 ，即 =1，此时它们的多样性最低；反 之，如果两个分类器的分类刚好一个正确一个错 误，即 ，这种情况下多样性最好。 2) 不一致性度量 (Dis) 不一致性度量表示两个分类器之中一个判断 正确一个判断错误的测试个数与总测试个数的 比值。 Dis = b+c m (2) 3) 双错度量方法 (DF ) DF = d/m (3) DF取值范围为 [0,1]，值越大，说明两个分类 器都对其分类出错，多样性越差。 2 基于概率向量输出方式的多样性 度量方法 A B zj(j = 1,2,··· ,m) j zj 首先定义两个多类分类的分类器 和 ， 为 m 个样本中的第 个样本，则对 样本 的模型输出概率向量为 DA (z) = [dA0 dA1 dA2 ··· dAc−1 ] DB (z) = [ dB0 dB1 dB2 ··· dBc−1 ] 第 6 期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1031·
·1032· 智能系统学报 第16卷 其中，向量中的各元素是模型预测概率值，索引 (A0,A1,A2,·,Ac-)和(Bo,B1,B2,·,B。-)分别为向量 DAB(）= 4和D各概率对应的类标签值，有∑4= 5（8×0+4×+(2×1+(1x1)2+(0×0)=42 - 24 而如果采用基于Oracle输出的多样性度量方 式，对于该样本两分类器输出结果相同，得到的 模型经过训练之后，输出层经过Softmax激 多样性为0。 活函数得到模型概率向量结果，定义卷积神经网 3)对于已标记样本集Z={31,2,…,乙…，2， 络的多样性度量方法，基本思路如下： 两个基模型之间的多样性为所有样本的集合多样 1)将2个分类器概率向量中的元素从大到小 性后的平均值，如式（⑦所示： 进行排列，并返回其对应的index(类标签)值，得 到分类器最大置信度概率由大到小排列对应的类 DAB(Z)= 1D) (7) 标签向量La[问和Ls[,i=0,1,2,…,c-1,c为不同 m 类标签的数目。 4)对于多分类器系统{D,D2,…,D,其多样性 LA [i]np.argsort (DA())[::-1] (4) 为计算每对基模型之间的多样性的平均值： Ls [i]=np.argsort (Ds ())[:-1] 2 T-1 T 2)对于已标记单一样本z,两个分类器的多 >D(四 D②=TT-d台 (8) 样性DAB(z)定义如式(5)、(6)： a0-6上：上品 i=0,1,2,…,c-1 (5) 3实验验证与分析 D.s()(hfu(DY 1 为了验证新的多样性度量方法的有效性和先 (6) 进性，采用4种方法计算基模型的多样性：Q统 式中：k为不同排序位置差异的权重（越靠前的输 计、不一致性度量、双错度量和本文提出的基于 出结果不一样说明差异性越大)，本文通过多次实 概率向量方法Dv。在CIFAR-10与CIFAR- 验对比，最终取值为{32,8.4,2,1,0，…，0，采用指数 100数据集上分别进行了实证对比分析。 递减值。 实验分析主要分为3部分内容：1)训练19个 式(4)返回两个分类器元素之间的差异性结 基学习器模型，并得到单个基模型以及预测结 果序列。分类器之间的多样性只是反映两个模型 果；2)基于CIFAR-10、CIFAR-100数据集采用 对于已标记样本差异性，与模型类标签值无关， 4种方法计算各基模型之间的多样性；3)在数据 与输出结果的位置无关。因此，为了保证度量的 集上进行基模型的集成预测，采用简单平均集成 准确性和有效性，定义式（⑤）在分类器相同的索 策略集成基模型，并对比分析单个模型与集成模 引值情况下，当两个分类器输出类标签是一致 型之间的预测结果。 时，返回为0；当输出类标签不同时返回为1。将 3.1模型结构 式(5)代入式(6)，得到两个分类器对于单一样本 卷积神经网络是一种具有深度结构的前馈神 多样性的定义。DAs(z)值越大，两个概率向量差 经网络，对于大型图像处理具有十分出色的表现四。 异性越大，分类器之间的多样性也就越大。 CNN的基本结构由输入层、卷积层、池化层、全 假设对于样本z两个5分类的输出概率向量是 连接层和输出层构成。本文构造了19种不同结 D1()=(0.03,0.07,0.6,0.05,0.25)和D2(3)=(0.1,0.17, 构的CNN网络模型，网络结构都包括输入层、卷 0.4,0.2,0.13),得到分类器最大置信度概率由大到 积层、池化层、Dropout层、Flatten层和全连接层， 小排列对应的类标签向量L[3=(2,4,3,1,0)和 各模型结构不同之处在于卷积层、池化层和Do- L2[z=(2,3,1,4,0),得到向量fAs(0=(0,1,110)。对 pout层的不同。表2、3为其中9个模型的具体 于单一样本：得到 结构。 表24个候选基模型结构 Table 2 Structures of four-candidate basic models 结构 Model 2 Model 3 Model 5 Model 6 输入层 32×32×3 32×32×3 32×32×3 32×32×3 卷积层1 Conw3-643×3 Conv3-5123×3 Conv3-643×3 Conv3-5123×3
(A0,A1,A2,··· ,Ac−1) (B0,B1,B2,··· ,Bc−1) DA DB ∑c−1 k=0 dAk = 1 ∑c−1 k=0 dBk = 1 其中，向量中的各元素是模型预测概率值，索引 和 分别为向量 和 各概率对应的类标签值，有 ， 。 模型经过训练之后，输出层经过 Softmax 激 活函数得到模型概率向量结果，定义卷积神经网 络的多样性度量方法，基本思路如下: LA [i] LB [i] i = 0,1,2,··· , c−1 1) 将 2 个分类器概率向量中的元素从大到小 进行排列，并返回其对应的 index(类标签) 值，得 到分类器最大置信度概率由大到小排列对应的类 标签向量 和 ， ，c 为不同 类标签的数目。 LA [i] = np.argsort(DA (z))[:: −1] (4) LB [i] = np.argsort(DB (z))[:: −1] zj DAB ( zj ) 2) 对于已标记单一样本 ，两个分类器的多 样性 定义如式 (5)、(6)： fAB(i) = { 1,LA [i] , LB [i] 0,LA [i] = LB [i] , i = 0,1,2,··· , c−1 (5) DAB ( zj ) = 1 c ∑c−1 i=0 (ki fAB(i)) 2 (6) ki {32,8,4,2,1,0,··· ,0} 式中： 为不同排序位置差异的权重 (越靠前的输 出结果不一样说明差异性越大)，本文通过多次实 验对比，最终取值为 ，采用指数 递减值。 DAB ( zj ) 式 (4) 返回两个分类器元素之间的差异性结 果序列。分类器之间的多样性只是反映两个模型 对于已标记样本差异性，与模型类标签值无关， 与输出结果的位置无关。因此，为了保证度量的 准确性和有效性，定义式 (5) 在分类器相同的索 引值情况下，当两个分类器输出类标签是一致 时，返回为 0；当输出类标签不同时返回为 1。将 式 (5) 代入式 (6)，得到两个分类器对于单一样本 多样性的定义。 值越大，两个概率向量差 异性越大，分类器之间的多样性也就越大。 zj D1(zj) = (0.03,0.07,0.6,0.05,0.25) D2(zj) = (0.1,0.17, 0.4,0.2,0.13) L1 [ zj ] = (2,4,3,1,0) L2 [ zj ] = (2,3,1,4,0) fAB(i) = (0,1 ,1 1 0) 假设对于样本 两个 5 分类的输出概率向量是 和 ，得到分类器最大置信度概率由大到 小排列对应的类标签向量 和 ，得到向量 。对 于单一样本 z 得到 DAB ( zj ) = 1 5 ∑4 i=0 ( ki fAB (i) )2 = 1 5 ( (8×0)2 +(4×1)2 +(2×1)2 +(1×1)2 +(0×0)2 ) = 4.2 而如果采用基于 Oracle 输出的多样性度量方 式，对于该样本两分类器输出结果相同，得到的 多样性为 0。 Z = { z1,z2,··· ,zj ,··· ,zm } 3) 对于已标记样本集 ， 两个基模型之间的多样性为所有样本的集合多样 性后的平均值，如式 (7) 所示： DAB (Z) = 1 m ∑m−1 j=0 DAB ( zj ) (7) 4) 对于多分类器系统 {D1,D2,··· ,DT } ，其多样性 为计算每对基模型之间的多样性的平均值： DPV (Z) = 2 T (T −1) ∑T−1 i=1 ∑T j=i+1 Di j(Z) (8) 3 实验验证与分析 为了验证新的多样性度量方法的有效性和先 进性，采用 4 种方法计算基模型的多样性：Q 统 计、不一致性度量、双错度量和本文提出的基于 概率向量方法 DP V。在 CIFAR-10 与 CIFAR- 100 数据集上分别进行了实证对比分析。 实验分析主要分为 3 部分内容：1) 训练 19 个 基学习器模型，并得到单个基模型以及预测结 果 ；2) 基于 CIFAR-10、CIFAR-100 数据集采用 4 种方法计算各基模型之间的多样性；3) 在数据 集上进行基模型的集成预测，采用简单平均集成 策略集成基模型，并对比分析单个模型与集成模 型之间的预测结果。 3.1 模型结构 卷积神经网络是一种具有深度结构的前馈神 经网络，对于大型图像处理具有十分出色的表现[19]。 CNN 的基本结构由输入层、卷积层、池化层、全 连接层和输出层构成。本文构造了 19 种不同结 构的 CNN 网络模型，网络结构都包括输入层、卷 积层、池化层、Dropout 层、Flatten 层和全连接层， 各模型结构不同之处在于卷积层、池化层和 Dropout 层的不同。表 2、3 为其中 9 个模型的具体 结构。 表 2 4 个候选基模型结构 Table 2 Structures of four-candidate basic models 结构 Model_2 Model_3 Model_5 Model_6 输入层 32×32 ×3 32×32 ×3 32×32 ×3 32×32 ×3 卷积层1 Conv3-64 3×3 Conv3-512 3×3 Conv3-64 3×3 Conv3-512 3×3 ·1032· 智 能 系 统 学 报 第 16 卷
第6期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1033· 续表2 结构 Model 2 Model 3 Model 5 Model 6 卷积层2 Conv3-1283×3 Conv3-2563×3 Conw3-1283×3 Conv3-2563×3 卷积层3 池化层1 Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-2563×3 Conv3-128 3x3 Conv3-2563×3 Conv3-1283×3 卷积层5 Conv3-5123×3 Conv3-643×3 Conv3-5123×3 Conv3-643×3 卷积层6 Conv3-643×3 Conv3-5123×3 池化层2 Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-1283×3 Conw3-5123×3 Conv3-2563×3 Conv3-643×3 卷积层8 Conv3-2563×3 Conw3-2563×3 Conv3-1283×3 Conv3-1283×3 卷积层9 Conv3-5123×3 Conv3-643×3 Conv3-2563×3 池化层3 Maxpool 卷积层10 Conv3-1283×3 Conv3-5123×3 卷积层11 Conv3-64 3x3 卷积层12 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool 拉平 fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(64) Dense(65) Dense(66) Dense(67) 输出层 Softmax Softmax Softmax Softmax 表35个候选基模型结构 Table 3 Structures of five-candidate basic models 结构 Model 8 Model 10 Model 12 Model_13 Model 14 输入层 32×32×3 32×32×3 32×32×3 32×32×3 32×32×3 卷积层1 Conv3-2563×3 Conv3-5123×3 Conv3-643×3 Conv3-641×1 Conv3-643×3 卷积层2 Conw3-1283×3 Conv3-64 3x3 Conw3-641×1 Conv.3-643×3 Conv3-641×3 卷积层3 Conv3-641×1 Conv3-643×1 池化层1 Maxpool Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-2563×3 Conv3-1283×3 Conv3-2563×3 Conw3-2561×1 Conv3-128 3x3 卷积层5 Conv3-1283×3 Conv3-643×3 Conv3-2561×1 Conv3-2563×3 Conv3-1281×3 卷积层6 Conw3-2563×3 Conw3-2561×1 Conv3-l283×1 池化层2 Maxpool Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-1283×3 Conv3-5123×3 Conv3-5123×3 Conw3-5121×1 Conv3-2563×3 卷积层8 Conv3-2563×3 Conv3-643×3 Conv3-5121×1 Conv3-5123×3 Conv3-2561×3 卷积层9 Conv3-643×3 Conv3-5121×1 Conv3-2563×1 池化层3 Maxpool Maxpool Maxpool Maxpool 卷积层10 Conv3-1283×3 Conv3-1283×3 Conw3-1281×1 Conv3-5123×3 卷积层11 Conv3-64 3x3 Conv3-1281×1 Conw3-1283×3 Conv3-5121×3 卷积层12 Conw3-1281×1 Conv3-5123×1 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool GlobalMaxpool
续表 2 结构 Model_2 Model_3 Model_5 Model_6 卷积层2 Conv3-128 3×3 Conv3-256 3×3 Conv3-128 3×3 Conv3-256 3×3 卷积层3 — — — — 池化层1 Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-256 3×3 Conv3-128 3×3 Conv3-256 3×3 Conv3-128 3×3 卷积层5 Conv3-512 3×3 Conv3-64 3×3 Conv3-512 3×3 Conv3-64 3×3 卷积层6 Conv3-64 3×3 — Conv3-512 3×3 — 池化层2 Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-128 3×3 Conv3-512 3×3 Conv3-256 3×3 Conv3-64 3×3 卷积层8 Conv3-256 3×3 Conv3-256 3×3 Conv3-128 3×3 Conv3-128 3×3 卷积层9 Conv3-512 3×3 — Conv3-64 3×3 Conv3-256 3×3 池化层3 — Maxpool — — 卷积层10 — Conv3-128 3×3 — Conv3-512 3×3 卷积层11 — Conv3-64 3×3 — 卷积层12 — — — — 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool 拉平 fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(64) Dense(65) Dense(66) Dense(67) 输出层 Softmax Softmax Softmax Softmax 表 3 5 个候选基模型结构 Table 3 Structures of five-candidate basic models 结构 Model_8 Model_10 Model_12 Model_13 Model_14 输入层 32×32 ×3 32×32 ×3 32×32 ×3 32×32 ×3 32×32 ×3 卷积层1 Conv3-256 3×3 Conv3-512 3×3 Conv3-64 3×3 Conv3-64 1×1 Conv3-64 3×3 卷积层2 Conv3-128 3×3 Conv3-64 3×3 Conv3-64 1×1 Conv3-64 3×3 Conv3-64 1×3 卷积层3 — — — Conv3-64 1×1 Conv3-64 3×1 池化层1 Maxpool Maxpool Maxpool Maxpool Maxpool 卷积层4 Conv3-256 3×3 Conv3-128 3×3 Conv3-256 3×3 Conv3-256 1×1 Conv3-128 3×3 卷积层5 Conv3-128 3×3 Conv3-64 3×3 Conv3-256 1×1 Conv3-2563×3 Conv3-128 1×3 卷积层6 Conv3-256 3×3 — — Conv3-256 1×1 Conv3-128 3×1 池化层2 Maxpool Maxpool Maxpool Maxpool Maxpool 过拟合层1 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 卷积层7 Conv3-128 3×3 Conv3-512 3×3 Conv3-512 3×3 Conv3-512 1×1 Conv3-256 3×3 卷积层8 Conv3-256 3×3 Conv3-64 3×3 Conv3-512 1×1 Conv3-512 3×3 Conv3-256 1×3 卷积层9 Conv3-64 3×3 — — Conv3-512 1×1 Conv3-256 3×1 池化层3 — Maxpool Maxpool Maxpool Maxpool 卷积层10 — Conv3-128 3×3 Conv3-128 3×3 Conv3-128 1×1 Conv3-512 3×3 卷积层11 — Conv3-64 3×3 Conv3-128 1×1 Conv3-128 3×3 Conv3-512 1×3 卷积层12 — — — Conv3-128 1×1 Conv3-512 3×1 池化层4 Global Maxpool Global Maxpool Global Maxpool Global Maxpool GlobalMaxpool 第 6 期 汤礼颖，等：一种卷积神经网络集成的多样性度量方法 ·1033·
·1034- 智能系统学报 第16卷 续表3 结构 Model 8 Model 10 Model 12 Model 13 Model 14 拉平 fatten fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(68) Dense(69) Dense(70) Dense(71) Dense(72) 输出层 Softmax Softmax Softmax Softmax Softmax 3.2实验环境及评价指标 学习器，并计算模型间多样性值：测试集则用于 本实验采用的是Windows10系统的GTX1 对各种基模型和集成模型的预测效果进行验证和 660Ti6GB独立显卡实验平台。在Window10系 对比。CIFAR-10数据集分为10个类，每个类有 统下，所有网络均基于深度学习框架Tensorflow2.0 6000张图片；CIFAR-100数据集有20个超类，每 实现。 个超类分为5个小类，总计100分类，每个分类包 模型的性能评价指标包括训练集、验证集、 含600张图片。 测试集的准确性(Accuracy,简称Aec),是衡量模 3.4实验结果分析 型正确分类的标准。其中测试集的准确率直接反 3.4.1基模型预测结果 映了模型的预测能力，见式(9)所示： 基学习器模型分别在CIFAR-10和CIFAR- 16，=fc》 100数据集上进行训练，使用SGD优化器22更新 (9) m 权重，对训练数据集首先进行图像预处理，包括 j 图像归一化和数据集打乱，批量规范化之后训练 式中：m是已标记样本集Z={亿1,2，…，m中样本个 单批次大小为128。经过反复实验，卷积神经网 数；y是类标签；f(x)为模型预测结果；1是条件判 络模型大概在200次迭代之后已经完全收敛，识 断函数。 别率达到了最高，故Epochs值设置为200：在卷积 3.3实验数据集 操作中使用ReLUP1激活函数，添加L2正则化处 CIFAR-10和CIFAR-100数据集是用于普适 理，参数设置1为0.001；利用Dropout防止过拟 物体识别的图像分类数据集，由A1ex等20-2川收 合，设置为0.25；采用分段学习率训练方式，初始 集。CIFAR-10和CIFAR-100数据集都包含60000 学习率设为0.01，动量系数均为0.9：权重初始化 张32像素×32像素的彩色图片，分别为训练集 采用He正态分布初始化器，偏差初始化为零。 50000张和测试集10000张，训练集用于训练基 单个基模型经过训练后的预测结果如表4所示。 表419个候选基模型预测结果A Table 4 Prediction results A of 19 candidate basic models % 基模型 CIFAR-10 CIFAR-100 基模型 CIFAR-10 CIFAR-100 model_1 90.81 67.41 model 11 88.85 62.55 model_2 91.23 65.43 model 12 88.33 61.30 model_3 89.44 63.12 model 13 88.97 62.04 model 4 90.25 65.07 model 14 88.73 62.98 model 5 90.82 66.46 model 15 51.47 63.29 model_6 87.99 62.12 model 16 80.92 53.89 model_7 90.72 65.13 model_17 79.17 50.65 model 8 91.00 66.50 model 18 81.00 49.80 model 9 88.87 61.75 model 19 60.76 36.75 model 10 89.11 62.86 由表4可知，基模型15~19的预测准确性较 在CIFAR-10数据集上得到的多样性统计值最大 低，考虑到模型集成之后的效果，初步筛选出基 的两分类器集成模型，表6是表5得到的两分类 模型1~14作为初筛选基模型。 器集成模型在测试集上的预测结果。同理，表7 3.4.2基于CIFAR-10数据集的多样性分析 是得到的多样性统计值最大的三分类器集成模 表5是3种传统多样性方法和本文方法分别 型，表8是其预测结果；表9是得到的多样性统计
3.2 实验环境及评价指标 本实验采用的是 Windows10 系统的 GTX1 660Ti 6 GB 独立显卡实验平台。在 Window10 系 统下，所有网络均基于深度学习框架 Tensorflow2.0 实现。 模型的性能评价指标包括训练集、验证集、 测试集的准确性（Accuracy, 简称 Acc），是衡量模 型正确分类的标准。其中测试集的准确率直接反 映了模型的预测能力，见式 (9) 所示： Acc = 1 m ∑m j=1 I ( yj = f ( xj )) (9) Z = {z1,z2,··· ,zm} yj f ( xj ) I 式中：m 是已标记样本集 中样本个 数； 是类标签； 为模型预测结果； 是条件判 断函数。 3.3 实验数据集 CIFAR-10 和 CIFAR-100 数据集是用于普适 物体识别的图像分类数据集，由 Alex 等 [20-21] 收 集。CIFAR-10 和 CIFAR-100 数据集都包含 60 000 张 32 像素×32 像素的彩色图片，分别为训练集 50 000 张和测试集 10 000 张，训练集用于训练基 学习器，并计算模型间多样性值；测试集则用于 对各种基模型和集成模型的预测效果进行验证和 对比。CIFAR-10 数据集分为 10 个类，每个类有 6 000 张图片；CIFAR-100 数据集有 20 个超类，每 个超类分为 5 个小类，总计 100 分类，每个分类包 含 600 张图片。 3.4 实验结果分析 3.4.1 基模型预测结果 基学习器模型分别在 CIFAR-10 和 CIFAR- 100 数据集上进行训练，使用 SGD 优化器[22] 更新 权重，对训练数据集首先进行图像预处理，包括 图像归一化和数据集打乱，批量规范化之后训练 单批次大小为 128。经过反复实验，卷积神经网 络模型大概在 200 次迭代之后已经完全收敛，识 别率达到了最高，故 Epochs 值设置为 200；在卷积 操作中使用 ReLU[23] 激活函数，添加 L2 正则化处 理，参数设置 λ 为 0.001；利用 Dropout 防止过拟 合，设置为 0.25；采用分段学习率训练方式，初始 学习率设为 0.01，动量系数均为 0.9；权重初始化 采用 He 正态分布初始化器，偏差初始化为零。 单个基模型经过训练后的预测结果如表 4 所示。 表 4 19 个候选基模型预测结果 Acc Table 4 Prediction results Acc of 19 candidate basic models % 基模型 CIFAR-10 CIFAR-100 基模型 CIFAR-10 CIFAR-100 model_1 90.81 67.41 model_11 88.85 62.55 model_2 91.23 65.43 model_12 88.33 61.30 model_3 89.44 63.12 model_13 88.97 62.04 model_4 90.25 65.07 model_14 88.73 62.98 model_5 90.82 66.46 model_15 51.47 63.29 model_6 87.99 62.12 model_16 80.92 53.89 model_7 90.72 65.13 model_17 79.17 50.65 model_8 91.00 66.50 model_18 81.00 49.80 model_9 88.87 61.75 model_19 60.76 36.75 model_10 89.11 62.86 由表 4 可知，基模型 15~19 的预测准确性较 低，考虑到模型集成之后的效果，初步筛选出基 模型 1~14 作为初筛选基模型。 3.4.2 基于 CIFAR-10 数据集的多样性分析 表 5 是 3 种传统多样性方法和本文方法分别 在 CIFAR-10 数据集上得到的多样性统计值最大 的两分类器集成模型，表 6 是表 5 得到的两分类 器集成模型在测试集上的预测结果。同理，表 7 是得到的多样性统计值最大的三分类器集成模 型，表 8 是其预测结果；表 9 是得到的多样性统计 续表 3 结构 Model_8 Model_10 Model_12 Model_13 Model_14 拉平 fatten fatten fatten fatten fatten 过拟合层2 Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) Dropout(0.25) 全连接层 Dense(68) Dense(69) Dense(70) Dense(71) Dense(72) 输出层 Softmax Softmax Softmax Softmax Softmax ·1034· 智 能 系 统 学 报 第 16 卷