一种模糊认知图分类器构造方法

D0L:10.13374.issn1001-053x.2012.05.019 第34卷第5期 北京科技大学学报 Vol.34 No.5 2012年5月 Journal of University of Science and Technology Beijing May 2012 一种模糊认知图分类器构造方法 马 楠2》器杨炳儒) 翟云1，》李广原》 张德政” 1)北京科技大学计算机与通信工程学院，北京1000832)北京联合大学信息学院，北京100101 3)聊城大学计算机学院，聊城252000 g通信f作者：E-mail:mamunan@yahoo.com.cm 摘要提出了一种新的模糊认知图分类器模型构造方法，它包括构建流程、激活函数、推理规则和学习方法等核心构件.模 型利用提出的动态交叉变异算子自适应遗传进化过程，实现种群间自动调节和自动适应.仿真实验表明：本文提出的模型增 强了局部随机搜索能力，加强了算法的全局收敛能力，与其他经典分类方法相比，不但性能较好，而且具有较强的抗噪能力， 从而具有更强的鲁棒性 关键词模糊认知图：分类器：分类；模糊集合论：学习算法 分类号TP181 Classifier construction based on the fuzzy cognitive map MA Nan',YANG Bing-ru,ZHAI Yun!,LI Guang-yuan,ZHANG De-zheng" 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)College of Information Technology,Beijing Union University,Beijing 100101,China 3)College of Computer Science,Liaocheng University,Liaocheng 252000,China Corresponding author,E-mail:mamunan@yahoo.com.cn ABSTRACT A novel construction method of classifier models based on the fuzzy cognitive map was proposed,which consists of model structure,activation functions,inference rules and learning algorithms.The model employs dynamically self-adaptive crossover and mutation operators to automatically adjust the evolution process within populations.Simulation experiments prove that the model enhances the capabilities of local random search and global convergence.Compared with other classical classification algorithms,the model not only shows a better classification performance,but also has powerful noise-immune ability which renders it robust. KEY WORDS fuzzy cognitive map:classifiers;classification:fuzzy set theory:learning algorithms Kosko0于1986年在Axelord的三值认知图回 过程中具有灵活的适应性和较强的模糊推理能力. 基础上，结合模糊集合论提出把概念节点间的三值 除此之外，模糊认知图还被应用到医疗事故诊 逻辑关系扩展为[-1,1]区间上的模糊关系，即提 断的、电路分析因、分布式网络环境管理)、软件发 出了模糊认知图(fuz四cognitive map,FCM)理论， 展项目建模以及虚拟世界建模回、Wb关联规则 指出模糊认知图的有限输入状态可在虚拟空间中开 挖掘o、Agent推理m等领域.模糊认知图应用的 辟一条通路，简单模糊认知图的通路可能终止于一 广度和深度充分证明了模糊认知图建模技术的有效 个不动点或极限环，在具有反馈的复杂模糊认知图 性与普适性. 中这条通路可能终止于“混沌”奇异吸子回.作为 近些年来，有些学者将模糊认知图在分类方面 一种软计算技术，模糊认知图己被广泛应用到动态 做了一些研究，并取得了一些可喜的成果.如文献 系统建模0中，并显示出了突出的优越性，更重要 12]构造了一种简易的模糊认知图分类器并验证 的是，它不仅简单容易理解，而且在系统设计和控制 了其有效性，使用模糊认知图进行分类推理，模拟分 收稿日期：20110705 基金项目：国家自然科学基金资助项目(61175048)：国家重点基础研究发展计划(2009CB522701):北京市属高等学校人才强教计划资助项 目PHR(IHLB)

第 34 卷 第 5 期 2012 年 5 月 北京科技大学学报 Journal of University of Science and Technology Beijing Vol． 34 No． 5 May 2012 一种模糊认知图分类器构造方法 马 楠1，2) 杨炳儒1) 翟 云1，3) 李广原1) 张德政1) 1) 北京科技大学计算机与通信工程学院，北京 100083 2) 北京联合大学信息学院，北京 100101 3) 聊城大学计算机学院，聊城 252000 通信作者: E-mail: mamunan@ yahoo． com． cn 摘 要 提出了一种新的模糊认知图分类器模型构造方法，它包括构建流程、激活函数、推理规则和学习方法等核心构件． 模 型利用提出的动态交叉变异算子自适应遗传进化过程，实现种群间自动调节和自动适应． 仿真实验表明: 本文提出的模型增 强了局部随机搜索能力，加强了算法的全局收敛能力，与其他经典分类方法相比，不但性能较好，而且具有较强的抗噪能力， 从而具有更强的鲁棒性． 关键词 模糊认知图; 分类器; 分类; 模糊集合论; 学习算法 分类号 TP181 Classifier construction based on the fuzzy cognitive map MA Nan1，2) ，YANG Bing-ru1) ，ZHAI Yun1，3) ，LI Guang-yuan1) ，ZHANG De-zheng1) 1) School of Computer and Communication Engineering，University of Science and Technology Beijing，Beijing 100083，China 2) College of Information Technology，Beijing Union University，Beijing 100101，China 3) College of Computer Science，Liaocheng University，Liaocheng 252000，China Corresponding author，E-mail: mamunan@ yahoo． com． cn ABSTRACT A novel construction method of classifier models based on the fuzzy cognitive map was proposed，which consists of model structure，activation functions，inference rules and learning algorithms． The model employs dynamically self-adaptive crossover and mutation operators to automatically adjust the evolution process within populations． Simulation experiments prove that the model enhances the capabilities of local random search and global convergence． Compared with other classical classification algorithms，the model not only shows a better classification performance，but also has powerful noise-immune ability which renders it robust． KEY WORDS fuzzy cognitive map; classifiers; classification; fuzzy set theory; learning algorithms 收稿日期: 2011--07--05 基金项目: 国家自然科学基金资助项目( 61175048) ; 国家重点基础研究发展计划( 2009CB522701) ; 北京市属高等学校人才强教计划资助项 目 PHR( IHLB) Kosko ［1］于 1986 年在 Axelord 的三值认知图［2］ 基础上，结合模糊集合论提出把概念节点间的三值 逻辑关系扩展为［－ 1，1］区间上的模糊关系，即提 出了模糊认知图( fuzzy cognitive map，FCM) 理论， 指出模糊认知图的有限输入状态可在虚拟空间中开 辟一条通路，简单模糊认知图的通路可能终止于一 个不动点或极限环，在具有反馈的复杂模糊认知图 中这条通路可能终止于“混沌”奇异吸子［3］． 作为 一种软计算技术，模糊认知图已被广泛应用到动态 系统建模［4］中，并显示出了突出的优越性，更重要 的是，它不仅简单容易理解，而且在系统设计和控制 过程中具有灵活的适应性和较强的模糊推理能力． 除此 之 外，模糊认知图还被应用到医疗事故诊 断［5］、电路分析［6］、分布式网络环境管理［7］、软件发 展项目建模［8］以及虚拟世界建模［9］、Web 关联规则 挖掘［10］、Agent 推理［11］等领域． 模糊认知图应用的 广度和深度充分证明了模糊认知图建模技术的有效 性与普适性． 近些年来，有些学者将模糊认知图在分类方面 做了一些研究，并取得了一些可喜的成果． 如文献 ［12］构造了一种简易的模糊认知图分类器并验证 了其有效性，使用模糊认知图进行分类推理，模拟分 DOI:10.13374/j.issn1001-053x.2012.05.019

第5期 马楠等：一种模糊认知图分类器构造方法 ·591· 类过程或分类系统，即将分类过程看成是模糊认知 定义2邻接矩阵：考虑模糊认知图的概念节 图的状态转换过程.文献3]将模糊认知图用于文 点C1,C2,…,C:,…,Cn,假设有向图通过边权重e∈ 本分类推理，该方法基于数值推理，实现将统计与规 [-1,1],形成矩阵E=(ea),其中e是有向边C:、C 则融合推理，灵活性较大，不需要语料的多次训练， 的权重，即C:对C的影响程度.如果e:>0,意味着 适合于训练不充分和新主题的文本分类.文献4] 因果影响增加，若C:的属性值增加，则C的属性值 提出了一种基于模糊认知图的Wb文本分类器. 亦增加；如果e:<0,意味着因果影响降低，若C:的 文献5]则将模糊认知图分类模型用于人眼感知 属性值增加，则C的属性值降低；如e,=0,则说明 模式识别，以此来研究人的视觉行为与认知过程的 C:与C之间无因果关系. 内在关联 将模糊认知图视为动态系统，随时间推移最终 尽管上述方法均将模糊认知图用于分类过程， 得到特定固定状态，可得到模糊认知图的邻接矩阵 在一定程度上拓展了它的应用范畴，但是还存在着 E,也称作模糊认知图的邻接矩阵 若干亟需解决的问题：这些方法没有提出一整套基 于模糊认知图的分类解决方案，没有从内在认知的 2 模糊认知图分类器 角度去认识模糊认知图分类机理，进而无法从分类 2.1定义 模型、学习方法和推理机制等各个方面系统地研究 模糊认知图通过学习可以到达三种基本状态： 模糊认知图分类器的工作原理.基于此，本文提出 固定平衡点、有限环和混沌状态.当模糊认知图到 了一种基于新的模糊认知图分类器构造方法，试图 达一个固定平衡点或有限环时，赋予它初始值，通过 就上述问题做深入探讨. 学习，它最终趋于收敛状态，系统最终的状态与激活 1 模糊认知图 系统状态一致回.上述结论为模糊认知图在特定环 境下实现分类功能提供了理论依据.由此可以断 定义1模糊认知图：模糊认知图是由节点以 定，当输入样本通过模糊认知图分类器，达到平衡点 及联结节点的有向边组成的模糊有向图.节点也称 时的状态值即为该样本所属类别.基于此，下面给 作概念节点，概念节点之间有向边的权重表示概念 出模糊认知图分类器的一般定义. 节点之间的因果关系 定义3模糊认知图分类模型M是个五元组， 设在模糊认知图中节点集I={C,C2,…,C} M={X,F,L,I,Y,其中X是输入样本集，X={x1, 为有限集，对于I中两个不同的节点C:和C,若存在 2,x3,…,x,…,xn-1,xn},n为样本数量；F是激活 有向边的权重e≠0，则称C,对C,有直接关联作用， 函数；L是学习方法：I是推理规则：Y是样本所属类 记作C:→C若存在互不相同的节点C:+1,C:+2,…, 别.当在M中输入X时，通过推理规则，得到Y= C:+k∈1，使得C:→C:+1→C:+2,C:+k→C,成立，则称C: f(x).称具有上述特征的分类模型M为模糊认知图 通过有向边0+D=（C:,C+1),0+wG+2》=（C+1, 分类器. C:+2),,,=(C:+C)对C,有间接关联作用， 2.2模型结构 也称C:通过节点C+1,C+2,…,C+k对C,有间接关 下面给出一个基于模糊认知图的分类器模型 联作用，记为C→(C+1C+2,…,C+)→C (FCM classifier model,FCMCM),结构如图1所示. 特征1 类 、特征i-1 类2 输人 数据集 数据预处理 反馈自动机 输出类别 特征 特征n 4 图1模糊认知图分类器模型 Fig.1 Classifier model based on the fuzzy cognitive map

第 5 期 马 楠等: 一种模糊认知图分类器构造方法 类过程或分类系统，即将分类过程看成是模糊认知 图的状态转换过程． 文献［13］将模糊认知图用于文 本分类推理，该方法基于数值推理，实现将统计与规 则融合推理，灵活性较大，不需要语料的多次训练， 适合于训练不充分和新主题的文本分类． 文献［14］ 提出了一种基于模糊认知图的 Web 文本分类器． 文献［15］则将模糊认知图分类模型用于人眼感知 模式识别，以此来研究人的视觉行为与认知过程的 内在关联． 尽管上述方法均将模糊认知图用于分类过程， 在一定程度上拓展了它的应用范畴，但是还存在着 若干亟需解决的问题: 这些方法没有提出一整套基 于模糊认知图的分类解决方案，没有从内在认知的 角度去认识模糊认知图分类机理，进而无法从分类 模型、学习方法和推理机制等各个方面系统地研究 模糊认知图分类器的工作原理． 基于此，本文提出 了一种基于新的模糊认知图分类器构造方法，试图 就上述问题做深入探讨． 1 模糊认知图 定义 1 模糊认知图: 模糊认知图是由节点以 及联结节点的有向边组成的模糊有向图． 节点也称 作概念节点，概念节点之间有向边的权重表示概念 节点之间的因果关系． 设在模糊认知图中节点集 I = { C1，C2，…，Cn } 为有限集，对于 I 中两个不同的节点 Ci和 Cj ，若存在 有向边的权重 eij≠0，则称 Ci对 Cj有直接关联作用， 记作 Ci→Cj ． 若存在互不相同的节点 Ci + 1，Ci + 2，…， Ci + k∈I，使得 Ci→Ci + 1→Ci + 2，Ci + k→Cj成立，则称 Ci 通过有向边 wi( i + 1) = ( Ci，Ci + 1 ) ，w( i + 1) ( i + 2) = ( Ci + 1， Ci + 2 ) ，…，w( i + k) j = ( Ci + k，Cj ) 对 Cj有间接关联作用， 也称 Ci通过节点 Ci + 1，Ci + 2，…，Ci + k对 Cj有间接关 联作用，记为 Ci→( Ci + 1，Ci + 2，…，Ci + k ) →Cj ． 定义 2 邻接矩阵: 考虑模糊认知图的概念节 点 C1，C2，…，Ci，…，Cn，假设有向图通过边权重eij∈ ［－ 1，1］，形成矩阵 E = ( eij ) ，其中 eij是有向边 Ci、Cj 的权重，即 Ci对 Cj的影响程度． 如果 eij ＞ 0，意味着 因果影响增加，若 Ci 的属性值增加，则 Cj 的属性值 亦增加; 如果 eij ＜ 0，意味着因果影响降低，若 Ci 的 属性值增加，则 Cj 的属性值降低; 如 eij = 0，则说明 Ci 与 Cj 之间无因果关系． 将模糊认知图视为动态系统，随时间推移最终 得到特定固定状态，可得到模糊认知图的邻接矩阵 E，也称作模糊认知图的邻接矩阵． 2 模糊认知图分类器 2. 1 定义 模糊认知图通过学习可以到达三种基本状态: 固定平衡点、有限环和混沌状态． 当模糊认知图到 达一个固定平衡点或有限环时，赋予它初始值，通过 学习，它最终趋于收敛状态，系统最终的状态与激活 系统状态一致［2］． 上述结论为模糊认知图在特定环 境下实现分类功能提供了理论依据． 由此可以断 定，当输入样本通过模糊认知图分类器，达到平衡点 时的状态值即为该样本所属类别． 基于此，下面给 出模糊认知图分类器的一般定义． 定义 3 模糊认知图分类模型 M 是个五元组， M = { X，F，L，I，Y} ，其中 X 是输入样本集，X = { x1， x2，x3，…，xi，…，xn － 1，xn } ，n 为样本数量; F 是激活 函数; L 是学习方法; I 是推理规则; Y 是样本所属类 别． 当在 M 中输入 X 时，通过推理规则，得到Y = f( x) ． 称具有上述特征的分类模型 M 为模糊认知图 分类器． 2. 2 模型结构 下面给出一个基于模糊认知图的分类器模型 ( FCM classifier model，FCMCM) ，结构如图 1 所示． 图 1 模糊认知图分类器模型 Fig． 1 Classifier model based on the fuzzy cognitive map ·591·

·592 北京科技大学学报 第34卷 训练阶段，模糊认知图分类器模型的分类算法 知图分类器的节点分为两种类型：属性节点和标签 描述如下. 节点.属性节点表示了样本的某个属性；而标签节 输入：训练集X={(x1,y1),(x2,y2),…,（xn, 点则标注了该样本所属类别.在分类过程中，属性 y)},激活函数F,学习方法L,推理规则L. 节点的值是保持不变的，标签节点的值则随着模糊 输出：模糊认知图分类器模型. 认知图推理过程的不断进行而变化，当模糊认知图 STEP1数据预处理，包括清洗数据、去噪等； 经过若干次迭代后，最终拟合到某一特定类别.基 STEP2数据进入模糊认知图分类器模型后经 于此，本文采用了如下推理规则的： 过输入层进入分类机，在图1中可视为神经网络的 (4) 隐藏层： =f4,）=f+∑W4） =1,i STEP3启动反馈自动机； 式中：t为第t次迭代（第t时刻）；A为节点A:在t STEP4输出模糊认知图分类器模型. 时刻的状态值：W为在1时刻A对A,的关联权值. 在STEP3中，反馈自动机主要提供分类决策功 可见，式(4)则揭示了一个节点的k个邻居节点对 能，有以下两种运行机制 该节点在下一时刻状态值的共同影响 第一种称为收敛机制，即模糊认知图分类器模 2.5学习方法 型收敛到唯一的平衡态（一类）或有限环（多类），保 在模型学习过程中，本文采用了改进的遗传 存该状态下的所有状态参数，同时终止算法：否则继 算法 续执行演化过程，直到到达平衡态 2.5.1染色体构造 第二种运行机制称为误差机制，即利用总错误 定义4令模糊认知图分类器模型的邻接矩阵 率Eπ指标作为终止条件设置的标准 为E=(e),e同定义2，模型学习过程中，染色体矩 T 1An(t)-A(t)12 阵定义为它=[ei,e2,eiB,…,eim,ei,e2,…,e2m, …,emm]T,考虑到对Hi,ei=0,故ei未加至染色体 式中：l为规范化因子，l=TxMA()为第t次迭 矩阵中.此时，E=[e2,e3,…eim,ei,…,e2m，…, 代（第t时刻）第m节点的输出值，而A:(t)为该节 es.m-1]T 点真实状态值.s为误差阈值，当Er≤E时算法终 模型学习的最终目标要生成稳定的染色体矩 止，实验中E=0.01. 阵，由该矩阵可反推出邻接矩阵，即e=e分 2.3激活函数 2.5.2遗传算子 在模型学习过程中，节点的值必须控制在一定 选择：采用轮盘赌选择方法.对于给定的规模 范围内，这就需要借助激活函数.常见的激活函数 为m的群体G={x1,x2,…,xm},个体x:的适应度 有以下三种类型 为f,则x:被选择的概率为 分段函数： P= f f(x)= 0, x≤0： (5) (1) 1, x>0. 三段函数： 交叉和变异：在学习过程中，交叉概率和变异概 -1 x≤-0.5： 率在影响模型学习行为和性能方面起到了关键作 五(x) 0, -0.5<x<0.5: (2) 用，直接影响到算法的收敛性.为此，本文提出一种 1, x≥0.5. 自适应交叉变异算子，使交叉概率P。和变异概率 Sigmod函数： P能随适应度自动改变.具体做法为：当算法收敛 1 f(x)=1+e (3) 时，减小P。,增大P,即降低交叉概率，提高变异概 率，以保持个体的多样性，同时避免了种群早熟；当 式(3)中，入>0，决定了Sigmod函数的形状.在模糊 个体发散时，增大P。,减小P,即提高P。,降低P, 认知图分类器中，本文设置入=1，从而保证始终位 使算法趋于收敛 于f(x)在D,1]区间. 2.4推理规则 Pk((-TFimncse-Fimnese"T 考虑到分类过程自身的特殊性，本文把模糊认 (6)

北 京 科 技 大 学 学 报 第 34 卷 训练阶段，模糊认知图分类器模型的分类算法 描述如下． 输入: 训练集 X = { ( x1，y1 ) ，( x2，y2 ) ，…，( xn， yn ) } ，激活函数 F，学习方法 L，推理规则 I． 输出: 模糊认知图分类器模型． STEP 1 数据预处理，包括清洗数据、去噪等; STEP 2 数据进入模糊认知图分类器模型后经 过输入层进入分类机，在图 1 中可视为神经网络的 隐藏层; STEP 3 启动反馈自动机; STEP 4 输出模糊认知图分类器模型． 在 STEP 3 中，反馈自动机主要提供分类决策功 能，有以下两种运行机制． 第一种称为收敛机制，即模糊认知图分类器模 型收敛到唯一的平衡态( 一类) 或有限环( 多类) ，保 存该状态下的所有状态参数，同时终止算法; 否则继 续执行演化过程，直到到达平衡态． 第二种运行机制称为误差机制，即利用总错误 率 Err 指标作为终止条件设置的标准． Err = l ∑ T t = 1 ∑ M m = 1 | Am ( t) － A' m ( t) | 2 ． 式中: l 为规范化因子，l = 1 T × M; Am ( t) 为第 t 次迭 代( 第 t 时刻) 第 m 节点的输出值，而 A' m ( t) 为该节 点真实状态值． ε 为误差阈值，当 Err≤ε 时算法终 止，实验中 ε = 0. 01． 2. 3 激活函数 在模型学习过程中，节点的值必须控制在一定 范围内，这就需要借助激活函数． 常见的激活函数 有以下三种类型． 分段函数: f1 ( x) = 0， x≤0; {1， x ＞ 0． ( 1) 三段函数: f2 ( x) = － 1， x≤ － 0. 5; 0， － 0. 5 ＜ x ＜ 0. 5; 1， x≥0. 5 { ． ( 2) Sigmod 函数: f3 ( x) = 1 1 + e － λx ． ( 3) 式( 3) 中，λ ＞ 0，决定了 Sigmod 函数的形状． 在模糊 认知图分类器中，本文设置 λ = 1，从而保证始终位 于 f( x) 在［0，1］区间． 2. 4 推理规则 考虑到分类过程自身的特殊性，本文把模糊认 知图分类器的节点分为两种类型: 属性节点和标签 节点． 属性节点表示了样本的某个属性; 而标签节 点则标注了该样本所属类别． 在分类过程中，属性 节点的值是保持不变的，标签节点的值则随着模糊 认知图推理过程的不断进行而变化，当模糊认知图 经过若干次迭代后，最终拟合到某一特定类别． 基 于此，本文采用了如下推理规则［15］: At + 1 i = f( At i，Wt ji ) = ( f At i + ∑ k i = 1，i≠j Wt jiA ) t j ． ( 4) 式中: t 为第 t 次迭代( 第 t 时刻) ; At i 为节点 Ai 在 t 时刻的状态值; Wt ji为在 t 时刻 Aj 对 Ai 的关联权值． 可见，式( 4) 则揭示了一个节点的 k 个邻居节点对 该节点在下一时刻状态值的共同影响． 2. 5 学习方法 在模型学习过程中，本文采用了改进的遗传 算法． 2. 5. 1 染色体构造 定义 4 令模糊认知图分类器模型的邻接矩阵 为 E = ( eij ) ，eij同定义 2，模型学习过程中，染色体矩 阵定义为 E 槇 =［e' 11，e' 12，e' 13，…，e' 1m，e' 21，e' 22，…，e'2m， …，e'mm］T ，考虑到对i，e' ii = 0，故 e' ii未加至染色体 矩阵中． 此时，^ E' =［e' 12，e' 13，…，e' 1m，e' 21，…，e' 2m，…， e' m，m － 1］T ． 模型学习的最终目标要生成稳定的染色体矩 阵，由该矩阵可反推出邻接矩阵，即 eij = e' ij ． 2. 5. 2 遗传算子 选择: 采用轮盘赌选择方法． 对于给定的规模 为 m 的群体 G = { x1，x2，…，xm } ，个体 xi 的适应度 为 fi，则 xi 被选择的概率为 P = fi ∑ m i = 1 fi ． ( 5) 交叉和变异: 在学习过程中，交叉概率和变异概 率在影响模型学习行为和性能方面起到了关键作 用，直接影响到算法的收敛性． 为此，本文提出一种 自适应交叉变异算子，使交叉概率 Pc 和变异概率 Pm 能随适应度自动改变． 具体做法为: 当算法收敛 时，减小 Pc，增大 Pm，即降低交叉概率，提高变异概 率，以保持个体的多样性，同时避免了种群早熟; 当 个体发散时，增大 Pc，减小 Pm，即提高 Pc，降低 Pm， 使算法趋于收敛． Pci = k1 ( 1 1 + exp( － | Fitness' － Fitness″| ) + ) 1 2 ， ( 6) ·592·

第5期 马楠等：一种模糊认知图分类器构造方法 ·593· 1 P=1-1+exp (I Fitness-Fitness"1)' (7) 1.0 式中：P和P分别表示第i个种群的交叉概率和变 异概率；Fitness表示适应度大于该种群个体平均适 应度的个体平均适应度；itness"表示适应度小于该 种群个体平均适应度的所有个体平均适应度；参数 0.4 k1>0,k2<0. 2.5.3终止条件 在模型学习过程中，适度的终止条件对分类性 50 100150200250300 迭代次数 能至关重要.本文利用总错误率Er指标作为终止 条件设置的标准.Er的设置方法参见2.2节.当 图2不同迭代次数下的算法精度 Fig.2 Accuracy of the algorithms in different iterations Er≤ε时算法终止 3.3性能比较 3 实验验证 为更好地体现对比实验的有效性，用本文模型 3.1数据集 与C4.5、SVM和BP神经网络这三种经典的分类方 综合样本集的样本规模、属性个数等因素，选用 法进行了比较.其中，BP神经网络输入层神经元数 差异较大的四个UCI数据集6，如表1所示.为方 目由各数据集属性个数m决定，网络输出应为分类 便测试，对这四个数据集进行如下处理：Car采用 结果，其数目应与各数据集期望输出结果（类别）数 Unacc和Acc两类样本，它们占样本总量的 目相对应，采用包含一个隐层的神经网络结构，经 92.24%,其中将Unace标为类别1，Acc标注为类别 比较计算，隐层神经元数目定为8.因此，网络结构 0:Iis采用Setosa和Versicolour两类样本，占Iris总 为m8m.实验采用了Sigmod函数，参见式(3)，学 样本数量的66.7%，其中将Setosa标为类别1， 习速率取7=0.01，最大训练迭代为1000次 Versicolour标注为类别0：Wine采用其中的Class1 SVM最初用于解决模式识别问题，主要思想 和Class2类样本，占Wine总样本数量的70.0%，实 是：通过某种事先定义的非线性映射，将输入向量映 验中分别被标注为1类和0类：所有数据集属性值 射到一个高维特征空间，在这个空间中构成一个超 均为实数.Steel Annealing是较难处理的数据集，去 平面作为决策曲面.它克服了神经网络学习过程中 掉其中的非实数型属性，并利用过滤器清除噪声数 易过学习、欠学习的缺点，常用于小样本、高维、非线 据叼，选取Class3和Class5两类样本，分别标注为 性的数据集分类问题中.实验中，取RBF(radial 1类和0类，它们占样本总量的85%. basis function)为算法核函数阁，即 表1实验采用UCI数据集 Table 1 UCI data set =-2] 数据集 属性数目 类数目 样本数量 实验中，=1.0，惩罚因子C=10.实验结果如 Car 6 4 1728 图3所示 Iris 4 3 150 由图3可知：在Car、ris、Wine和Steel Annea- Wine 13 3 178 lig四个数据集中，本文模型均好于其他三种分类 Steel annealing 子 798 方法：C4.5、SVM与BP神经网络三种方法性能互有 优劣，其中除Steel Annealing外，SVM在其他三个数 3.2算法参数对模糊认知图分类器模型的影响 据集上性能均不逊于C4.5和BP神经网络（在 为了测试在不同的循环次数对模型运行精度的 Wine数据集上SVM和BP神经网络性能相当)：除 影响，分别考虑采用循环次数在50、100、150、200、 Steel Annealing外，BP神经网络在其他三个数据集 250和300次的情况下，模型在四个数据集上的收 上性能均优于C4.5. 敛情况.算法运行完毕后，模型的收敛情况如图2 3.4噪声对分类性能的影响 所示. 为比较分类器鲁棒性能，采用文献19]的方法 可以看到：尽管在四个数据集上略有区别，但在 按不同噪声测度r在四个UCI数据集中增加噪声， 循环次数达到200次以后，FCMCM均趋向稳定. 按照T=0、?=5%、?=10%和T=15%不同噪声测

第 5 期 马 楠等: 一种模糊认知图分类器构造方法 Pmi = 1 － 1 1 + exp( k2 | Fitness' － Fitness″| ) ． ( 7) 式中: Pci和 Pmi分别表示第 i 个种群的交叉概率和变 异概率; Fitness'表示适应度大于该种群个体平均适 应度的个体平均适应度; Fitness″表示适应度小于该 种群个体平均适应度的所有个体平均适应度; 参数 k1 ＞ 0，k2 ＜ 0． 2. 5. 3 终止条件 在模型学习过程中，适度的终止条件对分类性 能至关重要． 本文利用总错误率 Err 指标作为终止 条件设置的标准． Err 的设置方法参见 2. 2 节． 当 Err≤ε 时算法终止． 3 实验验证 3. 1 数据集 综合样本集的样本规模、属性个数等因素，选用 差异较大的四个 UCI 数据集［16］，如表 1 所示． 为方 便测试，对这四个数据集进行如下处理: Car 采用 Unacc 和 Acc 两 类 样 本，它们占样本总量的 92. 24% ，其中将 Unacc 标为类别 1，Acc 标注为类别 0; Iris 采用 Setosa 和 Versicolour 两类样本，占 Iris 总 样本 数 量 的 66. 7% ，其 中 将 Setosa 标 为 类 别 1， Versicolour标注为类别 0; Wine 采用其中的 Class 1 和 Class 2 类样本，占 Wine 总样本数量的70. 0% ，实 验中分别被标注为 1 类和 0 类; 所有数据集属性值 均为实数． Steel Annealing 是较难处理的数据集，去 掉其中的非实数型属性，并利用过滤器清除噪声数 据［17］，选取 Class 3 和 Class 5 两类样本，分别标注为 1 类和 0 类，它们占样本总量的 85% ． 表 1 实验采用 UCI 数据集 Table 1 UCI data set 数据集 属性数目 类数目 样本数量 Car 6 4 1 728 Iris 4 3 150 Wine 13 3 178 Steel annealing 38 5 798 3. 2 算法参数对模糊认知图分类器模型的影响 为了测试在不同的循环次数对模型运行精度的 影响，分别考虑采用循环次数在 50、100、150、200、 250 和 300 次的情况下，模型在四个数据集上的收 敛情况． 算法运行完毕后，模型的收敛情况如图 2 所示． 可以看到: 尽管在四个数据集上略有区别，但在 循环次数达到 200 次以后，FCMCM 均趋向稳定． 图 2 不同迭代次数下的算法精度 Fig． 2 Accuracy of the algorithms in different iterations 3. 3 性能比较 为更好地体现对比实验的有效性，用本文模型 与 C4. 5、SVM 和 BP 神经网络这三种经典的分类方 法进行了比较． 其中，BP 神经网络输入层神经元数 目由各数据集属性个数 m 决定，网络输出应为分类 结果，其数目应与各数据集期望输出结果( 类别) 数 目 n 相对应，采用包含一个隐层的神经网络结构，经 比较计算，隐层神经元数目定为 8． 因此，网络结构 为 m--8--n． 实验采用了 Sigmod 函数，参见式( 3) ，学 习速率取 η = 0. 01，最大训练迭代为 1 000 次． SVM 最初用于解决模式识别问题，主要思想 是: 通过某种事先定义的非线性映射，将输入向量映 射到一个高维特征空间，在这个空间中构成一个超 平面作为决策曲面． 它克服了神经网络学习过程中 易过学习、欠学习的缺点，常用于小样本、高维、非线 性的数据集分类问题中． 实 验 中，取 RBF ( radial basis function) 为算法核函数［18］，即 k( x，y) = [ exp － ( x － y) 2 2ξ 2 ] ． 实验中，ξ = 1. 0，惩罚因子 C = 10． 实验结果如 图 3 所示． 由图 3 可知: 在 Car、Iris、Wine 和 Steel Annea￾ling 四个数据集中，本文模型均好于其他三种分类 方法; C4. 5、SVM 与 BP 神经网络三种方法性能互有 优劣，其中除 Steel Annealing 外，SVM 在其他三个数 据集上 性 能 均 不 逊 于 C4. 5 和 BP 神 经 网 络 ( 在 Wine 数据集上 SVM 和 BP 神经网络性能相当) ; 除 Steel Annealing 外，BP 神经网络在其他三个数据集 上性能均优于 C4. 5． 3. 4 噪声对分类性能的影响 为比较分类器鲁棒性能，采用文献［19］的方法 按不同噪声测度 τ 在四个 UCI 数据集中增加噪声， 按照 τ = 0、τ = 5% 、τ = 10% 和 τ = 15% 不同噪声测 ·593·

·594 北京科技大学学报 第34卷 表4按不同噪声分类器在Wine数据集性能比较 0.95 FCMCM Table 4 Performance comparison of classifiers with different noise rates E SVM in Wine data set 题C4.5 噪声率， 0.90 算法/ FCMCM BP C4.5 T/% 分类器 SVM 5-2-3 3-2-5 4-3-3 0.85 0 C4.5 4-15 5-1-4 一 BP 6-04 SVM 3-4-3 4-2-4 5-2-3 0.80 5 lris C4.5 14-5 4-2-4 Wine Sleel annealing Car BP 4-2-4 图3算法的性能比较 SVM 3-2-5 4-2-4 5-2-3 Fig.3 Performance comparison among algorithms C4.5 2-1-7 2-4-4 度标准，分别独立进行十次十交叉实验，结果如 BP 2-3-5 表2~表5所示 SVM 20-8 3-2-5 3-34 表2按不同噪声分类器在Cr数据集性能比较 15 C4.5 1-2-7 3-34 Table 2 Performance comparison of classifiers with different noise rates BP 3-2-5 in Car data set 表5按不同噪声分类器在Steel Annealing数据集性能比较 噪声率， 算法/ FCMCM BP C4.5 Table 5 Performance comparison of classifiers with different noise rates r/% 分类器 SVM 3-34 in Steel Annealing data set 5-2-3 4-2-4 0 C4.5 3-16 505 噪声率， 算法/ FCMCM BP C4.5 BP 4-15 T/% 分类器 SVM 244 6-1-3 4-3-3 SVM 505 5-3-2 4-2-4 C4.5 2-35 4-24 0 C4.5 4-1-5 44-2 BP 3-2-5 SVM 6-2-2 5-2-3 BP 3-16 一 一 2-44 10 C4.5 2-26 4-3-3 SVM 34-3 5-2-3 4-24 BP 2-26 C4.5 2-1-7 4-2-4 一 SVM 1-36 6-1-3 7-2-1 BP 1-36 C4.5 0-3-7 5-14 SVM 244 424 5-14 BP 0-46 10 C4.5 2-3-5 4-24 表3按不同噪声分类器在Iis数据集性能比较 BP 2-35 Table 3 Performance comparison of classifiers with different noise rates SVM 0-3-7 50-5 35-2 in Iris data set 15 C4.5 0-46 4-24 噪声率， 算法/ FCMCM BP C4.5 BP 0-28 T/% 分类器 SVM 244 4-24 4-3-3 以表2为例，表中每个数字单元格内容的含义 0 C4.5 3-3-4 4-24 BP 为对应行的算法（分类器）与对应列的算法（分类 4-3-3 SVM 3-25 4-15 4-3-3 器)性能比较，如第一个数字单元格内容为3-34， 5 C4.5 244 34-3 意味着在十次十交叉实验中，就分类性能而言，SVM BP 24-4 优于、等于、逊于本文模型的次数分别为3、3和4 SVM 2-3-5 4-24 2-3-5 次.在抗噪能力方面，本文模型在各种噪声测度下 10 C4.5 2-1-7 4-3-3 BP 2-1-7 性能最优；BP和C4.5性能大概相当，SVM则均好 SVM 1-2-7 3-34 6-2-2 于BP与C4.5.具体而言，当r=0时，本文模型的 C4.5 046 5-14 分类性能优于SVM、C4.5和BP的次数分别是1、3 BP 145 和1次，BP、C4.5和SVM分类性能差别不大：当r=

北 京 科 技 大 学 学 报 第 34 卷 图 3 算法的性能比较 Fig． 3 Performance comparison among algorithms 度标 准，分别独立进行十次十交叉实验，结 果 如 表 2 ～ 表 5 所示． 表 2 按不同噪声分类器在 Car 数据集性能比较 Table 2 Performance comparison of classifiers with different noise rates in Car data set 噪声率， τ /% 算法/ 分类器 FCMCM BP C4. 5 SVM 3--3--4 5--2--3 4--2--4 0 C4. 5 3--1--6 5--0--5 — BP 4--1--5 — — SVM 2--4--4 6--1--3 4--3--3 5 C4. 5 2--3--5 4--2--4 — BP 3--2--5 — — SVM 2--4--4 6--2--2 5--2--3 10 C4. 5 2--2--6 4--3--3 — BP 2--2--6 — — SVM 1--3--6 6--1--3 7--2--1 15 C4. 5 0--3--7 5--1--4 — BP 0--4--6 — — 表 3 按不同噪声分类器在 Iris 数据集性能比较 Table 3 Performance comparison of classifiers with different noise rates in Iris data set 噪声率， τ /% 算法/ 分类器 FCMCM BP C4. 5 SVM 2--4--4 4--2--4 4--3--3 0 C4. 5 3--3--4 4--2--4 — BP 4--3--3 — — SVM 3--2--5 4--1--5 4--3--3 5 C4. 5 2--4--4 3--4--3 — BP 2--4--4 — — SVM 2--3--5 4--2--4 2--3--5 10 C4. 5 2--1--7 4--3--3 — BP 2--1--7 — — SVM 1--2--7 3--3--4 6--2--2 15 C4. 5 0--4--6 5--1--4 — BP 1--4--5 — — 表 4 按不同噪声分类器在 Wine 数据集性能比较 Table 4 Performance comparison of classifiers with different noise rates in Wine data set 噪声率， τ /% 算法/ 分类器 FCMCM BP C4. 5 SVM 5--2--3 3--2--5 4--3--3 0 C4. 5 4--1--5 5--1--4 — BP 6--0--4 — — SVM 3--4--3 4--2--4 5--2--3 5 C4. 5 1--4--5 4--2--4 — BP 4--2--4 — — SVM 3--2--5 4--2--4 5--2--3 10 C4. 5 2--1--7 2--4--4 — BP 2--3--5 — — SVM 2--0--8 3--2--5 3--3--4 15 C4. 5 1--2--7 3--3--4 — BP 3--2--5 — — 表 5 按不同噪声分类器在 Steel Annealing 数据集性能比较 Table 5 Performance comparison of classifiers with different noise rates in Steel Annealing data set 噪声率， τ /% 算法/ 分类器 FCMCM BP C4. 5 SVM 5--0--5 5--3--2 4--2--4 0 C4. 5 4--1--5 4--4--2 — BP 3--1--6 — — SVM 3--4--3 5--2--3 4--2--4 5 C4. 5 2--1--7 4--2--4 — BP 1--3--6 — — SVM 2--4--4 4--2--4 5--1--4 10 C4. 5 2--3--5 4--2--4 — BP 2--3--5 — — SVM 0--3--7 5--0--5 3--5--2 15 C4. 5 0--4--6 4--2--4 — BP 0--2--8 — — 以表 2 为例，表中每个数字单元格内容的含义 为对应行的算法( 分类器) 与对应列的算法( 分类 器) 性能比较，如第一个数字单元格内容为 3--3--4， 意味着在十次十交叉实验中，就分类性能而言，SVM 优于、等于、逊于本文模型的次数分别为 3、3 和 4 次． 在抗噪能力方面，本文模型在各种噪声测度下 性能最优; BP 和 C4. 5 性能大概相当，SVM 则均好 于 BP 与 C4. 5． 具体而言，当 τ = 0 时，本文模型的 分类性能优于 SVM、C4. 5 和 BP 的次数分别是 1、3 和 1 次，BP、C4. 5 和 SVM 分类性能差别不大; 当τ = ·594·