第11卷第3期 智能系统学报 Vol.11 No.3 2016年6月 CAAI Transactions on Intelligent Systems Jun.2016 D0I:10.11992/is.201603046 网络出版地址：http://www.cnki.net/kcms/detail/23.1538.TP.20160513.0957.034.html 一种基于少量标签的改进迁移模糊聚类 王跃，杨燕，王红军 (西南交通大学信息科学与技术学院，四川成都610031) 摘要：传统聚类算法难以利用已有的历史信息，尤其是数据被污染的情况下聚类结果不理想：半监督聚类常用于 数据中有部分标签的情况。在源数据有少量标签的情况下，提出半监督混合C均值聚类算法(SS-FPCM):基于迁移 学习框架，针对负迁移问题对算法进行修正，提出了防止负迁移的半监督迁移算法(TSS-FPCM):最后，为了充分借 鉴源数据的信息，利用“代表点”来代替源数据类信息，融入算法中再次迁移得到改善的半监督迁移算法(TSS FPCM)。实验表明，3个算法能够有效的利用源数据提高聚类性能。SS-FPCM与TSS-FPCM可以利用源数据的少量 标签数据，而TSS-FPCM算法结合了标签数据与“代表点”两个有效信息，在数据信息匮乏、数据被污染的情况下得 到较好的聚类结果。 关键词：聚类：迁移学习：半监督：可能性C均值：模糊C均值 中图分类号：TP301文献标志码：A文章编号：1673-4785(2016)03-0310-08 中文引用格式：王跃，杨燕，王红军.一种基于少量标签的改进迁移模糊聚类[J].智能系统学报，2016,11(3)：310-317. 英文引用格式：VANG Yue,YANG Yan,WANG Hongjun.An improved transfer fuzzy clustering with few labels[J].CAAI trans- actions on intelligent systems,2016,11(3):310-317. An improved transfer fuzzy clustering with few labels WANG Yue,YANG Yan,WANG Hongjun (School of Information Science and Technology,Southwest Jiaotong University,Chengdu 610031,China) Abstract:In the traditional clustering algorithm,it is difficult to utilize existing historical information,which tends to be less effective in cases in which the data is contaminated.The semi-supervised clustering algorithm is often used in such circumstances,wherein the target data has some labeled examples.For situations in which the source data has partially labeled samples,in this paper,we propose a semi-supervised fuzzy possibilistic C-means algo- rithm (SS-FPCM).Based on the transfer learning framework,we use a transfer semi-supervised fuzzy possibilistic C-means algorithm (TSS-FPCM)to avoid the negative transfer learning problem.Finally,in order to make full use of source data information,we use representative points to replace the source data class.Thus,we have developed an improved transfer semi-supervised fuzzy possibilistic C-means algorithm (ITSS-FPCM).The experimental results demonstrate that these three algorithms may be used to improve the clustering performance by using source data ef- fectively,as compared with other clustering algorithms.Moreover,the SS-FPCM and TSS-FPCM algorithms exploit partially labeled data from the source,while the ITSS-FPCM algorithm combines the labeled data and "representa- tive points,"for cases having insufficient data information or contaminated data,and an excellent clustering result is attained. Keywords:clustering;transfer learning;semi-supervised;possibilistic C-means;fuzzy C-means 传统的聚类算法在拥有大量数据的情况下能够 污染的情况，传统的聚类算法存在着不足。 在不同的场景下发挥各自的作用，当数据匮乏、噪声 近年来，迁移学习的成果逐渐丰富，研究表明， 迁移学习能够有效地解决数据量不足、数据受污染 收稿日期：2016-03-19.网络出版日期：2016-05-13. 基金项目：国家自然科学基金项目(61170111,61572407,61134002)： 和信息丢失等问题。文献[1]根据迁移学习中源领 四川省料技支撑计划项目(2014SZ0207). 通信作者：杨燕.E-mail:yang@swjtu.ed血.cn 域和目标领域中是否含有标签，可以将迁移学习划
第 １１ 卷第 ３ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．３ ２０１６ 年 ６ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｊｕｎ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１６０３０４６ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１６０５１３．０９５７．０３４．ｈｔｍｌ 一种基于少量标签的改进迁移模糊聚类 王跃，杨燕，王红军 （西南交通大学 信息科学与技术学院，四川 成都 ６１００３１） 摘 要：传统聚类算法难以利用已有的历史信息，尤其是数据被污染的情况下聚类结果不理想；半监督聚类常用于 数据中有部分标签的情况。 在源数据有少量标签的情况下，提出半监督混合 Ｃ 均值聚类算法（ ＳＳ⁃ＦＰＣＭ）；基于迁移 学习框架，针对负迁移问题对算法进行修正，提出了防止负迁移的半监督迁移算法（ＴＳＳ⁃ＦＰＣＭ）；最后，为了充分借 鉴源数据的信息，利用“代表点” 来代替源数据类信息，融入算法中再次迁移得到改善的半监督迁移算法（ ＩＴＳＳ⁃ ＦＰＣＭ）。 实验表明，３ 个算法能够有效的利用源数据提高聚类性能。 ＳＳ⁃ＦＰＣＭ 与 ＴＳＳ⁃ＦＰＣＭ 可以利用源数据的少量 标签数据，而 ＩＴＳＳ⁃ＦＰＣＭ 算法结合了标签数据与“代表点”两个有效信息，在数据信息匮乏、数据被污染的情况下得 到较好的聚类结果。 关键词：聚类；迁移学习；半监督；可能性 Ｃ 均值；模糊 Ｃ 均值 中图分类号：ＴＰ３０１ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０３⁃０３１０⁃０８ 中文引用格式：王跃，杨燕，王红军．一种基于少量标签的改进迁移模糊聚类［Ｊ］． 智能系统学报， ２０１６， １１（３）： ３１０⁃３１７． 英文引用格式：ＷＡＮＧ Ｙｕｅ， ＹＡＮＧ Ｙａｎ， ＷＡＮＧ Ｈｏｎｇｊｕｎ．Ａｎ ｉｍｐｒｏｖｅｄ ｔｒａｎｓｆｅｒ ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ｗｉｔｈ ｆｅｗ ｌａｂｅｌｓ［Ｊ］． ＣＡＡＩ ｔｒａｎｓ⁃ ａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１６，１１（３）： ３１０⁃３１７． Ａｎ ｉｍｐｒｏｖｅｄ ｔｒａｎｓｆｅｒ ｆｕｚｚｙ ｃｌｕｓｔｅｒｉｎｇ ｗｉｔｈ ｆｅｗ ｌａｂｅｌｓ ＷＡＮＧ Ｙｕｅ， ＹＡＮＧ Ｙａｎ， ＷＡＮＧ Ｈｏｎｇｊｕｎ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｓｏｕｔｈｗｅｓｔ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ， Ｃｈｅｎｇｄｕ ６１００３１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ， ｉｔ ｉｓ ｄｉｆｆｉｃｕｌｔ ｔｏ ｕｔｉｌｉｚｅ ｅｘｉｓｔｉｎｇ ｈｉｓｔｏｒｉｃａｌ ｉｎｆｏｒｍａｔｉｏｎ， ｗｈｉｃｈ ｔｅｎｄｓ ｔｏ ｂｅ ｌｅｓｓ ｅｆｆｅｃｔｉｖｅ ｉｎ ｃａｓｅｓ ｉｎ ｗｈｉｃｈ ｔｈｅ ｄａｔａ ｉｓ ｃｏｎｔａｍｉｎａｔｅｄ． Ｔｈｅ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍ ｉｓ ｏｆｔｅｎ ｕｓｅｄ ｉｎ ｓｕｃｈ ｃｉｒｃｕｍｓｔａｎｃｅｓ， ｗｈｅｒｅｉｎ ｔｈｅ ｔａｒｇｅｔ ｄａｔａ ｈａｓ ｓｏｍｅ ｌａｂｅｌｅｄ ｅｘａｍｐｌｅｓ． Ｆｏｒ ｓｉｔｕａｔｉｏｎｓ ｉｎ ｗｈｉｃｈ ｔｈｅ ｓｏｕｒｃｅ ｄａｔａ ｈａｓ ｐａｒｔｉａｌｌｙ ｌａｂｅｌｅｄ ｓａｍｐｌｅｓ， ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｗｅ ｐｒｏｐｏｓｅ ａ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｆｕｚｚｙ ｐｏｓｓｉｂｉｌｉｓｔｉｃ Ｃ⁃ｍｅａｎｓ ａｌｇｏ⁃ ｒｉｔｈｍ （ＳＳ⁃ＦＰＣＭ）． Ｂａｓｅｄ ｏｎ ｔｈｅ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｆｒａｍｅｗｏｒｋ， ｗｅ ｕｓｅ ａ ｔｒａｎｓｆｅｒ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｆｕｚｚｙ ｐｏｓｓｉｂｉｌｉｓｔｉｃ Ｃ⁃ｍｅａｎｓ ａｌｇｏｒｉｔｈｍ （ＴＳＳ⁃ＦＰＣＭ） ｔｏ ａｖｏｉｄ ｔｈｅ ｎｅｇａｔｉｖｅ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｐｒｏｂｌｅｍ． Ｆｉｎａｌｌｙ， ｉｎ ｏｒｄｅｒ ｔｏ ｍａｋｅ ｆｕｌｌ ｕｓｅ ｏｆ ｓｏｕｒｃｅ ｄａｔａ ｉｎｆｏｒｍａｔｉｏｎ， ｗｅ ｕｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｖｅ ｐｏｉｎｔｓ ｔｏ ｒｅｐｌａｃｅ ｔｈｅ ｓｏｕｒｃｅ ｄａｔａ ｃｌａｓｓ． Ｔｈｕｓ， ｗｅ ｈａｖｅ ｄｅｖｅｌｏｐｅｄ ａｎ ｉｍｐｒｏｖｅｄ ｔｒａｎｓｆｅｒ ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ ｆｕｚｚｙ ｐｏｓｓｉｂｉｌｉｓｔｉｃ Ｃ⁃ｍｅａｎｓ ａｌｇｏｒｉｔｈｍ （ＩＴＳＳ⁃ＦＰＣＭ）． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈａｔ ｔｈｅｓｅ ｔｈｒｅｅ ａｌｇｏｒｉｔｈｍｓ ｍａｙ ｂｅ ｕｓｅｄ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｃｌｕｓｔｅｒｉｎｇ ｐｅｒｆｏｒｍａｎｃｅ ｂｙ ｕｓｉｎｇ ｓｏｕｒｃｅ ｄａｔａ ｅｆ⁃ ｆｅｃｔｉｖｅｌｙ， ａｓ ｃｏｍｐａｒｅｄ ｗｉｔｈ ｏｔｈｅｒ ｃｌｕｓｔｅｒｉｎｇ ａｌｇｏｒｉｔｈｍｓ． Ｍｏｒｅｏｖｅｒ， ｔｈｅ ＳＳ⁃ＦＰＣＭ ａｎｄ ＴＳＳ⁃ＦＰＣＭ ａｌｇｏｒｉｔｈｍｓ ｅｘｐｌｏｉｔ ｐａｒｔｉａｌｌｙ ｌａｂｅｌｅｄ ｄａｔａ ｆｒｏｍ ｔｈｅ ｓｏｕｒｃｅ， ｗｈｉｌｅ ｔｈｅ ＩＴＳＳ⁃ＦＰＣＭ ａｌｇｏｒｉｔｈｍ ｃｏｍｂｉｎｅｓ ｔｈｅ ｌａｂｅｌｅｄ ｄａｔａ ａｎｄ ＂ ｒｅｐｒｅｓｅｎｔａ⁃ ｔｉｖｅ ｐｏｉｎｔｓ，＂ ｆｏｒ ｃａｓｅｓ ｈａｖｉｎｇ ｉｎｓｕｆｆｉｃｉｅｎｔ ｄａｔａ ｉｎｆｏｒｍａｔｉｏｎ ｏｒ ｃｏｎｔａｍｉｎａｔｅｄ ｄａｔａ， ａｎｄ ａｎ ｅｘｃｅｌｌｅｎｔ ｃｌｕｓｔｅｒｉｎｇ ｒｅｓｕｌｔ ｉｓ ａｔｔａｉｎｅｄ． Ｋｅｙｗｏｒｄｓ：ｃｌｕｓｔｅｒｉｎｇ； ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ； ｓｅｍｉ⁃ｓｕｐｅｒｖｉｓｅｄ； ｐｏｓｓｉｂｉｌｉｓｔｉｃ Ｃ⁃ｍｅａｎｓ； ｆｕｚｚｙ Ｃ⁃ｍｅａｎｓ 收稿日期：２０１６⁃０３⁃１９． 网络出版日期：２０１６⁃０５⁃１３． 基金项目：国家自然科学基金项目（ ６１１７０１１１， ６１５７２４０７， ６１１３４００２）； 四川省科技支撑计划项目（２０１４ＳＺ０２０７）． 通信作者：杨燕． Ｅ⁃ｍａｉｌ： ｙｙａｎｇ＠ ｓｗｊｔｕ．ｅｄｕ．ｃｎ． 传统的聚类算法在拥有大量数据的情况下能够 在不同的场景下发挥各自的作用，当数据匮乏、噪声 污染的情况，传统的聚类算法存在着不足。 近年来，迁移学习的成果逐渐丰富，研究表明， 迁移学习能够有效地解决数据量不足、数据受污染 和信息丢失等问题。 文献［１］根据迁移学习中源领 域和目标领域中是否含有标签，可以将迁移学习划
第3期 王跃，等：一种基于少量标签的改进迁移模糊聚类 ·311- 分为3类：归纳迁移学习、直推式迁移学习和无监督 N 迁移学习。现有的迁移学习在分类领域已有较多研 k=1 究成果20)，而在聚类领域迁移学习理论和方法相 —,i (5) 对则要少很多。文献[11-12]在聚类领域利用了迁 移学习的理论。 1.2PFCM聚类算法 半监督聚类是半监督学习与聚类分析相结合的 FPCM是建立在FCM和PCM基础上的算法， 研究领域，文献[13]提出了不同情况下的半监督聚 它将两者结合在一起，FPCM的目标函数定义为 类算法，并取得了不错的效果。 J= 文献[14]将经典的模糊C均值算法1s(FCM) 正d形 (6) 与可能性C均值[6](PCM)算法进行改进，提出了 式中：m>1,m>1,0≤，≤1，约束条件为 模糊可能性聚类算法(FPCM)。本文探讨在源领域 2a=1,i (7) 有少量标签的情况下，如何指导目标域进行聚类，提 出半监督模糊可能性C均值聚类算法(SS-FPCM), 2=1,k (8) 并针对负迁移问题对算法进行改进，提出了防止负 通过最小化目标函数，可以得到以下迭代优化 迁移的半监督迁移算法(TSS-FPCM),同时，用代表 公式： 点代替源领域的数据进行数据迁移，得到改善的半 监督迁移算法(TSS-FPCM),并进行了实验验证。 [周 (9) 1相关算法介绍 Vi,k (10) 1.1PCM聚类算法 PCM聚类算法放松了传统FCM聚类算法中对 于隶属度矩阵的约束，隶属度不再是对1的共享。 ∑(u候+) .Vi 对于给定数据集X={xIk=1,2,…,N},x4∈R,包 N (11) 含N个样本，分成C个类别，T= (+) {t4li=1,2,…,C;k=1,2,…,N}是可能划分矩阵，t 1.3半监督聚类算法 表示第k个样本x:属于第i类的可能性，聚类中心 对于一些有着一部分标签的数据集，在文献 为V={yIi=1,2,…,C},其中y:表示第i个聚类中 [17]中，Pedrycz提出了基于部分标签的模糊聚类 心。PCM目标函数定义为 算法(SS-F℃M),算法的核心思想是利用现有的分类 信息，并把它作为优化程序的一部分。 为了区分标记数据与未标记数据，引入向量矩 式中：t4∈[0,1]，0<∑a≤N,m为模糊指数， 阵B={bIk=1,2,…,N},如果x是已知标签样本 b=1,否则bs=0。并且记类别属性F= 和7：的取值分别为式(2)和式(3)，K的取值一般取 {fli=1,2,…,C;k=1,2,…,N},如果x4属于第i K=1。 类，那么f4=1:否则f=0。在引人B和F后，Pe d=‖x4-v:2=(x4-v:)T(x4-v)(2) dycz将模糊参数m取值为2，其目标函数为 ∑md n:sK (ua -fab)'da N—,K>0 (3) 含a (12) 最小化目标函数可以得到可能性矩阵和聚类中 2半监督迁移模糊聚类算法 心的迭代式(4)和式(5)： 2.1半监督模糊可能性C均值聚类算法 1 .Vi,k 4 对半监督FCM算法进行研究可以发现，上文中 的B和F的功能相似，保留下F并对FPCM的目标 函数做如下改进：
分为 ３ 类：归纳迁移学习、直推式迁移学习和无监督 迁移学习。 现有的迁移学习在分类领域已有较多研 究成果［２⁃１０］ ，而在聚类领域迁移学习理论和方法相 对则要少很多。 文献［１１⁃１２］在聚类领域利用了迁 移学习的理论。 半监督聚类是半监督学习与聚类分析相结合的 研究领域，文献［１３］提出了不同情况下的半监督聚 类算法，并取得了不错的效果。 文献［１４］将经典的模糊 Ｃ 均值算法［１５］ （ＦＣＭ） 与可能性 Ｃ 均值［１６］ （ ＰＣＭ） 算法进行改进，提出了 模糊可能性聚类算法（ＦＰＣＭ）。 本文探讨在源领域 有少量标签的情况下，如何指导目标域进行聚类，提 出半监督模糊可能性 Ｃ 均值聚类算法（ ＳＳ⁃ＦＰＣＭ）， 并针对负迁移问题对算法进行改进，提出了防止负 迁移的半监督迁移算法（ＴＳＳ⁃ＦＰＣＭ），同时，用代表 点代替源领域的数据进行数据迁移，得到改善的半 监督迁移算法（ＩＴＳＳ⁃ＦＰＣＭ），并进行了实验验证。 １ 相关算法介绍 １．１ ＰＣＭ 聚类算法 ＰＣＭ 聚类算法放松了传统 ＦＣＭ 聚类算法中对 于隶属度矩阵的约束，隶属度不再是对 １ 的共享。 对于给定数据集 Ｘ ＝ ｘｋ { ｜ ｋ ＝ １，２，…，Ｎ} ，ｘｋ∈Ｒ ｄ ，包 含 Ｎ 个 样 本， 分 成 Ｃ 个 类 别， Ｔ ＝ ｔ ｉｋ { ｜ ｉ ＝ １，２，…，Ｃ；ｋ ＝ １，２，…，Ｎ}是可能划分矩阵，ｔ ｉｋ 表示第 ｋ 个样本 ｘｋ 属于第 ｉ 类的可能性，聚类中心 为 Ｖ ＝ ｖｉ { ｜ ｉ ＝ １，２，…，Ｃ} ，其中 ｖｉ 表示第 ｉ 个聚类中 心。 ＰＣＭ 目标函数定义为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋｄ ２ ｉｋ ＋ ∑ Ｃ ｉ ＝ １ ηｉ∑ Ｎ ｋ ＝ １ １ － ｔ ｉｋ ( ) ｍ ｄ ２ ｉｋ （１） 式中： ｔ ｉｋ ∈ [０，１] ，０ ＜ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ≤Ｎ，ｍ为模糊指数，ｄ ２ ｉｋ 和 ηｉ 的取值分别为式（２） 和式（３），Ｋ 的取值一般取 Ｋ ＝ １。 ｄ ２ ｉｋ ＝ ‖ｘｋ － ｖｉ‖２ ＝ ｘｋ － ｖｉ ( ) Ｔ ｘｋ － ｖｉ ( ) （２） ηｉ ＝ Ｋ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋｄ ２ ｉｋ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ，Ｋ ＞ ０ （３） 最小化目标函数可以得到可能性矩阵和聚类中 心的迭代式（４）和式（５）： ｔ ｉｋ ＝ １ １ ＋ ｄ ２ ｉｋ ηｉ æ è ç ö ø ÷ １ ｍ－１ ，∀ｉ，ｋ （４） ｖｉ ＝ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ｘｋ ∑ Ｎ ｋ ＝ １ ｔ ｍ ｉｋ ，∀ｉ （５） １．２ ＰＦＣＭ 聚类算法 ＦＰＣＭ 是建立在 ＦＣＭ 和 ＰＣＭ 基础上的算法， 它将两者结合在一起 ，ＦＰＣＭ 的目标函数定义为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕ ｍ ｉｋ ＋ ｔ η ｉｋ ( ) ｄ ２ ｉｋ （６） 式中：ｍ＞１，η＞１，０≤ｉｋ，ｔ ｉｋ≤１，约束条件为 ∑ Ｎ ｋ ＝ １ ｔ ｉｋ ＝ １，∀ｉ （７） ∑ Ｃ ｉ ＝ １ ｕｉｋ ＝ １，∀ｋ （８） 通过最小化目标函数，可以得到以下迭代优化 公式： ｕｉｋ ＝ ∑ Ｃ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｉｊ æ è ç ö ø ÷ １ ｍ－１ é ë ê ê ù û ú ú －１ ，∀ｉ，ｋ （９） ｔ ｉｋ ＝ ∑ Ｎ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｉｊ æ è ç ö ø ÷ １ η－１ é ë ê ê ù û ú ú －１ ，∀ｉ，ｋ （１０） ｖｉ ＝ ∑ Ｎ ｋ ＝ １ ｕ ｍ ｉｋ ＋ ｔ η ｉｋ ( ) ｘｋ ∑ Ｎ ｋ ＝ １ ｕ ｍ ｉｋ ＋ ｔ η ｉｋ ( ) ，∀ｉ （１１） １．３ 半监督聚类算法 对于一些有着一部分标签的数据集，在文献 ［１７］中，Ｐｅｄｒｙｃｚ 提出了基于部分标签的模糊聚类 算法（ＳＳ⁃ＦＣＭ），算法的核心思想是利用现有的分类 信息，并把它作为优化程序的一部分。 为了区分标记数据与未标记数据，引入向量矩 阵 Ｂ ＝ ｂｋ { ｜ ｋ ＝ １，２，…，Ｎ} ，如果 ｘｋ 是已知标签样本 ｂｋ ＝ １， 否 则 ｂｋ ＝ ０。 并 且 记 类 别 属 性 Ｆ ＝ ｆ ｉｋ { ｜ ｉ ＝ １，２，…，Ｃ；ｋ ＝ １，２，…，Ｎ} ，如果 ｘｋ 属于第 ｉ 类，那么 ｆ ｉｋ ＝ １；否则 ｆ ｉｋ ＝ ０。 在引入 Ｂ 和 Ｆ 后，Ｐｅ⁃ ｄｒｙｃｚ 将模糊参数 ｍ 取值为 ２，其目标函数为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕ ２ ｉｋｄ ２ ｉｋ ＋ α∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕｉｋ － ｆ ｉｋ ｂｋ ( ) ２ ｄ ２ ｉｋ （１２） ２ 半监督迁移模糊聚类算法 ２．１ 半监督模糊可能性 Ｃ 均值聚类算法 对半监督 ＦＣＭ 算法进行研究可以发现，上文中 的 Ｂ 和 Ｆ 的功能相似，保留下 Ｆ 并对 ＦＰＣＭ 的目标 函数做如下改进： 第 ３ 期 王跃，等：一种基于少量标签的改进迁移模糊聚类 ·３１１·
.312 智能系统学报 第11卷 N J= ∑∑(a+B)d+u (ua -fa)'di J= a+)+ (13) u4-f)] s.t.a≥0，B≥0，w>0,0≤ut,tk≤1 最小化目标函数，可以得到迭代表达式： s.t. a≥0，B≥0，ω>0,0≤4法，tt≤1 N+M Vi,k (14) -IVk.IVi (17) 不直接使用式(13)的目标函数而改用式(17)》 a+(1-∑f) 的目标函数，当参数ω趋于0的时候，前者相当于 证= +ωfk,i,k 将M个源数据当作未知标签加入到目标领域中进 a+w 行无监督混合C均值聚类，而后者则等于认为这些 数据没有用处而舍弃。可以发现前者无法控制加入 (15) 源数据后所可能造成的负迁移现象影响聚类结果， ∑【a匠+B+wua-f)]x 而后者则可以有效避免该情况。 ，Hi 最小化目标函数可以得到： N a暖+假+ua-fa)门 d d -1 k≤N (16) 通过不断迭代优化隶属度矩阵最终获得我们需 ωd，告d + N<k≤N+M 要的划分。改进的半监督模糊可能性C均值算法 (SS-FPCM)能够通过a、B控制FPCM中FCM和 (18) -1 PCM的权重，通过参数ω的变化控制已知标签在算 k≤N 法中所占的比重。 2.2历史标签数据的迁移 1 迁移学习可以将历史场景（也叫源数据）中获 1+a 1 一+ f,N<k≤N+M 取需要的数据或者信息，用于指导当前场景（又成 1+a 为目标数据)，当历史场景的信息与当前场景的相 关性足够大时，可以从中得到潜藏的信息。在当历 (19) 史场景没有任何指导信的数据（无任何标签信息） V+V 时，文献[11-12]针对这种情况分别做出了自己的 (时tB)tu】 (oaiBit (u-fa)) N+I -,i 研究。 N+M 当源数据有少量的标签时候，可以很直观地想 三(@Hu2a哈时ur)y k=N+1 到，将这些数据提取出来，加入到当前场景，一起进 (20) 行聚类，以期待能够指导当前场景。前面提到了半 2.3改进的半监督迁移算法 监督FPCM聚类算法能够有效利用标签进行聚类， 在历史场景中，除了少量的标签信息，还有大量 便可以直接引用式(13)的目标函数。但是，在迁移 的未标记数据，这些数据量远远大于已标记数据，同 学习中负迁移是难以避免的一个问题，如果历史场 样可以从中获取需要的信息来帮助当前场景。直接 景与当前场景相关性并不大。那么历史数据的标签 将大量未标记数据加入当前场景中进行聚类大大增 很可能对当前场景产生不良影响，造成负迁移现象。 加了计算量。 针对这个问题，对式(13)进行改造，提出避免负迁 在历史场景中，为了减少计算量，可以使用一个 移的半监督迁移聚类算法(TS-FPCM)。 “代表点”来表示一个类，而不仅仅是文献[11]中的 假设历史场景中有M个已知标签样本，将数据 聚类中心：这个点既可以是聚类中心，也可以是数据 提取放在目标数据的后面，构成新的目标数据集 中的真实样本点，将庞大的数据变为有限的几个点。 X'={xk=1,2,…,N,N+1,…,N+M},x∈R,其 为了能够有效地利用“代表点”，给定代表点集 中后M个数据为历史场景中的已知样本，根据数据 合Xr={xIi=1,2,…,C},C表示聚类个数，重新定 集提出新的目标函数为 义新的距离函数为
Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ２ ｉｋ ＋ ω∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ ｕｉｋ － ｆ ｉｋ ( ) ２ ｄ ２ ｉｋ （１３） ｓ．ｔ． α ≥ ０， β ≥ ０， ω ＞ ０， ０ ≤ ｕｉｋ， ｔ ｉｋ ≤ １ 最小化目标函数，可以得到迭代表达式： ｔ ｉｋ ＝ ∑ Ｎ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｉｊ æ è ç ö ø ÷ é ë ê ê ù û ú ú －１ ，∀ｉ，ｋ （１４） ｕｉｋ ＝ １ α ＋ ω α ＋ ω １ － ∑ Ｃ ｊ ＝ １ ｆ ( ｊｋ ) ∑ Ｃ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｊｋ ＋ ωｆ ｉｋ，∀ｉ，ｋ （１５） ｖｉ ＝ ∑ Ｎ ｋ ＝ １ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ω ｕｉｋ － ｆ ｉｋ ( ) ２ [ ] ｘｋ ∑ Ｎ ｋ ＝ １ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ω ｕｉｋ － ｆ ｉｋ ( ) ２ [ ] ，∀ｉ （１６） 通过不断迭代优化隶属度矩阵最终获得我们需 要的划分。 改进的半监督模糊可能性 Ｃ 均值算法 （ＳＳ⁃ＦＰＣＭ） 能够通过 α、 β 控制 ＦＰＣＭ 中 ＦＣＭ 和 ＰＣＭ 的权重，通过参数 ω 的变化控制已知标签在算 法中所占的比重。 ２．２ 历史标签数据的迁移 迁移学习可以将历史场景（也叫源数据） 中获 取需要的数据或者信息，用于指导当前场景（又成 为目标数据），当历史场景的信息与当前场景的相 关性足够大时，可以从中得到潜藏的信息。 在当历 史场景没有任何指导信的数据（无任何标签信息） 时，文献［１１⁃１２］ 针对这种情况分别做出了自己的 研究。 当源数据有少量的标签时候，可以很直观地想 到，将这些数据提取出来，加入到当前场景，一起进 行聚类，以期待能够指导当前场景。 前面提到了半 监督 ＦＰＣＭ 聚类算法能够有效利用标签进行聚类， 便可以直接引用式（１３）的目标函数。 但是，在迁移 学习中负迁移是难以避免的一个问题，如果历史场 景与当前场景相关性并不大。 那么历史数据的标签 很可能对当前场景产生不良影响，造成负迁移现象。 针对这个问题，对式（１３）进行改造，提出避免负迁 移的半监督迁移聚类算法（ＴＳＳ⁃ＦＰＣＭ）。 假设历史场景中有 Ｍ 个已知标签样本，将数据 提取放在目标数据的后面，构成新的目标数据集 Ｘ′＝ ｘｋ { ｋ ＝ １，２，…，Ｎ，Ｎ＋１，…，Ｎ＋Ｍ} ， ｘｋ ∈ Ｒ ｄ ， 其 中后 Ｍ 个数据为历史场景中的已知样本，根据数据 集提出新的目标函数为 Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ２ ｉｋ ＋ ω ∑ Ｃ ｉ ＝ １ ∑ Ｎ＋Ｍ ｋ ＝ Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ２ ｉｋ ＋ ∑ Ｃ ｉ ＝ １ ∑ Ｎ＋Ｍ ｋ ＝ Ｎ＋１ ｕｉｋ － ｆ ｉｋ ( ) ２ ｄ ２ [ ｉｋ ] ｓ．ｔ． α ≥ ０， β ≥ ０， ω ＞ ０， ０ ≤ ｕｉｋ， ｔ ｉｋ ≤ １ ∑ Ｃ ｉ ＝ １ ｕｉｋ ＝ １∀ｋ， ∑ Ｎ＋Ｍ ｋ ＝ １ ｔ ｉｋ ＝ １∀ｉ （１７） 不直接使用式（１３）的目标函数而改用式（１７） 的目标函数，当参数 ω 趋于 ０ 的时候，前者相当于 将 Ｍ 个源数据当作未知标签加入到目标领域中进 行无监督混合 Ｃ 均值聚类，而后者则等于认为这些 数据没有用处而舍弃。 可以发现前者无法控制加入 源数据后所可能造成的负迁移现象影响聚类结果， 而后者则可以有效避免该情况。 最小化目标函数可以得到： ｔ ｉｋ ＝ ∑ Ｎ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｉｊ ＋ ∑ Ｎ＋Ｍ ｊ ＝ Ｎ＋１ ｄ ２ ｉｋ ωｄ ２ ｉｊ æ è ç ö ø ÷ －１ ， ｋ ≤ Ｎ ∑ Ｎ ｊ ＝ １ ωｄ ２ ｉｋ ｄ ２ ｉｊ ＋ ∑ Ｎ＋Ｍ ｊ ＝ Ｎ＋１ ｄ ２ ｉｋ ｄ ２ ｉｊ æ è ç ö ø ÷ －１ ， Ｎ ＜ ｋ ≤ Ｎ ＋ Ｍ ì î í ï ï ï ï ïï （１８） ｕｉｋ ＝ ∑ Ｃ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｊｋ æ è ç ö ø ÷ －１ ， ｋ ≤ Ｎ １ － １ １ ＋ α∑ Ｃ ｊ ＝ １ ｆ ｊｋ ∑ Ｃ ｊ ＝ １ ｄ ２ ｉｋ ｄ ２ ｊｋ ＋ １ １ ＋ α ｆ ｉｋ， Ｎ ＜ ｋ ≤ Ｎ ＋ Ｍ ì î í ï ï ï ï ï ï ï ï （１９） ｖｉ ＝ ∑ Ｎ ｋ ＝１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｘｋ ＋ ω∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ｕｉｋ － ｆ ｉｋ ( ) ２ { } ｘｋ ∑ Ｎ ｋ ＝１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( )＋ ω∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ｕｉｋ － ｆ ｉｋ ( ) ２ { } ｘｋ ，∀ｉ （２０） ２．３ 改进的半监督迁移算法 在历史场景中，除了少量的标签信息，还有大量 的未标记数据，这些数据量远远大于已标记数据，同 样可以从中获取需要的信息来帮助当前场景。 直接 将大量未标记数据加入当前场景中进行聚类大大增 加了计算量。 在历史场景中，为了减少计算量，可以使用一个 “代表点”来表示一个类，而不仅仅是文献［１１］中的 聚类中心；这个点既可以是聚类中心，也可以是数据 中的真实样本点，将庞大的数据变为有限的几个点。 为了能够有效地利用“代表点”，给定代表点集 合 ＸＸ＾ ＝ ｛ ＾ｘｉ ｜ ｉ ＝ １，２，…，Ｃ｝，Ｃ 表示聚类个数，重新定 义新的距离函数为 ·３１２· 智 能 系 统 学 报 第 １１ 卷
第3期 王跃，等：一种基于少量标签的改进迁移模糊聚类 ·313. =川x-%2+y1x-x2+Yy-x2 V+1 为了获得其迭 (21) 式中y:和y2为权重因子，用于调节历史中心的重 代表达式，利用拉格朗日极值优化表达式，首先构造 要程度，将代表点作为有效信息迁移到当前场景中 Lagrange表达式： 来。新的目标函数如式(22)： Q=宫a+时)+ (au2+Ba)正+ 叫套三am+金2三0 i=1k=W+1 (22) 克芝，-密 三A-含)+2-宫)(2四) i=1k=N+1 式中入k与0：为Lagrange乘子。 式中：a≥0，B≥0，ω>0,0≤u,tk≤1， 令aQ/aV=0,解得： 列）+阳+m)叉1o N+M N+M 三+ k=N+l N+l I+W[E(am4+B的)+u三(a+B民+：-fW] =N-t (24) 令aQ/a入.=0，可以得到： 使用同样得方法，可以求得t的迭代表达式： 含=1 (25) V+U k≤N 令aQ/au4=0,对于0<k≤N可以解得： 2 (26) N+M d N<k≤N+M 将式(26)代入式(25)，解得： (31) (27) 2.4改进的半监督迁移算法描述 根据上一节的公式，TSS-FPCM的表述如下： 再将入代回式(26)，得到： 算法1ITSS-FPCM算法 输入前N个数据样本为目标数据，后M个为 (28) 已知标签的历史数据的数据样本X'= 同理，对于N<k≤N+M,可以求出： {xIk=1,2,…,N,N+1,…,N+M},聚类个数C,最 1 大迭代次数L,当前迭代次数(=1，源数据类代表点 1一1+a ,相关参数aB、w、Y1和Y2,阈值E。 (29) 输出聚类中心"：，隶属度矩阵u和概率矩 阵t法o 1)初始化聚类中心”：，根据已知标签构造矩阵 合并式(28)和(29)可以得到最终表达式： F,初始化目标函数=0。 2)根据表达式(30)更新v。 k≤N 3)根据表达式(31)更新"， 4)根据表达式(24)更新"：。 1 5)l=l+1,计算新的目标函数0，如果J0- wk=1-1+a 1+Qt, N<k≤N+M -<6,或者>L跳到第6)，否则，跳到2)。 6)聚类中心，隶属度矩阵v和概率矩阵v法。 3 实验结果 (30) 为了验证算法的有效性，实验使用了人工数据
ｄ ?２ ｉｋ ＝ ‖ｘｋ － ｖｉ‖２ ＋ γ１ ‖ｘｋ － ｘ ＾ ｉ‖２ ＋ γ２ ‖ｖｉ － ｘ ＾ ｉ‖２ （２１） 式中 γ１ 和 γ２ 为权重因子，用于调节历史中心的重 要程度，将代表点作为有效信息迁移到当前场景中 来。 新的目标函数如式（２２）： Ｊ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ? ２ ｉｋ ＋ ω ∑ Ｃ ｉ ＝ １ ∑ Ｎ＋Ｍ ｋ ＝ Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ? ２ { ｉｋ ＋ ∑ Ｃ ｉ ＝ １ ∑ Ｎ＋Ｍ ｋ ＝ Ｎ＋１ ｕｉｋ － ｆ ｉｋ ( ) ２ ｄ ? ２ ｉｋ ] （２２） 式中： α ≥ ０， β ≥ ０， ω ＞ ０， ０ ≤ ｕｉｋ， ｔ ｉｋ ≤ １， ∑ Ｃ ｉ ＝ １ ｕｉｋ ＝ １，∀ｋ， ∑ Ｎ＋Ｍ ｋ ＝ １ ｔ ｉｋ ＝ １，∀ｉ。 为了获得其迭 代表达式，利用拉格朗日极值优化表达式，首先构造 Ｌａｇｒａｎｇｅ 表达式： Ｑ ＝ ∑ Ｃ ｉ ＝ １ ∑ Ｎ ｋ ＝ １ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ? ２ ｉｋ ＋ ω ∑ Ｃ ｉ ＝ １ ∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｄ ? ２ [ ｉｋ ＋∑ Ｃ ｉ ＝ １ ∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ ｕｉｋ － ｆ ｉｋ ( ) ２ ｄ ? ２ ｉｋ ] ＋ ∑ Ｎ＋Ｍ ｋ ＝ １ λｋ １ － ∑ Ｃ ｉ ＝ １ ( ｕｉｋ ) ＋ ∑ Ｃ ｉ ＝ １ θｉ １ － ∑ Ｎ＋Ｍ ｋ ＝ １ ｔ ( ｉｋ ) （２３） 式中 λｋ 与 θｉ 为 Ｌａｇｒａｎｇｅ 乘子。 令∂Ｑ／ ∂Ｖｉ ＝ ０，解得： ｖｉ ＝ ∑ Ｎ ｋ ＝１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｘｋ ＋ γ２∑ Ｎ ｋ ＝１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ｘ＾ ｉ ＋ ω ∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ｕｉｋ － ｆ ｉｋ ( ) ２ ( ) ｘｋ ＋ γ２∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ｕｉｋ － ｆ ｉｋ ( ) ２ ( ) ｘ＾ [ ｉ] １ ＋ γ２ ( ) ∑ Ｎ ｋ ＝１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ( ) ＋ ω∑ Ｎ＋Ｍ ｋ ＝Ｎ＋１ αｕ ２ ｉｋ ＋ βｔ ２ ｉｋ ＋ ｕｉｋ － ｆ ｉｋ ( ) ２ [ ( ) ] （２４） 令∂Ｑ／ ∂λｋ ＝ ０，可以得到： ∑ Ｃ ｉ ＝ １ ｕｉｋ ＝ １ （２５） 令∂Ｑ／ ∂ｕｉｋ ＝ ０，对于 ０＜ｋ≤Ｎ 可以解得： ｕｉｋ ＝ λ ２αｄ ? ２ ｉｋ （２６） 将式（２６）代入式（２５），解得： λ ２α ＝ ∑ Ｃ ｉ ＝ １ １ ｄ ? ２ ｉｋ æ è çç ö ø ÷÷ －１ （２７） 再将 λ 代回式（２６），得到： ｕｉｋ ＝ ∑ Ｃ ｊ ＝ １ ｄ ? ２ ｉｋ ｄ ? ２ ｊｋ æ è ç ç ö ø ÷ ÷ －１ （２８） 同理，对于 Ｎ＜ｋ≤Ｎ＋Ｍ，可以求出： ｕｉｋ ＝ １ － １ １ ＋ α∑ Ｃ ｊ ＝ １ ｆ ｊｋ ∑ Ｃ ｊ ＝ １ ｄ ? ２ ｉｋ ｄ ? ２ ｊｋ ＋ １ １ ＋ α ｆ ｉｋ （２９） 合并式（２８）和（２９）可以得到最终表达式： ｕｉｋ ＝ ∑ Ｃ ｊ ＝ １ ｄ ? ２ ｉｋ ｄ ? ２ ｊｋ æ è ç ç ö ø ÷ ÷ －１ ， ｋ ≤ Ｎ １ － １ １ ＋ α∑ Ｃ ｊ ＝ １ ｆ ｊｋ ∑ Ｃ ｊ ＝ １ ｄ ? ２ ｉｋ ｄ ? ２ ｊｋ ＋ １ １ ＋ α ｆ ｉｋ， Ｎ ＜ ｋ ≤ Ｎ ＋ Ｍ ì î í ï ï ï ï ï ï ï ï ïï （３０） 使用同样得方法，可以求得 ｔ ｉｋ的迭代表达式： ｔ ｉｋ ＝ ∑ Ｎ ｊ ＝ １ ｄ ? ２ ｉｋ ｄ ? ２ ｉｊ ＋ ∑ Ｎ＋Ｍ ｊ ＝ Ｎ＋１ ｄ ? ２ ｉｋ ωｄ ? ２ ｉｊ æ è ç ç ö ø ÷ ÷ －１ ， ｋ ≤ Ｎ ∑ Ｎ ｊ ＝ １ ωｄ ? ２ ｉｋ ｄ ? ２ ｉｊ ＋ ∑ Ｎ＋Ｍ ｊ ＝ Ｎ＋１ ｄ ? ２ ｉｋ ｄ ? ２ ｉｊ æ è ç ç ö ø ÷ ÷ －１ ， Ｎ ＜ ｋ ≤ Ｎ ＋ Ｍ ì î í ï ï ï ï ï ï （３１） ２．４ 改进的半监督迁移算法描述 根据上一节的公式，ＩＴＳＳ⁃ＦＰＣＭ 的表述如下： 算法 １ ＩＴＳＳ⁃ＦＰＣＭ 算法 输入 前 Ｎ 个数据样本为目标数据，后 Ｍ 个为 已 知 标 签 的 历 史 数 据 的 数 据 样 本 Ｘ′ ＝ ｘｋ { ｜ ｋ ＝ １，２，…，Ｎ，Ｎ＋１，…，Ｎ＋Ｍ} ，聚类个数 Ｃ， 最 大迭代次数 Ｌ，当前迭代次数 ｌ ＝ １，源数据类代表点 Ｘ＾ ，相关参数 α、β、ω、γ１ 和 γ２ ，阈值 ε。 输出 聚类中心 ｖｉ，隶属度矩阵 ｕｉｋ 和概率矩 阵 ｔ ｉｋ。 １）初始化聚类中心 ｖｉ，根据已知标签构造矩阵 Ｆ，初始化目标函数 Ｊ （ｌ）＝ ０。 ２）根据表达式（３０）更新 ｖｉｋ。 ３）根据表达式（３１）更新 ｖｉｋ。 ４）根据表达式（２４）更新 ｖｉ。 ５）ｌ ＝ ｌ ＋ １，计算新的目标函数 Ｊ （ｌ） ，如果 Ｊ （ｌ） － Ｊ （ｌ－１） ＜ε，或者 ｌ＞Ｌ 跳到第 ６），否则，跳到 ２）。 ６）聚类中心 ｖｉ，隶属度矩阵 ｖｉｋ和概率矩阵 ｖｉｋ。 ３ 实验结果 为了验证算法的有效性，实验使用了人工数据 第 ３ 期 王跃，等：一种基于少量标签的改进迁移模糊聚类 ·３１３·
·314· 智能系统学报 第11卷 集、UCI真实数据集以及文本数据集进行相关的实 验验证。 35 在进行聚类结果评价时，选取了相关的4种聚 吃 类评价指标：正确率AC(Accuracy)u)、归一化互信 5 息NM(normalized mutual information),]、芮氏指 标RI(Rand Index),9和F-measure。4个指标 10 的值域均在0到1，值越大表示聚类质量越好。 实验中选取了LSSMTCU、Co-Clustering) 5 FPCM、TSC)]、T-GIP-FCM四算法进行对比实实 验：评价结果将进行10次计算取平均值。 -10 510 152025 3.1人工数据集 为了模拟源场景和当前目标场景，实验使用文 (a)数据集Setl 献[11]的方法：首先利用高斯函数生成相关的数据 40 集，随机生成类别数为3，每类250个样本点，每个 样本点为两微的源场景数据，如图1所示。 30 50 20 40 ·器 10 30 0 -10 -10 -5051015202530 0 24 0 (b)数据集Set2 class-1 .class-2 图2目标数据集 -10 *class-3 Fig.2 Target dataset -10-505 1015202530 k 两个数据集分别模拟当前的数据样本信息匮乏 (数据不足)、充足（数据足够）但是受污染（有噪 图1源数据 声)的不同情况下进行聚类。 Fig.1 Source Dataset 实验时，SS-FPCM,TSS-FPCM,ITSS-FPCM算法 如图2所示，同样利用高斯分布函数产生当前 需要已知部分源标签，随机从源数据中抽取3%的 数据集Set1和Set2两个数据集：其中Setl每类样 样本作为已知标签数据进行实验，实验结果如表1 本数目为20，如图2(a)所示：Set2每类样本数目为 所示，表格中“一”表示该数据集不满足算法运行的 100,再向其中加入高斯噪声构成，如图2(b)所示。 基本条件。 表18个算法在人工数据集的对比 Tablel Comparison of 8 algorithms on artificial data sets 算法 数据集 评价指标 LSSMTC Co-Clustering FPCM TSC T-GIFP-FCM SS-FPCM TSS-FPCM ITSS-FPCM F-measure 0.8981 0.8837 0.8658 0.8956 0.9017 0.9017 0.9159 RI 0.8729 0.8593 0.8435 0.8627 0.8842 0.8842 0.8955 Setl AC 0.9000 0.8833 0.8667 一 0.8933 0.9000 0.9000 0.9167 NMI 0.7067 0.7434 0.6561 一 0.7364 0.7322 0.7322 0.7698 F-measure 0.8771 0.9117 0.9010 一 0.9184 0.9107 0.9124 0.9538 RI 0.8615 0.8698 0.8847 0.8967 0.8920 0.8920 0.9410 Set2 AC 0.8467 0.9010 0.9000 0.9200 0.9100 0.9133 0.9542 NMI 0.7187 0.7705 0.7616 0.8016 0.7810 0.7880 0.8444
集、ＵＣＩ 真实数据集以及文本数据集进行相关的实 验验证。 在进行聚类结果评价时，选取了相关的 ４ 种聚 类评价指标：正确率 ＡＣ（Ａｃｃｕｒａｃｙ） ［１８］ 、归一化互信 息 ＮＭＩ（ｎｏｒｍａｌｉｚｅｄ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ） ［１１，１８］ 、芮氏指 标 ＲＩ（Ｒａｎｄ Ｉｎｄｅｘ） ［１１，１９］ 和 Ｆ⁃ｍｅａｓｕｒｅ ［１９］ 。 ４ 个指标 的值域均在 ０ 到 １，值越大表示聚类质量越好。 实验 中 选 取 了 ＬＳＳＭＴＣ ［１８］ 、 Ｃｏ⁃Ｃｌｕｓｔｅｒｉｎｇ ［２０］ 、 ＦＰＣＭ、ＴＳＣ ［１２］ 、Ｔ⁃ＧＩＦＰ⁃ＦＣＭ ［１１］ 算法进行对比实实 验；评价结果将进行 １０ 次计算取平均值。 ３．１ 人工数据集 为了模拟源场景和当前目标场景，实验使用文 献［１１］的方法：首先利用高斯函数生成相关的数据 集，随机生成类别数为 ３，每类 ２５０ 个样本点，每个 样本点为两微的源场景数据，如图 １ 所示。 图 １ 源数据 Ｆｉｇ．１ Ｓｏｕｒｃｅ Ｄａｔａｓｅｔ 如图 ２ 所示，同样利用高斯分布函数产生当前 数据集 Ｓｅｔ１ 和 Ｓｅｔ２ 两个数据集；其中 Ｓｅｔ１ 每类样 本数目为 ２０，如图 ２（ａ）所示；Ｓｅｔ２ 每类样本数目为 １００，再向其中加入高斯噪声构成，如图 ２（ｂ）所示。 （ａ）数据集 Ｓｅｔ１ （ｂ）数据集 Ｓｅｔ２ 图 ２ 目标数据集 Ｆｉｇ．２ Ｔａｒｇｅｔ ｄａｔａｓｅｔ 两个数据集分别模拟当前的数据样本信息匮乏 （数据不足）、充足（数据足够） 但是受污染（有噪 声）的不同情况下进行聚类。 实验时，ＳＳ⁃ＦＰＣＭ，ＴＳＳ⁃ＦＰＣＭ，ＩＴＳＳ⁃ＦＰＣＭ 算法 需要已知部分源标签，随机从源数据中抽取 ３％的 样本作为已知标签数据进行实验，实验结果如表 １ 所示，表格中“—”表示该数据集不满足算法运行的 基本条件。 表 １ ８ 个算法在人工数据集的对比 Ｔａｂｌｅ１ Ｃｏｍｐａｒｉｓｏｎ ｏｆ ８ ａｌｇｏｒｉｔｈｍｓ ｏｎ ａｒｔｉｆｉｃｉａｌ ｄａｔａ ｓｅｔｓ 数据集 评价指标 算法 ＬＳＳＭＴＣ Ｃｏ⁃Ｃｌｕｓｔｅｒｉｎｇ ＦＰＣＭ ＴＳＣ Ｔ⁃ＧＩＦＰ⁃ＦＣＭ ＳＳ⁃ＦＰＣＭ ＴＳＳ⁃ＦＰＣＭ ＩＴＳＳ⁃ＦＰＣＭ Ｓｅｔ１ Ｆ⁃ｍｅａｓｕｒｅ ０．８９８ １ ０．８８３ ７ ０．８６５ ８ — ０．８９５ ６ ０．９０１ ７ ０．９０１ ７ ０．９１５ ９ ＲＩ ０．８７２ ９ ０．８５９ ３ ０．８４３ ５ — ０．８６２ ７ ０．８８４ ２ ０．８８４ ２ ０．８９５ ５ ＡＣ ０．９００ ０ ０．８８３ ３ ０．８６６ ７ — ０．８９３ ３ ０．９００ ０ ０．９００ ０ ０．９１６ ７ ＮＭＩ ０．７０６ ７ ０．７４３ ４ ０．６５６ １ — ０．７３６ ４ ０．７３２ ２ ０．７３２ ２ ０．７６９ ８ Ｓｅｔ２ Ｆ⁃ｍｅａｓｕｒｅ ０．８７７ １ ０．９１１ ７ ０．９０１ ０ — ０．９１８ ４ ０．９１０ ７ ０．９１２ ４ ０．９５３ ８ ＲＩ ０．８６１ ５ ０．８６９ ８ ０．８８４ ７ — ０．８９６ ７ ０．８９２ ０ ０．８９２ ０ ０．９４１ ０ ＡＣ ０．８４６ ７ ０．９０１ ０ ０．９００ ０ — ０．９２０ ０ ０．９１０ ０ ０．９１３ ３ ０．９５４ ２ ＮＭＩ ０．７１８ ７ ０．７７０ ５ ０．７６１ ６ — ０．８０１ ６ ０．７８１ ０ ０．７８８ ０ ０．８４４ ４ ·３１４· 智 能 系 统 学 报 第 １１ 卷