第11卷第1期 智能系统学报 Vol.11 No.1 2016年2月 CAAI Transactions on Intelligent Systems Feh.2016 D0I:10.11992/is.201505024 网络出版地址：htp://www.cmki.net/kcms/detail/23.1538.TP.20151229.0837.016.html 基于最小最大概率机的迁移学习分类算法 王晓初2，包芳23，王士同1，许小龙1 (1.江南大学数字媒体学院，江苏无锡214122：2.江阴职业技术学院江苏省信息融合软件工程技术研发中心，江苏 江阴214405：3.江阴职业技术学院计算机科学系，江苏江阴214405) 摘要：传统的迁移学习分类算法利用源域中大量有标签的数据和目标域中少量有标签的数据解决相关但不相同 目标域的数据分类问题，但对于已知源域的不同类别数据均值的迁移学习分类问题并不适用。为了解决这个问题， 利用源域的数据均值和目标域的少量标记数据构造迁移学习约束项，对最小最大概率机进行正则化约束，提出了基 于最小最大概率机的迁移学习分类算法，简称TL-MPM。在20 News Groups数据集上的实验结果表明，目标域数据 较少时，所提算法具有更高的分类正确率，从而说明了算法的有效性。 关键词：迁移学习：最小最大概率机：分类：源域：目标域：正则化 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2016)01-0084-09 中文引用格式：王晓初，包芳，王士同，等.基于最小最大概率机的迁移学习分类算法[J].智能系统学报，2016,11(1)：84-92 英文引用格式：WANG Xiaochu,BAO Fang,WANG Shitong,etal.Transfer learning classification algorithms based on minimax probability machine[].CAAI Transactions on Intelligent Systems,2016,11(1):84-92. Transfer learning classification algorithms based on minimax probability machine WANG Xiaochu'.2,BAO Fang2.3,WANG Shitong',XU Xiaolong' (1.School of Digital Media,Jiangnan University,Wuxi 214122,China;2.Information Fusion Software Engineering Research and De- velopment Center of Jiangsu Province,Jiangyin Pdyteehnie College,Jiangyin 214405,China;3.Department of Computer Science, Jiangyin Pdyteehnie College,Jiangyin 214405,China) Abstract:Traditional transfer learning classification algorithms solve related but not identical)data classification issues by using a large number of labeled samples in the source domain and small amounts of labeled samples in the target domain.However,this technique does not apply to the transfer learning of data from different categories of learned source domain data.To solve this problem,we constructed a transfer learning constraint term using the source domain data and the limited labeled data in the target domain to generate a regularized constraint for the minimax probability machine.We propose a transfer learning classification algorithm based on the minimax probabil- ity machine known as TL-MPM.Experimental results on 20 Newsgroups data sets demonstrate that the proposed al- gorithm has higher classification accuracy for small amounts of target domain data.Therefore,we confirm the effec- tiveness of the proposed algorithm. Keywords:transfer learning;minimax probability machine;classification;source domain;target domain;regulari- zation 迁移学习是机器学习领域的一个新方向，是对 及对未来迁移学习潜在的问题。文献[2]推广了传 机器学习能力的一次拓展，具有很重要的研究价值。 统的AdaBoost算法，提出Tradaboosting迁移学习算 文献[1]讨论了迁移学习的应用，现阶段研究进展 法，该算法思想是利用boosting的技术来过滤掉辅 助数据中那些与源训练数据最不相像的数据。其中 收稿日期：2015-05-11.网络出版日期：2015-12-29. 基金项目：国家自然科学基金资助项目(61170122,61272210) boosting的作用是建立一种自动调整权重的机制，于 通信作者：王晓初.E-mail:icnice@ycah.net
第 １１ 卷第 １ 期 智 能 系 统 学 报 Ｖｏｌ．１１ №．１ ２０１６ 年 ２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｆｅｂ． ２０１６ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１５０５０２４ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５１２２９．０８３７．０１６．ｈｔｍｌ 基于最小最大概率机的迁移学习分类算法 王晓初１，２ ，包芳２，３ ，王士同１ ，许小龙１ （１．江南大学 数字媒体学院，江苏 无锡 ２１４１２２； ２． 江阴职业技术学院 江苏省信息融合软件工程技术研发中心，江苏 江阴 ２１４４０５； ３．江阴职业技术学院 计算机科学系，江苏 江阴 ２１４４０５） 摘 要：传统的迁移学习分类算法利用源域中大量有标签的数据和目标域中少量有标签的数据解决相关但不相同 目标域的数据分类问题，但对于已知源域的不同类别数据均值的迁移学习分类问题并不适用。 为了解决这个问题， 利用源域的数据均值和目标域的少量标记数据构造迁移学习约束项，对最小最大概率机进行正则化约束，提出了基 于最小最大概率机的迁移学习分类算法，简称 ＴＬ⁃ＭＰＭ。 在 ２０ Ｎｅｗｓ Ｇｒｏｕｐｓ 数据集上的实验结果表明，目标域数据 较少时，所提算法具有更高的分类正确率，从而说明了算法的有效性。 关键词：迁移学习；最小最大概率机；分类；源域；目标域；正则化 中图分类号：ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１６）０１⁃００８４⁃０９ 中文引用格式：王晓初，包芳，王士同，等．基于最小最大概率机的迁移学习分类算法［Ｊ］． 智能系统学报， ２０１６， １１（１）： ８４⁃９２． 英文引用格式：ＷＡＮＧ Ｘｉａｏｃｈｕ， ＢＡＯ Ｆａｎｇ， ＷＡＮＧ Ｓｈｉｔｏｎｇ， ｅｔ ａｌ． Ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｍｉｎｉｍａｘ ｐｒｏｂａｂｉｌｉｔｙ ｍａｃｈｉｎｅ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１６， １１（１）： ８４⁃９２． Ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｍｉｎｉｍａｘ ｐｒｏｂａｂｉｌｉｔｙ ｍａｃｈｉｎｅ ＷＡＮＧ Ｘｉａｏｃｈｕ １，２ ， ＢＡＯ Ｆａｎｇ ２，３ ， ＷＡＮＧ Ｓｈｉｔｏｎｇ １ ， ＸＵ Ｘｉａｏｌｏｎｇ １ （１． Ｓｃｈｏｏｌ ｏｆ Ｄｉｇｉｔａｌ Ｍｅｄｉａ， Ｊｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｘｉ ２１４１２２， Ｃｈｉｎａ； ２． Ｉｎｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ Ｓｏｆｔｗａｒｅ Ｅｎｇｉｎｅｅｒｉｎｇ Ｒｅｓｅａｒｃｈ ａｎｄ Ｄｅ⁃ ｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｅｒ ｏｆ Ｊｉａｎｇｓｕ Ｐｒｏｖｉｎｃｅ， Ｊｉａｎｇｙｉｎ Ｐｄｙｔｅｅｈｎｉｅ Ｃｏｌｌｅｇｅ， Ｊｉａｎｇｙｉｎ ２１４４０５， Ｃｈｉｎａ； ３． Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ， Ｊｉａｎｇｙｉｎ Ｐｄｙｔｅｅｈｎｉｅ Ｃｏｌｌｅｇｅ， Ｊｉａｎｇｙｉｎ ２１４４０５， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｓｏｌｖｅ ｒｅｌａｔｅｄ （ｂｕｔ ｎｏｔ ｉｄｅｎｔｉｃａｌ） ｄａｔａ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｓｓｕｅｓ ｂｙ ｕｓｉｎｇ ａ ｌａｒｇｅ ｎｕｍｂｅｒ ｏｆ ｌａｂｅｌｅｄ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ ａｎｄ ｓｍａｌｌ ａｍｏｕｎｔｓ ｏｆ ｌａｂｅｌｅｄ ｓａｍｐｌｅｓ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ． Ｈｏｗｅｖｅｒ， ｔｈｉｓ ｔｅｃｈｎｉｑｕｅ ｄｏｅｓ ｎｏｔ ａｐｐｌｙ ｔｏ ｔｈｅ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｏｆ ｄａｔａ ｆｒｏｍ ｄｉｆｆｅｒｅｎｔ ｃａｔｅｇｏｒｉｅｓ ｏｆ ｌｅａｒｎｅｄ ｓｏｕｒｃｅ ｄｏｍａｉｎ ｄａｔａ． Ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ， ｗｅ ｃｏｎｓｔｒｕｃｔｅｄ ａ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｃｏｎｓｔｒａｉｎｔ ｔｅｒｍ ｕｓｉｎｇ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ ｄａｔａ ａｎｄ ｔｈｅ ｌｉｍｉｔｅｄ ｌａｂｅｌｅｄ ｄａｔａ ｉｎ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ ｔｏ ｇｅｎｅｒａｔｅ ａ ｒｅｇｕｌａｒｉｚｅｄ ｃｏｎｓｔｒａｉｎｔ ｆｏｒ ｔｈｅ ｍｉｎｉｍａｘ ｐｒｏｂａｂｉｌｉｔｙ ｍａｃｈｉｎｅ． Ｗｅ ｐｒｏｐｏｓｅ ａ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｔｈｅ ｍｉｎｉｍａｘ ｐｒｏｂａｂｉｌ⁃ ｉｔｙ ｍａｃｈｉｎｅ ｋｎｏｗｎ ａｓ ＴＬ⁃ＭＰＭ． Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｏｎ ２０ Ｎｅｗｓｇｒｏｕｐｓ ｄａｔａ ｓｅｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌ⁃ ｇｏｒｉｔｈｍ ｈａｓ ｈｉｇｈｅｒ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｆｏｒ ｓｍａｌｌ ａｍｏｕｎｔｓ ｏｆ ｔａｒｇｅｔ ｄｏｍａｉｎ ｄａｔａ． Ｔｈｅｒｅｆｏｒｅ， ｗｅ ｃｏｎｆｉｒｍ ｔｈｅ ｅｆｆｅｃ⁃ ｔｉｖｅｎｅｓｓ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ． Ｋｅｙｗｏｒｄｓ：ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ； ｍｉｎｉｍａｘ ｐｒｏｂａｂｉｌｉｔｙ ｍａｃｈｉｎｅ； ｃｌａｓｓｉｆｉｃａｔｉｏｎ； ｓｏｕｒｃｅ ｄｏｍａｉｎ； ｔａｒｇｅｔ ｄｏｍａｉｎ； ｒｅｇｕｌａｒｉ⁃ ｚａｔｉｏｎ 收稿日期：２０１５⁃０５⁃１１． 网络出版日期：２０１５⁃１２⁃２９． 基金项目：国家自然科学基金资助项目（６１１７０１２２， ６１２７２２１０）． 通信作者：王晓初． Ｅ⁃ｍａｉｌ：ｉｃｎｉｃｅ＠ ｙｅａｈ．ｎｅｔ． 迁移学习是机器学习领域的一个新方向，是对 机器学习能力的一次拓展，具有很重要的研究价值。 文献［１］讨论了迁移学习的应用，现阶段研究进展 及对未来迁移学习潜在的问题。 文献［２］推广了传 统的 ＡｄａＢｏｏｓｔ 算法，提出 Ｔｒａｄａｂｏｏｓｔｉｎｇ 迁移学习算 法，该算法思想是利用 ｂｏｏｓｔｉｎｇ 的技术来过滤掉辅 助数据中那些与源训练数据最不相像的数据。 其中 ｂｏｏｓｔｉｎｇ 的作用是建立一种自动调整权重的机制，于
第1期 王晓初，等：基于最小最大概率机的迁移学习分类算法 ·85. 是重要的辅助训练数据的权重将会增加，不重要的 解为a。,对应k取得最小值k。,此时(2)式中的不 辅助训练数据的权重将会减小。调整权重之后，这 等号变为等号，可得 些带权重的辅助训练数据将会作为额外的训练数 b.=ax-k√Ja.a.=aly-k√a.E,a. 据，与源训练数据一起来提高分类模型的可靠度。 (4) 文献[3]通过维数约简的思想，设法学习出一个低 对于测试样本x",若axe-b,≥0则x为 维隐特征空间，使得源域的数据和目标域的数据在 正样本；反之x"为负样本。 该空间的分布相同或接近对方。文献[4-7]将协同 1.2非线性部分 学习、正则化、模糊理论等用于迁移学习，取得了很 好的效果。文献[8]同样提出了基于正则化的迁移 样本映射到非线性：x→p(x)~((x),Σs) 学习模型，文献[9]提出了图协同正则化的迁移学 y→(y）~(p(y),)),这里：R4→R",核函数 习。文献[10]将迁移学习的思想用于广告显示。 可写为K(x:,x)=P(x:)T(x)。核函数用于最小 前面对迁移学习的研究，大多是在源域的数据 最大概率机，决策超平面写为ap(z)-b=0,其中a, 样本具体标签已知的假设下进行的。本文针对源域 (z)∈R"。表达式(3)非线性形式为 中不同类别的数据均值和目标域中少量有标签的数 minv√aΣ，a+√aΣ，)a 据已知的分类问题，以最小最大概率机分类算法模 s.ta'(p(x)-p(y))=1 (5) 型为基础，提出TL-MPM算法，本算法最大的优点 如果a中有一分量正交于p(x:),i=1,2,…,N 是并不知道源域的数据训练样本的具体标签，仅知 和(y:),i=1,2,…,N,的子空间，N、V,分别为正 道均值信息，从而减小了对标记源域的数据所需花 负标记样本的个数，那么这个分量不会影响到目标 费的代价。 函数的结果，因此可以将a写成 1 最小最大概率机 a=∑a,e(x)+∑B.e(x) (6) 1.1线性部分 设Y=[a1a2…axB1B2…Bx,],[K]:=K(x, 假设x和y为2维分类问题的2个随机变量， 服从某种分布x~(x,三)，y~(少，三，)，这里x,y∈ )为核数，【医1.=∑（与，医，1. R,三，三，∈R,x,少，三，三，分别为随机变量x和 ∑产K,2)则约束条件可表示为 1 y的均值和方差。最小最大概率机实现分类的目的 就是找到一个超平面a'z-b=0,(a,z∈R,b∈ ao(x)-a"e(y)=yk,-yk,(7) R)四，将2类样本在样本估计的均值和方差的前 又假设1.m为m维全1列向量，且K.= 提下，按照最大概率分离，所以分类问题可以描述 K-1,同样形式飞，=K,-1x,其中i=1,2,…, 为 may a s.t..inf Pria'r≥b}≥a N时乙，=x,i=N+1,…,N+W,时z=yN,那么正 负样本的协方差表达式可表示为 inf Pra'y≤b}≥a (1) 式中：a为正确分类概率，inf表示下确界。主要是 a'Σma=i YKK 保证在错分概率最小的情况下，通过一个核函数将 特征映射到高维空间，并构造一个最优分类超平面， d'soky (8) 从而实现特征分类。(1)式可归结为一个带约束的 经过上面核化后，约束条件和协方差的表达式 优化问题2： 变为(7)式和(8)式的形式，带人α表示的非线性表 max k s.t.-b+aTx≥k√a∑a 达式(5)式可得y表示的非线性目标函数： k,a,6 b-a'y≥ka,a (2) min 下yKKy+ XKK 式中：k=√a/1-a)。化简式(2)并削去k且不 st.y(k.-k,）=1 (9) 失一般性地令a'(x-y)=1,最大化k等价于： 目标函数(9)也为凸优化问题。 min a'sa+√a∑，as.t.a'(x-y)=1(3) 显然，与线性部分算法一致。当Y取最优解 目标函数(3)为凸优化问题5)，假设求得最优 Y,,对应k取得最小值k。,可得
是重要的辅助训练数据的权重将会增加，不重要的 辅助训练数据的权重将会减小。 调整权重之后，这 些带权重的辅助训练数据将会作为额外的训练数 据，与源训练数据一起来提高分类模型的可靠度。 文献［３］通过维数约简的思想，设法学习出一个低 维隐特征空间，使得源域的数据和目标域的数据在 该空间的分布相同或接近对方。 文献［４－７］将协同 学习、正则化、模糊理论等用于迁移学习，取得了很 好的效果。 文献［８］同样提出了基于正则化的迁移 学习模型，文献［９］提出了图协同正则化的迁移学 习。 文献［１０］将迁移学习的思想用于广告显示。 前面对迁移学习的研究，大多是在源域的数据 样本具体标签已知的假设下进行的。 本文针对源域 中不同类别的数据均值和目标域中少量有标签的数 据已知的分类问题，以最小最大概率机分类算法模 型为基础，提出 ＴＬ⁃ＭＰＭ 算法，本算法最大的优点 是并不知道源域的数据训练样本的具体标签，仅知 道均值信息，从而减小了对标记源域的数据所需花 费的代价。 １ 最小最大概率机 １．１ 线性部分 假设 ｘ 和 ｙ 为 ２ 维分类问题的 ２ 个随机变量 ， 服从某种分布 ｘ ～ （ｘ － ，Σｘ），ｙ ～ （ｙ － ，Σｙ），这里ｘ，ｙ ∈ Ｒ ｄ ，Σｘ，Σｙ ∈ Ｒ ｄ×ｄ ， ｘ － ，ｙ － ， Σｘ，Σｙ 分别为随机变量 ｘ 和 ｙ 的均值和方差。 最小最大概率机实现分类的目的 就是找到一个超平面 ａ Ｔ ｚ － ｂ ＝ ０， （ ａ， ｚ ∈ Ｒ ｄ ， ｂ ∈ Ｒ） ［１１］ ，将 ２ 类样本在样本估计的均值和方差的前 提下，按照最大概率分离 ，所以分类问题可以描述 为 ｍａｘ α，ａ，ｂ α ｓ．ｔ． ｉｎｆ Ｐｒ｛ａ Ｔ ｘ ≥ ｂ｝ ≥ α ｉｎｆ Ｐｒ｛ａ Ｔ ｙ ≤ ｂ｝ ≥ α （１） 式中：α 为正确分类概率，ｉｎｆ 表示下确界。 主要是 保证在错分概率最小的情况下，通过一个核函数将 特征映射到高维空间，并构造一个最优分类超平面， 从而实现特征分类。 （１）式可归结为一个带约束的 优化问题［１２⁃１３］ ： ｍａｘ ｋ，ａ，ｂ ｋ ｓ．ｔ． － ｂ ＋ ａ Ｔ ｘ － ≥ ｋ ａ Ｔ Σｘａ ｂ － ａ Ｔ ｙ － ≥ ｋ ａ Ｔ Σｙａ （２） 式中：ｋ ＝ α／ （１－α） ［１４］ 。 化简式（２）并削去 ｋ 且不 失一般性地令 ａ Ｔ （ｘ － －ｙ － ）＝ １，最大化 ｋ 等价于： ｍｉｎ ａ ａ Ｔ Σｘａ ＋ ａ Ｔ Σｙａ ｓ．ｔ． ａ Ｔ （ｘ － － ｙ － ） ＝ １ （３） 目标函数（３）为凸优化问题［１５］ ，假设求得最优 解为 ａ∗，对应 ｋ 取得最小值 ｋ∗，此时（２）式中的不 等号变为等号，可得 ｂ∗ ＝ ａ Ｔ ∗ｘ － － ｋ ａ Ｔ ∗Σｘａ∗ ＝ ａ Ｔ ∗ｙ － － ｋ ａ Ｔ ∗Σｙａ∗ （４） 对于测试样本 ｘ ｎｅｗ ，若 ａ Ｔ ∗ ｘ ｎｅｗ －ｂ∗ ≥０ 则 ｘ ｎｅｗ为 正样本；反之 ｘ ｎｅｗ为负样本。 １．２ 非线性部分 样本映射到非线性：ｘ aφ（ ｘ） ～ （φ（ ｘ），Σφ（ｘ） ） ｙ aφ（ｙ） ～ （φ（ｙ），Σφ（ｙ） ），这里 φ：Ｒ ｄ aＲ ｎ ，核函数 可写为 Ｋ（ｘｉ，ｘｊ）＝ φ （ｘｉ） Ｔφ（ｘｊ）。 核函数用于最小 最大概率机，决策超平面写为 ａ Ｔφ（ｚ）－ｂ ＝ ０，其中 ａ， φ（ｚ）∈Ｒ ｎ 。 表达式（３）非线性形式为 ｍｉｎ ａ ａ Ｔ Σφ（ｘ） ａ ＋ ａ Ｔ Σφ（ｙ） ａ ｓ．ｔ． ａ Ｔ （φ（ｘ － ） － φ（ｙ － ）） ＝ １ （５） 如果 ａ 中有一分量正交于 φ（ｘｉ），ｉ ＝ １，２，…，Ｎｘ 和 φ（ｙｉ），ｉ ＝ １，２，…，Ｎｙ 的子空间，Ｎｘ、Ｎｙ 分别为正 负标记样本的个数，那么这个分量不会影响到目标 函数的结果，因此可以将 ａ 写成 ａ ＝ ∑ Ｎｘ ｉ ＝ １ αｉφ（ｘｉ） ＋ ∑ Ｎｙ ｉ ＝ １ βｉφ（ｘｉ） （６） 设 γ＝ ［α１ α２… αΝｘ β１ β２… βΝｙ ］，［Ｋｘ］ｉ ＝Ｋ（ｘｊ， ｚｉ） 为核函数， ［ ｋ ～ ｘ］ｉ ＝ １ Ｎｘ ∑ Ｎｘ ｊ ＝ １ Ｋ（ｘｊ，ｚｉ）， ［ ｋ ～ ｙ］ｉ ＝ １ Ｎｙ ∑ Ｎｙ ｊ ＝ １ Ｋ（ｙｊ，ｚｉ） 则约束条件可表示为 ａ Ｔφ（ｘ） － ａ Ｔφ（ｙ） ＝ γ Ｔ ｋ ～ ｘ － γ Ｔ ｋ ～ ｙ （７） 又 假 设 １ｍ 为 ｍ 维 全 １ 列 向 量， 且 Ｋ ～ ｘ ＝ Ｋｘ －１Ｎｘ ｋ ～ Ｔ ｘ ，同样形式 Ｋ ～ ｙ ＝ Ｋｙ －１Ｎｙ ｋ ～ Ｔ ｙ ，其中 ｉ ＝ １，２，…， Ｎｘ 时 ｚｉ ＝ ｘｉ，ｉ ＝ Ｎｘ ＋１，…，Ｎｘ ＋Ｎｙ 时 ｚｉ ＝ ｙｉ－Ｎｘ ，那么正 负样本的协方差表达式可表示为 ａ Ｔ Σφ（ｘ） ａ ＝ １ Ｎｘ γ ＴＫ ～ Ｔ ｘ Ｋ ～ ｘγ ａ Ｔ Σφ（ｙ） ａ ＝ １ Ｎｙ γ ＴＫ ～ Ｔ ｙＫ ～ ｙγ （８） 经过上面核化后，约束条件和协方差的表达式 变为（７）式和（８）式的形式，带入 ａ 表示的非线性表 达式（５）式可得 γ 表示的非线性目标函数： ｍｉｎ γ １ Ｎｘ γ ＴＫ ～ Ｔ ｘＫ ～ ｘγ ＋ １ Ｎｙ γ ＴＫ ～ Ｔ ｙＫ ～ ｙγ ｓ．ｔ． γ Ｔ （ ｋ ～ ｘ － ｋ ～ ｙ） ＝ １ （９） 目标函数（９）也为凸优化问题。 显然，与线性部分算法一致。 当 γ 取最优解 γ∗，对应 ｋ 取得最小值 ｋ∗，可得 第 １ 期 王晓初，等：基于最小最大概率机的迁移学习分类算法 ·８５·
·86 智能系统学报 第11卷 b.=y尾-k. ykky.= L=lf(E,))-f((x,)I2+ f(,)-f(y)‖2 (12) y.k,-k. KY. (10) TL-MPM算法的理论依据是：若两个领域相关， 源域的数据和目标域的数据在超平面所在空间的均 对于测试样本x",若a!p(x)-b。= 值应相近。通过在MPM线性目标式(3)中增加L, ∑[y.],K(z,x)≥0，则x为正样本；反之 非线性目标式(5)中增加入L实现两个域之间的迁移 xew为负样本。 学习。加入迁移学习项后的线性目标函数可以写为 2基于最小最大概率机的迁移学习分 min√a.a+√a,a+AL 类算法 s.t.a(x,-y,)=1 (13) 2.1TL-MPM算法的应用背景 非线性目标函数可写为 实际问题中，有时候当前分类目标的标记样本并 min√aΣeea+√aEe)a+ALt 不充分，这样对于分类结果的预测会带来很大偏差。 s.t.a'(p(a,)-p(y,)=1 (14) 而当前分类目标往往和上一阶段的分类目标比较，既 式中：L和L4表示两个域的差异程度，参数入控制 有新的变化，又具有某些类似的特性。比如超市不同 惩罚程度。本算法对入在103~103范围内进行交 季度的营业额、银行不同月份的贷款数、公司每个阶 叉验证选优。当入取值较小时，说明两个领域之间 段的出货量、港务每年吞吐量等，一般情况每个阶段 均值相关性较高；反之，两个领域之间均值相关性较 虽然有波动，不会有太大的偏差，但由于种种原因，上 小。TL-MPM算法的原理可用图1表示。 个阶段的样本信息，并不能完全得知：即使得知，也不 能直接将所有信息用在当前阶段中，因为上一阶段的 源域训练集正负 目标域训练集少量 均值往往是易于得知，并且各个阶段数据均值波动基 类样本均值 样本 本很小。所以上一阶段均值是对当前阶段极为有用 的信息。这样在当前阶段信息不充分的情况下可以 构造迁移学习项 充分利用上个阶段的均值信息进行迁移学习。 2.2TL-MPM算法的理论依据 构建最小最大概率机 在最小最大概率机训练的过程中，如式(3)所 描述的，通过最小化√a∑a和√a∑，a之和，使得 基于最小最大概率机的 样本在超平面所在空间分布为线性可分的形式，但 迁移学习算法 在样本很少的情况下，协方差和均值并不能很好地 图1TL-MPM算法 代表整体的协方差和均值，那么训练出来的a值实 Fig.1 Flowchart of TL-MPM 际上并不是最优的。对于相关但不相同的数据，源 为了更清晰地展示TL-MPM算法的作用原理及效 域的数据和目标域的数据具有相似性，所以均值波 果，在二维数据上做了线性算法的模拟实验。图2为 动性并不大，可以预测目标域的数据均值与源域的 源域样本分布，横轴x表示样本的一维，纵轴y表示样 数据均值或多或少是相近的，所以在训练过程中，可 本的二维，图中“×”表示目标域正样本，“+”号表示目 以利用源域的数据均值和目标域的数据均值实现数 标域负样本，菱形和正方形分别表示已知的目标域正 据迁移学习。在具体的实现中，是通过最小化源域 样本和负样本，实心圆表示目标域正样本和负样本均 的数据均值和目标域的数据均值在超平面所在空间 值，空心圆表示源域正样本和负样本均值。虚线为目 的欧氏距离来实现的。假设源域的数据正负类样本 标域少量标记样本在MPM算法下得到的分类超平面， 的均值分别为x,和y,目标域少量数据的样本的均 实线为TL-MPM算法下得到的分类超平面。 值分别为x,和y,可得超平面所在空间的均值之间 由图3可以明显看出，源域正负样本的均值和 的线性距离可以表示为 目标域样本的均值相差并不是很大。正是由于这种 L=‖fx,)-fx)I2+lfy,)-fy)‖2 源域样本与目标域样本的相关性，经过源域的数据 均值与目标域的数据均值的迁移学习，得到的目标 (11) 域的分类超平面更为准确。 均值之间的非线性距离表示为
ｂ∗ ＝ γ Ｔ ∗ ｋ ～ ｘ － ｋ∗ １ Ｎｘ γ Ｔ ∗Ｋ ～ Ｔ ｘ Ｋ ～ ｘγ∗ ＝ γ Ｔ ∗ ｋ ～ ｙ － ｋ∗ １ Ｎｙ γ Ｔ ∗Ｋ ～ Ｔ ｙＫ ～ ｙγ∗ （１０） 对 于 测 试 样 本 ｘ ｎｅｗ ， 若 ａ Ｔ ∗ φ （ ｘ ｎｅｗ ） － ｂ∗ ＝ ∑Ｎｘ ＋Ｎｙ ｉ ［γ∗］ｉＫ（ｚｉ，ｘ ｎｅｗ ） ≥０，则 ｘ ｎｅｗ 为正样本；反之 ｘ ｎｅｗ为负样本。 ２ 基于最小最大概率机的迁移学习分 类算法 ２．１ ＴＬ⁃ＭＰＭ 算法的应用背景 实际问题中，有时候当前分类目标的标记样本并 不充分，这样对于分类结果的预测会带来很大偏差。 而当前分类目标往往和上一阶段的分类目标比较，既 有新的变化，又具有某些类似的特性。 比如超市不同 季度的营业额、银行不同月份的贷款数、公司每个阶 段的出货量、港务每年吞吐量等，一般情况每个阶段 虽然有波动，不会有太大的偏差，但由于种种原因，上 个阶段的样本信息，并不能完全得知；即使得知，也不 能直接将所有信息用在当前阶段中，因为上一阶段的 均值往往是易于得知，并且各个阶段数据均值波动基 本很小。 所以上一阶段均值是对当前阶段极为有用 的信息。 这样在当前阶段信息不充分的情况下可以 充分利用上个阶段的均值信息进行迁移学习。 ２．２ ＴＬ⁃ＭＰＭ 算法的理论依据 在最小最大概率机训练的过程中，如式（３） 所 描述的，通过最小化 ａ Ｔ Σｘａ 和 ａ Ｔ Σｙａ 之和，使得 样本在超平面所在空间分布为线性可分的形式，但 在样本很少的情况下，协方差和均值并不能很好地 代表整体的协方差和均值，那么训练出来的 ａ 值实 际上并不是最优的。 对于相关但不相同的数据，源 域的数据和目标域的数据具有相似性，所以均值波 动性并不大，可以预测目标域的数据均值与源域的 数据均值或多或少是相近的，所以在训练过程中，可 以利用源域的数据均值和目标域的数据均值实现数 据迁移学习。 在具体的实现中，是通过最小化源域 的数据均值和目标域的数据均值在超平面所在空间 的欧氏距离来实现的。 假设源域的数据正负类样本 的均值分别为ｘ － ｓ 和ｙ － ｓ，目标域少量数据的样本的均 值分别为ｘ － ｔ 和ｙ － ｔ，可得超平面所在空间的均值之间 的线性距离可以表示为 Ｌ ＝ ‖ｆ（ｘ － ｔ） － ｆ（ｘ － ｓ）‖２ ＋ ‖ｆ（ｙ － ｔ） － ｆ（ｙ － ｓ）‖２ （１１） 均值之间的非线性距离表示为 Ｌｋ ＝ ‖ｆ（φ（ｘ － ｔ）） － ｆ（φ（ｘ － ｓ））‖２ ＋ ‖ｆ（φ（ｙ － ｔ）） － ｆ（φ（ｙ － ｓ））‖２ （１２） ＴＬ⁃ＭＰＭ 算法的理论依据是：若两个领域相关， 源域的数据和目标域的数据在超平面所在空间的均 值应相近。 通过在 ＭＰＭ 线性目标式（３）中增加 λＬ， 非线性目标式（５）中增加 λＬｋ 实现两个域之间的迁移 学习。 加入迁移学习项后的线性目标函数可以写为 ｍｉｎ ａ ａ Ｔ Σｘａ ＋ ａ Ｔ Σｙａ ＋ λＬ ｓ．ｔ． ａ Ｔ （ｘ － ｔ － ｙ － ｔ） ＝ １ （１３） 非线性目标函数可写为 ｍｉｎ ａ ａ Ｔ Σφ（ｘ） ａ ＋ ａ Ｔ Σφ（ｙ） ａ ＋ λＬｋ ｓ．ｔ． ａ Ｔ （φ（ａ － ｔ） － φ（ｙ － ｔ）） ＝ １ （１４） 式中：Ｌ 和 Ｌｋ 表示两个域的差异程度，参数 λ 控制 惩罚程度。 本算法对 λ 在１０ －３ ～ １０ ３ 范围内进行交 叉验证选优。 当 λ 取值较小时，说明两个领域之间 均值相关性较高；反之，两个领域之间均值相关性较 小。 ＴＬ⁃ＭＰＭ 算法的原理可用图 １ 表示。 图 １ ＴＬ⁃ＭＰＭ 算法 Ｆｉｇ．１ Ｆｌｏｗｃｈａｒｔ ｏｆ ＴＬ⁃ＭＰＭ 为了更清晰地展示 ＴＬ⁃ＭＰＭ 算法的作用原理及效 果，在二维数据上做了线性算法的模拟实验。 图 ２ 为 源域样本分布，横轴 ｘ 表示样本的一维，纵轴 ｙ 表示样 本的二维，图中“×”表示目标域正样本，“＋”号表示目 标域负样本，菱形和正方形分别表示已知的目标域正 样本和负样本，实心圆表示目标域正样本和负样本均 值，空心圆表示源域正样本和负样本均值。 虚线为目 标域少量标记样本在 ＭＰＭ 算法下得到的分类超平面， 实线为 ＴＬ⁃ＭＰＭ 算法下得到的分类超平面。 由图 ３ 可以明显看出，源域正负样本的均值和 目标域样本的均值相差并不是很大。 正是由于这种 源域样本与目标域样本的相关性，经过源域的数据 均值与目标域的数据均值的迁移学习，得到的目标 域的分类超平面更为准确。 ·８６· 智 能 系 统 学 报 第 １１ 卷
第1期 王晓初，等：基于最小最大概率机的迁移学习分类算法 ·87 线性迁移学习约束项有简单的形式： 12r ×源域正样本 L=aD a aD a=aDa 10 +源域负样本 其中： D=玉+无，-x,-E, 6 D,=y,+--少 D=D,+D. 2 最小化a'Da等价于最小化√aDa,为了便 Xx 0 于运算，在不影响结果的情况下，所以基于最小 最大概率机的迁移学习算法可以化简成下面形 6 式的目标函数： 图2源域样本分布 min√a.a+√a∑，a+A√aDa Fig.2 Source domain samples s.t.a'(-)=1 12 具体求解过程见本文第4部分。由于加人了约 MPN 束项，b,的表达发生了变化。注意到引入项对正负 10 + X 类的贡献不同，用n(0≤)≤1)表示正类在整个样 8 本中所占的比率。一般情况下7可设置为0.5，那 6 TL-MPM + 么判别式可由下面公式推导求出： 年+十 mas.t.-6+a'无，≥k(Vaa+AaDa) b-aTy,≥k(√Ja,a+(1-n)√AaDa) X (17) 当a取最优解a.时，对应k取得最小值k。,式(17) 中不等式变为等式，可得 0 2 4 6 x b.=a元，-k.(a..a.+n√Aa.Da.)= 图3二维数据模拟实验 Fig.3 Two-dimensional simulation experiment a.y,+k(va.s a.+(1-n)a.Da. 对于测试样本xe",若ax"-b.≥0，则xw为正样 2.3具体推导过程 2.3.1线性部分 本：反之xw为负样本。 2.3.2非线性部分 由于分类超平面为a'x-b=0,那么样本在超平 核表示方式是将数据映射到高维空间来增 面所在空间的分布可以写为f(x)=a'x-b,所以对 加线性学习器的学习能力。通过选择恰当的核 线性迁移学习约束项中的前半部分可推导为 函数来替代内积，可以隐式地将训练数据非线性 f(x,)-fx,)I2= 映射到高维空间。 ‖ax,-ax,I2= 对应于线性分布f(p(x))=a'e(x)-b为样本在 a'(x,-x,)(,-x)Ta= 非线性超平面所在空间的分布，且a'(x)=y飞，非线 a"(xx+x-xx-x)a=a'Da 性迁移学习约束项的前半部分可以推导为 (15) f八p(x,)-f(E)I2= 线性迁移学习约束项中的后半部分可推导为 lfy,)-fy,）‖2=lay,-ay‖2= yk:-yk= a(y,-y)(y-y,)'a= y(,-,)(k-:,)'y= a(5+y-y-y)a=a'D,a(16) y(飞，+飞，-无，生，-，飞，)y= 那么，基于最小最大概率机的迁移学习算法对应的 YHY
图 ２ 源域样本分布 Ｆｉｇ．２ Ｓｏｕｒｃｅ ｄｏｍａｉｎ ｓａｍｐｌｅｓ 图 ３ 二维数据模拟实验 Ｆｉｇ．３ Ｔｗｏ⁃ｄｉｍｅｎｓｉｏｎａｌ ｓｉｍｕｌａｔｉｏｎ ｅｘｐｅｒｉｍｅｎｔ ２．３ 具体推导过程 ２．３．１ 线性部分 由于分类超平面为ａ Ｔ ｘ－ｂ ＝ ０，那么样本在超平 面所在空间的分布可以写为 ｆ（ ｘ） ＝ ａ Ｔ ｘ－ｂ，所以对 线性迁移学习约束项中的前半部分可推导为 ‖ｆ（ｘ － ｔ） － ｆ（ｘ － ｓ）‖２ ＝ ‖ ａ Ｔ ｘ － ｔ － ａ Ｔ ｘ － ｓ‖２ ＝ ａ Ｔ （ｘ － ｔ － ｘ － ｓ）（ｘ － ｔ － ｘ － ｓ） Ｔ ａ ＝ ａ Ｔ （ｘ － ｔ ｘ － Ｔ ｔ ＋ ｘ － ｓ ｘ － Ｔ ｓ － ｘ － ｔ ｘ － Ｔ ｓ － ｘ － ｓ ｘ － Ｔ ｔ ）ａ ＝ ａ ＴＤｘａ （１５） 线性迁移学习约束项中的后半部分可推导为 ‖ｆ（ｙ － ｔ） － ｆ（ｙ － ｓ）‖２ ＝ ‖ ａ Ｔ ｙ － ｔ － ａ Ｔ ｙ － ｌ‖２ ＝ ａ Ｔ （ｙ － ｔ － ｙ － ｓ）（ｙ － ｔ － ｙ － ｓ） Ｔ ａ ＝ ａ Ｔ （ｙ － ｔ ｙ － Ｔ ｔ ＋ ｙ － ｓ ｙ － Ｔ ｓ － ｙ － ｔ ｙ － Ｔ ｓ － ｙ － ｓ ｙ － Ｔ ｔ ）ａ ＝ ａ ＴＤｙａ（１６） 那么，基于最小最大概率机的迁移学习算法对应的 线性迁移学习约束项有简单的形式： Ｌ ＝ ａ ＴＤｘａ ＋ ａ ＴＤｙａ ＝ ａ ＴＤａ 其中： Ｄｘ ＝ ｘ － ｔ ｘ － Ｔ ｔ ＋ ｘ － ｓ ｘ － Ｔ ｓ － ｘ － ｔ ｘ － Ｔ ｓ － ｘ － ｓ ｘ － Ｔ ｔ Ｄｙ ＝ ｙ － ｔ ｙ － Ｔ ｔ ＋ ｙ － ｓ ｙ － Ｔ ｓ － ｙ － ｔ ｙ － Ｔ ｓ － ｙ － ｓ ｙ － Ｔ ｔ Ｄ ＝ Ｄｘ ＋ Ｄｙ 最小化ａ ＴＤａ 等价于最小化 ａ ＴＤａ ，为了便 于运算，在不影响结果的情况下，所以基于最小 最大概率机的迁移学习算法可以化简成下面形 式的目标函数： ｍｉｎ ａ ａ Ｔ Σｘａ ＋ ａ Ｔ Σｙａ ＋ λ ａ ＴＤａ ｓ．ｔ． ａ Ｔ （ｘ － ｔ － ｙ － ｔ） ＝ １ 具体求解过程见本文第 ４ 部分。 由于加入了约 束项，ｂ∗ 的表达发生了变化。 注意到引入项对正负 类的贡献不同，用 η（０≤η≤１） 表示正类在整个样 本中所占的比率。 一般情况下 η 可设置为 ０．５，那 么判别式可由下面公式推导求出： ｍａｘ ｋ，ａ，ｂ ｋ ｓ．ｔ． － ｂ ＋ ａ Ｔ ｘ － ｔ ≥ ｋ（ ａ Ｔ Σｘａ ＋ η λ ａ ＴＤａ ） ｂ － ａ Ｔ ｙ － ｔ ≥ ｋ（ ａ Ｔ Σｙａ ＋ （１ － η） λ ａ ＴＤａ ） （１７） 当 ａ 取最优解 ａ∗时，对应 ｋ 取得最小值 ｋ∗，式（１７） 中不等式变为等式，可得 ｂ∗ ＝ ａ Ｔ ｘ － ｔ － ｋ∗（ ａ∗ Ｔ Σｘ ａ∗ ＋ η λ ａ∗ ＴＤ ａ∗ ） ＝ ａ Ｔ ∗ ｙ － ｔ ＋ ｋ（ ａ Ｔ ∗ Σｙ ａ∗ ＋ （１ － η） λ ａ Ｔ ∗Ｄ ａ∗ ） 对于测试样本 ｘ ｎｅｗ ，若 ａ Ｔ ∗ ｘ ｎｅｗ －ｂ∗ ≥０，则 ｘ ｎｅｗ为正样 本；反之 ｘ ｎｅｗ为负样本。 ２．３．２ 非线性部分 核表示方式是将数据映射到高维空间来增 加线性学习器的学习能力。 通过选择恰当的核 函数来替代内积，可以隐式地将训练数据非线性 映射到高维空间。 对应于线性分布，ｆ（φ（ｘ））＝ ａ Ｔφ（ｘ）－ｂ 为样本在 非线性超平面所在空间的分布，且 ａ Ｔφ（ｘ）＝ γ Ｔ ｋ ～ ｘ ，非线 性迁移学习约束项的前半部分可以推导为 ‖ｆ（φ（ｘ － ｔ）） － ｆ（φ（ｘ － ｓ））‖２ ＝ ‖γ Ｔ ｋ ～ ｘ － ｔ Ｔ － γ Ｔ ｋ ～ ｘ － ｓ Ｔ‖２ ＝ γ Ｔ （ ｋ ～ ｘ － ｔ Ｔ － ｋ ～ ｘ － ｓ ） Ｔ （ ｋ ～ ｘ － ｔ Ｔ － ｋ ～ ｘ － ｓ Ｔ ） Ｔγ ＝ γ Ｔ （ ｋ ～ ｘ － ｔ Ｔ ｋ ～ ｘ － ｔ ＋ ｋ ～ ｘ － ｓ Ｔ ｋ ～ ｘ － ｓ － ｋ ～ ｘ － ｔ Ｔ ｋ ～ ｘ － ｓ － ｋ ～ ｘ － ｓ Ｔ ｋ ～ ｘ － ｔ ）γ ＝ γ ＴＨｘγ 第 １ 期 王晓初，等：基于最小最大概率机的迁移学习分类算法 ·８７·
·88 智能系统学报 第11卷 非线性迁移学习约束项的后半部分可推导为 lfp(y))-f(p(,)‖2= 职A+月I三(a:+P,)++ yk-yk= 司Iya+m,)++ID(a,+F,)I店 Ek ykk(= (18) y(正，飞，+飞飞，-，-尼，)y= 3)令a=(x-y,)/‖x-y,‖2，B。=1,6。=1, YHY E。=1并带入(18)得到最小二乘问题，求解得vo: 那么，基于最小最大概率机的迁移学习算法对 4)k=1; 应的迁移学习线性约束项有简单的形式： 5）a:=a-1+Fy-,B=√a-2a4-,δ= L=YH Y +yH Y=YHY A√a-2,a-1,e=√a-Da-1并带入(18)式求解得 其中： Va: H=尼，呢，+尼生呢三，尼，尼生，-尼生呢 6)k=k+1: H=k+k-,k,-:呢 7)重复步骤5、6直到收敛或满足停止条件； H=H+ 8)最后求得：a.=a4,k.=1/(B+δ+e4),，b,= 最小化yHy等价于最小化√yHy,为了便于 ax-k.(B+me)。 运算，在不影响结果的情况下，基于最小最大概率机 4 实验结果与分析 的迁移学习算法可以化简成下面形式的目标函数： 为了验证TL-MPM算法的有效性，在常用的真 √Y'y+ 1 min √衣y+A分 1 实数据集：20 News Groups数据集上进行实验。20 News Groups数据集的信息如表I所示。 st.y(k,-k,）=1 表120 News Groups数据集 显然非线性目标函数求解方法与线性一致。当 Table 1 20 News Groups Data Y取最优解Y.时，对应k取得最小值k。,求取b,推 大类 小类 样本个数 理与线性部分类似，得到b.的表达式为 comp.graphics 997 b.=无-6.（发&7+A9a) comp.windows.x 998 comp comp.os.mswindows.misc 992 +.（P元y+1-AF comp.sys.ibm.pc.hardware 997 对于测试样本x,若：a.Tp(x)-b。= comp.sys.mac.hardware 996 ∑[y.]K(2x)≥0，则x为正样本；反 rec.motorcycles 997 rec.autos 998 之x为负样本。 rec rec.sport.baseball 998 3 TL-MPM算法解法流程 rec.sport.hockey 998 talk.politics.mideast 1000 线性部分和非线性部分目标函数形式相同， talk.politics.misc 998 都是非线性有约束优化问题，并且是凸优化问 talk 题。有好多方法可以选择[1618】，比如拟牛顿法， talk.politics.guns 1000 Rosen梯度投影法等，这里我们用递归最小二乘 talk.religion.misc 999 法对修正优化问题进行求解，下面只解析线性目 sci.crypt 998 标函数求解过程。 sci.med 998 sci 1)令a=a。+Fv,F的列正交于x,-y,: sci.space 999 2)式(16)可写为 sci.electronics 999
非线性迁移学习约束项的后半部分可推导为 ‖ｆ（φ（ｙ － ）） － ｆ（φ（ｙ － ｌ））‖２ ＝ ‖γ Ｔ ｋ ～ ｙ － ｔ Ｔ － γ Ｔ ｋ ～ ｙ － ｓ Ｔ‖２ ＝ γ Ｔ （ ｋ ～ ｙ － ｔ Ｔ － ｋ ～ ｙ － ｓ Ｔ ）（ ｋ ～ ｙ － ｔ Ｔ － ｋ ～ ｙ － ｓ Ｔ ） Ｔγ ＝ γ Ｔ （ ｋ ～ ｙ － ｔ Ｔ ｋ ～ ｙ － ｔ ＋ ｋ ～ ｙ － ｓ Ｔ ｋ ～ ｙ － ｓ － ｋ ～ ｙ － ｔ Ｔ ｋ ～ ｙ － ｓ － ｋ ～ ｙ － ｓ Ｔ ｋ ～ ｙ － ｔ ）γ ＝ γ ＴＨｙγ 那么，基于最小最大概率机的迁移学习算法对 应的迁移学习线性约束项有简单的形式： Ｌｋ ＝ γ ＴＨｘγ ＋ γ ＴＨｙγ ＝ γ ＴＨγ 其中： Ｈｘ ＝ ｋ ～ ｘ － ｔ Ｔ ｋ ～ ｘ － ｔ ＋ ｋ ～ ｘ － ｓ Ｔ ｋ ～ ｘ － ｓ － ｋ ～ ｘ － ｔ Ｔ ｋ ～ ｘ － ｓ － ｋ ～ ｘ － ｓ Ｔ ｋ ～ ｘ － ｔ Ｈｙ ＝ ｋ ～ ｙ － ｔ Ｔ ｋ ～ ｙ － ｔ ＋ ｋ ～ ｙ － ｓ Ｔ ｋ ～ ｙ － ｓ － ｋ ～ ｙ － ｔ Ｔ ｋ ～ ｙ － ｓ － ｋ ～ ｙ － ｓ Ｔ ｋ ～ ｙ － ｔ Ｈ ＝ Ｈｘ ＋ Ｈｙ 最小化 γ ＴＨγ 等价于最小化 γ ＴＨγ，为了便于 运算，在不影响结果的情况下，基于最小最大概率机 的迁移学习算法可以化简成下面形式的目标函数： ｍｉｎ γ １ Ｎｘ γ ＴＫ ～ Ｔ ｘＫ ～ ｘγ ＋ １ Ｎｙ γ ＴＫ ～ Ｔ ｙＫ ～ ｙγ ＋ λ γ ＴＨγ ｓ．ｔ． γ Ｔ （ ｋ ～ ｘｔ － ｋ ～ ｙｓ ） ＝ １ 显然非线性目标函数求解方法与线性一致。 当 γ 取最优解 γ∗时，对应 ｋ 取得最小值 ｋ∗，求取 ｂ∗推 理与线性部分类似，得到 ｂ∗的表达式为 ｂ∗ ＝ γ Ｔ ∗ ｋ ～ ｘｔ － ｋ∗（ γ Ｔ １ Ｎｘ Ｋ ～ ｘ Ｔ Ｋ ～ ｘγ ＋ ηλ γ ＴＨｋγ） ＝ γ Ｔ ∗ ｋ ～ ｙｔ ＋ ｋ∗（ γ Ｔ １ Ｎｙ Ｋ ～ Ｔ ｙ Ｋ ～ ｙγ ＋ （１ － η）λ γ ＴＨｋγ） 对于测试样本 ｘ ｎｅｗ ， 若： ａ∗ Ｔφ（ｘ ｎｅｗ ） － ｂ∗ ＝ ∑ Ｎｌ ＋Ｎｕ ｉ ［γ∗］ ｉ Ｋ（ｚｉ，ｘ ｎｅｗ ） ≥ ０，则 ｘ ｎｅｗ 为正样本；反 之 ｘ ｎｅｗ 为负样本。 ３ ＴＬ⁃ＭＰＭ 算法解法流程 线性部分和非线性部分目标函数形式相同， 都是非线性有约束优化问题，并且 是 凸 优 化 问 题。 有好多方法可以选择［ １６⁃１８］ ，比如拟牛顿法， Ｒｏｓｅｎ 梯度投影法等，这里我们用递归最小二乘 法对修正优化问题进行求解，下面只解析线性目 标函数求解过程。 １）令 ａ ＝ ａ０ ＋Ｆｖ，Ｆ 的列正交于 ｘ － ｔ －ｙ － ｔ； ２）式（１６）可写为 ｍｉｎ β，δ，ε，ｖ βｋ ＋ １ βｋ ‖ Σｘ １／ ２ （ａｋ ＋ Ｆｖｋ）‖２ ２ ＋ δｋ ＋ １ δｋ ‖Σ １／ ２ ｙ （ａｋ ＋ Ｆｖｋ）‖２ ２ ＋ εｋ ＋ λ εｋ ‖Ｄ １／ ２ （ａｋ ＋ Ｆｖｋ）‖２ ２ （１８） ３） 令 ａ０ ＝ （ ｘ － ｔ － ｙ － ｔ ） ／ ‖ｘ － ｔ －ｙ － ｔ‖２ ２ ， β０ ＝ １， δ０ ＝ １， ε０ ＝ １并带入（１８）得到最小二乘问题，求解得 ｖ０ ； ４）ｋ ＝ １； ５ ） ａｋ ＝ ａｋ－１ ＋ Ｆｖｋ－１ ， βｋ ＝ ａ Ｔ ｋ－１Σｘａｋ－１ ， δｋ ＝ λ ａ Ｔ ｋ－１Σｙａｋ－１ ，εｋ ＝ ａ Ｔ ｋ－１Ｄａｋ－１ 并带入（１８）式求解得 ｖｋ； ６）ｋ ＝ ｋ＋１； ７）重复步骤 ５、６ 直到收敛或满足停止条件； ８）最后求得：ａ∗ ＝ ａｋ，ｋ∗ ＝ １ ／ （βｋ ＋δｋ ＋εｋ）， ｂ∗ ＝ ａ Ｔ ∗ｘ － －ｋ∗（βｋ ＋ηεｋ）。 ４ 实验结果与分析 为了验证 ＴＬ⁃ＭＰＭ 算法的有效性，在常用的真 实数据集：２０ Ｎｅｗｓ Ｇｒｏｕｐｓ 数据集上进行实验。 ２０ Ｎｅｗｓ Ｇｒｏｕｐｓ 数据集的信息如表 １ 所示。 表 １ ２０ Ｎｅｗｓ Ｇｒｏｕｐｓ 数据集 Ｔａｂｌｅ １ ２０ Ｎｅｗｓ Ｇｒｏｕｐｓ Ｄａｔａ 大类 小类 样本个数 ｃｏｍｐ ｃｏｍｐ．ｇｒａｐｈｉｃｓ ９９７ ｃｏｍｐ．ｗｉｎｄｏｗｓ．ｘ ９９８ ｃｏｍｐ．ｏｓ．ｍｓｗｉｎｄｏｗｓ．ｍｉｓｃ ９９２ ｃｏｍｐ．ｓｙｓ．ｉｂｍ．ｐｃ．ｈａｒｄｗａｒｅ ９９７ ｃｏｍｐ．ｓｙｓ．ｍａｃ．ｈａｒｄｗａｒｅ ９９６ ｒｅｃ ｒｅｃ．ｍｏｔｏｒｃｙｃｌｅｓ ９９７ ｒｅｃ．ａｕｔｏｓ ９９８ ｒｅｃ．ｓｐｏｒｔ．ｂａｓｅｂａｌｌ ９９８ ｒｅｃ．ｓｐｏｒｔ．ｈｏｃｋｅｙ ９９８ ｔａｌｋ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｍｉｄｅａｓｔ １ ０００ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｍｉｓｃ ９９８ ｔａｌｋ．ｐｏｌｉｔｉｃｓ．ｇｕｎｓ １ ０００ ｔａｌｋ．ｒｅｌｉｇｉｏｎ．ｍｉｓｃ ９９９ ｓｃｉ ｓｃｉ．ｃｒｙｐｔ ９９８ ｓｃｉ．ｍｅｄ ９９８ ｓｃｉ．ｓｐａｃｅ ９９９ ｓｃｉ．ｅｌｅｃｔｒｏｎｉｃｓ ９９９ ·８８· 智 能 系 统 学 报 第 １１ 卷