第10卷第2期 智能系统学报 Vol.10 No.2 2015年4月 CAAI Transactions on Intelligent Systems Apr.2015 D0:10.3969/j.issn.1673-4785.201312041 网络出版地址：http://www.enki..net/kcms/detail/23.1538.TP.20150317.1025.002.html 一种新颖的领域自适应概率密度估计器 许敏12，俞林2 (1.江南大学数字媒体学院，江苏无锡214122；2.无锡职业技术学院物联网技术学院，江苏无锡214121) 摘要：传统概率密度估计法建立好密度估计模型后，无法将源域知识传递给相关目标域密度估计模型。提出用无 偏置-SVR的回归函数来表示传统概率密度估计法获得密度估计信息，并说明无偏置SVR等价于中心约束最小 包含球及概率密度回归函数可由中心约束最小包含球中心点表示。在上述理论基础上提出中心点知识传递领域自 适应概率密度估计法，用于解决因目标域信息不足而无法建立概率密度函数的场景。实验表明，此种领域自适应方 法进行领域间知识传递的同时，还能达到源域隐私保护的目的。 关键词：概率密度函数；无偏置-SVR;中心约束最小包含球：核心集：领域自适应 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2015)02-0221-06 中文引用格式：许敏，俞林.一种新颖的领域自适应概率密度估计器[J].智能系统学报，2015,10(2)：221-226. 英文引用格式：XU Min,YULin.A probability density estimator for domain adaptation[J].CAAI Transactions on Intelligent Sys- tems,2015,10(2):221-226. A probability density estimator for domain adaptation XU Min'2,YU Lin2 (1.School of Digital Media,Jiangnan University,Wuxi 214122,China;2.School of Internet of Things Technology,Wuxi Institute of Technology,Wuxi 214121,China) Abstract:This paper proposes that the density information received from the traditional probability density estima- tion method can be represented by no bias v-SVRregression function.It addresses the problem that after the source domain's probability density estimation model is established using the traditional probability density estimation method its source domain knowledge can not be transferred to the relevant target domain's density estimation model. In this paper,no bias v-SVR is equivalent to the center-constrained minimum enclosing ball (CC-MEB)and the probability density regression function is constrained by CC-MEB's center point is described.On the basis of the a- bove theory,an adaptive probability density evaluation method for transferring knowledge through the center point was put forward to solve the problem that an accurate probability density estimation model can not be established because of the lack of information of the target domain.The experiments showed that this adaptive method can reach the goals of knowledge transfer between domains and privacy protection in the source domain. Keywords:probability density estimation;no bias v-SVR center-constrained minimum enclosing ball(CC-MEB); core set;domain adaptation 概率密度估计常见的做法是根据所得数据建立 概率密度函数(probability density function,PDF),在 机器学习和模式识别中具有非常重要的作用)，如 收稿日期：2013-12-20.网络出版日期：2015-03-17 基金项目：江苏省高校自然科学研究资助项目(13KJB520001):江苏省聚类分析[2)]等。通常概率密度估计法分参数估计 高校哲学社会科学基金资助项目(2012SB880077):江苏省 研究生创新工程资助项目(CXZZ12-0759). 和非参数估计2类。因真实数据概率密度分布不可 通信作者：许敏.E-mail:xum@wit.cdu.cm. 知，故非参数核密度估计法(kernel density estima-
第 １０ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．２ ２０１５ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１５ ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１３１２０４１ 网络出版地址：ｈｔｔｐ： ／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１５０３１７．１０２５．００２．ｈｔｍｌ 一种新颖的领域自适应概率密度估计器 许敏１ ，２ ，俞林２ （１．江南大学 数字媒体学院，江苏 无锡 ２１４１２２； ２． 无锡职业技术学院 物联网技术学院，江苏 无锡 ２１４１２１） 摘 要：传统概率密度估计法建立好密度估计模型后，无法将源域知识传递给相关目标域密度估计模型。 提出用无 偏置 ｖ⁃ＳＶＲ 的回归函数来表示传统概率密度估计法获得密度估计信息，并说明无偏置 ｖ⁃ＳＶＲ 等价于中心约束最小 包含球及概率密度回归函数可由中心约束最小包含球中心点表示。 在上述理论基础上提出中心点知识传递领域自 适应概率密度估计法，用于解决因目标域信息不足而无法建立概率密度函数的场景。 实验表明，此种领域自适应方 法进行领域间知识传递的同时，还能达到源域隐私保护的目的。 关键词：概率密度函数；无偏置 ｖ⁃ＳＶＲ ；中心约束最小包含球；核心集；领域自适应 中图分类号： ＴＰ３９１．４ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０２⁃０２２１⁃０６ 中文引用格式：许敏，俞林． 一种新颖的领域自适应概率密度估计器［Ｊ］． 智能系统学报， ２０１５， １０（２）： ２２１⁃２２６． 英文引用格式：ＸＵ Ｍｉｎ， ＹＵ Ｌｉｎ． Ａ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ ｆｏｒ ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓ⁃ ｔｅｍｓ， ２０１５， １０（２）： ２２１⁃２２６． Ａ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｏｒ ｆｏｒ ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ ＸＵ Ｍｉｎ １ ，２ ， ＹＵ Ｌｉｎ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｄｉｇｉｔａｌ Ｍｅｄｉａ， Ｊｉａｎｇｎａｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｗｕｘｉ ２１４１２２， Ｃｈｉｎａ； ２． Ｓｃｈｏｏｌ ｏｆ Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ Ｔｅｃｈｎｏｌｏｇｙ， Ｗｕｘｉ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｗｕｘｉ ２１４１２１， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓ ｐａｐｅｒ ｐｒｏｐｏｓｅｓ ｔｈａｔ ｔｈｅ ｄｅｎｓｉｔｙ ｉｎｆｏｒｍａｔｉｏｎ ｒｅｃｅｉｖｅｄ ｆｒｏｍ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａ⁃ ｔｉｏｎ ｍｅｔｈｏｄ ｃａｎ ｂｅ ｒｅｐｒｅｓｅｎｔｅｄ ｂｙ ｎｏ ｂｉａｓ ｖ⁃ＳＶＲｒｅｇｒｅｓｓｉｏｎ ｆｕｎｃｔｉｏｎ． Ｉｔ ａｄｄｒｅｓｓｅｓ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ａｆｔｅｒ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ＇ｓ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ ｉｓ ｅｓｔａｂｌｉｓｈｅｄ ｕｓｉｎｇ ｔｈｅ ｔｒａｄｉｔｉｏｎａｌ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｅｔｈｏｄ ｉｔｓ ｓｏｕｒｃｅ ｄｏｍａｉｎ ｋｎｏｗｌｅｄｇｅ ｃａｎ ｎｏｔ ｂｅ ｔｒａｎｓｆｅｒｒｅｄ ｔｏ ｔｈｅ ｒｅｌｅｖａｎｔ ｔａｒｇｅｔ ｄｏｍａｉｎ＇ｓ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ． Ｉｎ ｔｈｉｓ ｐａｐｅｒ， ｎｏ ｂｉａｓ ｖ⁃ＳＶＲ ｉｓ ｅｑｕｉｖａｌｅｎｔ ｔｏ ｔｈｅ ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ｍｉｎｉｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ （ＣＣ⁃ＭＥＢ） ａｎｄ ｔｈｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｒｅｇｒｅｓｓｉｏｎ ｆｕｎｃｔｉｏｎ ｉｓ ｃｏｎｓｔｒａｉｎｅｄ ｂｙ ＣＣ⁃ＭＥＢ＇ｓ ｃｅｎｔｅｒ ｐｏｉｎｔ ｉｓ ｄｅｓｃｒｉｂｅｄ． Ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｔｈｅ ａ⁃ ｂｏｖｅ ｔｈｅｏｒｙ， ａｎ ａｄａｐｔｉｖｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｖａｌｕａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ｔｒａｎｓｆｅｒｒｉｎｇ ｋｎｏｗｌｅｄｇｅ ｔｈｒｏｕｇｈ ｔｈｅ ｃｅｎｔｅｒ ｐｏｉｎｔ ｗａｓ ｐｕｔ ｆｏｒｗａｒｄ ｔｏ ｓｏｌｖｅ ｔｈｅ ｐｒｏｂｌｅｍ ｔｈａｔ ａｎ ａｃｃｕｒａｔｅ ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ ｍｏｄｅｌ ｃａｎ ｎｏｔ ｂｅ ｅｓｔａｂｌｉｓｈｅｄ ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｌａｃｋ ｏｆ ｉｎｆｏｒｍａｔｉｏｎ ｏｆ ｔｈｅ ｔａｒｇｅｔ ｄｏｍａｉｎ． Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｓｈｏｗｅｄ ｔｈａｔ ｔｈｉｓ ａｄａｐｔｉｖｅ ｍｅｔｈｏｄ ｃａｎ ｒｅａｃｈ ｔｈｅ ｇｏａｌｓ ｏｆ ｋｎｏｗｌｅｄｇｅ ｔｒａｎｓｆｅｒ ｂｅｔｗｅｅｎ ｄｏｍａｉｎｓ ａｎｄ ｐｒｉｖａｃｙ ｐｒｏｔｅｃｔｉｏｎ ｉｎ ｔｈｅ ｓｏｕｒｃｅ ｄｏｍａｉｎ． Ｋｅｙｗｏｒｄｓ：ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｅｓｔｉｍａｔｉｏｎ； ｎｏ ｂｉａｓ ｖ⁃ＳＶＲ ； ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ｍｉｎｉｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ（ＣＣ⁃ＭＥＢ）； ｃｏｒｅ ｓｅｔ； ｄｏｍａｉｎ ａｄａｐｔａｔｉｏｎ 收稿日期：２０１３⁃１２⁃２０． 网络出版日期：２０１５⁃０３⁃１７． 基金项目：江苏省高校自然科学研究资助项目（ １３ＫＪＢ５２０００１）；江苏省 高校哲学社会科学基金资助项目（２０１２ＳＪＢ８８００７７）；江苏省 研究生创新工程资助项目（ＣＸＺＺ１２⁃０７５９）． 通信作者：许敏． Ｅ⁃ｍａｉｌ：ｘｕｍ＠ ｗｘｉｔ．ｅｄｕ．ｃｎ． 概率密度估计常见的做法是根据所得数据建立 概率密度函数（ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ， ＰＤＦ），在 机器学习和模式识别中具有非常重要的作用［１］ ，如 聚类分析［２］ 等。 通常概率密度估计法分参数估计 和非参数估计 ２ 类。 因真实数据概率密度分布不可 知，故非参数核密度估计法（ ｋｅｒｎｅｌ ｄｅｎｓｉｔｙ ｅｓｔｉｍａ⁃
.222. 智能系统学报 第10卷 ion,KDE))是采用较广泛的方法。因KDE需要 故引入映射函数p(x)将x:映射到高维空间p(x:) 所有样本参与计算且需存储所有数据，故压缩集概 中。无偏置-SVR原始优化问题如下： 率密度估计器)和快速压缩集概率密度估计器) 被提出以解决存储空间和运行效率问题。上述传统 的概率密度估计法效果显著但均未考虑领域间自适 st.wp(x:)-y:≤E+ 应学习的问题。在实际应用中存在这样的场景，已 y:-wp(x:)≤E+专： 有源域数据集数据量大、密度估计精确：但相关目标 专)≥0 (1) 域数据集由于隐私保护或数据遗失等原因只获得少 式中：(*)表示向量有*号和无*号2种情况。为 量数据，这些数据是目标域真实信息但却不足以建 导出原始问题(1)的对偶问题，引入拉格朗日函数： 立目标域PDF。如何既保证目标域已知数据对建 L(w,),),7)= 立目标域PDF的作用，又能利用源域知识对目标域 信息不足部分加以弥补是本文研究的重点。 w+A(e+2(传+ 1 1 DADE模型 i=1 1.1DADE模型理论依据 (2) 领域自适应概率密度估计器的应用前提是存在 含ae+f+re)-d 两相关领域，两域通过传统密度估计法，如Parzen 式中：a)=[a1a1°…a1a],n)= 窗法获得概率密度估计值，形成(x,y)对。其中，x [,刀，·…刀，，]是拉格朗日乘子向量。 是输入向量，y是概率密度估计值。源域(x,y)对 为了使式(2)最小化，对L关于向量w和变量 足以构建概率密度函数，而出于隐私保护或数据遗 6、)求偏导数，得 失等原因，一些高度机密的数据无法获得，所得少量 0L/dw=0=>w= (a°-a)e(x)(3) 目标域(x,y)信息精确，但不足以构建目标域概率 =1 密度函数。 aL/a8=0=> ∑(a,+a)=A (4) 传统密度估计法本身不能进行领域间知识传 al/aE)=0=> dn-a=0(5) 入 递，本文的贡献在于使用无偏置-SVR回归函数表 示概率密度函数，这样做的优势在于： 将式(3)、(4)带入式(2)，可得对偶优化问题： 1)无偏置-SVR等价于CC-MEB的特性，可使 用核心集[6]代替源域所有数据建立概率密度函 min (a-a)(a-a)()- 2= 数，提高密度估计效率： 2)密度回归函数f(x)可由CC-MEB中心点表 含aax 示，提出中心点知识传递模型)，实现相似领域间 领域自适应概率密度器的建立，若使用源域核心集 s.t∑(a+a:)= 代替所有源域样本表示源域中心点，还可起到源域 0≤a,)≤ (6) 隐私保护的目的。 1.2DADE模型架构 最终所得回归函数： 设训练集T={(x1),…,(xy)},其中输 g(x)=w'p(x)=E(a,'-a)p(x)"p(x) 入向量x:∈R”,输出向量y:∈Y=R为概率密度估 =1 计值，i=1,2,…,l。本文用无偏置支持向量回归 (7) 函数y=w(x)建立概率密度估计函数，与传统 概率密度函数p(x)需满足p(x)≥O, -SVR相比，没有b项，文章下面部分介绍无偏置 p(x)=1的条件，但无偏置SVR进行概率密 B-SVR 度估计时不能满足上述条件，故需添加约束 1.2.1无偏置-SVR 无偏置-SVR试图寻找R”上的一个实值函数 三(a”-a)=1,且核函数的选择清足 g(x),以便使用y=g(x)来推断任一输入x所对应 的输出值y。通常训练集在输入空间线性不可分， K(x,')≥0，K(x,r)d=1
ｔｉｏｎ， ＫＤＥ） ［３］是采用较广泛的方法。 因 ＫＤＥ 需要 所有样本参与计算且需存储所有数据，故压缩集概 率密度估计器［４］ 和快速压缩集概率密度估计器［５］ 被提出以解决存储空间和运行效率问题。 上述传统 的概率密度估计法效果显著但均未考虑领域间自适 应学习的问题。 在实际应用中存在这样的场景，已 有源域数据集数据量大、密度估计精确；但相关目标 域数据集由于隐私保护或数据遗失等原因只获得少 量数据，这些数据是目标域真实信息但却不足以建 立目标域 ＰＤＦ。 如何既保证目标域已知数据对建 立目标域 ＰＤＦ 的作用，又能利用源域知识对目标域 信息不足部分加以弥补是本文研究的重点。 １ ＤＡＤＥ 模型 １．１ ＤＡＤＥ 模型理论依据 领域自适应概率密度估计器的应用前提是存在 两相关领域，两域通过传统密度估计法，如 Ｐａｒｚｅｎ 窗法获得概率密度估计值，形成 （ｘ，ｙ） 对。 其中， ｘ 是输入向量， ｙ 是概率密度估计值。 源域 （ｘ，ｙ） 对 足以构建概率密度函数，而出于隐私保护或数据遗 失等原因，一些高度机密的数据无法获得，所得少量 目标域 （ｘ，ｙ） 信息精确，但不足以构建目标域概率 密度函数。 传统密度估计法本身不能进行领域间知识传 递，本文的贡献在于使用无偏置 ｖ⁃ＳＶＲ 回归函数表 示概率密度函数，这样做的优势在于： １）无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ＭＥＢ 的特性，可使 用核心集［６⁃８］ 代替源域所有数据建立概率密度函 数，提高密度估计效率； ２）密度回归函数 ｆ（ｘ） 可由 ＣＣ⁃ＭＥＢ 中心点表 示，提出中心点知识传递模型［９］ ，实现相似领域间 领域自适应概率密度器的建立，若使用源域核心集 代替所有源域样本表示源域中心点，还可起到源域 隐私保护的目的。 １．２ ＤＡＤＥ 模型架构 设训练集 Ｔ ＝ ｛（ ｘ１ ，ｙ１ ），…，（ ｘｌ，ｙｌ）｝ ，其中输 入向量 ｘｉ ∈ Ｒ ｎ ，输出向量 ｙｉ ∈ Ｙ ＝ Ｒ 为概率密度估 计值， ｉ ＝ １，２，…，ｌ 。 本文用无偏置支持向量回归 函数 ｙ ＝ ｗ Ｔφ（ｘ） 建立概率密度估计函数，与传统 ｖ⁃ＳＶＲ 相比，没有 ｂ 项，文章下面部分介绍无偏置 ｖ⁃ＳＶＲ 。 １．２．１ 无偏置 ｖ⁃ＳＶＲ 无偏置 ｖ⁃ＳＶＲ 试图寻找 Ｒ ｎ 上的一个实值函数 ｇ（ｘ） ，以便使用 ｙ ＝ ｇ（ｘ） 来推断任一输入 ｘ 所对应 的输出值 ｙ 。 通常训练集在输入空间线性不可分， 故引入映射函数 φ（ｘ） 将 ｘｉ 映射到高维空间 φ（ｘｉ） 中。 无偏置 ｖ⁃ＳＶＲ 原始优化问题如下： ｍｉｎ １ ２ ‖ｗ‖２ ＋ λ（ｖε ＋ １ ｌ ∑ ｌ ｉ ＝ １ （ξｉ ＋ ξｉ ∗ ）） ｓ．ｔ．ｗ Ｔφ（ｘｉ） － ｙｉ ≤ ε ＋ ξｉ ｙｉ － ｗ Ｔφ（ｘｉ） ≤ ε ＋ ξｉ ∗ ξｉ （∗） ≥ ０ （１） 式中： （∗） 表示向量有∗号和无∗号 ２ 种情况。 为 导出原始问题（１）的对偶问题，引入拉格朗日函数： Ｌ（ｗ，ξ （∗） ，α （∗） ，η （∗） ） ＝ １ ２ ‖ｗ‖２ ＋ λ（ε ＋ １ ｖｌ∑ ｌ ｉ ＝ １ （ξｉ ＋ ξｉ ∗ ）） － ∑ ｌ ｉ ＝ １ （ηｉ ξｉ ＋ ηｉ ∗ ξｉ ∗ ） － ∑ ｌ ｉ ＝ １ αｉ（ε ＋ ξｉ － ｗ Ｔφ（ｘｉ） ＋ ｙｉ） － ∑ ｌ ｉ ＝ １ αｉ ∗ （ε ＋ ξｉ ∗ ＋ ｗ Ｔφ（ｘｉ） － ｙｉ） （２） 式中： α （∗） ＝ ［α１ α１ ∗ … αｌ αｌ ∗ ］ Ｔ ， η （∗） ＝ ［η１ η１ ∗ … ηｌ ηｌ ∗ ］ Ｔ 是拉格朗日乘子向量。 为了使式（２）最小化，对 Ｌ 关于向量 ｗ 和变量 ε、 ξｉ （∗） 求偏导数，得 ∂Ｌ ／ ∂ｗ ＝ ０ ＝ ＞ ｗ ＝ ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ）φ（ｘｉ） （３） ∂Ｌ ／ ∂ε ＝ ０ ＝ ＞ ∑ ｌ ｉ ＝ １ （αｉ ＋ αｉ ∗ ） ＝ λ （４） ∂Ｌ ／ ∂ξｉ （∗） ＝ ０ ＝ ＞ λ ｖｌ － ηｉ （∗） － αｉ （∗） ＝ ０ （５） 将式（３） 、（４）带入式（２），可得对偶优化问题： ｍｉｎ １ ２ ∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ （αｉ ∗ － αｉ）（αｊ ∗ － αｊ）Ｋ（ｘｉ，ｘｊ） － ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ）ｙｉ ｓ．ｔ．∑ ｌ ｉ ＝ １ （αｉ ＋ αｉ ∗ ） ＝ λ ０ ≤ αｉ （∗） ≤ λ ｖｌ （６） 最终所得回归函数： ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ）φ （ｘｉ） Ｔφ（ｘ） （７） 概 率 密 度 函 数 ｐ（ｘ） 需 满 足 ｐ（ｘ） ≥ ０， ∫ ＋¥ －¥ ｐ（ｘ）ｄｘ ＝ １ 的条件，但无偏置 ｖ⁃ＳＶＲ 进行概率密 度估 计 时 不 能 满 足 上 述 条 件， 故 需 添 加 约 束 ∑ ｌ ｉ ＝ １ （αｉ ∗ － αｉ） ＝ １， 且 核 函 数 的 选 择 满 足 Ｋ（ｘ，ｘ′） ≥０， ∫ ＋¥ －¥ Ｋ（ｘ，ｘ′）ｄｘ ＝ １。 ·２２２· 智 能 系 统 学 报 第 １０ 卷
第2期 许敏，等：一种新颖的领域自适应概率密度估计器 ·223· 1.2.2无偏置-SVR与CC-MEB 0≤a)≤ (12) 1)CC-MEB d Tsang等在文献[6]中介绍了最小包含球(mini- 令a=[a·TaxT],式(12)式相应的矩阵形式： mum enclosing ball,MEB)与中心约束最小包含球 2 (center-constrained MEB,CC-MEB)。设S={x1, x2,…,xm},其中x:∈R,MEB的思想是找到包含 min a'ka-a 集合S所有样本(x:)的最小球，则属于该类的数 2y (13) 据就在球中，不属于该类的数据就在球外。为每个 p(x)增加一维8：，形成集合S”= sLa'1=1,0≤&≤J Avl {((x)',6:)1,将最后一维中心点坐标设为0， 即中心点坐标(c,0),则找到包含集合S'中所有样 式中：=[(x】=上K门 「K-K 本的最小超球最优化问题为 式(13)为无偏置-SVR的QP形式，与式(11) minR2 相比较，求4的值： C.h s.t.‖o(x:)-c‖2+82≤R2,i=1,2,…,m (8) 4-e风+1+[] (14) 设4=[62822…82]'≥0，式(8)对应对偶问 式中：实数7足够大，以使4≥0。式就可以写成 题的矩阵形式为 a"(diag(K)+A-n1)a"Ka max B(diag(K)+A)-BTKB 1=1 (15) s.t.B≥0，Br1=1 (9) 该形式用x替换了B与式(11)等价，是CC 式中：核矩阵Km=[(x,)】= MEB问题，可使用核心集快速解法求解。 [p(x:)p(x)]。 按式(15)求解，球心c可按下面公式计算： 使用最优解B,可得到半径R、中心点c的值： R=√B'(diag(K)+△)-BKp c=∑aa(x) i=1 c=∑B,(x) (10) 式中i=1,2,…,m时p(x:)=(x:),i=m+1, 因为B1=1,任意实数)加入公式，不会影响 m+2,…,2m时，p(x;)=-(x:),由此可得： B的取值。原对偶形式改为 c= ∑a,e(x)= maxB'(diag(K)）+A-n1)-B'K邓 s.tβ≥0，B1=1,4≥0 (11) 三e)·宫a~o 文献[6]指出，任意满足式(11)的QP问题均 能看作CC-MEB问题，可运用核心集快速算法求 三c-ae (16) 解。把整个数据集合S的求解转化成对S的一个子 式(3)中的w就可简化为w=入c。故 集Q的求解，可得到一个精确有效的近似解，其中Q g(x)=w'p(x)=入cp(x)= 被称为核心集。具体方法参见文献[6]。 2)无偏置-SVR与CC-MEB间关系 a(a-a,)e(x,)'e(x)= i=1 令a=,以满足三(a+a,)=1 A∑(a',-a:)() (17) 式(12)与式(6)等价。 由式(17)可获得以下两结论： 2名a”-- 1)无偏置-SVR等价于CC-MEB,故可用核心 min 集技术进行快速求解； (a.-a)y. 2)概率密度回归曲线可由其二次规划形式等 价的CC-MEB的中心点表示。 st∑(a+a)=1 1.2.3DADE模型 从1.2.2节分析可知，无偏置-SVR等价于CC-
１．２．２ 无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ １） ＣＣ⁃ＭＥＢ Ｔｓａｎｇ 等在文献［６］中介绍了最小包含球（ｍｉｎｉ⁃ ｍｕｍ ｅｎｃｌｏｓｉｎｇ ｂａｌｌ， ＭＥＢ） 与中心约束最小包含球 （ ｃｅｎｔｅｒ⁃ｃｏｎｓｔｒａｉｎｅｄ ＭＥＢ， ＣＣ⁃ＭＥＢ）。 设 Ｓ ＝ ｛ ｘ１ ， ｘ２ ，…，ｘｍ ｝ ，其中 ｘｉ ∈ Ｒ ｄ ，ＭＥＢ 的思想是找到包含 集合 Ｓ 所有样本 φ（ｘｉ） 的最小球，则属于该类的数 据就在球中，不属于该类的数据就在球外。 为每个 φ（ ｘｉ） 增 加 一 维 δｉ ， 形 成 集 合 Ｓ′ ＝ ｛（φ（ｘｉ）′，δｉ）｝ ｍ ｉ ＝ １ ，将最后一维中心点坐标设为 ０， 即中心点坐标（ｃ，０），则找到包含集合 Ｓ’中所有样 本的最小超球最优化问题为 ｍｉｎ ｃ，Ｒ Ｒ ２ ｓ．ｔ．‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ ≤ Ｒ ２ ， ｉ ＝ １，２，…，ｍ （８） 设 Δ ＝ ［δ １ ２ δ ２ ２ … δ ２ ｍ ］′ ≥ ０，式（８）对应对偶问 题的矩阵形式为 ｍａｘ β β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ） － β ＴＫβ ｓ．ｔ． β ≥ ０，β Ｔ １ ＝ １ （９） 式 中： 核 矩 阵 Ｋｍ×ｍ ＝ ［ｋ（ ｘｉ， ｘｊ）］ ＝ ［φ （ｘｉ） Ｔ φ（ｘｊ）］。 使用最优解 β ，可得到半径 Ｒ、中心点 ｃ 的值： Ｒ ＝ β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ） － β ＴＫβ ｃ ＝ ∑ ｍ ｉ ＝ １ βｉφ（ｘｉ） （１０） 因为 β Ｔ １ ＝ １，任意实数 η 加入公式，不会影响 β 的取值。 原对偶形式改为 ｍａｘ β β Ｔ （ｄｉａｇ（Ｋ） ＋ Δ － η １） － β ＴＫβ ｓ．ｔ．β ≥ ０，β Ｔ １ ＝ １ ，Δ ≥ ０ （１１） 文献［６］指出，任意满足式（１１） 的 ＱＰ 问题均 能看作 ＣＣ⁃ＭＥＢ 问题，可运用核心集快速算法求 解。 把整个数据集合 Ｓ 的求解转化成对 Ｓ 的一个子 集 Ｑ 的求解，可得到一个精确有效的近似解，其中 Ｑ 被称为核心集。 具体方法参见文献［６］。 ２） 无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ 间关系 令 αｉ （∗） ′ ＝ αｉ （∗） λ ，以满足 ∑ ｌ ｉ ＝ １ （αｉ ′ ＋ αｉ ∗ ′） ＝ １， 式（１２）与式（６）等价。 ｍｉｎ １ ２ ∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ （αｉ ∗ ′ － αｉ ′）（αｊ ∗ ′ － αｊ ′）Ｋ（ｘｉ，ｘｊ） － １ λ∑ ｌ ｉ ＝ １ （αｉ ∗ ′ － αｉ ′）ｙｉ ｓ．ｔ．∑ ｌ ｉ ＝ １ （αｉ ′ ＋ αｉ ∗ ′） ＝ １ ０ ≤ αｉ （∗） ≤ １ ｖｌ （１２） 令 α ～ ＝ ［α ∗ ′ Ｔ α′ Ｔ ］ ，式（１２）式相应的矩阵形式： ｍｉｎ α ～ α ～ ＴＫ ～ α ～ － α ～ Ｔ ２ λ Ｙ － ２ λ Ｙ é ë ê ê ê ê ê ù û ú ú ú ú ú ｓ．ｔ．α ～ Ｔ １ ＝ １，０ ≤ α ～ ≤ １ λｖｌ （１３） 式中： Ｋ ～ ＝ ［ ｋ ～ （ｘｉ，ｘｊ）］ ＝ Ｋ － Ｋ － Ｋ Ｋ é ë ê ê ù û ú ú 。 式（１３）为无偏置 ｖ⁃ＳＶＲ 的 ＱＰ 形式，与式（１１） 相比较，求 Δ 的值： Δ ＝ － ｄｉａｇ（Ｋ ～ ） ＋ η １ ＋ ２ λ Ｙ － Ｙ é ë ê ê ù û ú ú （１４） 式中：实数 η 足够大，以使 Δ ≥ ０。 式就可以写成 α ～ Ｔ （ｄｉａｇ（Ｋ ～ ） ＋ Δ － η １） － α ～ ＴＫ ～ α ～ α ～ Ｔ １ ＝ １ （１５） 该形式用 α ～ 替换了 β 与式（１１） 等价，是 ＣＣ⁃ ＭＥＢ 问题，可使用核心集快速解法求解。 按式（１５）求解，球心 ｃ 可按下面公式计算： ｃ ＝ ∑ ２∗ｍ ｉ ＝ １ α ～ ｉφ ～ （ｘｉ） 式中 ｉ ＝ １，２，…，ｍ 时 φ ～ （ ｘｉ） ＝ φ（ ｘｉ） ， ｉ ＝ ｍ ＋ １， ｍ ＋２，…，２ｍ 时， φ ～ （ｘｉ） ＝ － φ（ｘｉ） ，由此可得： ｃ ＝ ∑ ２∗ｍ ｉ ＝ １ α ～ ｉφ ～ （ｘｉ） ＝ ∑ ｍ ｉ ＝ １ α′ｉφ（ｘｉ） ＋ ∑ ｍ ｉ ＝ １ α ∗ ′ｉ（ － φ（ｘｉ）） ＝ ∑ ｍ ｉ ＝ １ （α′ｉ － α ∗ ′ｉ）φ（ｘｉ） （１６） 式（３）中的 ｗ 就可简化为 ｗ ＝ λｃ 。 故 ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ λ ｃ Ｔφ（ｘ） ＝ λ∑ ｍ ｉ ＝ １ （α ∗ ′ｉ － α′ｉ）φ （ｘｉ） Ｔφ（ｘ） ＝ λ∑ ｍ ｉ ＝ １ （α ∗ ′ｉ － α′ｉ）Ｋ（ｘｉ，ｘｊ） （１７） 由式（１７）可获得以下两结论： １）无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ＭＥＢ，故可用核心 集技术进行快速求解； ２）概率密度回归曲线可由其二次规划形式等 价的 ＣＣ⁃ＭＥＢ 的中心点表示。 １．２．３ ＤＡＤＥ 模型 从 １．２．２ 节分析可知，无偏置 ｖ⁃ＳＶＲ 等价于 ＣＣ⁃ 第 ２ 期 许敏，等：一种新颖的领域自适应概率密度估计器 ·２２３·
.224 智能系统学报 第10卷 MEB,概率密度函数由CC-MEB中心点表示。在此 文所提算法的优势。 理论基础上，本文提出通过学习源域中心点将源域 实验中将DADE方法与上述相关的方法进行性 知识传递给目标域，构造学习源域知识且与目标域 能比较，以目标域测试集概率密度估计精度作为评价 无偏置-SVR等价的CC-MEB,此CC-MEB的中心 指标，具体为：error= 点可用于目标域概率密度函数的建立。 之0)-脚 学习源域中心点的CC-MEB原始问题如下： x:表示目标域测试集元素，f(x:)表示x:的真实密度 minR2 +ullc-co ll 2 值，f(x:)表示各算法所得x:概率密度估计值，N值 c.A s.t.lp(x:)-c‖2+62≤R2 (18) 为500。实验通过网格搜索方式确定最优参数，高斯 引入拉格朗日乘子变量，在约束条件下构造式 核函数的方差h在网格{x/22,x/2,x/√2，x,2x, (18)的拉格朗日函数： 2x,22x}中搜索选取，其中x为训练样本平均2范 L=R2+u‖c-coI2+ 数的平方根；入参数在网格{1,2,3,4,5,6,7,8,9,10 盒1o)-e+-) (19) 中搜索选取：参数在网格{1×10,1×10,1×102， 1×10,1}中搜索选取：μ参数在网格{1,2,3,4,5,6， 由最优化理论可知，式(19)在鞍点处取极值， 7,8,9,10,15,20}中搜索选取。 在鞍点处L关于变量c和R的偏微分： 实验环境为：Intel Core22.40 GHz CPU,2.39 -R-2R克=0=>立x-1 GHz、1.94 GB RAM,Windows XP SP3,MATLAB7.1。 aR i=1 2.2实验结果与分析 aL =2μIc-c‖+2∑y.(e(x)-c)=0 为了利用源域知识弥补当前场景下信息过少造 ac i=1 成受训系统泛化能力下降之缺陷，模拟数据集的构 uco+∑y:e(x) 造需遵循以下原则：1)源域和目标域之间既有很大 相似性，又存在区别：2)已知的目标域数据集(x,y) =>C= (20) u I 是精确的，但由于样本过少，不能构建出概率密度估 将(20)代入(19)，该问题的对偶形式为： 计回归函数。 ma2(lex)12-2ce2+6.- 为了表征上述原则，首先生成样本数较多且能 u+1 精确表示概率密度分布均值为0、方差为1的源域 L立e(x)'p 数据集，需指出的是文章1.2.2节说明无偏置r-SVR p+1 与CC-MEB等价且概率密度函数可由CC-MEB中 心点组成，若源域有数据隐私保护的需要，还可通过 s.t∑y:=1 (21) 核心集技术，求得源域数据集的核心集，由少量核心 式中：(x:)p(x)=K(x,x),co由源域无偏 集元素表示源域CC-MEB的中心点，进行迁移学 置-SVR训练按式(16)获得，δ：由目标域样本按 习。另一方面，为了表示目标域与源域相近但不同， 式(14)获得。求解式(21)二次规划，按式(20) 目标域设置时对均值、方差进行漂移，分均值、方差、 获得中心点带入式(22)即可获得目标域概率密 均值方差均漂移3种情况，如表1所示。 表1数据源描述 度回归函数： Table 1 Description of the data source g(x)=w"o(x)=Ac"o(x)= 数据源 均值方差 ue,+∑e(x) 源域 0 1 0.1 1 入 (22) 目标域（均值漂移） u+1 一p(x) 目标域（方差漂移） 0 1.1 2 实验与分析 目标域（均值、方差漂移）0.1 1.1 由于隐私保护等原因，目标域获得信息量少且 2.1实验设置 精确，但不足以构建目标域概率密度函数。图1(a) 本文实验将本文所提算法与如下3个方面的回 虚线显示了均值为0、方差为1.1时目标域真实概率 归函数进行性能对比：1)直接使用源域数据构建概 密度分布图，图1(b)显示了此种情况下目标域自适 率密度回归函数：2)直接使用包含少量信息的目标 应学习效果图。图2将本文所提算法与另外3种训 域数据构建概率密度回归函数；3)使用源域、目标 练方法进行比较。 域数据共同构建概率密度回归函数。从而来体现本
ＭＥＢ，概率密度函数由 ＣＣ⁃ＭＥＢ 中心点表示。 在此 理论基础上，本文提出通过学习源域中心点将源域 知识传递给目标域，构造学习源域知识且与目标域 无偏置 ｖ⁃ＳＶＲ 等价的 ＣＣ⁃ＭＥＢ，此 ＣＣ⁃ＭＥＢ 的中心 点可用于目标域概率密度函数的建立。 学习源域中心点的 ＣＣ⁃ＭＥＢ 原始问题如下： ｍｉｎ ｃ，Ｒ Ｒ ２ ＋ μ‖ｃ － ｃ０‖２ ｓ．ｔ．‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ ≤ Ｒ ２ （１８） 引入拉格朗日乘子变量，在约束条件下构造式 （１８）的拉格朗日函数： Ｌ ＝ Ｒ ２ ＋ μ‖ｃ － ｃ０‖２ ＋ ∑ ｌ ｉ ＝ １ γｉ（‖φ（ｘｉ） － ｃ‖２ ＋ δｉ ２ － Ｒ ２ ） （１９） 由最优化理论可知，式（１９） 在鞍点处取极值， 在鞍点处 Ｌ 关于变量 ｃ 和 Ｒ 的偏微分： ∂Ｌ ∂Ｒ ＝ ２Ｒ － ２Ｒ∑ Ｎ ｉ ＝ １ γｉ ＝ ０ ＝ ＞ ∑ Ｎ ｉ ＝ １ γｉ ＝ １ ∂Ｌ ∂ｃ ＝ ２μ‖ｃ － ｃ０‖ ＋ ２∑ Ｎ ｉ ＝ １ γｉ（φ（ｘｉ） － ｃ） ＝ ０ ＝ ＞ ｃ ＝ μ ｃ０ ＋ ∑ ｌ ｉ ＝ １ γｉφ（ｘｉ） μ ＋ １ （２０） 将（２０）代入（１９），该问题的对偶形式为： ｍａｘ γ ∑ Ｎ ｉ ＝ １ （‖φ（ｘｉ）‖２ － ２μ ｃ０ Ｔφ（ｘｉ） μ ＋ １ ＋ δｉ ２ ）γｉ － １ μ ＋ １∑ ｌ ｉ ＝ １ ∑ ｌ ｊ ＝ １ γｉγｊφ（ｘｉ） Ｔφ（ｘｊ） ｓ．ｔ．∑γｉ ＝ １ （２１） 式中： φ（ ｘｉ）φ（ ｘｊ） ＝ Ｋ ～ （ ｘｉ，ｘｊ） ， ｃ０ 由源域无偏 置 ｖ⁃ＳＶＲ 训练按式（ １６）获得， δ ｉ 由目标域样本按 式（ １４）获得。 求解式（ ２１） 二次规划，按式（ ２０） 获得中心点带入式（ ２２） 即可获得目标域概率密 度回归函数： ｇ（ｘ） ＝ ｗ Ｔφ（ｘ） ＝ λ ｃ Ｔφ（ｘ） ＝ λ μ ｃ０ Ｔ ＋ ∑ ｌ ｉ ＝ １ γｉφ （ｘｉ） Ｔ μ ＋ １ φ（ｘ） （２２） ２ 实验与分析 ２．１ 实验设置 本文实验将本文所提算法与如下 ３ 个方面的回 归函数进行性能对比：１）直接使用源域数据构建概 率密度回归函数； ２）直接使用包含少量信息的目标 域数据构建概率密度回归函数；３） 使用源域、目标 域数据共同构建概率密度回归函数。 从而来体现本 文所提算法的优势。 实验中将 ＤＡＤＥ 方法与上述相关的方法进行性 能比较，以目标域测试集概率密度估计精度作为评价 指标，具体为： ｅｒｒｏｒ ＝ １ Ｎ∑ Ｎ ｉ ＝ １ （ｆ（ｘｉ） － ｆ ＾ （ｘｉ）） ２ ， 其中 ｘｉ 表示目标域测试集元素， ｆ（ｘｉ） 表示 ｘｉ 的真实密度 值， ｆ ＾ （ｘｉ） 表示各算法所得 ｘｉ 概率密度估计值，Ｎ 值 为 ５００。 实验通过网格搜索方式确定最优参数，高斯 核函数的方差 ｈ 在网格 ｛ｘ ⁃ ／ ２ ２ ，ｘ － ／ ２，ｘ － ／ ２，ｘ － ， ２ ｘ － ， ２ｘ － ，２ ２ ｘ － ｝ 中搜索选取， 其中 ｘ － 为训练样本平均 ２ 范 数的平方根； λ 参数在网格｛１，２，３，４，５，６，７，８，９，１０｝ 中搜索选取； ｖ 参数在网格｛１×１０ －４ ，１×１０ －３ ，１×１０ －２ ， １×１０ －１ ，１｝中搜索选取； μ 参数在网格｛１，２，３，４，５，６， ７，８，９，１０，１５，２０｝中搜索选取。 实验环境为：Ｉｎｔｅｌ Ｃｏｒｅ ２ ２． ４０ ＧＨｚ ＣＰＵ， ２． ３９ ＧＨｚ、１．９４ ＧＢ ＲＡＭ，Ｗｉｎｄｏｗｓ ＸＰ ＳＰ３， ＭＡＴＬＡＢ ７．１。 ２．２ 实验结果与分析 为了利用源域知识弥补当前场景下信息过少造 成受训系统泛化能力下降之缺陷，模拟数据集的构 造需遵循以下原则：１）源域和目标域之间既有很大 相似性，又存在区别；２）已知的目标域数据集 （ｘ，ｙ） 是精确的，但由于样本过少，不能构建出概率密度估 计回归函数。 为了表征上述原则，首先生成样本数较多且能 精确表示概率密度分布均值为 ０、方差为 １ 的源域 数据集，需指出的是文章 １．２．２ 节说明无偏置 ｖ⁃ＳＶＲ 与 ＣＣ⁃ＭＥＢ 等价且概率密度函数可由 ＣＣ⁃ＭＥＢ 中 心点组成，若源域有数据隐私保护的需要，还可通过 核心集技术，求得源域数据集的核心集，由少量核心 集元素表示源域 ＣＣ⁃ＭＥＢ 的中心点，进行迁移学 习。 另一方面，为了表示目标域与源域相近但不同， 目标域设置时对均值、方差进行漂移，分均值、方差、 均值方差均漂移 ３ 种情况，如表 １ 所示。 表 １ 数据源描述 Ｔａｂｌｅ １ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ ｔｈｅ ｄａｔａ ｓｏｕｒｃｅ 数据源 均值 方差 源域 ０ １ 目标域（均值漂移） ０．１ １ 目标域（方差漂移） ０ １．１ 目标域（均值、方差漂移） ０．１ １．１ 由于隐私保护等原因，目标域获得信息量少且 精确，但不足以构建目标域概率密度函数。 图 １（ａ） 虚线显示了均值为 ０、方差为 １．１ 时目标域真实概率 密度分布图，图 １（ｂ）显示了此种情况下目标域自适 应学习效果图。 图 ２ 将本文所提算法与另外 ３ 种训 练方法进行比较。 ·２２４· 智 能 系 统 学 报 第 １０ 卷
第2期 许敏，等：一种新颖的领域自适应概率密度估计器 .225. 0.4 0.40 源域 目标域真实 目标域真实 0.35 : 一…目标域 0.3 ·目标域已知 0.30 0.25 、 0.2 0.20f 0.15 0.1 0.10 0.05 0 -0.05 -2 0. 0 -2 0 x (b)目标域性能 (a)源域、目标域概率密度分布图 0.40 ·,目标域直实 0.4 源域 0.35 ”·源域日标域合并 目标域真实 0.30 0.3 …目标域 0.25 从=] ! 0.20 ! =3 0.2 =4 0.15 ! 0.10 0.1 0.05 0 0 -0.05 4 0 x -0.1 -2 0 2 (©)源域目标域合并性能 0.40 (b)自适应学习效果图 ·目标域真实 0.35 目标域+知识 图1均值为0、方差为1.1自适应学习效果图 0.30 Fig.I Charts of adaptive learning on the data set with 0.25 mean 0,variance 1.1 0.20 0.40 0.15 …目标域真实 0.35 0.10 --源域 0.30 0.05 0.25 0 ! -4 0 =0.20 0.15 (d)自适应学习性能 0.10 图2 原始图像和退化仿真图像 0.05 Fig.2 Performance comparison charts of different algorithms 0 -2 0 2 表2列出了设置目标域不同均值方差后各算法 的性能。 (a)源域性能 表2不同算法性能比较 Table 2 Performances comparison of different algorithms 源域 目标域 源域+日标域 源域知识+目标域 均值 方差 密度估计性能 密度估计性能 密度估计性能 密度估计性能 u值 0 1.1 2.2821×104 0.0032 2.2792×104 3.1255×106 0 1.2 7.9592×10+ 0.0029 7.9591×104 1.6095×10-9 3 0.1 1.7574×104 0.0032 1.7573×10 3.7635×10-7 8 0.2 1 7.0032×104 0.0035 7.0030×104 6.6461×10-5 20 0.1 1.1 3.7952×104 0.0025 3.2576×104 1.4511×10-6 5 0.2 1.2 0.0013 0.0041 0.0013 5.4453×106 > 生成均值为0、方差为1源域样本10000个，如 可获得。虚线表示均值为0、方差为1.1的目标域真 图1(a)所示，实线表示源域概率密度函数曲线，使 实概率密度函数曲线。由图1(a)可以看出，源域、 用核心集技术获得源域的核心集由13个空心圆表 目标域分布近似但不相同。图1(a)中5实点表示 示，源域知识只需知道模型参数和这13个样本点即 目标域已知信息，为了体现数据隐私保护的目的，文
（ａ） 源域、目标域概率密度分布图 （ｂ）自适应学习效果图 图 １ 均值为 ０、方差为 １．１ 自适应学习效果图 Ｆｉｇ．１ Ｃｈａｒｔｓ ｏｆ ａｄａｐｔｉｖｅ ｌｅａｒｎｉｎｇ ｏｎ ｔｈｅ ｄａｔａ ｓｅｔ ｗｉｔｈ ｍｅａｎ ０， ｖａｒｉａｎｃｅ １．１ （ａ）源域性能 （ｂ）目标域性能 （ｃ）源域目标域合并性能 （ｄ）自适应学习性能 图 ２ 原始图像和退化仿真图像 Ｆｉｇ．２ Ｐｅｒｆｏｒｍａｎｃｅ ｃｏｍｐａｒｉｓｏｎ ｃｈａｒｔｓ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｌｇｏｒｉｔｈｍｓ 表 ２ 列出了设置目标域不同均值方差后各算法 的性能。 表 ２ 不同算法性能比较 Ｔａｂｌｅ ２ Ｐｅｒｆｏｒｍａｎｃｅｓ ｃｏｍｐａｒｉｓｏｎ ｏｆ ｄｉｆｆｅｒｅｎｔ ａｌｇｏｒｉｔｈｍｓ 均值 方差 源域 密度估计性能 目标域 密度估计性能 源域＋目标域 密度估计性能 源域知识＋目标域 密度估计性能 μ 值 ０ １．１ ２．２８２ １×１０ －４ ０．００３ ２ ２．２７９ ２×１０ －４ ３．１２５ ５×１０ －６ ４ ０ １．２ ７．９５９ ２×１０ －４ ０．００２ ９ ７．９５９ １×１０ －４ １．６０９ ５×１０ －６ ２ ０．１ １ １．７５７ ４×１０ －４ ０．００３ ２ １． ７５７ ３×１０ －４ ３．７６３ ５×１０ －７ ８ ０．２ １ ７．００３ ２×１０ －４ ０．００３ ５ ７．００３ ０×１０ －４ ６．６４６ １×１０ －５ ２０ ０．１ １．１ ３．７９５ ２×１０ －４ ０．００２ ５ ３．２５７ ６×１０ －４ １．４５１ １×１０ －６ ５ ０．２ １．２ ０．００１ ３ ０．００４ １ ０．００１ ３ ５．４４５ ３×１０ －６ ７ 生成均值为 ０、方差为 １ 源域样本 １０ ０００ 个，如 图 １（ａ）所示，实线表示源域概率密度函数曲线，使 用核心集技术获得源域的核心集由 １３ 个空心圆表 示，源域知识只需知道模型参数和这 １３ 个样本点即 可获得。 虚线表示均值为 ０、方差为 １．１ 的目标域真 实概率密度函数曲线。 由图 １（ ａ）可以看出，源域、 目标域分布近似但不相同。 图 １（ ａ）中 ５ 实点表示 目标域已知信息，为了体现数据隐私保护的目的，文 第 ２ 期 许敏，等：一种新颖的领域自适应概率密度估计器 ·２２５·