地质科技通报 他债科技请报 Bullern of Geological Sctence and Techmology ISSN2096-8523,CN42-1904/P 《地质科技通报》网络首发论文 题目 迁移学习及其在固体地球科学中的应用 作者； 林秋怡，左仁广 DOI: 10.19509%.cnki.dzkq.tb20230429 收稿日期： 2023-07-22 网络首发日期； 2023-12-11 引用格式： ,左仁广，迁移学习及其在固体地球科学中的应用即0L]。地质科技通 百 区nKit国9 网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定辞、整期汇编定稿等阶 段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排板定稿指录用定稿按照期 刊特定版式《包括网络星现版式)排版后的稿件，可暂不确定出板年、卷、期和页码。整期汇编定稿指出 版年、卷、期、页码均已确定的印制或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出 版管理条和（刑出版管理规定）的有关规定：学术研究成果具有创新性、科学性和先进性，符合编 辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为：稿件内容应基本符合国家有关书刊编辑， 出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。 为确保录用定稿网络首发的严束性，录用定稿一经发布，不得修政论文题目、作者、机构名称和学术内容， 只可基于编辑规范讲行少量文字的修改， 出版确认：纸质期刊编辑部通过与《中国学术期刊（光盘版）》电子杂志社有限公司签约，在《仲国 学术期刊（网络板）》出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印 出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊（网络版）》是国家新闻出 版广电总局批准的网络连续型出版物(ISSN2096418器，C、NI1-6037Z),所以签约期刊的网络版上网络首 发论文视为正式出版
地质科技通报 Bulletin of Geological Science and Technology ISSN 2096-8523,CN 42-1904/P 《地质科技通报》网络首发论文 题目： 迁移学习及其在固体地球科学中的应用 作者： 林秋怡，左仁广 DOI： 10.19509/j.cnki.dzkq.tb20230429 收稿日期： 2023-07-22 网络首发日期： 2023-12-11 引用格式： 林秋怡，左仁广．迁移学习及其在固体地球科学中的应用[J/OL]．地质科技通 报. https://doi.org/10.19509/j.cnki.dzkq.tb20230429 网络首发：在编辑部工作流程中，稿件从录用到出版要经历录用定稿、排版定稿、整期汇编定稿等阶 段。录用定稿指内容已经确定，且通过同行评议、主编终审同意刊用的稿件。排版定稿指录用定稿按照期 刊特定版式（包括网络呈现版式）排版后的稿件，可暂不确定出版年、卷、期和页码。整期汇编定稿指出 版年、卷、期、页码均已确定的印刷或数字出版的整期汇编稿件。录用定稿网络首发稿件内容必须符合《出 版管理条例》和《期刊出版管理规定》的有关规定；学术研究成果具有创新性、科学性和先进性，符合编 辑部对刊文的录用要求，不存在学术不端行为及其他侵权行为；稿件内容应基本符合国家有关书刊编辑、 出版的技术标准，正确使用和统一规范语言文字、符号、数字、外文字母、法定计量单位及地图标注等。 为确保录用定稿网络首发的严肃性，录用定稿一经发布，不得修改论文题目、作者、机构名称和学术内容， 只可基于编辑规范进行少量文字的修改。 出版确认：纸质期刊编辑部通过与《中国学术期刊（光盘版）》电子杂志社有限公司签约，在《中国 学术期刊（网络版）》出版传播平台上创办与纸质期刊内容一致的网络版，以单篇或整期出版形式，在印刷 出版之前刊发论文的录用定稿、排版定稿、整期汇编定稿。因为《中国学术期刊（网络版）》是国家新闻出 版广电总局批准的网络连续型出版物（ISSN 2096-4188，CN 11-6037/Z），所以签约期刊的网络版上网络首 发论文视为正式出版
网修言发慰：23,2al1.30507id421904p20231207.174201 网络首发 地质技通报 Pre-pub online 2023年 Bulletin of Geological Science and Technology 2023 林秋怕，左仁广.迁移学习及其在固体地球科学中的应用).地质科技通报，2023. Lin Qiuyi,Zuo Renguang.Transfer learning and its application in solid Earth geoscience[J).Bulletin of Geological Science and Technology 2023. 迁移学习及其在固体地球科学中的应用 林秋怡·，左仁广。 (中国地大学（武汉）资源学院：k,地顺过程与矿产疏源国家重点实验堂，武汉430074) 摘要：随着地球科学进入大数据时代，机器学习成为可发现和描述数据复杂结构与模式的新兴工具，被迅速应 用于固体地球科学领域。作为机器学习的一个重要子领域，深度学习通过构建多级隐含层的方式，层层递进地 学习海量数据，可达到提高分类或预测效果等目的。然而机器学习模型往往需要海量数据作为支撑，从而限制 了其在围体地球科学领域的广泛应用。迁移学习算法的引入为解决这 一问题提供了新的方案。迁移学习是针对 在训练样本不足情况下的一种机器学习方法，旨在通过利用预先学习类似任务的知识米提高新任务的性能，其 利用从源域学习到的知识并将其迁移到目标域，在一定程度上可以克服训练数据不足的问题。迁移学习算法为 固体地球科学领域的应用提供了新的思路。本文简要综述了迁移学习的基本概念和类别，通过分析迁移学习在 固体地球科学中的典型应用案例，讨论了现有迁移学习方法在固体地球科学领域中面临的桃战。当前，深度迁 移学习方法已经在岩石矿物自动识别与分类、地球化学异常识别等方面表现出了较大潜力，其具各提高模型泛 化性能、避免过拟合的能力，在周体地球科学领域具有广阔的应用前景。但目前迁移学习方法应用于固体地球 科学领域的研究还相对较少，未来将持续针对源域数据集选择、迁移模型构建、负迁移评估及可解释性不足等 问题开展更为深入的研究。 关键词：迁移学习：深度学习：固体地球科学 中图分卷号，P628 收稿日期：2023-07-22 doi:10.19509/j.cmki.dzkq.tb2023042 Transfer learning and its application in solid Earth geoscience Qiuyi Lin",Renguang Zuo (a.School of Earth Resourees,b.State Key Laboratory of Geological Processes and Mineral Resources.China University of Geosciences(Wuhan),Wuhan 430074.China) Abstraet:[Significanee]Over the past few years,with the advent of big data in geoscience,machine learning has emerged as a powerful tool capable of uncovering and characterizing intricate structures and patterns within data.As a result,it has been rapidly adopted in the realm of solid Earth geoscience.As a crucial subdomain of machine learning. deep learning progressively acquires vast quantities of data by constructing multi-tiered hidden layers,thereby enhancing the perfor e of classification or pred tasks.Neve many machin learning models in geoscience pertains to the scarcity of available data,thereby restricting their widespreac implementation in the realm of solid Earth geosciences.The advent of transfer learning algorithms has presented a novel 01)和国家自然科学基金《4 林秋怕 ,主要研究方向为数学地质与矿产勒查。Ema 通讯作者：左仁广(1981-，男，教授，博士生导师，主要研究方向为数学地质与矿产勒查。E-mail:rguang@cug.d山cm
网络首发 地 质 科 技 通 报 Pre-pub online 2023 年 Bulletin of Geological Science and Technology 2023 林秋怡, 左仁广.迁移学习及其在固体地球科学中的应用[J]. 地质科技通报, 2023. Lin Qiuyi, Zuo Renguang. Transfer learning and its application in solid Earth geoscience[J]. Bulletin of Geological Science and Technology, 2023. 迁移学习及其在固体地球科学中的应用 林秋怡 a，左仁广b （中国地质大学（武汉）a.资源学院；b.地质过程与矿产资源国家重点实验室，武汉 430074） 摘要：随着地球科学进入大数据时代，机器学习成为可发现和描述数据复杂结构与模式的新兴工具，被迅速应 用于固体地球科学领域。作为机器学习的一个重要子领域，深度学习通过构建多级隐含层的方式，层层递进地 学习海量数据，可达到提高分类或预测效果等目的。然而机器学习模型往往需要海量数据作为支撑，从而限制 了其在固体地球科学领域的广泛应用。迁移学习算法的引入为解决这一问题提供了新的方案。迁移学习是针对 在训练样本不足情况下的一种机器学习方法，旨在通过利用预先学习类似任务的知识来提高新任务的性能，其 利用从源域学习到的知识并将其迁移到目标域，在一定程度上可以克服训练数据不足的问题。迁移学习算法为 固体地球科学领域的应用提供了新的思路。本文简要综述了迁移学习的基本概念和类别，通过分析迁移学习在 固体地球科学中的典型应用案例，讨论了现有迁移学习方法在固体地球科学领域中面临的挑战。当前，深度迁 移学习方法已经在岩石矿物自动识别与分类、地球化学异常识别等方面表现出了较大潜力，其具备提高模型泛 化性能、避免过拟合的能力，在固体地球科学领域具有广阔的应用前景。但目前迁移学习方法应用于固体地球 科学领域的研究还相对较少，未来将持续针对源域数据集选择、迁移模型构建、负迁移评估及可解释性不足等 问题开展更为深入的研究。 关键词：迁移学习；深度学习；固体地球科学 中图分类号：P628 收稿日期：2023-07-22 doi: 10. 19509/j.cnki.dzkq.tb20230429 Transfer learning and its application in solid Earth geoscience Qiuyi Lina , Renguang Zuob （a.School of Earth Resources; b.State Key Laboratory of Geological Processes and Mineral Resources, China University of Geosciences(Wuhan), Wuhan 430074, China） Abstract: [Significance] Over the past few years, with the advent of big data in geoscience, machine learning has emerged as a powerful tool capable of uncovering and characterizing intricate structures and patterns within data. As a result, it has been rapidly adopted in the realm of solid Earth geoscience. As a crucial subdomain of machine learning, deep learning progressively acquires vast quantities of data by constructing multi-tiered hidden layers, thereby enhancing the performance of classification or prediction tasks. Nevertheless, a significant hurdle encountered by many machine learning models in geoscience pertains to the scarcity of available data, thereby restricting their widespread implementation in the realm of solid Earth geosciences. The advent of transfer learning algorithms has presented a novel 基金项目：湖北省创新群体（2023AFA001）和国家自然科学基金（42102332） 作者简介：林秋怡（2000-），女，现正攻读资源与环境专业硕士学位，主要研究方向为数学地质与矿产勘查。E-mail: linqiuyi@cug.edu.cn 通讯作者：左仁广（1981-），男，教授，博士生导师，主要研究方向为数学地质与矿产勘查。E-mail: zrguang@cug.edu.cn 网络首发时间：2023-12-11 12:05:07 网络首发地址：https://link.cnki.net/urlid/42.1904.p.20231207.1742.001
2 httpss:/dzkb.cug.edu.cn地质科技通报 2023年 approach to addressing the challenge of limited training data in Solid Earth geoscience applications.ProgreTransfer leaming techniques that the per ormance of novel tasks when adequate data is lacking.by leveraging pre-ex using the knowledge learned from the source domain and transferring it to the target domain,it can to some extent overcome insufficient data availability and improve the accuracy of predictions.This paper provides a brief overview of the basic concepts and categories of transfer learning.while simultaneously discussing the challenges confronting existing transfer eaming appr aches applied to geoscience by analyzing the typical cases of transfer leaming in solid Earthos.At present,deep transfer eaming approahes have initially shown great potentiali n automat dentification and classification of rocks and minerals,identification of geochemical anomalies,etc.Conclusions and Prospects]Given their capacity to enhance model generalization performance and mitigate overfitting,deep transfer learning approaches hold considerable promise for widespread application in the field of solid Earth geosciences. Simultaneously,it cannot be denied that the research pertaining to the utilization of transfer learning in the domain of Soid Earth mns reatively underdeveloped.Thereare sl inherent in leaming approaches to,incuding the of identifying suitable oure domains capable furnishing pertinent knowledge for the target domain.In the future.it is absolutely imperative to undertake more comprehensive research regarding the application of transter learning in the realm of Solid Earth geoscience. encompassing aspects such as the selection of source domain datasets,the construction of transfer models,the assessment of negative transfers and the interpretability of transfer eaming Key words:Transfer learning.Deep leaming:Solid Earth geoscience 标记过程存在高度主观的或有偏性，影响算法的泛 资源与能源问题长期以来是全世界关注的热点， 化能力：(3)不平衡的数据集、不完整的数据集和 固体地球科学对于保障资源与能源供应发挥了重要 有噪声的数据集会影响模型性能。此外，机器学习 作用。随若资源与能源安全形式的日益严峻，地球 模型的应用都需要针对特定的问题重新构建模型并 科学家们面临着如何利用经验知识与收集到的数据 从头开始训练，存在模型利用率低的现象。因此， 为依据对固体地球科学系统进行进一步探究，从中 如何利用少量的样本数据实现对目标任务的学习， 提取尽可能多的有用信息并得到新的间接，以应对 以及如何实现模型的高效复用是目前机器学习方法 目前面临的资源与能源的挑战。近年来，机器学习 在固体地球科学领域的应用热点及难点。 算法的快速发展与推广改变了包括固体地球科学在 作为解决上述问题的方法途径之一，迁移学习 内的许多科学领域的数据分析过程。其中，深度 可以将从已有数据所学到的知识迁移应用到新领域 学习技术凭借其强大的非线性特征表示能力，已逐 的任务上，使得标注数据等有监督的信息可以在领 渐成为固体地球科学领域研究的有力工具“乳。深度 域间实现迁移和复用，在一定程度上可以解决训练 自编码网络、深度信念网络、深度卷积神经网络等 数据不足的问题，有效避免了深度学习模型由于训 深度学习算法己相继被应用于地震信号识别阿、高 练样本不足而造成的过拟合问题以。同时，迁移学 光谱影像分类，们、矿产期查9等多项领域。 习放宽了传统机器学习中训练数据和测试数据必须 尽管如此，机器学习方法在周体地球科学中的 服从独立同分布的约束，因而能够在彼此不同但又 应用仍然存在一些挑战吗：(1)大多数机器学习模 相互关联的两个领域间挖掘领域不变的本质特征和 型需要大量的标注数据进行训练，但由于固体地球 结构。因此，迁移学习在固体地球科学领域具有 科学领域研究对象的真相通常是未知的，因此在实 广阔的应用前景。 际应用中往往很难获取足够的训练样本：(2)数据 本文简要综述了迁移学习的基本概念和类别
2 https://dzkjqb.cug.edu.cn 地质科技通报 2023 年 approach to addressing the challenge of limited training data in Solid Earth geoscience applications. [Progress] Transfer learning represents a category of machine learning techniques that seek to enhance the performance of novel tasks when adequate data is lacking, by leveraging pre-existing knowledge obtained from similar tasks through pre-training. By using the knowledge learned from the source domain and transferring it to the target domain, it can to some extent overcome insufficient data availability and improve the accuracy of predictions. This paper provides a brief overview of the basic concepts and categories of transfer learning, while simultaneously discussing the challenges confronting existing transfer learning approaches applied to geoscience by analyzing the typical cases of transfer learning in solid Earth geosciences. At present, deep transfer learning approaches have initially shown great potential in automatic identification and classification of rocks and minerals, identification of geochemical anomalies, etc. [Conclusions and Prospects]Given their capacity to enhance model generalization performance and mitigate overfitting, deep transfer learning approaches hold considerable promise for widespread application in the field of solid Earth geosciences. Simultaneously, it cannot be denied that the research pertaining to the utilization of transfer learning in the domain of Solid Earth geoscience remains relatively underdeveloped. There are still challenges inherent in the applications of deep transfer learning approaches to geoscience, including the necessity of identifying suitable source domains capable of furnishing pertinent knowledge for the target domain. In the future, it is absolutely imperative to undertake more comprehensive research regarding the application of transfer learning in the realm of Solid Earth geoscience, encompassing aspects such as the selection of source domain datasets, the construction of transfer models, the assessment of negative transfers, and the interpretability of transfer learning. Key words: Transfer learning; Deep learning; Solid Earth geoscience 资源与能源问题长期以来是全世界关注的热点， 固体地球科学对于保障资源与能源供应发挥了重要 作用。随着资源与能源安全形式的日益严峻，地球 科学家们面临着如何利用经验知识与收集到的数据 为依据对固体地球科学系统进行进一步探究，从中 提取尽可能多的有用信息并得到新的间接，以应对 目前面临的资源与能源的挑战。近年来，机器学习 算法的快速发展与推广改变了包括固体地球科学在 内的许多科学领域的数据分析过程[1-3]。其中，深度 学习技术凭借其强大的非线性特征表示能力，已逐 渐成为固体地球科学领域研究的有力工具[4, 5]。深度 自编码网络、深度信念网络、深度卷积神经网络等 深度学习算法已相继被应用于地震信号识别[6]、高 光谱影像分类[7, 8]、矿产勘查[9-11]等多项领域。 尽管如此，机器学习方法在固体地球科学中的 应用仍然存在一些挑战[2]：（1）大多数机器学习模 型需要大量的标注数据进行训练，但由于固体地球 科学领域研究对象的真相通常是未知的，因此在实 际应用中往往很难获取足够的训练样本；（2）数据 标记过程存在高度主观的或有偏性，影响算法的泛 化能力；（3）不平衡的数据集、不完整的数据集和 有噪声的数据集会影响模型性能。此外，机器学习 模型的应用都需要针对特定的问题重新构建模型并 从头开始训练，存在模型利用率低的现象。因此， 如何利用少量的样本数据实现对目标任务的学习， 以及如何实现模型的高效复用是目前机器学习方法 在固体地球科学领域的应用热点及难点。 作为解决上述问题的方法途径之一，迁移学习 可以将从已有数据所学到的知识迁移应用到新领域 的任务上，使得标注数据等有监督的信息可以在领 域间实现迁移和复用，在一定程度上可以解决训练 数据不足的问题，有效避免了深度学习模型由于训 练样本不足而造成的过拟合问题[12]。同时，迁移学 习放宽了传统机器学习中训练数据和测试数据必须 服从独立同分布的约束，因而能够在彼此不同但又 相互关联的两个领域间挖掘领域不变的本质特征和 结构[13]。因此，迁移学习在固体地球科学领域具有 广阔的应用前景。 本文简要综述了迁移学习的基本概念和类别
林秋怡等：迁移学习及其在周体地球科学中的应用 5 对迁移学习在固体地球科学中的典型案例进行分析 通常涉及两个域：源域和目标域。源域(Source 讨论了现有迁移学习方法在固体科学领域应用面临 Domian)表示为D,是指应用于训练模型的己有标 的挑战，并对其发展和应用进行了展望，以期为迁 注数据所在领域，源域数据集可以理解为目标任努 移学习在固体科学领域更为广泛的应用提供帮助。 的辅助数据集。而目标域(Target Domian)表示为D, 1迁移学习 是希望将模型应用于新数据的对应领域，目标域数 据集为任务数据集。 从机器学习角度来说，迁移学习是针对在训练 给定一个领域D=化，P(,该域所对应的任 样本不足情况下的一种有效学习方法。不同于传统 务T由标签空间Y和相对应的预测模型f八)组成， 机器学习试图从头开始学习一个特定领域的任务， 其中标签空间Y=y1,y2,m,m为标签向量的 迁移学习可将从先前的源任务中学习到的知识转移 维数，y表示为第1维标签向量，ie1,2,m, 到目标任务中（图1）。具体来说，迁移学习使得标 即任务可以表示为T=,f)。源域D,对应源任 注数据等有监督的信总可以在领域间实现迁移和复 务T,目标域D,对应目标任务T,。按照统计学的 用，在一定程度上解决了训练数据不足的问题，从 思想，预测模型f)=P心)满足条件概率分布。 而有效避免过拟合间题，这使得迁移学习适用于 在机器学习中，一般由数据训练学习得到，对于 小样本学习。 监督机器学习算法，训练数据包含训练样本x,∈X 及其对应的标签y∈X,可记为数据标签对{，y}。 Pan和Yang于2010年对迁移学习相关研究进 ⑧ 行整理与总结，并给出了迁移学习的定义以：给定 一个源域D,及对应的源任务T,一个目标域D,及 集司 H◆ 目标任务T,当D,≠D,(但下与1相同或相关) 或T,≠T(但D,与D,相同或相关)时，可以利用 D,和T,的信息，更好地完成D,的任务T,这一过 《0)件城帆器学刀 )迁移学习 程称为迁移学习。因此，迁移学习的目标是将模型 图1传统机器学习(a)与迁移学习b)比较4 从源域任务适应到新的目标域任务。在此过程中， 源数据集的知识、经验或特征被迁移并适应到目标 ransfer leaming (b 数据集中，以提高模型在小样本目标数据集上的性 11迁移学习的定义 能 迁移学习涉及领域(Domain)和任务(Task)两个 迁移学习的分类 重要概念。领域D由d维特征空间X和边缘概率分 迁移学习一般可以根据领域（数据特征）、任务 布P()组成，其中特征空间X=x,x,xn,n (迁移情景)入、数据（迁移对象）三个不同的维度进 为训练数据的个数，x表示为第i个训练数据，i∈ 行分类（图2）。Weiss等根据源域和目标域的数 {L,2,n,即域可以表示为D=化Px,x∈X。 据特征空间是否相同或特征维度是否一致，将迁移 一般来说，若两个域不同，那么它们可能拥有不同 学习分为同构迁移学习和异构迁移学习。基于迁移 的特征空间或不同的边缘概率分布。传统机器学习 学习的定义，根据源域和目标域数据样本及实现任 中通常仅有一个包含全部数据集的域，而迁移学习 务是否相同，可以将迁移学习分为归纳迁移学习
林秋怡等：迁移学习及其在固体地球科学中的应用 3 对迁移学习在固体地球科学中的典型案例进行分析， 讨论了现有迁移学习方法在固体科学领域应用面临 的挑战，并对其发展和应用进行了展望，以期为迁 移学习在固体科学领域更为广泛的应用提供帮助。 1 迁移学习 从机器学习角度来说，迁移学习是针对在训练 样本不足情况下的一种有效学习方法。不同于传统 机器学习试图从头开始学习一个特定领域的任务， 迁移学习可将从先前的源任务中学习到的知识转移 到目标任务中（图 1）。具体来说，迁移学习使得标 注数据等有监督的信息可以在领域间实现迁移和复 用，在一定程度上解决了训练数据不足的问题，从 而有效避免过拟合问题[12]，这使得迁移学习适用于 小样本学习。 图 1 传统机器学习(a)与迁移学习(b)比较[14] Fig.1 Comparison between traditional machine learning (a) and transfer learning (b)[14] 1.1 迁移学习的定义 迁移学习涉及领域 (Domain) 和任务 (Task) 两个 重要概念。领域 D 由 d 维特征空间 X 和边缘概率分 布 P(x) 组成，其中特征空间 X = {x1 , x2 , ., xn }，n 为训练数据的个数，xi 表示为第 i 个训练数据，𝑖 ∈ {1, 2, ⋯, n}，即域可以表示为 D = {X, P(x)}，x∈X。 一般来说，若两个域不同，那么它们可能拥有不同 的特征空间或不同的边缘概率分布。传统机器学习 中通常仅有一个包含全部数据集的域，而迁移学习 通常涉及两个域：源域和目标域。源域 (Source Domian) 表示为 Ds，是指应用于训练模型的已有标 注数据所在领域，源域数据集可以理解为目标任务 的辅助数据集。而目标域 (Target Domian) 表示为 Dt， 是希望将模型应用于新数据的对应领域，目标域数 据集为任务数据集。 给定一个领域 D = {X, P(x)}，该域所对应的任 务 T 由标签空间 Y 和相对应的预测模型 f (·) 组成， 其中标签空间 Y = {𝑦1, 𝑦2, . , 𝑦𝑚}，m 为标签向量的 维数，y i 表示为第 i 维标签向量，𝑖 ∈ {1, 2, ⋯ , m}， 即任务可以表示为 T = {Y, f (·) }。源域 Ds 对应源任 务 Ts ，目标域 Dt 对应目标任务 Tt 。按照统计学的 思想，预测模型 f (·) = P(y| x) 满足条件概率分布。 在机器学习中，f(·) 一般由数据训练学习得到，对于 监督机器学习算法，训练数据包含训练样本 xi∈X 及其对应的标签 y i∈Y，可记为数据标签对{xi , y i }。 Pan 和 Yang 于 2010 年对迁移学习相关研究进 行整理与总结，并给出了迁移学习的定义[14]：给定 一个源域 Ds 及对应的源任务 Ts ，一个目标域 Dt 及 目标任务 Tt ，当 Ds≠Dt （但 Ts 与 Tt 相同或相关） 或 Ts≠Tt（但 Ds 与 Dt 相同或相关）时，可以利用 Ds 和 Ts 的信息，更好地完成 Dt 的任务 Tt，这一过 程称为迁移学习。因此，迁移学习的目标是将模型 从源域任务适应到新的目标域任务。在此过程中， 源数据集的知识、经验或特征被迁移并适应到目标 数据集中，以提高模型在小样本目标数据集上的性 能。 1.2 迁移学习的分类 迁移学习一般可以根据领域（数据特征）、任务 （迁移情景）、数据（迁移对象）三个不同的维度进 行分类（图 2）。Weiss 等[15]根据源域和目标域的数 据特征空间是否相同或特征维度是否一致，将迁移 学习分为同构迁移学习和异构迁移学习。基于迁移 学习的定义，根据源域和目标域数据样本及实现任 务是否相同，可以将迁移学习分为归纳迁移学习
4 https://dzk jgb.cug.edu.cn地质科技通报 2023年 直推式迁移学习和无监督迁移学习1。根据迁移 步划分为基于实例、基于特征、基于模型和基于关 学习中具体的迁移对象，可以将迁移学习方法进 系四大类。 一迁移对象一 迁移学习 基于实例 同构 数据特征 异构 基于特征 于模型 迁移情景 归纳式 直推式 无监督 于关系 图2迁移学习的分类 Fig 2 Classification of transfer leamning 目前迁移学习方法大多采用基于迁移对象的方 源域和目标域数据差异较明显的情况，并且某些特 式进行分类，下面将对此分类方式进一步展开介绍。 征仅适用于源域，重新加权或采样源域样本并不能 表1总结了迁移学习方法的适用场景，即根据源域 有效地减少源域和目标域之间的差异。为了更好地 与目标域之间的分布差异情况以及样本关系，选择 处理这一情况，基于特征的迁移方法提供了一种可 不同迁移学习方法。 行的解决方案。 (1)基于实例的迁移学习：假设源域中包含某 (2)基于特征的钎移学习：基于源域和目标域 些与目标域相关的数据，这些数据可以通过加权而 之间存在一些共享特征的假设，可通过利用这些共 重新应用于目标域的学习。通过设置一定的权重分 享特征来实现知识迁移。具体的做法是将源域和目 配规则，筛选出与目标域数据相似度高的源域数据 标域的特征通过特征工程或特征映射转换到统一的 通过重用数据样本来实现迁移学习。当两个域的条 特征空间中，进而有效缩小源域和目标域数据间的 件分布相同或分布差异较小时，基于实例的迁移学 特征分布差异，并通过共享特征表示来提高目标任 习效果最好阿。Dai等提出了一种基于实例迁移 务的性能。这类方法主要分为基于特征的非对称变 的算法TrAdaBoost,该算法的核心思想在于从源域 换和对称变换迁移学习两类。非对称特征变换通 数据中筛选与目标域相适用的匹配数据，与目标域 过重新加权来转换源特征，使之更接近目标域。相 不匹配的数据则进行剔除，同时通过Boosting方法 比之下，对称特征变换试图发现域之间潜在的结构 来提高有效数据权重的同时进一步降低无效数据的 相关性，以找到一个共同潜在特征空间，同时将源 权重。这类方法思路简单、易实现，但需要重点关 特征和目标特征转换为新的特征表示，减少域之间 注如何有效地度量源域和目标域样本之间的相似度， 的边际分布。基于特征的迁移学习的一个主要目标 进而有效筛选对目标任务学习产生积极影响的信息。 是减少源数据和目标数据之间的分布差异，从而保 针对这一问题，Sugiyamate等网通过最小化 留数据的属性或潜在结构。因此，如何有效地测 Kullback-Leibler散度直接估计源域数据样本的重 量域间的分布差异或相似度是基于特征的迁移学习 要性。在真实应用场景中，迁移学习的应用常面临 中是一个重要问恩。基于此，当前主要应用最大均
4 https://dzkjqb.cug.edu.cn 地质科技通报 2023 年 直推式迁移学习和无监督迁移学习[14, 16]。根据迁移 学习中具体的迁移对象，可以将迁移学习方法进一 步划分为基于实例、基于特征、基于模型和基于关 系四大类[14]。 图 2 迁移学习的分类 Fig.2 Classification of transfer learning 目前迁移学习方法大多采用基于迁移对象的方 式进行分类，下面将对此分类方式进一步展开介绍。 表 1 总结了迁移学习方法的适用场景，即根据源域 与目标域之间的分布差异情况以及样本关系，选择 不同迁移学习方法。 （1）基于实例的迁移学习：假设源域中包含某 些与目标域相关的数据，这些数据可以通过加权而 重新应用于目标域的学习。通过设置一定的权重分 配规则，筛选出与目标域数据相似度高的源域数据， 通过重用数据样本来实现迁移学习。当两个域的条 件分布相同或分布差异较小时，基于实例的迁移学 习效果最好[15]。Dai 等[17]提出了一种基于实例迁移 的算法 TrAdaBoost，该算法的核心思想在于从源域 数据中筛选与目标域相适用的匹配数据，与目标域 不匹配的数据则进行剔除，同时通过 Boosting 方法 来提高有效数据权重的同时进一步降低无效数据的 权重。这类方法思路简单、易实现，但需要重点关 注如何有效地度量源域和目标域样本之间的相似度， 进而有效筛选对目标任务学习产生积极影响的信息。 针对这一问题 ，Sugiyamate 等 [18] 通 过 最 小 化 Kullback-Leibler 散度[19]直接估计源域数据样本的重 要性。在真实应用场景中，迁移学习的应用常面临 源域和目标域数据差异较明显的情况，并且某些特 征仅适用于源域，重新加权或采样源域样本并不能 有效地减少源域和目标域之间的差异。为了更好地 处理这一情况，基于特征的迁移方法提供了一种可 行的解决方案。 （2）基于特征的迁移学习：基于源域和目标域 之间存在一些共享特征的假设，可通过利用这些共 享特征来实现知识迁移。具体的做法是将源域和目 标域的特征通过特征工程或特征映射转换到统一的 特征空间中，进而有效缩小源域和目标域数据间的 特征分布差异，并通过共享特征表示来提高目标任 务的性能。这类方法主要分为基于特征的非对称变 换和对称变换迁移学习两类[16]。非对称特征变换通 过重新加权来转换源特征，使之更接近目标域。相 比之下，对称特征变换试图发现域之间潜在的结构 相关性，以找到一个共同潜在特征空间，同时将源 特征和目标特征转换为新的特征表示，减少域之间 的边际分布。基于特征的迁移学习的一个主要目标 是减少源数据和目标数据之间的分布差异，从而保 留数据的属性或潜在结构[16]。因此，如何有效地测 量域间的分布差异或相似度是基于特征的迁移学习 中是一个重要问题。基于此，当前主要应用最大均