第12卷第2期 智能系统学报 Vol.12 No.2 2017年4月 CAAI Transactions on Intelligent Systems Apr.2017 D0I:10.11992/6is.201701006 网络出版地址：http://kns.cnki.net/kcms/detail/23.1538.TP.20170419.1448.002.html 智能交互的物体识别增量学习技术综述 李雪12，蒋树强2 (1.山东科技大学计算机科学与工程学院，山东青岛266590：2.中国科学院计算技术研究所智能信息处理重点实 验室，北京100190) 摘要：智能交互系统是研究人与计算机之间进行交流与通信，使计算机能够在最大程度上完成交互者的某个指令 的一个领域。其发展的目标是实现人机交互的自主性、安全性和友好性。增量学习是实现这个发展目标的一个途 径。本文对智能交互系统的任务、背景和获取信息来源进行简要介绍，主要对增量学习领域的已有工作进行综述。 增量学习是指一个学习系统能不断地从新样本中学习新的知识，非常类似于人类自身的学习模式。它使智能交互 系统拥有自我学习，提高交互体验的能力。文中对主要的增量学习算法的基本原理和特点进行了闸述，分析各自的 优点和不足，并对进一步的研究方向进行展望。 关键词：人工智能：人机交互；计算机视觉：物体识别：机器学习；多模态；机器人；交互学习 中图分类号：TP391文献标志码：A文章编号：1673-4785(2017)02-0140-10 中文引用格式：李雪，蒋树强.智能交互的物体识别增量学习技术综述[J].智能系统学报，2017,12(2)：140-149， 英文引用格式：LI Xue,JIANG Shuqiang..Incremental learning and object recognition system based on intelligent HCI:a survey [J].CAAI transactions on intelligent systems,2017,12(2):140-149. Incremental learning and object recognition system based on intelligent HCI:a survey LI Xue JIANG Shuqiang2 (1.College of Information Science and Engineering,Shandong University of Science and Technology,Qingdao 266590,China;2.Key Laboratory of Intelligent Information Processing,Institute of Computing Technology,Chinese Academy of Sciences,Beijing 100190. China) Abstract:Intelligent HCI systems focus on the interaction between computers and humans and study whether com- puters are able to apprehend human instructions.Moreover,this study aims to make the interaction more independ- ent and interactive.To some extent,incremental learning is a way to realize this goal.This study briefly introduces the tasks,background,and information source of intelligent HCI systems;in addition,it focuses on the summary of incremental learning.Similar to the learning mechanism of humans,incremental learning involves acquiring new knowledge on a continuous basis.This allows for the intelligent HCI systems to have the ability of self-growth.This study surveys the works that focus on incremental learning,including the mechanisms and their respective advanta- ges and disadvantages,and highlights the future research directions. Keywords:artificial intelligence;human-computer interaction;computer vision;object recognition;machine learning;multimodality;robotics;interactive learning 智能交互系统最为重要的一项任务就是捕获和 理解外界环境信息，从而完成交互方任务。近年来， 由于人工智能和机器人学等相关领域技术的进步， 收稿日期：2017-01-09.网络出版日期：2017-04-19. 智能交互系统得到了广泛的关注，高性能智能交互 基金项目：国家“973”计划项目(2012CB316400). 通信作者：蒋树强E-mail::sqjiang@(ict.ac.cn. 系统的实现也更加现实。智能交互系统感知外界环
第 １２ 卷第 ２ 期 智 能 系 统 学 报 Ｖｏｌ．１２ №．２ ２０１７ 年 ４ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ａｐｒ． ２０１７ ＤＯＩ：１０．１１９９２ ／ ｔｉｓ．２０１７０１００６ 网络出版地址：ｈｔｔｐ： ／ ／ ｋｎｓ．ｃｎｋｉ．ｎｅｔ ／ ｋｃｍｓ／ ｄｅｔａｉｌ ／ ２３．１５３８．ＴＰ．２０１７０４１９．１４４８．００２．ｈｔｍｌ 智能交互的物体识别增量学习技术综述 李雪１ ，２ ，蒋树强２ （１．山东科技大学 计算机科学与工程学院，山东 青岛 ２６６５９０； ２． 中国科学院计算技术研究所 智能信息处理重点实 验室，北京 １００１９０） 摘 要：智能交互系统是研究人与计算机之间进行交流与通信，使计算机能够在最大程度上完成交互者的某个指令 的一个领域。 其发展的目标是实现人机交互的自主性、安全性和友好性。 增量学习是实现这个发展目标的一个途 径。 本文对智能交互系统的任务、背景和获取信息来源进行简要介绍，主要对增量学习领域的已有工作进行综述。 增量学习是指一个学习系统能不断地从新样本中学习新的知识，非常类似于人类自身的学习模式。 它使智能交互 系统拥有自我学习，提高交互体验的能力。 文中对主要的增量学习算法的基本原理和特点进行了阐述，分析各自的 优点和不足，并对进一步的研究方向进行展望。 关键词：人工智能；人机交互；计算机视觉；物体识别；机器学习；多模态；机器人；交互学习 中图分类号： ＴＰ３９１ 文献标志码：Ａ 文章编号：１６７３－４７８５（２０１７）０２－０１４０－１０ 中文引用格式：李雪，蒋树强． 智能交互的物体识别增量学习技术综述［Ｊ］． 智能系统学报， ２０１７， １２（２）： １４０－１４９． 英文引用格式：ＬＩ Ｘｕｅ， ＪＩＡＮＧ Ｓｈｕｑｉａｎｇ． Ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ ａｎｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ＨＣＩ： ａ ｓｕｒｖｅｙ ［Ｊ］． ＣＡＡＩ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ｓｙｓｔｅｍｓ， ２０１７， １２（２）： １４０－１４９． Ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ ａｎｄ ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ｉｎｔｅｌｌｉｇｅｎｔ ＨＣＩ： ａ ｓｕｒｖｅｙ ＬＩ Ｘｕｅ １ ， ＪＩＡＮＧ Ｓｈｕｑｉａｎｇ ２ （１． Ｃｏｌｌｅｇｅ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｈａｎｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ， Ｑｉｎｇｄａｏ ２６６５９０， Ｃｈｉｎａ； ２． Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ， Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ， Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ， Ｂｅｉｊｉｎｇ １００１９０， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｉｎｔｅｌｌｉｇｅｎｔ ＨＣＩ ｓｙｓｔｅｍｓ ｆｏｃｕｓ ｏｎ ｔｈｅ ｉｎｔｅｒａｃｔｉｏｎ ｂｅｔｗｅｅｎ ｃｏｍｐｕｔｅｒｓ ａｎｄ ｈｕｍａｎｓ ａｎｄ ｓｔｕｄｙ ｗｈｅｔｈｅｒ ｃｏｍ⁃ ｐｕｔｅｒｓ ａｒｅ ａｂｌｅ ｔｏ ａｐｐｒｅｈｅｎｄ ｈｕｍａｎ ｉｎｓｔｒｕｃｔｉｏｎｓ． Ｍｏｒｅｏｖｅｒ， ｔｈｉｓ ｓｔｕｄｙ ａｉｍｓ ｔｏ ｍａｋｅ ｔｈｅ ｉｎｔｅｒａｃｔｉｏｎ ｍｏｒｅ ｉｎｄｅｐｅｎｄ⁃ ｅｎｔ ａｎｄ ｉｎｔｅｒａｃｔｉｖｅ． Ｔｏ ｓｏｍｅ ｅｘｔｅｎｔ， ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ ｉｓ ａ ｗａｙ ｔｏ ｒｅａｌｉｚｅ ｔｈｉｓ ｇｏａｌ． Ｔｈｉｓ ｓｔｕｄｙ ｂｒｉｅｆｌｙ ｉｎｔｒｏｄｕｃｅｓ ｔｈｅ ｔａｓｋｓ， ｂａｃｋｇｒｏｕｎｄ， ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｓｏｕｒｃｅ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ＨＣＩ ｓｙｓｔｅｍｓ； ｉｎ ａｄｄｉｔｉｏｎ， ｉｔ ｆｏｃｕｓｅｓ ｏｎ ｔｈｅ ｓｕｍｍａｒｙ ｏｆ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ． Ｓｉｍｉｌａｒ ｔｏ ｔｈｅ ｌｅａｒｎｉｎｇ ｍｅｃｈａｎｉｓｍ ｏｆ ｈｕｍａｎｓ， ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ ｉｎｖｏｌｖｅｓ ａｃｑｕｉｒｉｎｇ ｎｅｗ ｋｎｏｗｌｅｄｇｅ ｏｎ ａ ｃｏｎｔｉｎｕｏｕｓ ｂａｓｉｓ． Ｔｈｉｓ ａｌｌｏｗｓ ｆｏｒ ｔｈｅ ｉｎｔｅｌｌｉｇｅｎｔ ＨＣＩ ｓｙｓｔｅｍｓ ｔｏ ｈａｖｅ ｔｈｅ ａｂｉｌｉｔｙ ｏｆ ｓｅｌｆ－ｇｒｏｗｔｈ． Ｔｈｉｓ ｓｔｕｄｙ ｓｕｒｖｅｙｓ ｔｈｅ ｗｏｒｋｓ ｔｈａｔ ｆｏｃｕｓ ｏｎ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ， ｉｎｃｌｕｄｉｎｇ ｔｈｅ ｍｅｃｈａｎｉｓｍｓ ａｎｄ ｔｈｅｉｒ ｒｅｓｐｅｃｔｉｖｅ ａｄｖａｎｔａ⁃ ｇｅｓ ａｎｄ ｄｉｓａｄｖａｎｔａｇｅｓ， ａｎｄ ｈｉｇｈｌｉｇｈｔｓ ｔｈｅ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎｓ． Ｋｅｙｗｏｒｄｓ： ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ； ｈｕｍａｎ⁃ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ； ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ； ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ； ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ； ｍｕｌｔｉｍｏｄａｌｉｔｙ； ｒｏｂｏｔｉｃｓ； ｉｎｔｅｒａｃｔｉｖｅ ｌｅａｒｎｉｎｇ 收稿日期：２０１７－０１－０９． 网络出版日期：２０１７－０４－１９． 基金项目：国家“９７３”计划项目（２０１２ＣＢ３１６４００）． 通信作者：蒋树强．Ｅ－ｍａｉｌ： ：ｓｑｊｉａｎｇ＠ ｉｃｔ．ａｃ．ｃｎ． 智能交互系统最为重要的一项任务就是捕获和 理解外界环境信息，从而完成交互方任务。 近年来， 由于人工智能和机器人学等相关领域技术的进步， 智能交互系统得到了广泛的关注，高性能智能交互 系统的实现也更加现实。 智能交互系统感知外界环
第2期 李雪，等：智能交互的物体识别增量学习技术综述 .141 境比人类困难得多，而准确感知外界环境可以提高 交互者的语言进行分析，从而获取到对方的指令。 智能交互系统的交互性能，因此许多智能交互系统 自然语言处理是计算机科学领域与人工智能领域中 相关的工作探索了提高对外界环境感知性能的问 的一个重要方向。它研究能实现人与计算机之间用 题，主要的思想策略包括多模态信息融合和增量学 自然语言进行有效通信的各种理论和方法。自然语 习两个方面。多模态的信息融合可以使智能系统增 言处理是一门融语言学、计算机科学、数学于一体的 加对外界环境的确定性，同时，不断变化的外界环境 科学。其常用的方法有：1)关键词匹配：2)使用有 要求智能系统拥有不断自我学习的能力。通过交互 标注的语料库：3)语义分析。在文献[4]中，该系统 不断学习外界信息也使智能系统的性能得以不断提 使用关键词匹配技术实现自然语言理解，并假设相 升。在计算机视觉、智能交互系统等领域，增量学习 应的单词有某种特定的序列。文献[5]和文献[6] 都已引起了广泛的关注。本文基于智能交互系统的 使用语义分析技术实现对自然语言的理解和分析。 物体识别，对增量学习的进展进行综述。首先，对智 文献[5]的语言模型从现有的语料库[]中训练得 能交互系统的研究背景和现状进行简要介绍，在此 到，而文献[6]通过系统与交互者对话的过程不断 基础上，对增量学习主要算法进行综合对比与分析。 获得语料，并逐步学习，不断改进其语言模型。 最后讨论了增量学习可扩展和待解决的问题，以及 2.2计算机视觉 进一步的研究方向。 由于获取外界信息的另一个主要渠道是视觉， 所以计算机视觉是当前人机交互中一个非常活跃的 1智能交互系统对环境的感知 领域。这一学科的基本假设是：可以通过计算的方 对于人类来说，我们可以精确地感知周围环境 式来模拟人类的视觉机制。如图1所示，智能系统 变化并作出相应的反应，但对于计算机来说，获取并 模拟人类视觉机制的过程主要包括两个方面：1)智 分析周围环境信息，同时通过模仿人类行为来实现 能系统要有能力将外部视觉信息转化为智能系统的 与人的交互，这是一个极具挑战性的任务。它包括 内部表示：2)从外部环境获取到的视觉信息到语义 场景理解、活动分类、运动分析、物体识别、自然语言 方面的文字需要一个可用的映射。 理解、语音合成等方面。每个方面都可作为一个独 立研究的任务。 准确感知外部环境可以使智能交互系统提高任 面 务的完成度、完成的准确度和交互者对交互体验的 满意度。多模态的外部信息，信息中较多的干扰和 (a (b】 噪声，外界环境的复杂多变，都对智能系统建立对外 图1计算机模拟人类视觉机制 部环境的准确感知提出了挑战。 Fig.I Computer simulation of human visual mechanism 为了增强交互系统对外部环境的感知性能，两 第1个方面主要要求智能系统可以从图像中提 个方面的相关工作被广泛研究：1)多模态信息融 合：2)通过交互增量学习，自我改进。 取出有判别能力的特征。图像特征基本包括两种： 手工设计的浅层特征和使用深度模型提取的深度特 2多模态输入与信息融合 征。SIFT8劉、FPFH(fast point features histogram)[oy 人类为了精确感知周围环境，往往会结合多 和ensembles of shape features(io]等都属于手工设计 的浅层特征。这种特征对图像变化如图像旋转、尺 种感知信息，如视觉、听觉、触觉等。认知科学的 度变化等具有不变性。但是浅层特征只能捕捉到一 研究表明通过结合感官信息，人类可以增强对环 境的感知。因此在多模态信息输入的智能交互 部分图像信息[山。与此相反的是，由于近年来深度 学习模型（如卷积神经网络[]）方面的进步，由深 系统中，互补的输入模式给系统提供了冗余的信 度学习模型提取的深度特征可以捕获图像语义等更 息，而冗余输入模式增加了系统融合信息的准确 高层面的信息，具有更强的区分能力。因此，在计算 性，降低系统对外界环境的不确定性，增加对环 机视觉方面，深度特征被广泛使用。 境感知的可靠性，从嘈杂的信息中产生一个单一 智能系统模拟人类视觉机制的另一个要求是可 的整体状态[1-3]。 以对图像特征进行分类识别。在图像识别方面存在 2.1自然语言理解 一系列的分类、聚类算法，如决策树、SVM、混合高斯 智能交互系统常常需要通过理解自然语言来对 模型等
境比人类困难得多，而准确感知外界环境可以提高 智能交互系统的交互性能，因此许多智能交互系统 相关的工作探索了提高对外界环境感知性能的问 题，主要的思想策略包括多模态信息融合和增量学 习两个方面。 多模态的信息融合可以使智能系统增 加对外界环境的确定性，同时，不断变化的外界环境 要求智能系统拥有不断自我学习的能力。 通过交互 不断学习外界信息也使智能系统的性能得以不断提 升。 在计算机视觉、智能交互系统等领域，增量学习 都已引起了广泛的关注。 本文基于智能交互系统的 物体识别，对增量学习的进展进行综述。 首先，对智 能交互系统的研究背景和现状进行简要介绍，在此 基础上，对增量学习主要算法进行综合对比与分析。 最后讨论了增量学习可扩展和待解决的问题，以及 进一步的研究方向。 １ 智能交互系统对环境的感知 对于人类来说，我们可以精确地感知周围环境 变化并作出相应的反应，但对于计算机来说，获取并 分析周围环境信息，同时通过模仿人类行为来实现 与人的交互，这是一个极具挑战性的任务。 它包括 场景理解、活动分类、运动分析、物体识别、自然语言 理解、语音合成等方面。 每个方面都可作为一个独 立研究的任务。 准确感知外部环境可以使智能交互系统提高任 务的完成度、完成的准确度和交互者对交互体验的 满意度。 多模态的外部信息，信息中较多的干扰和 噪声，外界环境的复杂多变，都对智能系统建立对外 部环境的准确感知提出了挑战。 为了增强交互系统对外部环境的感知性能，两 个方面的相关工作被广泛研究：１） 多模态信息融 合；２）通过交互增量学习，自我改进。 ２ 多模态输入与信息融合 人类为了精确感知周围环境，往往会结合多 种感知信息，如视觉、听觉、触觉等。 认知科学的 研究表明通过结合感官信息，人类可以增强对环 境的感知。 因此在多模态信息输入的智能交互 系统中，互补的输入模式给系统提供了冗余的信 息，而冗余输入模式增加了系统融合信息的准确 性，降低系统对外界环境的不确定性，增加对环 境感知的可靠性，从嘈杂的信息中产生一个单一 的整体状态［ １－３］ 。 ２．１ 自然语言理解 智能交互系统常常需要通过理解自然语言来对 交互者的语言进行分析，从而获取到对方的指令。 自然语言处理是计算机科学领域与人工智能领域中 的一个重要方向。 它研究能实现人与计算机之间用 自然语言进行有效通信的各种理论和方法。 自然语 言处理是一门融语言学、计算机科学、数学于一体的 科学。 其常用的方法有：１）关键词匹配；２） 使用有 标注的语料库；３）语义分析。 在文献［４］中，该系统 使用关键词匹配技术实现自然语言理解，并假设相 应的单词有某种特定的序列。 文献［５］和文献［６］ 使用语义分析技术实现对自然语言的理解和分析。 文献［５］ 的语言模型从现有的语料库［７］ 中训练得 到， 而文献［６］通过系统与交互者对话的过程不断 获得语料，并逐步学习，不断改进其语言模型。 ２．２ 计算机视觉 由于获取外界信息的另一个主要渠道是视觉， 所以计算机视觉是当前人机交互中一个非常活跃的 领域。 这一学科的基本假设是：可以通过计算的方 式来模拟人类的视觉机制。 如图 １ 所示，智能系统 模拟人类视觉机制的过程主要包括两个方面：１）智 能系统要有能力将外部视觉信息转化为智能系统的 内部表示；２）从外部环境获取到的视觉信息到语义 方面的文字需要一个可用的映射。 图 １ 计算机模拟人类视觉机制 Ｆｉｇ．１ Ｃｏｍｐｕｔｅｒ ｓｉｍｕｌａｔｉｏｎ ｏｆ ｈｕｍａｎ ｖｉｓｕａｌ ｍｅｃｈａｎｉｓｍ 第 １ 个方面主要要求智能系统可以从图像中提 取出有判别能力的特征。 图像特征基本包括两种： 手工设计的浅层特征和使用深度模型提取的深度特 征。 ＳＩＦＴ ［８］ 、ＦＰＦＨ （ ｆａｓｔ ｐｏｉｎｔ ｆｅａｔｕｒｅｓ ｈｉｓｔｏｇｒａｍ） ［９］ 和 ｅｎｓｅｍｂｌｅｓ ｏｆ ｓｈａｐｅ ｆｅａｔｕｒｅｓ ［１０］ 等都属于手工设计 的浅层特征。 这种特征对图像变化如图像旋转、尺 度变化等具有不变性。 但是浅层特征只能捕捉到一 部分图像信息［１１］ 。 与此相反的是，由于近年来深度 学习模型（如卷积神经网络［１２］ ） 方面的进步，由深 度学习模型提取的深度特征可以捕获图像语义等更 高层面的信息，具有更强的区分能力。 因此，在计算 机视觉方面，深度特征被广泛使用。 智能系统模拟人类视觉机制的另一个要求是可 以对图像特征进行分类识别。 在图像识别方面存在 一系列的分类、聚类算法，如决策树、ＳＶＭ、混合高斯 模型等。 第 ２ 期 李雪，等：智能交互的物体识别增量学习技术综述 ·１４１·
142 智能系统学报 第12卷 2.3多模态信息融合 新的信息，学习到新的知识。 自然语言理解和计算机视觉是智能交互系统获 训练环境 应用环境 取外界信息的两个主要途径。单一模态信息使智能 系统难以对外界环境产成一个准确的认识，多模态 信息融合可以增加系统对环境信息的确认度，通过 多模态信息融合，智能系统摆脱了单一模态的限制， 使人机交互更加智能。当前已经有很多工作关注于 多模态融合这一方面的研究[13-0」 2.4多模态信息融合与增量学习 多模态信息融合帮助智能交互系统最大程度上 图2实际环境的复杂多变和非增量方法的局限性 地利用了可获取的外部信息，消除了单一模态中噪 Fig.2 The complex of environment and the limitation 声带来的不一致性，从而可以准确地感知和理解外 of constant model 部环境。 多模态的交互引导多模态的学习，反过来多模 对外部环境信息的准确感知使得智能交互系统 态的学习又会改善多模态的交互。这是一个相互促 在交互的过程中产生合情合理的语言或行为，这有助 进，共同提高的过程。 于提升系统的交互性能，得到更加良好的用户体验， 3.1从交互中学习新知识的机器人 如表1所示。 当前已经有许多相关工作展开了关于智能系统 表1智能交互系统主要交互方式 Table 1 Major interaction of intelligent HCI systems 通过交互进行增量学习的研究[21-2) 多方社交智能机器人在酒吧中使用自然语言与客 交互方式 面向任务 主要算法 人对话，根据客人的需要为他们提供相应的饮品凶。 通过交互者从自 它的学习任务在于引导一个多方互动对话，其目标为： 然语言中获取到 自然语言理解、 当机器人的视野中同时出现多位客人时，以社会可接 自然语言 相应的指令：将任 语音合成 受的行为来尽可能为客人提供正确的饮品。 务结果转化为自然 室内路线说明机器人[)基于预定义的室内地 语言回馈给交互者 图通过语音和手势向交互者提供方向引导他们到达 通过对图像或视频 场景理解、活 相应的位置。它的学习任务是通过交互不断学习进 计算机视觉 进行分析“看到” 动分类、运动 入，维持和解除与它面前的人进行交互的恰当时机。 周围环境 分析，物体识别 移动机器人[28]被用来获取物体和相关属性的 新知识。它的任务包括发现未知的物品，询问物品 通过结合视觉、 特征层面的 的外形并获取相关的新知识。其学习任务为通过交 听觉等多方面信 多模态融合 信息融合、语义 息，获得一个对周 互者获得新物品的物理外形描述，以此来扩充其知 层面的信息融合 围环境更加准确的判断 识库。 3.2智能交互系统自我学习的策略 优秀的交互性能和良好的用户体验使得智能系统可 智能交互系统自我学习的能力需要通过某种探 以从交互者处得到正确并且及时的反馈，这为智能系 索和学习新知识的策略来实现。 统在交互中进行增量学习打下了坚实的基础。 增量学习是近年来备受关注的一种学习新知识 3通过交互学习 的策略，旨在利用新数据来不断更新原有模型，使学 习具有延续性，从而实现增量式的学习。 由于外界环境复杂多变，智能交互系统无法在 增量学习使智能交互系统可以进行持续性的学 训练前获取到所有可能情形的全部有效信息作为训 习，外部环境和交互者充当“老师”的角色，而系统 练数据（如图2所示，应用环境中的“书籍”在训练 则通过多模态的交互不断获得并学习新信息。 环境中出现过，属于旧类别的新实例，而“香蕉”则 未曾在训练环境中出现，属于新类别。智能系统无 4增量学习 法识别这两种未经学习的物体)。这就要求智能系 4.1增量学习的背景 统拥有自我学习的能力，可以在交互的过程中获得 由于真实的交互环境是开放并且复杂多变
２．３ 多模态信息融合 自然语言理解和计算机视觉是智能交互系统获 取外界信息的两个主要途径。 单一模态信息使智能 系统难以对外界环境产成一个准确的认识，多模态 信息融合可以增加系统对环境信息的确认度，通过 多模态信息融合，智能系统摆脱了单一模态的限制， 使人机交互更加智能。 当前已经有很多工作关注于 多模态融合这一方面的研究［１３－２０］ 。 ２．４ 多模态信息融合与增量学习 多模态信息融合帮助智能交互系统最大程度上 地利用了可获取的外部信息，消除了单一模态中噪 声带来的不一致性，从而可以准确地感知和理解外 部环境。 对外部环境信息的准确感知使得智能交互系统 在交互的过程中产生合情合理的语言或行为，这有助 于提升系统的交互性能，得到更加良好的用户体验， 如表 １ 所示。 表 １ 智能交互系统主要交互方式 Ｔａｂｌｅ １ Ｍａｊｏｒ ｉｎｔｅｒａｃｔｉｏｎ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ＨＣＩ ｓｙｓｔｅｍｓ 交互方式 面向任务 主要算法 自然语言 通过交互者从自 然语言中获取到 相应的指令；将任 务结果转化为自然 语言回馈给交互者 自然语言理解、 语音合成 计算机视觉 通过对图像或视频 进行分析“看到” 周围环境 场景理解、活 动分类、运动 分析、物体识别 多模态融合 通过结合视觉、 听觉等多方面信 息，获得一个对周 围环境更加准确的判断 特征层面的 信息融合、语义 层面的信息融合 优秀的交互性能和良好的用户体验使得智能系统可 以从交互者处得到正确并且及时的反馈，这为智能系 统在交互中进行增量学习打下了坚实的基础。 ３ 通过交互学习 由于外界环境复杂多变，智能交互系统无法在 训练前获取到所有可能情形的全部有效信息作为训 练数据（如图 ２ 所示，应用环境中的“书籍”在训练 环境中出现过，属于旧类别的新实例，而“香蕉” 则 未曾在训练环境中出现，属于新类别。 智能系统无 法识别这两种未经学习的物体）。 这就要求智能系 统拥有自我学习的能力，可以在交互的过程中获得 新的信息，学习到新的知识。 图 ２ 实际环境的复杂多变和非增量方法的局限性 Ｆｉｇ．２ Ｔｈｅ ｃｏｍｐｌｅｘ ｏｆ ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｃｏｎｓｔａｎｔ ｍｏｄｅｌ 多模态的交互引导多模态的学习，反过来多模 态的学习又会改善多模态的交互。 这是一个相互促 进，共同提高的过程。 ３．１ 从交互中学习新知识的机器人 当前已经有许多相关工作展开了关于智能系统 通过交互进行增量学习的研究［２１－２５］ 。 多方社交智能机器人在酒吧中使用自然语言与客 人对话，根据客人的需要为他们提供相应的饮品［２６］ 。 它的学习任务在于引导一个多方互动对话，其目标为： 当机器人的视野中同时出现多位客人时，以社会可接 受的行为来尽可能为客人提供正确的饮品。 室内路线说明机器人［２７］ 基于预定义的室内地 图通过语音和手势向交互者提供方向引导他们到达 相应的位置。 它的学习任务是通过交互不断学习进 入，维持和解除与它面前的人进行交互的恰当时机。 移动机器人［２８］ 被用来获取物体和相关属性的 新知识。 它的任务包括发现未知的物品，询问物品 的外形并获取相关的新知识。 其学习任务为通过交 互者获得新物品的物理外形描述，以此来扩充其知 识库。 ３．２ 智能交互系统自我学习的策略 智能交互系统自我学习的能力需要通过某种探 索和学习新知识的策略来实现。 增量学习是近年来备受关注的一种学习新知识 的策略，旨在利用新数据来不断更新原有模型，使学 习具有延续性，从而实现增量式的学习。 增量学习使智能交互系统可以进行持续性的学 习，外部环境和交互者充当“老师” 的角色，而系统 则通过多模态的交互不断获得并学习新信息。 ４ 增量学习 ４．１ 增量学习的背景 由于真实的交互环境是开放并且复杂多变 ·１４２· 智 能 系 统 学 报 第 １２ 卷
第2期 李雪，等：智能交互的物体识别增量学习技术综述 .143. 的[9]，在训练模型之前无法获取到所有可能情形的 训练环境已经出现过，应用环境中的“书籍”是旧类 有效信息作为训练数据。除此之外，数据标签的获 别的新实例 取也需要耗费大量人力、物力、财力和时间。最为重 2)可以学习新类别。“香蕉”概念在训练环境 要的一点是，新的物体类别不断产生，已有物体类别 未出现过，应用环境中的“香蕉”属于新类别。 的新实例不断出现，甚至有的物体类别的意义不断 3)在学习新知识时，旧的训练数据不是必须 迁移变化，这都在数据方面要求智能系统需要具有 的。增量学习时只使用应用环境中的新数据(“书 不断学习的能力。另一方面，自我学习的能力可以 籍”)和新类别(“香蕉”)作为训练数据，而不需要 使智能系统在获得新数据时随时学习，不需要重新 已经学过的“罐”、“苹果”和“杯子”数据。 训练全部数据[0]。这又在模型方面要求智能系统 4)学习新知识后，不会忘记已经学到的旧知 需要具有不断学习的能力。 识。在应用环境中仍能识别以前在训练环境中学到 4.2增量学习的现状 的旧概念：“罐”、“苹果”、“杯子”和“书籍”概念的 学习新数据基本可以分为两种策略：一种是抛 旧实例。 弃原有模型，在现有数据上学习新知识：另一种是基 当前有许多增量学习方面的工作并不严格满足 于原有模型，在此基础上继续学习新知识。这两种 以上4个条件。 策略可以引出著名的稳定性-可塑性定理(stability- 4.3抛弃原有模型 plasticity dilemma)[] 对于学习新数据的第1种策略：抛弃原有模型， 这个定理指出，一个完全稳定的模型可以保存已 在现有数据上学习新知识。这种完全可塑的策略面 经学到的知识不忘记，但无法学习到新的知识；而一 临的最大问题是灾难性的遗忘(catastrophic forget- 个完全可塑的模型可以学习新知识，但无法保存以前 ing)。它在现有新数据上学习知识，可以学到新的 学到的知识（如图3所示）。而优秀的增量学习方法 数据和类别，并且可以不需要原来的训练数据，满足 就是在可塑性和稳定性之间寻找一个合理的权衡。 增量学习的前3个条件。但它抛弃原有模型，则会 训练环境 应用环境 导致旧知识的遗忘，不能满足第4个条件。神经网 络常常使用这种策略的模型，例如多层感知机、径向 数据 基函数网络，小波网络和Kohonen网络。 4.4 基于原有模型继续学习 量学习 对于学习新数据的第2种策略：基于原有模型， 在此基础上继续学习新知识。这种策略也常因关注 于不同的方面而不能完全满足增量学习的4个条件。 根据增量学习算法学习的内容来看，新数据主 图3稳定性-可塑性定理 要来源于两个方面：1)数据来源于已经学习过的类 Fig.3 Stability-plasticity dilemma 别，是旧类别的新实例：2)数据来源于没有学习过 文献[32]提出真正的增量学习应该满足4个 的类别，是新类别的数据。 条件，如图4。 4.4.1学习旧类别的新实例 稳定性 学习旧类别的新实例这一任务在某种程度上与迁 不能学习新知识 移学习有些相似之处但又有不同，如表2。 表2增量学习与迁移学习的比较 稳定性和可塑性 Table 2 Comparison between transfer learning and incre- 之间的合理平衡 mental learning 类别 相同点 不同点 训练集领域与测试集 不能保存旧知识 迁移学习 领域不同：新领域的数 可塑性 将已学习的 据未经过学习 知识转移到 图4增量学习的条件 Fig.4 The conditions of incremental learning 新的任务 训练集领域与测试集 增量学习 领域相同：新数据经 1)可以学习旧类别的新数据。“书籍”概念在 过学习
的［２９］ ，在训练模型之前无法获取到所有可能情形的 有效信息作为训练数据。 除此之外，数据标签的获 取也需要耗费大量人力、物力、财力和时间。 最为重 要的一点是，新的物体类别不断产生，已有物体类别 的新实例不断出现，甚至有的物体类别的意义不断 迁移变化，这都在数据方面要求智能系统需要具有 不断学习的能力。 另一方面，自我学习的能力可以 使智能系统在获得新数据时随时学习，不需要重新 训练全部数据［３０］ 。 这又在模型方面要求智能系统 需要具有不断学习的能力。 ４．２ 增量学习的现状 学习新数据基本可以分为两种策略：一种是抛 弃原有模型，在现有数据上学习新知识；另一种是基 于原有模型，在此基础上继续学习新知识。 这两种 策略可以引出著名的稳定性－可塑性定理（ ｓｔａｂｉｌｉｔｙ⁃ ｐｌａｓｔｉｃｉｔｙ ｄｉｌｅｍｍａ） ［３１］ 。 这个定理指出，一个完全稳定的模型可以保存已 经学到的知识不忘记，但无法学习到新的知识；而一 个完全可塑的模型可以学习新知识，但无法保存以前 学到的知识（如图 ３ 所示）。 而优秀的增量学习方法 就是在可塑性和稳定性之间寻找一个合理的权衡。 图 ３ 稳定性－可塑性定理 Ｆｉｇ．３ Ｓｔａｂｉｌｉｔｙ⁃ｐｌａｓｔｉｃｉｔｙ ｄｉｌｅｍｍａ 文献［３２］提出真正的增量学习应该满足 ４ 个 条件，如图 ４。 图 ４ 增量学习的条件 Ｆｉｇ．４ Ｔｈｅ ｃｏｎｄｉｔｉｏｎｓ ｏｆ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ １）可以学习旧类别的新数据。 “书籍”概念在 训练环境已经出现过，应用环境中的“书籍”是旧类 别的新实例。 ２）可以学习新类别。 “香蕉”概念在训练环境 未出现过，应用环境中的“香蕉”属于新类别。 ３）在学习新知识时，旧的训练数据不是必须 的。 增量学习时只使用应用环境中的新数据（“书 籍”）和新类别（“香蕉”） 作为训练数据，而不需要 已经学过的“罐”、“苹果”和“杯子”数据。 ４）学习新知识后，不会忘记已经学到的旧知 识。 在应用环境中仍能识别以前在训练环境中学到 的旧概念：“罐”、“苹果”、“杯子” 和“书籍” 概念的 旧实例。 当前有许多增量学习方面的工作并不严格满足 以上 ４ 个条件。 ４．３ 抛弃原有模型 对于学习新数据的第 １ 种策略：抛弃原有模型， 在现有数据上学习新知识。 这种完全可塑的策略面 临的最大问题是灾难性的遗忘（ ｃａｔａｓｔｒｏｐｈｉｃ ｆｏｒｇｅｔ⁃ ｔｉｎｇ）。 它在现有新数据上学习知识，可以学到新的 数据和类别，并且可以不需要原来的训练数据，满足 增量学习的前 ３ 个条件。 但它抛弃原有模型，则会 导致旧知识的遗忘，不能满足第 ４ 个条件。 神经网 络常常使用这种策略的模型，例如多层感知机、径向 基函数网络，小波网络和 Ｋｏｈｏｎｅｎ 网络。 ４．４ 基于原有模型继续学习 对于学习新数据的第 ２ 种策略：基于原有模型， 在此基础上继续学习新知识。 这种策略也常因关注 于不同的方面而不能完全满足增量学习的 ４ 个条件。 根据增量学习算法学习的内容来看，新数据主 要来源于两个方面：１）数据来源于已经学习过的类 别，是旧类别的新实例；２） 数据来源于没有学习过 的类别，是新类别的数据。 ４．４．１ 学习旧类别的新实例 学习旧类别的新实例这一任务在某种程度上与迁 移学习有些相似之处但又有不同，如表 ２。 表 ２ 增量学习与迁移学习的比较 Ｔａｂｌｅ ２ Ｃｏｍｐａｒｉｓｏｎ ｂｅｔｗｅｅｎ ｔｒａｎｓｆｅｒ ｌｅａｒｎｉｎｇ ａｎｄ ｉｎｃｒｅ⁃ ｍｅｎｔａｌ ｌｅａｒｎｉｎｇ 类别 相同点 不同点 迁移学习 增量学习 将已学习的 知识转移到 新的任务 训练集领域与测试集 领域不同；新领域的数 据未经过学习 训练集领域与测试集 领域相同；新数据经 过学习 第 ２ 期 李雪，等：智能交互的物体识别增量学习技术综述 ·１４３·
.144 智能系统学报 第12卷 迁移学习的任务是将某一领域学到的特征或信 学习方法可以依靠已经学习的类别使用少量新数据 息应用到另一个不同但相似的领域上，如文献 来有效的学习新类别。通过求解一个凸优化问题， [33]。增量学习旧类别新实例的目标是利用现有 该方法自动选择利用哪一部分旧知识传递多少信息 的特征在相同任务（需要识别的类别不变）但规模 最为有效并确保在可用训练集上达到最小误差。文 扩大的数据集上学习新的知识。 献[42]通过使用属性分类器来实现zero-shot learn- 文献[34]修改了原SVM目标函数中的损失 ing的目标。 项，使修改后的SVM可以在原模型的基础上修改分 文献[43]指出，在其之前的大多数增量学习的 类面，实现增量学习旧类别新实例：文献[35]提出 工作都专注于二分类问题，这篇文章提出了一个多类 了一个基于SVM框架增量学习的精确解，即每增加 分类的方法，在保存已学到的知识的基础上把当前的 一个训练样本或减少一个样本都会对Lagrange系 N类分类器转化为一个N+1类分类器；文献[44]提 数和支持向量产生影响，以此来调整分界面：文献 出了一种具有层级关系的增量学习模型NCMF(nea- [36]介绍了HME(hierarchical mixture of experts)框 rest class mean forest classifier)。这种方法以层级关 架，这种框架在特征空间的不同区域训练了多个分 系来组织概念，使得学习新类别时可以更新局部节点 类器，将各个分类器的输出通过一个网络进行加权 来达到增量的目的。文献[45]结合SVM算法最大分 得到最终结果，它利用线性最小二乘法(linear least 类间隔的策略和半监督学习算法低密度分隔符技术， squares)和加权线性最小二乘法(weighted linear 来增加新的分界面以此识别新类别。 least squares)通过递归来增量的更新每个数据，点的 这些增量学习方法更加关注于学习新类别，它 参数，从而实现增量式的在线学习；文献[37]每次 们对旧类别的新实例的学习效果尚未得到验证，同 从候选训练数据集中选取一部分新的信息，并把选 时有些方法在学习新数据的同时必须使用部分或全 取出的新数据添加到当前数据集中：文献[38]扩展 部原始数据，无法完全满足增量学习的4个条件。 了文献[37]的增量学习方法，通过对候选训练数据 表3增量学习算法对比分析 集进行无监督的聚类，每次选出最有信息量的一部 Table 3 Comparative analysis of incremental learning al- 分数据加入当前训练数据中：文献[39]提出了一种 gorithms 结构学习算法，它使用数据集中的一小部分作为训 旧类别 不需要 算法 新类别 实现技术 练数据来建立一个具有最优隐藏层节点数目的前馈 新实例 原始数据 网络，该方法以训练数据集中较少的一部分数据作 文献[32] D 多模型组合 为初始的训练数据，通过有效的选择训练数据，最终 文献[34] V V 调整模型参数 产生一个最少但对所有数据有效的训练集。 文献[35] V L 调整模型参数 这些增量学习方法更加关注于学习旧类别的新实 文献[36] V 多模型组合 例，它们都无法完全满足增量学习的4个条件。首先，这 文献[38] v 选取有效数据 些方法无法学习新类别的数据。其次，有些方法在增量 文献「39] V 选取有效数据 学习的同时必须使用部分或全部原始数据。 文献[40] 调整模型参数 4.4.2学习新类别的数据 文献[41] 多模型组合 与学习旧类别的新实例相比，学习新类别明显 文献[42]V 多模型组合 更加具有挑战性。 文献[431V 调整模型参数 这个任务的目标是利用现有的特征在更加复杂 文献[44] V 调整模型参数 的任务（需要识别的类别增加）并且规模扩大的数 文献[45] 调整模型参数 据集上学习新的知识。 文献[46]V 多模型组合 对迁移学习的关注使得更多的研究工作注重于 使用更少的数据来学得泛化性能更好的模型。由此 文献[471V 调整模型参数 转化到学习新类别方面的两个较为典型的研究领域 文献[48] V 调整模型参数 为：one-shot learning和zero-shot learning。文献[40] 文献[49] V 调整模型参数 提出了一种贝叶斯迁移学习方法，这种增量学习方 文献[50] 调整模型参数 法可以使用少量新数据学习到新类别。文献[41] 文献[51]V 调整模型参数 提出了一种基于多模型的知识迁移算法，这种增量
迁移学习的任务是将某一领域学到的特征或信 息应用 到 另 一 个 不 同 但 相 似 的 领 域 上， 如 文 献 ［３３］。 增量学习旧类别新实例的目标是利用现有 的特征在相同任务（需要识别的类别不变） 但规模 扩大的数据集上学习新的知识。 文献［３４］ 修改了原 ＳＶＭ 目标函数中的损失 项，使修改后的 ＳＶＭ 可以在原模型的基础上修改分 类面，实现增量学习旧类别新实例；文献［３５］ 提出 了一个基于 ＳＶＭ 框架增量学习的精确解，即每增加 一个训练样本或减少一个样本都会对 Ｌａｇｒａｎｇｅ 系 数和支持向量产生影响，以此来调整分界面；文献 ［３６］介绍了 ＨＭＥ（ｈｉｅｒａｒｃｈｉｃａｌ ｍｉｘｔｕｒｅ ｏｆ ｅｘｐｅｒｔｓ）框 架， 这种框架在特征空间的不同区域训练了多个分 类器，将各个分类器的输出通过一个网络进行加权 得到最终结果，它利用线性最小二乘法（ｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ） 和加权线性最小二乘法 （ ｗｅｉｇｈｔｅｄ ｌｉｎｅａｒ ｌｅａｓｔ ｓｑｕａｒｅｓ）通过递归来增量的更新每个数据点的 参数，从而实现增量式的在线学习；文献［３７］ 每次 从候选训练数据集中选取一部分新的信息，并把选 取出的新数据添加到当前数据集中；文献［３８］扩展 了文献［３７］的增量学习方法，通过对候选训练数据 集进行无监督的聚类，每次选出最有信息量的一部 分数据加入当前训练数据中；文献［３９］提出了一种 结构学习算法，它使用数据集中的一小部分作为训 练数据来建立一个具有最优隐藏层节点数目的前馈 网络，该方法以训练数据集中较少的一部分数据作 为初始的训练数据，通过有效的选择训练数据，最终 产生一个最少但对所有数据有效的训练集。 这些增量学习方法更加关注于学习旧类别的新实 例，它们都无法完全满足增量学习的４ 个条件。 首先，这 些方法无法学习新类别的数据。 其次，有些方法在增量 学习的同时必须使用部分或全部原始数据。 ４．４．２ 学习新类别的数据 与学习旧类别的新实例相比，学习新类别明显 更加具有挑战性。 这个任务的目标是利用现有的特征在更加复杂 的任务（需要识别的类别增加）并且规模扩大的数 据集上学习新的知识。 对迁移学习的关注使得更多的研究工作注重于 使用更少的数据来学得泛化性能更好的模型。 由此 转化到学习新类别方面的两个较为典型的研究领域 为：ｏｎｅ⁃ｓｈｏｔ ｌｅａｒｎｉｎｇ 和 ｚｅｒｏ⁃ｓｈｏｔ ｌｅａｒｎｉｎｇ。 文献［４０］ 提出了一种贝叶斯迁移学习方法，这种增量学习方 法可以使用少量新数据学习到新类别。 文献［４１］ 提出了一种基于多模型的知识迁移算法，这种增量 学习方法可以依靠已经学习的类别使用少量新数据 来有效的学习新类别。 通过求解一个凸优化问题， 该方法自动选择利用哪一部分旧知识传递多少信息 最为有效并确保在可用训练集上达到最小误差。 文 献［４２］通过使用属性分类器来实现 ｚｅｒｏ⁃ｓｈｏｔ ｌｅａｒｎ⁃ ｉｎｇ 的目标。 文献［４３］指出，在其之前的大多数增量学习的 工作都专注于二分类问题，这篇文章提出了一个多类 分类的方法，在保存已学到的知识的基础上把当前的 Ｎ 类分类器转化为一个 Ｎ ＋ １ 类分类器；文献［４４］提 出了一种具有层级关系的增量学习模型 ＮＣＭＦ（ｎｅａ⁃ ｒｅｓｔ ｃｌａｓｓ ｍｅａｎ ｆｏｒｅｓｔ ｃｌａｓｓｉｆｉｅｒ）。 这种方法以层级关 系来组织概念，使得学习新类别时可以更新局部节点 来达到增量的目的。 文献［４５］结合 ＳＶＭ 算法最大分 类间隔的策略和半监督学习算法低密度分隔符技术， 来增加新的分界面以此识别新类别。 这些增量学习方法更加关注于学习新类别，它 们对旧类别的新实例的学习效果尚未得到验证，同 时有些方法在学习新数据的同时必须使用部分或全 部原始数据，无法完全满足增量学习的 ４ 个条件。 表 ３ 增量学习算法对比分析 Ｔａｂｌｅ ３ Ｃｏｍｐａｒａｔｉｖｅ ａｎａｌｙｓｉｓ ｏｆ ｉｎｃｒｅｍｅｎｔａｌ ｌｅａｒｎｉｎｇ ａｌ⁃ ｇｏｒｉｔｈｍｓ 算法 新类别 旧类别 新实例 不需要 原始数据 实现技术 文献［３２］ √ √ √ 多模型组合 文献［３４］ √ √ 调整模型参数 文献［３５］ √ √ 调整模型参数 文献［３６］ √ √ 多模型组合 文献［３８］ √ 选取有效数据 文献［３９］ √ 选取有效数据 文献［４０］ √ √ 调整模型参数 文献［４１］ √ √ 多模型组合 文献［４２］ √ √ 多模型组合 文献［４３］ √ 调整模型参数 文献［４４］ √ √ 调整模型参数 文献［４５］ √ 调整模型参数 文献［４６］ √ √ √ 多模型组合 文献［４７］ √ √ √ 调整模型参数 文献［４８］ √ √ 调整模型参数 文献［４９］ √ √ 调整模型参数 文献［５０］ √ √ 调整模型参数 文献［５１］ √ 调整模型参数 ·１４４· 智 能 系 统 学 报 第 １２ 卷