多智能体系统安全性问题及防御机制综述（浙江大学：丁俐夫1、颜钢锋）

第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992tis.201812015 多智能体系统安全性问题及防御机制综述 丁俐夫1，颜钢锋 (1.浙江大学电气工程学院，浙江杭州310027：2.浙江大学华南工业技术研究院，广东广州510760) 摘要：多智能体系统作为分布式人工智能的重要分支，已成为解决大型、复杂、分布式及难预测问题的重要 手段。在开放网络中，多智能体系统仍面临许多安全问题，潜在的安全威胁很可能影响其实际应用的稳定性 快速性和准确性。基于目前已知的多智能体系统通用模型，介绍了多智能体系统通信协议、访问控制和协调机 制中潜在的安全问题，规范了多智能体系统安全性问题的研究体系，总结了系统设计过程中可行的防御技术和 隐私保护技术，最后展望了多智能体系统安全研究的发展方向。 关键词：多智能体系统；分布式人工智能：安全威胁：防御机制；网络安全；通信协议：访问控制：协调机制 中图分类号：TP18:TP309文献标志码：A文章编号：1673-4785(2020)03-0425-10 中文引用格式：丁俐夫，颜钢锋.多智能体系统安全性问题及防御机制综述J.智能系统学报，2020,15(3)：425-434. 英文引用格式：DING Lifu,YAN Gangfeng.A survey of the security issues and defense mechanisms of multi-agent systems[J, CAAI transactions on intelligent systems,2020,15(3):425-434. A survey of the security issues and defense mechanisms of multi-agent systems DING Lifu',YAN Gangfeng' (1.College of Electrical Engineering,Zhejiang University,Hangzhou 310027,China;2.Huanan Industrial Technology Research In- stitute,Zhejiang University,Guangzhou 510760,China) Abstract:Currently,multi-agent systems are an important branch of distributed artificial intelligence and an important means of solving large,complex,distributed,and difficult-to-predict problems.However,in an open network,multi- agent systems still face many security issues.Potential security threats are likely to affect the stability,speed,and accur- acy of the practical applications of multi-agent systems.Based on the general models of currently known multi-agent systems,the potential security problems in multi-agent system communication protocol,access control,and coordina- tion mechanism are introduced.Research on multi-agent system security problems is standardized,and feasible defense and privacy protection technologies in the system design process are summarized.Finally,the development trend of multi-agent system security research is analyzed. Keywords:multi-agent system;distributed artificial intelligence;security threat;defense mechanism;network security; communication protocol;access control;coordination mechanism 人工智能已经成为当前计算机研究最热门和杂度和综合性都有所提高，而单个智能体的计算 应用最广泛的领域之一。在人工智能的不断发展 能力和计算资源能力都有限，无法满足分布式人 中，逐渐产生了一个前沿领域，即智能体理论。 工智能(distributed artificial intelligence,DA)）的需 智能体所具有的自治性、社交性和灵活性山，使其 求。因此，多智能体系统(multi-agent system, 成为许多复杂系统的核心技术。随着计算机技术 MAS)在开放的分布式环境中被开发，并被广泛 和人工智能的发展，计算机需要处理的问题在复 应用于与日常生活及工业生产相关的领域四，例 收稿日期：2018-12-13. 基金项目：国家重点研发计划项目(2018YFB0904900). 如：智能机器人（协同式机器人）、水下机器人。 通信作者：丁俐夫.E-mail:dinglifu@zju.edu.cn. 交通控制（智能城市交通、路径规划，柔性制

DOI: 10.11992/tis.201812015 多智能体系统安全性问题及防御机制综述 丁俐夫1 ，颜钢锋2 （1. 浙江大学 电气工程学院，浙江 杭州 310027; 2. 浙江大学 华南工业技术研究院，广东 广州 510760） 摘 要：多智能体系统作为分布式人工智能的重要分支，已成为解决大型、复杂、分布式及难预测问题的重要 手段。在开放网络中，多智能体系统仍面临许多安全问题，潜在的安全威胁很可能影响其实际应用的稳定性、 快速性和准确性。基于目前已知的多智能体系统通用模型，介绍了多智能体系统通信协议、访问控制和协调机 制中潜在的安全问题，规范了多智能体系统安全性问题的研究体系，总结了系统设计过程中可行的防御技术和 隐私保护技术，最后展望了多智能体系统安全研究的发展方向。 关键词：多智能体系统；分布式人工智能；安全威胁；防御机制；网络安全；通信协议；访问控制；协调机制 中图分类号：TP18；TP309 文献标志码：A 文章编号：1673−4785(2020)03−0425−10 中文引用格式：丁俐夫, 颜钢锋. 多智能体系统安全性问题及防御机制综述 [J]. 智能系统学报, 2020, 15(3): 425–434. 英文引用格式：DING Lifu, YAN Gangfeng. A survey of the security issues and defense mechanisms of multi-agent systems[J]. CAAI transactions on intelligent systems, 2020, 15(3): 425–434. A survey of the security issues and defense mechanisms of multi-agent systems DING Lifu1 ，YAN Gangfeng2 (1. College of Electrical Engineering, Zhejiang University, Hangzhou 310027, China; 2. Huanan Industrial Technology Research In￾stitute, Zhejiang University, Guangzhou 510760, China) Abstract: Currently, multi-agent systems are an important branch of distributed artificial intelligence and an important means of solving large, complex, distributed, and difficult-to-predict problems. However, in an open network, multi￾agent systems still face many security issues. Potential security threats are likely to affect the stability, speed, and accur￾acy of the practical applications of multi-agent systems. Based on the general models of currently known multi-agent systems, the potential security problems in multi-agent system communication protocol, access control, and coordina￾tion mechanism are introduced. Research on multi-agent system security problems is standardized, and feasible defense and privacy protection technologies in the system design process are summarized. Finally, the development trend of multi-agent system security research is analyzed. Keywords: multi-agent system; distributed artificial intelligence; security threat; defense mechanism; network security; communication protocol; access control; coordination mechanism 人工智能已经成为当前计算机研究最热门和 应用最广泛的领域之一。在人工智能的不断发展 中，逐渐产生了一个前沿领域，即智能体理论。 智能体所具有的自治性、社交性和灵活性[1] ，使其 成为许多复杂系统的核心技术。随着计算机技术 和人工智能的发展，计算机需要处理的问题在复 杂度和综合性都有所提高，而单个智能体的计算 能力和计算资源能力都有限，无法满足分布式人 工智能 (distributed artificial intelligence, DAI) 的需 求。因此，多智能体系统 (multi-agent system, MAS) 在开放的分布式环境中被开发，并被广泛 应用于与日常生活及工业生产相关的领域[2] ，例 如：智能机器人 (协同式机器人[3] 、水下机器人[4] )， 交通控制 (智能城市交通[5] 、路径规划[6] )，柔性制 收稿日期：2018−12−13. 基金项目：国家重点研发计划项目 (2018YFB0904900). 通信作者：丁俐夫. E-mail：dinglifu@zju.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020

·426· 智能系统学报 第15卷 造，网络自动化（银行管理系统、医疗保健系统叫 没有全局控制，各智能体的数据通常是分散的。 等。因此，在不久的将来，MAS将进一步渗透到 MAS有一个全局目标，通过预先定制的协议，各 生产生活的各个领域，成为促进社会进步的关键 智能体相互协作，共同解决全局问题。MAS对于 技术。 解决复杂问题意义重大，由于时间和资源的动态 在传统的集中式人工智能领域，单个的智能 约束，系统需要解决的关键问题包括任务调度 体已经拥有较为健全的防御机制。但是在DAI 资源分配和冲突调解。MAS的出现克服了单一 领域中，MAS的多个智能体的逻辑和物理位置呈 智能体的局限性，并具有并行性、分布性、开放性 现分布状态，所以每个智能体需要通过预先定制 和容错性的优点。 的通信协议，与其他智能体通过网络进行数据传 1.2多智能体系统面临的安全性威胁 输，以此协调彼此的任务，并协同实现总体目 当智能体在开放环境中，MAS通过智能体的 标。在此过程中，开放的环境带来了安全隐患。 分布式协作降低了复杂问题的计算量并提高了系 一方面，智能体由于自身的自治性和灵活性，容 统性能，但同时MAS的机制对协作控制、访问控 易受到攻击并成为恶意智能体。另一方面，MAS 制和通信机制提出了更高的要求。因此，这些方 在通信过程中容易产生恶意控制或信息泄露的问 面的安全漏洞可能对整个MAS造成损害。尤其 题。这些问题都可能影响MAS在生产生活中应 是对于一些安全敏感的领域，如银行业和医疗服 用的推广。例如，针对医疗保健系统的攻击可能 务领域，许多研究人员已经认识到MAS的安全 导致严重的隐私泄露问题。此外，针对自动驾驶 漏洞并发现了可能的攻击。 车辆和城市交通控制系统的攻击可能产生恶意控 早在1998年，Greenberg等0就已经归纳了几 制的事件，对交通安全造成威胁。 种可能针对开放环境中移动智能体的攻击方法。 近年来，有关MAS安全问题的研究越来越 Wang等o则提出了针对移动智能体的几种攻击 多，许多研究人员着眼于可能的MAS攻击手段， 路径和后果。首先，MAS中各个智能体拥有自己 并提出相对应的防御机制。针对开放网络中的智 的职能、行为模式、偏好、授权和隐私，因此，恶 能体，各种安全模型和安全服务被提出，用于提 意代码可以访问智能体授权，修改其首选项，窃 高单个智能体通信能力的同时保证其安全性能。 取私有数据，甚至更改其行为模式和角色，使其 除此之外，一些研究人员关注于MAS的通信过 成为影响整个MAS的攻击性智能体。其次， 程和访问控制，在多个智能体之间的交互问题上 MAS是一个开放的分布式系统，因此有大量的分 建立可靠的防御机制，保证MAS的完整性、保密 布式节点相互独立但又相互依存，通过攻击最弱 性、可用性、可控性及不可否认性。 的节点，攻击者可以强制整个MAS停止服务。 1多智能体系统及其安全性问题 此外，主机可能容易受到伪装、DoS或未经授权 的访问的攻击。现有的MAS缺乏严格的认证机 1.1多智能体系统及其特点 制，恶意代码可以假装智能体并试图连接到 随着人工智能技术的发展和普及，人工智能 MAS。这种情况可能导致非法资源占用，发送虚 在各个方面都发挥着不可替代的作用。作为人工 假信息以及窃取隐私数据等安全威胁。 智能的前沿学科和研究热点之一，MAS旨在通过 对于智能体的攻击数据传输和通信协议过 智能体间通信与协调建立大型和复杂的软硬件 程，可能会发生两种类型的安全威胁：一种是探 系统。 索性攻击(exploratory attack),即攻击者不会干扰 智能体和MAS的定义并不统一，对于智能 通信，但会尝试提取可用信息，在这种情况下，传 体，本文采用Jennings等例的定义，即智能体是一 输的敏感信息可能泄露：另一种是诱发性攻击 个软件实体，能够在某些环境中灵活、自主地行 (causative attack),此时攻击者可能会尝试拦截、修 动，以实现其设计目标。智能体拥有自治性、社 改、删除甚至替换数据包。 交性和灵活性的特点，这不仅意味着智能体可以 2多智能体系统的安全框架 自主地控制其状态与行为，在没有外界介入的情 况下操作与运行，还表示多个智能体可以在目标 许多研究已经指出了MAS的安全漏洞，并且 驱动下进行交流与沟通，并采取合适的行动。 针对MAS的攻击进行了尝试。为了进一步完善 MAS由多个可交互的智能体组成，每个智能 MAS的安全防御机制，本文首先针对MAS的安 体在逻辑或物理位置上呈现分布状态，因此MAS 全需求搭建了框架，为MAS提供了通用的安全

造，网络自动化 (银行管理系统、医疗保健系统[7] ) 等。因此，在不久的将来，MAS 将进一步渗透到 生产生活的各个领域，成为促进社会进步的关键 技术。 在传统的集中式人工智能领域，单个的智能 体已经拥有较为健全的防御机制。但是在 DAI 领域中，MAS 的多个智能体的逻辑和物理位置呈 现分布状态，所以每个智能体需要通过预先定制 的通信协议，与其他智能体通过网络进行数据传 输，以此协调彼此的任务，并协同实现总体目 标。在此过程中，开放的环境带来了安全隐患[8]。 一方面，智能体由于自身的自治性和灵活性，容 易受到攻击并成为恶意智能体。另一方面，MAS 在通信过程中容易产生恶意控制或信息泄露的问 题。这些问题都可能影响 MAS 在生产生活中应 用的推广。例如，针对医疗保健系统的攻击可能 导致严重的隐私泄露问题。此外，针对自动驾驶 车辆和城市交通控制系统的攻击可能产生恶意控 制的事件，对交通安全造成威胁。 近年来，有关 MAS 安全问题的研究越来越 多，许多研究人员着眼于可能的 MAS 攻击手段， 并提出相对应的防御机制。针对开放网络中的智 能体，各种安全模型和安全服务被提出，用于提 高单个智能体通信能力的同时保证其安全性能。 除此之外，一些研究人员关注于 MAS 的通信过 程和访问控制，在多个智能体之间的交互问题上 建立可靠的防御机制，保证 MAS 的完整性、保密 性、可用性、可控性及不可否认性。 1 多智能体系统及其安全性问题 1.1 多智能体系统及其特点 随着人工智能技术的发展和普及，人工智能 在各个方面都发挥着不可替代的作用。作为人工 智能的前沿学科和研究热点之一，MAS 旨在通过 智能体间通信与协调建立大型和复杂的软硬件 系统。 智能体和 MAS 的定义并不统一，对于智能 体，本文采用 Jennings 等 [9] 的定义，即智能体是一 个软件实体，能够在某些环境中灵活、自主地行 动，以实现其设计目标。智能体拥有自治性、社 交性和灵活性的特点，这不仅意味着智能体可以 自主地控制其状态与行为，在没有外界介入的情 况下操作与运行，还表示多个智能体可以在目标 驱动下进行交流与沟通，并采取合适的行动。 MAS 由多个可交互的智能体组成，每个智能 体在逻辑或物理位置上呈现分布状态，因此 MAS 没有全局控制，各智能体的数据通常是分散的。 MAS 有一个全局目标，通过预先定制的协议，各 智能体相互协作，共同解决全局问题。MAS 对于 解决复杂问题意义重大，由于时间和资源的动态 约束，系统需要解决的关键问题包括任务调度、 资源分配和冲突调解。MAS 的出现克服了单一 智能体的局限性，并具有并行性、分布性、开放性 和容错性的优点。 1.2 多智能体系统面临的安全性威胁 当智能体在开放环境中，MAS 通过智能体的 分布式协作降低了复杂问题的计算量并提高了系 统性能，但同时 MAS 的机制对协作控制、访问控 制和通信机制提出了更高的要求。因此，这些方 面的安全漏洞可能对整个 MAS 造成损害。尤其 是对于一些安全敏感的领域，如银行业和医疗服 务领域，许多研究人员已经认识到 MAS 的安全 漏洞并发现了可能的攻击。 早在 1998 年，Greenberg 等 [1] 就已经归纳了几 种可能针对开放环境中移动智能体的攻击方法。 Wang 等 [10] 则提出了针对移动智能体的几种攻击 路径和后果。首先，MAS 中各个智能体拥有自己 的职能、行为模式、偏好、授权和隐私，因此，恶 意代码可以访问智能体授权，修改其首选项，窃 取私有数据，甚至更改其行为模式和角色，使其 成为影响整个 MAS 的攻击性智能体。其次， MAS 是一个开放的分布式系统，因此有大量的分 布式节点相互独立但又相互依存，通过攻击最弱 的节点，攻击者可以强制整个 MAS 停止服务。 此外，主机可能容易受到伪装、DoS 或未经授权 的访问的攻击。现有的 MAS 缺乏严格的认证机 制，恶意代码可以假装智能体并试图连接 到 MAS。这种情况可能导致非法资源占用，发送虚 假信息以及窃取隐私数据等安全威胁。 对于智能体的攻击数据传输和通信协议过 程，可能会发生两种类型的安全威胁：一种是探 索性攻击 (exploratory attack)，即攻击者不会干扰 通信，但会尝试提取可用信息，在这种情况下，传 输的敏感信息可能泄露；另一种是诱发性攻击 (causative attack)，此时攻击者可能会尝试拦截、修 改、删除甚至替换数据包。 2 多智能体系统的安全框架 许多研究已经指出了 MAS 的安全漏洞，并且 针对 MAS 的攻击进行了尝试。为了进一步完善 MAS 的安全防御机制，本文首先针对 MAS 的安 全需求搭建了框架，为 MAS 提供了通用的安全 ·426· 智 能 系 统 学 报 第 15 卷

第3期 丁俐夫，等：多智能体系统安全性问题及防御机制综述 ·427· 性模型。 如果某个智能体出现过载，将无法承担其安全要 2.1多智能体系统安全性问题的分类 求的部分，因此开发人员必须能够合理地定义系 多智能体系统安全性问题尚未形成完善的分 统设计，平均分配子系统的负载。因此，降低 类体系。Jung等山曾提出MAS安全问题分类的 MAS的复杂性与单个智能体关键性成为了MAS 不同角度。本文总结为如图1所示的分类体系。 的安全要求之一。 从MAS系统环节的角度，MAS的安全性应分为 此外，从系统设计者的角度来说，针对MAS 分布式调控中的安全问题与单个智能体中的安全 的特点考虑其安全需求是很有必要的。首先，MAS 问题。从MAS安全性需求考虑，其安全性问题 的每个智能体逻辑或物理上分布的位置特征，将 可以分为信息来源安全(information origin secur- 成为身份验证的一个关键问题。其次，由于智能 ity)、授权机制安全(authorization mechanism secur- 体的自治性可能带来的安全问题，需要每个智能 ity)、通信安全(communication security)、主机保护 体拥有识别并预防未授权访问的能力，以此保护 安全(host protection security)、智能体保护安全 MAS免受开放网络中恶意智能体的入侵。对于 (agent protection security)以及共享资源安全(re- 智能体的社交性，MAS的设计者需要保证沟通过 sources sharing security)。另外，根据攻击造成的 程中的安全性。 MAS安全损害分类，MAS安全问题可分为完整 2.3多智能体系统的通用安全模型 性安全(integrity security)、可用性安全(availability 针对MAS系统性能的评估，很多研究者已经 security)和私密性安全(privacy security)o 逐渐将系统安全性纳入考虑范围。因此，对于现 在的MAS设计人员而言，有很多通用的安全模 多智能系统安全性问题分类 型可供参考。 系统环节 安全需求类型 安全损害类型 2002年Poslad等M提出了MAS资产安全模 型，他们以FIPA安全条例为标准，将MAS的数 分布式调控安全 信息来源安全 完整性安全 据信息视为一组有价物品，并通过类比建立了安 智能体安全 授权机制安全 可用性安全 全措施与数据保护系统的通用模型。这一模型也 成为MAS通用安全模型的基础，图2给出了这种 通信安全 私密性安全 通用模型的概念图。 主机保护安全 此后，有关MAS安全模型的理论不断完善。 智能体保护安全 Tropos方法1)作为智能体软件系统开发的常用 方法，在安全方面被不断完善920，通过添加安全 共享资源安全 约束，成为了MAS的软件开发过程中安全建模 图1多智能体系统的安全问题分类体系 的重要方法。Beydoun等2提出了一种MAS建 Fig.1 Taxonomy of the security issues of MAS 模的元模型(metamodel),Moradian2在元模型基 2.2多智能体系统的安全需求 础上基于Gaia方法增加了认证模块、搜索模块和 为了实现MAS安全问题的标准化，智能物 检查模块以增强安全性。2015年Basheer等2a1通 理Agent基金会(Foundation Intelligent Physical 过智能体的可信度建立了AgentOpCo(agent opin-. Agents,FIPA)很早就着手于将MAS安全要求纳 ion confidence)模型，这种通用模型通过检测 入其规范中。从2002年起，FIPA已制定了若干 MAS中智能体的置信度来保证系统安全。2006 结构规范条例，对智能体系统的访问控制、数据 年Huynh等9提出了有关MAS中智能体的信任 传输以及智能体管理等方面21安全要求进行了 与声誉认证模型，为子系统验证提供了框架。 定义。 2016年，Zikratov等设计了动态网络下的信任 但是，迄今为止，依旧只有少数MAS设计者 模型，由于加入了时间驱动的信任级别认证，提 会将合理的安全防范纳入系统开发阶段。这种 升了MAS在开放网络下的安全性。Cheribi等I 瓶颈来自于两个方面16。一方面，很多情况下安 提出了一个用于保护复杂的应用程序MAS安全 全要求会与MAS功能要求相冲突，权衡安全性 模型。该安全模型规范了智能体个体及智能体群 与功能性之间平衡的过程十分耗时。另一方面， 体内的统一行为。Majd等2则通过设置传递性 很多开发人员缺乏安全软件开发的专业知识。尤 符合性、相似性与可靠性4个信任组件，提出了 其是在MAS中，每个智能体会分配不同的职能， 名为TtSSR的信任模型

性模型。 2.1 多智能体系统安全性问题的分类 多智能体系统安全性问题尚未形成完善的分 类体系。Jung 等 [11] 曾提出 MAS 安全问题分类的 不同角度。本文总结为如图 1 所示的分类体系。 从 MAS 系统环节的角度，MAS 的安全性应分为 分布式调控中的安全问题与单个智能体中的安全 问题。从 MAS 安全性需求考虑，其安全性问题 可以分为信息来源安全 (information origin secur￾ity)、授权机制安全 (authorization mechanism secur￾ity)、通信安全 (communication security)、主机保护 安全 (host protection security)、智能体保护安全 (agent protection security) 以及共享资源安全 (re￾sources sharing security)。另外，根据攻击造成的 MAS 安全损害分类，MAS 安全问题可分为完整 性安全 (integrity security)、可用性安全 (availability security) 和私密性安全 (privacy security)。 多智能系统安全性问题分类 系统环节 分布式调控安全 智能体安全 安全需求类型 安全损害类型 完整性安全 可用性安全 私密性安全 信息来源安全 授权机制安全 通信安全 主机保护安全 智能体保护安全 共享资源安全 图 1 多智能体系统的安全问题分类体系 Fig. 1 Taxonomy of the security issues of MAS 2.2 多智能体系统的安全需求 为了实现 MAS 安全问题的标准化，智能物 理 Agent 基金会 (Foundation Intelligent Physical Agents, FIPA) 很早就着手于将 MAS 安全要求纳 入其规范中。从 2002 年起，FIPA 已制定了若干 结构规范条例，对智能体系统的访问控制、数据 传输以及智能体管理等方面[12-14] 安全要求进行了 定义。 但是，迄今为止，依旧只有少数 MAS 设计者 会将合理的安全防范纳入系统开发阶段[15]。这种 瓶颈来自于两个方面[16]。一方面，很多情况下安 全要求会与 MAS 功能要求相冲突，权衡安全性 与功能性之间平衡的过程十分耗时。另一方面， 很多开发人员缺乏安全软件开发的专业知识。尤 其是在 MAS 中，每个智能体会分配不同的职能， 如果某个智能体出现过载，将无法承担其安全要 求的部分，因此开发人员必须能够合理地定义系 统设计，平均分配子系统的负载。因此，降低 MAS 的复杂性与单个智能体关键性成为了 MAS 的安全要求之一。 此外，从系统设计者的角度来说，针对 MAS 的特点考虑其安全需求是很有必要的。首先，MAS 的每个智能体逻辑或物理上分布的位置特征，将 成为身份验证的一个关键问题。其次，由于智能 体的自治性可能带来的安全问题，需要每个智能 体拥有识别并预防未授权访问的能力，以此保护 MAS 免受开放网络中恶意智能体的入侵。对于 智能体的社交性，MAS 的设计者需要保证沟通过 程中的安全性。 2.3 多智能体系统的通用安全模型 针对 MAS 系统性能的评估，很多研究者已经 逐渐将系统安全性纳入考虑范围。因此，对于现 在的 MAS 设计人员而言，有很多通用的安全模 型可供参考。 2002 年 Poslad 等 [17] 提出了 MAS 资产安全模 型，他们以 FIPA 安全条例为标准，将 MAS 的数 据信息视为一组有价物品，并通过类比建立了安 全措施与数据保护系统的通用模型。这一模型也 成为 MAS 通用安全模型的基础，图 2 给出了这种 通用模型的概念图。 此后，有关 MAS 安全模型的理论不断完善。 Tropos 方法[18] 作为智能体软件系统开发的常用 方法，在安全方面被不断完善[19-20] ，通过添加安全 约束，成为了 MAS 的软件开发过程中安全建模 的重要方法。Beydoun 等 [21] 提出了一种 MAS 建 模的元模型 (metamodel)，Moradian[22] 在元模型基 础上基于 Gaia 方法增加了认证模块、搜索模块和 检查模块以增强安全性。2015 年 Basheer 等 [23] 通 过智能体的可信度建立了 AgentOpCo(agent opin￾ion confidence) 模型，这种通用模型通过检测 MAS 中智能体的置信度来保证系统安全。2006 年 Huynh 等 [9] 提出了有关 MAS 中智能体的信任 与声誉认证模型，为子系统验证提供了框架。 2016 年，Zikratov 等 [24] 设计了动态网络下的信任 模型，由于加入了时间驱动的信任级别认证，提 升了 MAS 在开放网络下的安全性。Cheribi 等 [25] 提出了一个用于保护复杂的应用程序 MAS 安全 模型。该安全模型规范了智能体个体及智能体群 体内的统一行为。Majd 等 [26] 则通过设置传递性、 符合性、相似性与可靠性 4 个信任组件，提出了 名为 TtSSR 的信任模型。 第 3 期 丁俐夫，等：多智能体系统安全性问题及防御机制综述 ·427·

·428· 智能系统学报 第15卷 通信模块 用户端数据用户端智能体 协同控制模块 服务端智能体服务端数据 通信地址 访间目录 通信协议 访问控制协议 ☆防御措施 ★ 中间加密数据中间模块智能体 图2多智能体系统较为通用的安全模型 Fig.2 A generic security model of MAS 除此以外，一些MAS的设计平台和开放环 3多智能体系统安全防御技术 境，也在原有的基础上添加了安全性模块。其中 最为常用的JADE和SeMoA平台，已有研究论证 如前文所述，如今各种研究已经确定了多智 其安全性能，并有研究者进行测试以证明这两个 能体系统的安全框架。接下来，本文将关注具体 平台可以阻止对其智能体的未授权访问和攻 的安全解决方案。MAS的防御技术是根据其系 击22。在此基础上，研究人员对MAS开放平台 统环节和安全威胁制定的。从图3中的系统框图 进行进一步扩展，使其在拓展应用中保持安全 可以看出，安全防御技术主要有针对智能体的防 性。2009年Vitabile等29设计了基于JADE-S的 御技术与针对分布式调控的防御技术，分布式调 扩展框架，进一步完善了多智能体系统开放环境 控的防御技术又包括通信保护、访问控制与数据 的安全性。 加密等防御手段。 系统环节 分布式调控安全 智能体安全 安全威胁 恶意控制 无授权访问 数据丢失 恶意智能体 防御措施 智能体 授权访问PKI数字X.509 滑动环境秘钥 状态 路径 中间件 控制方法签名证书 加密密钥加密 评估跟踪 图3多智能体系统的安全需求与防御措施 Fig.3 Security requirements and defense measures of MAS 3.1针对智能体的防御技术 程序模块隔离，转换不受信任子系统的可解释代 单个的智能体可以看作一个小型的集中式人 码模块，以便所有存储器访问都限制在其故障域 工智能系统，除了传统的集中式人工智能保护机 内的代码和数据段，由此确定子系统的安全性。 制外，防御者可以使用智能体的加密与历史表单 数字签名技术通过智能体的创建者、所有者或可 数据来防止恶意智能体。 信任的第三方执行数字签名加密，以确保智能体 Jansent的文章很好地概括了智能体的防御 的真实性。路径跟踪技术)使智能体记录它们 技术。沙箱法，又称软件的故障隔离法，将应用 之前访问过的主机，从而防止恶意主机控制的智

用户端数据 用户端智能体 通信模块 协同控制模块 服务端智能体 服务端数据 防御措施 通信地址 访问目录 通信协议 访问控制协议 … 中间加密数据 中间模块智能体 图 2 多智能体系统较为通用的安全模型 Fig. 2 A generic security model of MAS 除此以外，一些 MAS 的设计平台和开放环 境，也在原有的基础上添加了安全性模块。其中 最为常用的 JADE 和 SeMoA 平台，已有研究论证 其安全性能，并有研究者进行测试以证明这两个 平台可以阻止对其智能体的未授权访问和攻 击 [27-28]。在此基础上，研究人员对 MAS 开放平台 进行进一步扩展，使其在拓展应用中保持安全 性。2009 年 Vitabile 等 [29] 设计了基于 JADE-S 的 扩展框架，进一步完善了多智能体系统开放环境 的安全性。 3 多智能体系统安全防御技术 如前文所述，如今各种研究已经确定了多智 能体系统的安全框架。接下来，本文将关注具体 的安全解决方案。MAS 的防御技术是根据其系 统环节和安全威胁制定的。从图 3 中的系统框图 可以看出，安全防御技术主要有针对智能体的防 御技术与针对分布式调控的防御技术，分布式调 控的防御技术又包括通信保护、访问控制与数据 加密等防御手段。 系统环节 安全威胁 防御措施 分布式调控安全 智能体安全 恶意控制 无授权访问 数据丢失 恶意智能体 智能体 中间件 授权访问 控制 PKI 方法 数字 签名 X.509 证书 滑动 加密 环境 密钥 秘钥 加密 状态 评估 路径 跟踪 图 3 多智能体系统的安全需求与防御措施 Fig. 3 Security requirements and defense measures of MAS 3.1 针对智能体的防御技术 单个的智能体可以看作一个小型的集中式人 工智能系统，除了传统的集中式人工智能保护机 制外，防御者可以使用智能体的加密与历史表单 数据来防止恶意智能体。 Jansen[30] 的文章很好地概括了智能体的防御 技术。沙箱法，又称软件的故障隔离法，将应用 程序模块隔离，转换不受信任子系统的可解释代 码模块，以便所有存储器访问都限制在其故障域 内的代码和数据段，由此确定子系统的安全性。 数字签名技术通过智能体的创建者、所有者或可 信任的第三方执行数字签名加密，以确保智能体 的真实性。路径跟踪技术[31] 使智能体记录它们 之前访问过的主机，从而防止恶意主机控制的智 ·428· 智 能 系 统 学 报 第 15 卷

第3期 丁俐夫，等：多智能体系统安全性问题及防御机制综述 ·429· 能体破坏MAS。状态评估法B旨在确定智能体 分析了通信延时下的非线性MAS的安全一致性 的状态是否已被修改或其信息是否已被破环，状 问题，本文根据相邻节点的延迟信息设计了延迟 态评估依赖于评估函数，根据条件因素和状态不 鲁棒安全一致性(delay robust secure consensus, 变量来判断智能体的状态。携带证明口令B]的 DRSC)算法。对于有限时间问题，Meng等2] 方法使MAS能够自动运行由智能体提供的程序 通过智能体协作和对抗，使用邻近规则构造了两 代码，无需解释或运行时检查，证明口令是系统 个一致性协议。结果表明，该协议可以保证所有 开发者为子系统预置的安全凭据。 智能体在有限时间内达成一致性。作者在随后的 策略随机化是近几年作用于单一智能体的 研究中，提出了另一种分布式非线性协议)，实现 一个新方法。Paruchuri等3！运用滚动随机化 了MAS在固定时间内的安全一致性。Liu等 (rolling down randomization,RDR)算法，在单个智能 设计了一个集中式切换的一致性协议，实现了快 体中实现策略随机化，以避免恶意攻击对智能体 速的有限时间一致性问题。迭代学习控制(iterat-. 的可预测性。 ive learning control,,LC)被应用于MAS一致性研 3.2针对分布式调控的防御技术 究后4，成为智能体安全一致性控制的新方法。 MAS的分布式调控中，除了关注每个子系统 为了应对恶意攻击，随后的研究6基于LC实现 的安全防御问题，对于全局的安全控制，系统设 了有限时间内的智能体一致性控制。对于量化通 计者也需要合适的防御手段。本文主要研究了协 信下的安全一致性，2016年的一种基于量化数据 同控制、数据交换、访问控制以及群体身份验证 的安全控制算法4叨，通过确定攻击节点在邻域中 等几个阶段的防御技术。 的有界性，在有恶意智能体的情况下达到安全一 3.2.1协同控制安全防御 致性。此外，Feng等在连接维持和连接断开两 为了保证各自独立的智能体共同协作实现 类攻击下，研究了一种安全一致性追踪算法。作 目标，MAS的设计者需要考虑对智能体进行协同 者通过定向拓扑交换对问题进行了建模和探究， 控制。因此，一致性算法成为MAS协同控制问 并在之后的研究中，用此方法研究了DoS攻击下 题的核心内容。多智能体系统中，一致性算法保 的MAS安全一致性问题90。 证了网络有向信息流的作用，对链路与节点故障 3.2.2数据交换安全防御 引起的网络拓扑变化的鲁棒性以及通信时延下 针对数据交换的保护首先需要设计合理的通 的系统新能提供了支持。在此过程中，恶意攻击 信结构和通信协议。 可能影响复杂网络的频率和结构特性之间的直 Pit等sI定义了MAS通信的通用语义框架， 接联系以及一致性算法的信息扩散速度，对具有 并提出了智能体通信语言(agent communation lan- 非局部信息流的网络系统的性能造成危害31。 guage,.ACL)。ACL被FIPA纳入MAS通信框架 因此，近年来MAS一致性的安全成为该领域一 标准之后，FIPA-ACL也成为MAS数据交换和通 个新的热点。 信协议的规范准则。在此基础上，之后的研究 很多研究者关注MAS一致性算法和结构的 添加了安全性内容。 设计。He等361提出了一种分布式脉冲控制器， Yokoo等s2设计了动态加密的MAS通信协 研究了在数据欺骗攻击下，错误数据注入引起的 议。通过使用这种方法，多个智能体可以在解决 有界协同控制问题。Amullen等B提出了一种基 组合优化问题的同时，避免泄露隐私信息。Zhu 于模型的安全编队控制算法，该算法对一组智能 等51基于传统代理通信语言，提出了一种多智能 体进行编队并记录其状态，通过状态恢复的方法 体安全通信协议和3种多智能体组重新密钥协 使得MAS不受DoS攻击的影响。Torre等IB8I开 议，并提出了一种更加完善的ACL。Abdennadher 发了一个新的分布式自适应控制架构，当存在行 等s4在2010年提出了MAS动态通信协议，它使 为不当的智能体的情况下，算法会启用本地状态 MAS能够在不完美的通信环境中灵活，快速且顺 仿真器对其进行控制。 畅地进行通信。2017年提出的一种基于广播的 其他研究从通信延时、有限时间、量化通信 移动智能体协议BROSMAP(broadcast based secure 等几个条件B优化MAS一致性算法，使得MAS mobile agent protocol)s,使用对称和非对称混合 的性能可以不受特定攻击的影响。针对通信延时 加密的方法保证了分布式应用安全性。Elshaafi 的情况，2011年Liu等o提出了时延和噪声干扰 等s实现了JADE平台通用协议的实例化，并为 下的多智能体系统的安全一致性算法。Wu等 JADE平台添加了JAVA安全库，使得JADE平台

能体破坏 MAS。状态评估法[32] 旨在确定智能体 的状态是否已被修改或其信息是否已被破坏，状 态评估依赖于评估函数，根据条件因素和状态不 变量来判断智能体的状态。携带证明口令[33] 的 方法使 MAS 能够自动运行由智能体提供的程序 代码，无需解释或运行时检查，证明口令是系统 开发者为子系统预置的安全凭据。 策略随机化是近几年作用于单一智能体的 一个新方法。Paruchuri 等 [ 3 4 ] 运用滚动随机化 (rolling down randomization,RDR) 算法,在单个智能 体中实现策略随机化，以避免恶意攻击对智能体 的可预测性。 3.2 针对分布式调控的防御技术 MAS 的分布式调控中，除了关注每个子系统 的安全防御问题，对于全局的安全控制，系统设 计者也需要合适的防御手段。本文主要研究了协 同控制、数据交换、访问控制以及群体身份验证 等几个阶段的防御技术。 3.2.1 协同控制安全防御 为了保证各自独立的智能体共同协作实现 目标，MAS 的设计者需要考虑对智能体进行协同 控制。因此，一致性算法成为 MAS 协同控制问 题的核心内容。多智能体系统中，一致性算法保 证了网络有向信息流的作用，对链路与节点故障 引起的网络拓扑变化的鲁棒性以及通信时延下 的系统新能提供了支持。在此过程中，恶意攻击 可能影响复杂网络的频率和结构特性之间的直 接联系以及一致性算法的信息扩散速度，对具有 非局部信息流的网络系统的性能造成危害[35]。 因此，近年来 MAS 一致性的安全成为该领域一 个新的热点。 很多研究者关注 MAS 一致性算法和结构的 设计。He 等 [36] 提出了一种分布式脉冲控制器， 研究了在数据欺骗攻击下，错误数据注入引起的 有界协同控制问题。Amullen 等 [37] 提出了一种基 于模型的安全编队控制算法，该算法对一组智能 体进行编队并记录其状态，通过状态恢复的方法 使得 MAS 不受 DoS 攻击的影响。Torre 等 [38] 开 发了一个新的分布式自适应控制架构，当存在行 为不当的智能体的情况下，算法会启用本地状态 仿真器对其进行控制。 其他研究从通信延时、有限时间、量化通信 等几个条件[39] 优化 MAS 一致性算法，使得 MAS 的性能可以不受特定攻击的影响。针对通信延时 的情况，2011 年 Liu 等 [40] 提出了时延和噪声干扰 下的多智能体系统的安全一致性算法。Wu 等 [41] 分析了通信延时下的非线性 MAS 的安全一致性 问题，本文根据相邻节点的延迟信息设计了延迟 鲁棒安全一致性 (delay robust secure consensus, DRSC) 算法。对于有限时间问题，Meng 等 [ 4 2 ] 通过智能体协作和对抗，使用邻近规则构造了两 个一致性协议。结果表明，该协议可以保证所有 智能体在有限时间内达成一致性。作者在随后的 研究中，提出了另一种分布式非线性协议[43] ，实现 了 MAS 在固定时间内的安全一致性。Liu 等 [44] 设计了一个集中式切换的一致性协议，实现了快 速的有限时间一致性问题。迭代学习控制 (iterat￾ive learning control, ILC) 被应用于 MAS 一致性研 究后[45] ，成为智能体安全一致性控制的新方法。 为了应对恶意攻击，随后的研究[46] 基于 ILC 实现 了有限时间内的智能体一致性控制。对于量化通 信下的安全一致性，2016 年的一种基于量化数据 的安全控制算法[47] ，通过确定攻击节点在邻域中 的有界性，在有恶意智能体的情况下达到安全一 致性。此外，Feng 等 [48] 在连接维持和连接断开两 类攻击下，研究了一种安全一致性追踪算法。作 者通过定向拓扑交换对问题进行了建模和探究， 并在之后的研究中，用此方法研究了 DoS 攻击下 的 MAS 安全一致性问题[49-50]。 3.2.2 数据交换安全防御 针对数据交换的保护首先需要设计合理的通 信结构和通信协议。 Pitt 等 [51] 定义了 MAS 通信的通用语义框架， 并提出了智能体通信语言 (agent communation lan￾guage, ACL)。ACL 被 FIPA 纳入 MAS 通信框架 标准之后，FIPA-ACL 也成为 MAS 数据交换和通 信协议的规范准则[13]。在此基础上，之后的研究 添加了安全性内容。 Yokoo 等 [52] 设计了动态加密的 MAS 通信协 议。通过使用这种方法，多个智能体可以在解决 组合优化问题的同时，避免泄露隐私信息。Zhu 等 [53] 基于传统代理通信语言，提出了一种多智能 体安全通信协议和 3 种多智能体组重新密钥协 议，并提出了一种更加完善的 ACL。Abdennadher 等 [54] 在 2010 年提出了 MAS 动态通信协议，它使 MAS 能够在不完美的通信环境中灵活，快速且顺 畅地进行通信。2017 年提出的一种基于广播的 移动智能体协议 BROSMAP(broadcast based secure mobile agent protocol)[55] ，使用对称和非对称混合 加密的方法保证了分布式应用安全性。Elshaafi 等 [56] 实现了 JADE 平台通用协议的实例化，并为 JADE 平台添加了 JAVA 安全库，使得 JADE 平台 第 3 期 丁俐夫，等：多智能体系统安全性问题及防御机制综述 ·429·