第5卷第3期 信息安全学报 VoL 5 No. 3 2020年5月 ournal of Cyber Security 深度学习模型可解释性的硏究进展 化盈盈12,张岱墀12,葛仕明 中国科学院信息工程研究所北京中国100093 2中国科学院大学网络空间安全学院北京中国100049 摘要深度学习在很多人工智能应用领域中取得成功的关键原因在于,通过复杂的深层网络模型从海量数据中学习丰富的知 识然而,深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果,造成深度学习模型的不可解释性,从而限制了 模型的实际部署。因此,亟需提高深度学习模型的可解释性,使模型透明化,以推动人工智能领域硏究的发展。本文旨在对深度 学习模型可解释性的研究进展进行系统性的调研,从可解释性原理的角度对现有方法进行分类,并且结合可解释性方法在人工 智能领域的实际应用,分析目前可解释性硏究存在的问题,以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性 的研究进展以及未来的研究方向提供新的思路。 关键词深度学习模型;可解释性;人工智能 中图法分类号TP181DO1号10.19363/ cnkicn101380/tn2020.0501 Research progress in the Interpretability of deep Learning models HUA Yingying", ZHANG Daichi", GE Shiming Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100093, China 2 School of Cyber Security, University of Chinese Academy of Sciences, Beijing 100049,China Abstract Deep learning has succeeded in many areas of artificial intelligence, and the key reason for this is to learn a wealth of knowledge from massive data through complex deep networks. However, the high degree of complexity in deep learning models often makes it difficult for people to understand the decision-making results, which makes deep learning models unexplainable and limits their practical deployment. Therefore, there is an urgent need to improve the interpretabil ity of deep learning models and make the models transparent to promote the development of artificial intelligence. This paper aims to systematically study the research progress in the interpretability of deep learning models. And we make a new division of these interpretable methods from the perspective of interpretability principles. According to the practical application of interpretability, we analyze and summarize the problems existing in the current interpretable research and the future development trend of explainable artificial intelligence. It provides new ideas to comprehensively understand the current progress and the further direction of interpretability Key words deep learning models; interpretability, artificial intelligence 模型是不可解释的2。 引言 深度学习模型的不可解释性存在很多的潜在危 深度学习模型叫在许多领域都具有非常好的性险,尤其在安全玫防领域。一方面会降低模型的可 能,比如人脸识别、图片分类、自然语言处理等,但信度,难以建立人与机器之间的信任;另一方面也 是这种表现更多的依赖于模型高度的非线性和调参会带来难以解决的安全问题,比如对抗样本攻击 技术。人们无法探知深度模型究竟从数据中学到了模型时,很难说明是哪些原因导致结果出现了如此 哪些知识,以及如何进行最终决策的。这种“端到端”大的偏差,从而无法对模型的攻击进行追踪和溯源。 的决策模式导致深度学习模型的解释性极弱。站在此外,一个不可解释的模型由于无法给予用户更多 人的角度分析,模型的决策过程是无法理解的,即可靠的信息,在很多领域的实际部署会受到极大地 通讯作者:葛仕明,博土,副研究员,博士生导师,上mai!: geshiming @iie.accn。 本课题得到国家自然科学基金(No61772513)资助 收稿日期:2020-02-07,修改日期:2020-04-22;定稿日期:2020-04-29
第 5 卷 第 3 期 信 息 安 全 学 报 Vol. 5 No. 3 2020 年 5 月 Journal of Cyber Security May, 2020 通讯作者: 葛仕明, 博士, 副研究员, 博士生导师, Email: geshiming@iie.ac.cn。 本课题得到国家自然科学基金(No.61772513)资助。 收稿日期: 2020-02-07; 修改日期: 2020-04-22; 定稿日期: 2020-04-29 深度学习模型可解释性的研究进展 化盈盈1,2, 张岱墀1,2, 葛仕明1 1中国科学院信息工程研究所 北京 中国 100093 2 中国科学院大学网络空间安全学院 北京 中国 100049 摘要 深度学习在很多人工智能应用领域中取得成功的关键原因在于, 通过复杂的深层网络模型从海量数据中学习丰富的知 识。然而, 深度学习模型内部高度的复杂性常导致人们难以理解模型的决策结果, 造成深度学习模型的不可解释性, 从而限制了 模型的实际部署。因此, 亟需提高深度学习模型的可解释性, 使模型透明化, 以推动人工智能领域研究的发展。本文旨在对深度 学习模型可解释性的研究进展进行系统性的调研, 从可解释性原理的角度对现有方法进行分类, 并且结合可解释性方法在人工 智能领域的实际应用, 分析目前可解释性研究存在的问题, 以及深度学习模型可解释性的发展趋势。为全面掌握模型可解释性 的研究进展以及未来的研究方向提供新的思路。 关键词 深度学习模型; 可解释性; 人工智能 中图法分类号 TP181 DOI 号 10.19363/J.cnki.cn10-1380/tn.2020.05.01 Research Progress in the Interpretability of Deep Learning Models HUA Yingying1,2, ZHANG Daichi1,2, GE Shiming1 1 Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100093, China 2 School of Cyber Security, University of Chinese Academy of Sciences, Beijing 100049, China Abstract Deep learning has succeeded in many areas of artificial intelligence, and the key reason for this is to learn a wealth of knowledge from massive data through complex deep networks. However, the high degree of complexity in deep learning models often makes it difficult for people to understand the decision-making results, which makes deep learning models unexplainable and limits their practical deployment. Therefore, there is an urgent need to improve the interpretability of deep learning models and make the models transparent to promote the development of artificial intelligence. This paper aims to systematically study the research progress in the interpretability of deep learning models. And we make a new division of these interpretable methods from the perspective of interpretability principles. According to the practical application of interpretability, we analyze and summarize the problems existing in the current interpretable research and the future development trend of explainable artificial intelligence. It provides new ideas to comprehensively understand the current progress and the further direction of interpretability. Key words deep learning models; interpretability; artificial intelligence 1 引言 深度学习模型[1]在许多领域都具有非常好的性 能, 比如人脸识别、图片分类、自然语言处理等, 但 是这种表现更多的依赖于模型高度的非线性和调参 技术。人们无法探知深度模型究竟从数据中学到了 哪些知识, 以及如何进行最终决策的。这种“端到端” 的决策模式导致深度学习模型的解释性极弱。站在 人的角度分析, 模型的决策过程是无法理解的, 即 模型是不可解释的[2]。 深度学习模型的不可解释性存在很多的潜在危 险[3], 尤其在安全攻防领域。一方面会降低模型的可 信度, 难以建立人与机器之间的信任; 另一方面也 会带来难以解决的安全问题, 比如[4]对抗样本攻击 模型时, 很难说明是哪些原因导致结果出现了如此 大的偏差, 从而无法对模型的攻击进行追踪和溯源。 此外, 一个不可解释的模型由于无法给予用户更多 可靠的信息, 在很多领域的实际部署会受到极大地
2 Journal of○ ber securit信息安全学报,2020年5月,第5卷,第3期 限制。模型的不可解释性所带来的一连串问题,也在2.1什么是可解释性 不断驱动我们深入地探究如何提高深度学习模型的 可解释性0是指我们具有足够的可以理解的信 可解释性。因此,人们一直致力于更透彻地去理解深息,来解决某个问题。具体到人工智能领域,可解释 度学习模型内部复杂的过程,从而达到进一步优化的深度模型能够给出每一个预测结果的决策依据, 模型的目的。 比如银行的金融系统决定一个人是否应该得到贷 为了提高深度学习模型的可解释性,已经提出款,并给出相应的判决依据。如图1,分类器不仅要 了很多可解释性方法,比如利用特征重要性衡识别图片中的猫,而且要给出分类依据。比如决策树 量不同特征对决策结果的影响,或者用可解释的决模型利用信息理论的筛选变量标准帮助理解不同变 策树模拟深度学习模型的预测输出吲等。但是目前的量对决策结果的影响程度,所以决策树模型是一个 研究成果依然存在很多的不足,尤其是缺乏对可解用户友好的可解释性模型。而用户最不友好的深度 释性研究现状的总结与分析,现有的工作更多的侧神经网络则属于黑盒模型,模型高度的非线性让人 重于对可解释性方法的罗列介绍,没有对可解释性难以理解模型内部的决策过程,不能用人类可以理 的硏究成果进行全面了解和深入分析,不利于可解解的方式解释模型的具体含义和行为,所以深度学 释性硏究的进一步推进。尽管深度学习模型的可解习模型不具有很好的解释性。 释性早已成为研究的热点,并且在人工智能领域取 得了一定的关注,但是目前的可解释性研究成果相 Is Is a cat 对分散,这些可解释性方法缺乏系统的分析总结。 基于此,本文对深度学习模型的可解释性进行 了深入的调研,以促进可解释性的进一步发展。为了 全面掌握可解释性研究的进展,并为可解释性中存 图1可解释的人工智能 在的开放问题提供新的研究视角,本文将从新的角 Figure 1 Explainable Artificial Intelligence 度切入对目前的可解释性工作进行系统地分析总结, 探索可解释硏究的内在规律,预测可解释性未来的 根据可解释性的解释范围,我们可以分为全局 发展态势和研究方向。基于可解释性研究的原理,从可解释和局部可解释。全局可解释是基于整个数 模型结构、特征分析、可解释性迁移三个角度分析据集中的因变量和预测变量之间的关系来理解模型 目前的研究现状。通过对可解释性方法的系统性介的决策,即建立模型的输出和输入之间的关系,局部 解释性方法存在的问题和未来的发展趋势 关注该数据点和该点周围特征空间中的局部子区域 本文将从以下方面展开:首先介绍可解释性的并尝试基于该局部区域理解该点的模型决策。局部 研究现状,主要从可解释性的相关概念和可解释性可解释和全局可解释通常结合使用,共同解释深度 方法两个方面展开。然后结合可解释性的实际应用,型的决策结果 分析可解释性研究取得的进展和存在的不足。最后 全局可解释性:(1)整体模型的可解释性是指同 对可解释性的发展趋势进行总结与展望。 时理解整个模型,并解释全局模型输出。比如输入特 征对预测结果的重要性程度,以及不同特征之间的 2可解释性的研究现状 相互作用等等。这种可解释性是基于对模型、特征 和习得的知识(如权重、参数、结构等)的整体看法来 广义上来说我们对可解释性的需求主要来源于理解模型的决策结果,需要利用训练的模型、算法知 对问题和任务了解得还不够充分。而机器学习的 识和数据,但是全局模型的可解释性在实践中很难 的是从数据中发现知识或解决问题,那么在这个实现。(2)模块化层面上的全局可解释性是在模块层 过程中只要提供给用户关于数据或模型的可以理解面上理解模型,将全局模型的可解释性进行模块化 的信息,就可以更充分地发现知识、理解和解决问考虑到全局模型的可解释性通常无法实现,可以在 题。基于此,本文将详细分析可解释性的研究现状。模块层面上解释。比如从模型中解构出部分权重进 围绕现有的可解释性成果,介绍可解释性的相关概行理解,尽管权重仅在模型中其他特征的上下文中 念和解开深度学习模型的可解释性方法,为提高模有意义,但是这些权重仍然要比深度模型中所有的 型的可解释性提供进一步的研究思路。 参数更好理解
2 Journal of Cyber Security 信息安全学报, 2020 年 5 月, 第 5 卷, 第 3 期 限制。模型的不可解释性所带来的一连串问题, 也在 不断驱动我们深入地探究如何提高深度学习模型的 可解释性。因此, 人们一直致力于更透彻地去理解深 度学习模型内部复杂的过程, 从而达到进一步优化 模型的目的。 为了提高深度学习模型的可解释性, 已经提出 了很多可解释性方法[5-6], 比如利用特征重要性[7]衡 量不同特征对决策结果的影响, 或者用可解释的决 策树模拟深度学习模型的预测输出[8]等。但是目前的 研究成果依然存在很多的不足, 尤其是缺乏对可解 释性研究现状的总结与分析, 现有的工作更多的侧 重于对可解释性方法的罗列介绍, 没有对可解释性 的研究成果进行全面了解和深入分析, 不利于可解 释性研究的进一步推进。尽管深度学习模型的可解 释性早已成为研究的热点, 并且在人工智能领域取 得了一定的关注, 但是目前的可解释性研究成果相 对分散, 这些可解释性方法缺乏系统的分析总结。 基于此, 本文对深度学习模型的可解释性进行 了深入的调研, 以促进可解释性的进一步发展。为了 全面掌握可解释性研究的进展, 并为可解释性中存 在的开放问题提供新的研究视角, 本文将从新的角 度切入对目前的可解释性工作进行系统地分析总结, 探索可解释研究的内在规律, 预测可解释性未来的 发展态势和研究方向。基于可解释性研究的原理, 从 模型结构、特征分析、可解释性迁移三个角度分析 目前的研究现状。通过对可解释性方法的系统性介 绍, 再结合当前可解释性的一些典型应用, 分析可 解释性方法存在的问题和未来的发展趋势。 本文将从以下方面展开: 首先介绍可解释性的 研究现状, 主要从可解释性的相关概念和可解释性 方法两个方面展开。然后结合可解释性的实际应用, 分析可解释性研究取得的进展和存在的不足。最后 对可解释性的发展趋势进行总结与展望。 2 可解释性的研究现状 广义上来说我们对可解释性的需求主要来源于 对问题和任务了解得还不够充分。而机器学习的目 的是从数据中发现知识或解决问题[9], 那么在这个 过程中只要提供给用户关于数据或模型的可以理解 的信息, 就可以更充分地发现知识、理解和解决问 题。基于此, 本文将详细分析可解释性的研究现状。 围绕现有的可解释性成果, 介绍可解释性的相关概 念和解开深度学习模型的可解释性方法, 为提高模 型的可解释性提供进一步的研究思路。 2.1 什么是可解释性 可解释性[10]是指我们具有足够的可以理解的信 息, 来解决某个问题。具体到人工智能领域, 可解释 的深度模型能够给出每一个预测结果的决策依据, 比如银行的金融系统[10]决定一个人是否应该得到贷 款, 并给出相应的判决依据。如图 1, 分类器不仅要 识别图片中的猫, 而且要给出分类依据。比如决策树 模型利用信息理论的筛选变量标准帮助理解不同变 量对决策结果的影响程度, 所以决策树模型是一个 用户友好的可解释性模型。而用户最不友好的深度 神经网络则属于黑盒模型, 模型高度的非线性让人 难以理解模型内部的决策过程, 不能用人类可以理 解的方式解释模型的具体含义和行为, 所以深度学 习模型不具有很好的解释性。 图 1 可解释的人工智能 Figure 1 Explainable Artificial Intelligence 根据可解释性的解释范围, 我们可以分为全局 可解释和局部可解释[11]。全局可解释是基于整个数 据集中的因变量和预测变量之间的关系来理解模型 的决策, 即建立模型的输出和输入之间的关系。局部 可解释是对单个数据点的决策进行解释, 通常只需 关注该数据点和该点周围特征空间中的局部子区域, 并尝试基于该局部区域理解该点的模型决策。局部 可解释和全局可解释通常结合使用, 共同解释深度 模型的决策结果。 全局可解释性: (1)整体模型的可解释性是指同 时理解整个模型, 并解释全局模型输出。比如输入特 征对预测结果的重要性程度, 以及不同特征之间的 相互作用等等。这种可解释性是基于对模型、特征 和习得的知识(如权重、参数、结构等)的整体看法来 理解模型的决策结果, 需要利用训练的模型、算法知 识和数据, 但是全局模型的可解释性在实践中很难 实现。(2)模块化层面上的全局可解释性是在模块层 面上理解模型, 将全局模型的可解释性进行模块化。 考虑到全局模型的可解释性通常无法实现, 可以在 模块层面上解释。比如从模型中解构出部分权重进 行理解, 尽管权重仅在模型中其他特征的上下文中 有意义, 但是这些权重仍然要比深度模型中所有的 参数更好理解
化盈盈等:深度学习模型可解释性的研究进展 局部可解释性:(1)单一预测的局部可解释性是 特征统计分析:对不同的特征进行汇总统计或 对模型的一个预测结果进行解释。局部可解释的预者显著性可视化,以此建立特征和预测之间的因果 测结果可能只依赖于线性或某些单调的特征,而非关系∞03。许多可解释性方法根据决策结果对每个 对它们有复杂的依赖性,所以局部可解释性通常比特征进行汇总统计,并返回一个定量的指标,比如 全局可解释性更容易和准确。因此可以通过扰动输特征重要性衡量不同特征对预测结果的重要性程度 入,观察输出的变化,确定模型是基于哪些特征进或者特征之间的交互强度。此外,还可以对特征显著 行决策的,以解释预测的原因(2)一组预测的局部可性统计信息进行可视化,比如直观地展示出重要性 解释性是对多个样本的预测结果进行解释。多个样特征的特征显著图,或者显示特征和平均预测结果 本的模型预测可以用单一预测的局部可解释性方法关系的部分相关图。特征统计分析方法主要是从特 来分别进行解释,然后聚合为一组。此外,也可以使征层面上解释深度模型,特征作为可解释性和模型 用模块化的全局可解释性方法,将获取的样本组视之间的桥梁。 为完整的数据集,然后使用包含此子集的全局方法 本质上可解释模型:利用本质上可解释的模型 来解释。 近似模拟黑盒模型,然后通过查看可解释性模型内 基于可解释性的相关概念,目前主要从以下三部的参数或者特征统计信息来解释该黑盒模型3。 个方面研究深度学习模型的可解释性: 比如借助可解释的决策模型或稀疏性的线性模型来 (1)使深度学习模型内部的组件尽可能变得透近似黑盒模型,可以通过蒸馏等方法,在可解释的模 明、可理解,这是基于模型结构的可解释性。比如可型上建立输入和输出之间的关系,实现可解释性的迁 以通过可视化技术均来实现模型的透明化,或者移。这种可解释模型近似的方法通常不考虑黑盒模型 重新训练具有可解释性的模型。 内部的参数,直接对模型进行“端到端”的近似。下 (2)从模型中解构出尽可能多的知识进行理面将对这些可解释性方法进行详细的介绍,见表1。 解1621,属于建模中的可解释性。比如从特征层面 进行解释,可以从深度神经网络中学习可理解的特 表1可解释性方法 征语义图,以一种可解释性的方式对模型的知识进 Table 1 Explanation Methods 行表征。或者根据特征扰动对模型预测的影响,判断 如何解释深度学习模型 典型方法 模型内部可视化 可视化系统 ENNIs,可视化工具 特征的重要性程度。 (3)生成人为可以理解的解释,属于建模后的可 特征统计分析 LME,CAM,Grad-CAM2,解 解释性25。比如可以借助一些本质上可解释的模 本质上可解释模型 DLME,决策树量化解释,决策 型对黑盒模型的预测结果进行事后解释。 树正则化同明 2.2如何解释深度学习模型 为了解构人工智能中的黑盒模型,更好地理解模2.2.1模型内部可视化 型的预测结果,人们提出了很多可解释性方法。根据 由于人类对于世界的认知和感受主要来自于视 不同的标准,这些可解释性方法可以分为不同的类觉,良好的可视化可以有效地帮助人们理解深度网 别。例如,建模中的可解释性是训练可解释的模型(如络模型的内部组件,并进行有效的优化和调节。下面 决策树、线性模型等)建模后的可解释性是对模型的将介绍基于可视化技术来解释深度神经网络的典型 预测进行解释,不依赖于模型的训练。基于解释黑盒方法 模型的原理,本文将这些可解释性方法大致分为 可视化系统 CNNVis:为了更好的理解神经网 模型内部可视化:对模型内部学习的权重参络内部的工作机制,朱军等提出了可视化系统 数、神经网络的神经元或者特征检测器等进行可视 NAVIs。该系统首先提取神经元的衍生特征和神经 化26-9。由于权重直接反映特征对模型最终预测的元之间的连接,然后对提取的这些层、神经元以及连 贡献,所以可以非常粗暴地可视化出模型内部的权接关系进行聚合,最后实现对模型内部的可视化。该 重。同理,也可以对神经元或特征检测器可视化,展可视化系统包括有三个模块:(1)数据预处理模块:把 示出输入特征在模型内部的变化。尽管这类可解释神经网络转换为一个有向无环图,其中每一个神经 性方法可以直观地观察到模型内部输入的运算过程,元都是根据由一个节点和神经元之间的连接进行表 但是缺乏普适性,很难得出通用的可解释性,而且征,然后该模块可以计算神经元的派生特征和它们 解释的效果也有待提升。 之间的联系;(2)聚合模块:首先对特征图进行聚类
化盈盈 等: 深度学习模型可解释性的研究进展 3 局部可解释性: (1)单一预测的局部可解释性是 对模型的一个预测结果进行解释。局部可解释的预 测结果可能只依赖于线性或某些单调的特征, 而非 对它们有复杂的依赖性, 所以局部可解释性通常比 全局可解释性更容易和准确。因此可以通过扰动输 入, 观察输出的变化, 确定模型是基于哪些特征进 行决策的, 以解释预测的原因。(2)一组预测的局部可 解释性是对多个样本的预测结果进行解释。多个样 本的模型预测可以用单一预测的局部可解释性方法 来分别进行解释, 然后聚合为一组。此外, 也可以使 用模块化的全局可解释性方法, 将获取的样本组视 为完整的数据集, 然后使用包含此子集的全局方法 来解释。 基于可解释性的相关概念, 目前主要从以下三 个方面研究深度学习模型的可解释性: (1) 使深度学习模型内部的组件尽可能变得透 明、可理解, 这是基于模型结构的可解释性。比如可 以通过可视化技术[12-15]来实现模型的透明化, 或者 重新训练具有可解释性的模型。 (2) 从模型中解构出尽可能多的知识进行理 解[16-21], 属于建模中的可解释性。比如从特征层面 进行解释, 可以从深度神经网络中学习可理解的特 征语义图, 以一种可解释性的方式对模型的知识进 行表征。或者根据特征扰动对模型预测的影响, 判断 特征的重要性程度。 (3) 生成人为可以理解的解释, 属于建模后的可 解释性[22-25]。比如可以借助一些本质上可解释的模 型对黑盒模型的预测结果进行事后解释。 2.2 如何解释深度学习模型 为了解构人工智能中的黑盒模型, 更好地理解模 型的预测结果, 人们提出了很多可解释性方法。根据 不同的标准, 这些可解释性方法可以分为不同的类 别。例如, 建模中的可解释性是训练可解释的模型(如 决策树、线性模型等); 建模后的可解释性是对模型的 预测进行解释, 不依赖于模型的训练。基于解释黑盒 模型的原理, 本文将这些可解释性方法大致分为: 模型内部可视化: 对模型内部学习的权重参 数、神经网络的神经元或者特征检测器等进行可视 化[26-29]。由于权重直接反映特征对模型最终预测的 贡献, 所以可以非常粗暴地可视化出模型内部的权 重。同理, 也可以对神经元或特征检测器可视化, 展 示出输入特征在模型内部的变化。尽管这类可解释 性方法可以直观地观察到模型内部输入的运算过程, 但是缺乏普适性, 很难得出通用的可解释性, 而且 解释的效果也有待提升。 特征统计分析: 对不同的特征进行汇总统计或 者显著性可视化, 以此建立特征和预测之间的因果 关系[30-35]。许多可解释性方法根据决策结果对每个 特征进行汇总统计, 并返回一个定量的指标, 比如 特征重要性衡量不同特征对预测结果的重要性程度, 或者特征之间的交互强度。此外, 还可以对特征显著 性统计信息进行可视化, 比如直观地展示出重要性 特征的特征显著图, 或者显示特征和平均预测结果 关系的部分相关图。特征统计分析方法主要是从特 征层面上解释深度模型, 特征作为可解释性和模型 之间的桥梁。 本质上可解释模型: 利用本质上可解释的模型 近似模拟黑盒模型, 然后通过查看可解释性模型内 部的参数或者特征统计信息来解释该黑盒模型[36-37]。 比如借助可解释的决策模型或稀疏性的线性模型来 近似黑盒模型, 可以通过蒸馏等方法, 在可解释的模 型上建立输入和输出之间的关系, 实现可解释性的迁 移。这种可解释模型近似的方法通常不考虑黑盒模型 内部的参数, 直接对模型进行“端到端”的近似。下 面将对这些可解释性方法进行详细的介绍, 见表 1。 表 1 可解释性方法 Table 1 Explanation Methods 如何解释深度学习模型 典型方法 模型内部可视化 可视化系统 CNNVis[38]; 可视化工具 Lucid[39]; 特征统计分析 LIME[40]; CAM[41]; Grad-CAM[42]; 解 释图表征[45]; 本质上可解释模型 DLIME[47]; 决策树量化解释[48]; 决策 树正则化[49] 2.2.1 模型内部可视化 由于人类对于世界的认知和感受主要来自于视 觉, 良好的可视化可以有效地帮助人们理解深度网 络模型的内部组件, 并进行有效的优化和调节。下面 将介绍基于可视化技术来解释深度神经网络的典型 方法。 可视化系统 CNNVis: 为了更好的理解神经网 络内部的工作机制, 朱军等[38]提出了可视化系统 CNNVis。该系统首先提取神经元的衍生特征和神经 元之间的连接, 然后对提取的这些层、神经元以及连 接关系进行聚合, 最后实现对模型内部的可视化。该 可视化系统包括有三个模块: (1)数据预处理模块: 把 神经网络转换为一个有向无环图, 其中每一个神经 元都是根据由一个节点和神经元之间的连接进行表 征, 然后该模块可以计算神经元的派生特征和它们 之间的联系; (2)聚合模块: 首先对特征图进行聚类
Journal of○ ber securit信息安全学报,2020年5月,第5卷,第3期 从每个特征图集群中选择代表图层,然后将神经元输出的贡献,可以改变该特征值,然后通过输出结 聚类在代表图层中,并从每个神经元集群中选择代果的变化判断该特征的重要性程度。 表性神经元;(3)可视化模块:可视化出每一个神经元 Marco4等人提出了LME( Local Interpretable 集群,可以从中分析网络学习的特征、激活特征以及 Model- Agnostic Explanation)方法,用人类可以理解 对结果的贡献等。 CANVas还具有交互功能,可以人的表征方式来解释分类模型,该方法的核心思想是 为改变数据聚合过程,从而更好的观察模型内部的在预测结果的附近学习一个可解释性的模型,实现 运作过程。 对模型预测结果的局部可解释。LIME方法通过向输 可视化工具 Lucid:是一个建立在 Deep Dream入样本中添加扰动,根据模型输出的变化来判断不 上的神经网络可视化库, Deep Dream是进行可视化同特征对预测结果的影响程度,从而实现对黑盒模 神经网络理解图像方式的早期尝试,而Luid是改型决策过程的可解释。然后根据这些扰动的数据点 进后的用于研究神经网络可解释性的一套基础架构距离原始数据的距离分配权重,基于扰动后的样本 和工具。它提供顶尖的特征可视化技术实现和灵活学习一个可解释的模型。由于深度学习模型的决策 的抽象,使探索新的研究方向变得非常简单。Lud边界是非线性的,所以LME方法是通过学习一个局 利用可视化技术研究神经网络自身的运行方式,结部线性模型来解释样本的分类结果。输入样本中加 合特征可视化和其他可解释性技术来理解神经网络入的必须是人类可以理解的扰动,比如遮挡输入图 如何决策。这种结合允许我们稍微“站在神经网络片的某部分,从而确保模型的预测结果一定会发生 内部”,看到神经网络在某一具体时刻如何决策,及变化。由于该方法只是在输入值的周围做微小的扰 其如何影响最终输出。该技术通过可视化每个神经 动,并没有深入模型内部,所以LME是和模型无关 元能够看到哪个部分的检测器被激活。我们不仅可的可解释性方法并且LIME方法在文本和图像分类 以看到检测结果,而且能看到神经网络依据哪些特 征来识别图片的。 领域都取得了很好的解释性效果,极大地提高了人 可视化技术是深度学习模型可解释性研究的重类对人工智能的信任 要途径,同时也是最直观的解释性方法。但是可视化 LIME和其他一些类似的方法4通过向输入 方法也存在一定的局限,一方面可视化神经网络得中加入随机扰动,或者选择输入中的某些特征,以 到的结果绝大部分依然是人类难以理解的,而且也此生成对单个预测结果的解释。这些可解释性方法 缺少对这种解释方法的评价标准,从而会降低可视由于其简单易操作性而备受欢迎,但是会导致解释 化解释结果的可信度;另一方面,可视化方法通常结果的不稳定性,即对于相同的预测结果,模型给 是和其他的解释性方法相结合,而可视化技术作为出的解释却有所不同。可解释性方法缺乏稳定性会 最终解释结果的表征。可视化技术更多的用于局部影响解释结果的准确性,从而降低人们对人工智能 可解释性方法,以特征图的形式来解释深度神经网模型的信任。 络的决策机制。 (2)CAM Grad-CAM 222特征统计分析 卷积神经网络的最后一个卷积层包含有丰富的 深度学习模型由于其内部复杂的结构,会导致语义和结构知识,而全连接层的特征都是人类难以 模型的特征和预测结果之间的因果关系难以理解, 理解的。所以可以充分利用最后一个卷积层的特征 所以模型是不可解释的。基于此,可以通过对特征进来解释神经网络,然后借助可视化技术理解模型内 行统计分析,以建立特征和输出之间的因果关系,部的特征,以实现对神经网络输出结果的解释。基于 从而实现模型内部的透明化。因此特征统计分析方此,我们将会介绍CAM和 Grad-CAM两种方法。 法是指对深度模型的特征进行汇总分析或者显著性 CAM:周博磊刚提出了类别激活方法 可视化,对混乱的特征进行统计分析,计算不同特 CAM(Class Activation Mapping)来解释深层神经网 征对模型输出的贡献,并对显著性特征进行可视化 络,该方法的核心思想是在不使用任何边界框的前 该方法是基于特征对模型进行解释,以下是几种典提下,实现目标定位。CAM方法引入了全局平均池 型的基于特征统计分析的可解释方法 化层(GAP)替换掉卷积神经网络中的全连接层,然后 (I)LIME 得到最后一个卷积层中每个特征图的均值,经过加 由于深度模型内部的特征经过复杂的变化,并权和之后就能得到实际的输出结果,如图2。此外 且不同特征之间也可能相互影响,所以无法直接建该方法会强制最后一个卷积层生成和目标类别数量 立起某一特征和输出之间的关系。为了衡量特征对致的特征图,使经过GAP和 Softmax层之后得到
4 Journal of Cyber Security 信息安全学报, 2020 年 5 月, 第 5 卷, 第 3 期 从每个特征图集群中选择代表图层, 然后将神经元 聚类在代表图层中, 并从每个神经元集群中选择代 表性神经元; (3)可视化模块: 可视化出每一个神经元 集群, 可以从中分析网络学习的特征、激活特征以及 对结果的贡献等。CNNVis 还具有交互功能, 可以人 为改变数据聚合过程, 从而更好的观察模型内部的 运作过程。 可视化工具 Lucid: 是一个建立在 Deep Dream 上的神经网络可视化库, Deep Dream 是进行可视化 神经网络理解图像方式的早期尝试, 而 Lucid[39]是改 进后的用于研究神经网络可解释性的一套基础架构 和工具。它提供顶尖的特征可视化技术实现和灵活 的抽象, 使探索新的研究方向变得非常简单。Lucid 利用可视化技术研究神经网络自身的运行方式, 结 合特征可视化和其他可解释性技术来理解神经网络 如何决策。这种结合允许我们稍微“站在神经网络 内部”, 看到神经网络在某一具体时刻如何决策, 及 其如何影响最终输出。该技术通过可视化每个神经 元, 能够看到哪个部分的检测器被激活。我们不仅可 以看到检测结果, 而且能看到神经网络依据哪些特 征来识别图片的。 可视化技术是深度学习模型可解释性研究的重 要途径, 同时也是最直观的解释性方法。但是可视化 方法也存在一定的局限, 一方面可视化神经网络得 到的结果绝大部分依然是人类难以理解的, 而且也 缺少对这种解释方法的评价标准, 从而会降低可视 化解释结果的可信度; 另一方面, 可视化方法通常 是和其他的解释性方法相结合, 而可视化技术作为 最终解释结果的表征。可视化技术更多的用于局部 可解释性方法, 以特征图的形式来解释深度神经网 络的决策机制[10]。 2.2.2 特征统计分析 深度学习模型由于其内部复杂的结构, 会导致 模型的特征和预测结果之间的因果关系难以理解, 所以模型是不可解释的。基于此, 可以通过对特征进 行统计分析, 以建立特征和输出之间的因果关系, 从而实现模型内部的透明化。因此特征统计分析方 法是指对深度模型的特征进行汇总分析或者显著性 可视化, 对混乱的特征进行统计分析, 计算不同特 征对模型输出的贡献, 并对显著性特征进行可视化。 该方法是基于特征对模型进行解释, 以下是几种典 型的基于特征统计分析的可解释方法。 (1) LIME 由于深度模型内部的特征经过复杂的变化, 并 且不同特征之间也可能相互影响, 所以无法直接建 立起某一特征和输出之间的关系。为了衡量特征对 输出的贡献, 可以改变该特征值, 然后通过输出结 果的变化判断该特征的重要性程度。 Marco[40]等人提出了 LIME(Local Interpretable Model-Agnostic Explanation)方法, 用人类可以理解 的表征方式来解释分类模型, 该方法的核心思想是 在预测结果的附近学习一个可解释性的模型, 实现 对模型预测结果的局部可解释。LIME 方法通过向输 入样本中添加扰动, 根据模型输出的变化来判断不 同特征对预测结果的影响程度, 从而实现对黑盒模 型决策过程的可解释。然后根据这些扰动的数据点 距离原始数据的距离分配权重, 基于扰动后的样本 学习一个可解释的模型。由于深度学习模型的决策 边界是非线性的, 所以LIME方法是通过学习一个局 部线性模型来解释样本的分类结果。输入样本中加 入的必须是人类可以理解的扰动, 比如遮挡输入图 片的某部分, 从而确保模型的预测结果一定会发生 变化。由于该方法只是在输入值的周围做微小的扰 动, 并没有深入模型内部, 所以 LIME 是和模型无关 的可解释性方法。并且 LIME 方法在文本和图像分类 领域都取得了很好的解释性效果, 极大地提高了人 类对人工智能的信任。 LIME 和其他一些类似的方法[41-42]通过向输入 中加入随机扰动, 或者选择输入中的某些特征, 以 此生成对单个预测结果的解释。这些可解释性方法 由于其简单易操作性而备受欢迎, 但是会导致解释 结果的不稳定性, 即对于相同的预测结果, 模型给 出的解释却有所不同。可解释性方法缺乏稳定性会 影响解释结果的准确性, 从而降低人们对人工智能 模型的信任。 (2) CAM & Grad-CAM 卷积神经网络的最后一个卷积层包含有丰富的 语义和结构知识, 而全连接层的特征都是人类难以 理解的。所以可以充分利用最后一个卷积层的特征 来解释神经网络, 然后借助可视化技术理解模型内 部的特征, 以实现对神经网络输出结果的解释。基于 此, 我们将会介绍 CAM 和 Grad-CAM 两种方法。 CAM: 周博磊 [43] 提出了类别激活方法 CAM(Class Activation Mapping)来解释深层神经网 络, 该方法的核心思想是在不使用任何边界框的前 提下, 实现目标定位。CAM 方法引入了全局平均池 化层(GAP)替换掉卷积神经网络中的全连接层, 然后 得到最后一个卷积层中每个特征图的均值, 经过加 权和之后就能得到实际的输出结果, 如图 2。此外, 该方法会强制最后一个卷积层生成和目标类别数量 一致的特征图, 使经过 GAP 和 Softmax 层之后得到
化盈盈等:深度学习模型可解释性的研究进展 分类结果,从而可以为GAP输出的每个特征图赋予解释性的语义图,实现对模型内部知识的解构。利用 实际的含义。对模型输出结果进行解释时,可以直接学习到的语义图来表征深度学习模型的知识,由于 对GAP的输出进行可视化,即以热力图的形式可视该语义图是可以人为理解的,所以该语义图可以实 化出对应的特征图的加杈和,从而可以判断出对分现对深度模型的解释 类结果具有显著作用的特征。 张拳石等人提出了解释图的概念,它揭示了 由于CAM方法中没有全连接层,所以模型对输隐藏在预训练的神经网络内部的知识层次,即通过 入的尺寸没有要求,GAP可以更加充分的利用空间在深度神经网络内部学习一张解释图来实现对深度 信息。而且没有全连接层的参数也增加了模型的鲁模型的解释。这种简单而有效的方法是以无监督的 棒性,不易产生过拟合。但是CAM方法是通过修改方式自动从过滤器的特征图中发现目标部分,而无 模型的结构,然后重新训练新的模型以实现对黑盒需标注信息。学习到的解释图有多层,并且每一层对 模型的解释。所以该方法会增加模型训练的成本,而应于神经网络中的卷积层。解释图中的每个节点代 且极大地限制了模型的应用场景。 表一个特定的部分,从而可以从输入中解构出不同 的目标部分,如图4。我们将目标部分与每个过滤器 的特征分开。因此,我们可以从单个过滤器中学习多 。个节点。解释图中的边对节点之间的共同激活关系 输入 特征图和变形的空间关系进行建模。较高层中的节点代表 较大的部分,而较低层中的节点描述该部分的子区 图2CAM方法 域。我们可以将解释图视为神经网络中间层特征的 igure 2 CAM Method 压缩,通过使用数千个图节点来表示数百万个神经 Grad-CAM:为了解决CAM方法存在的问题,单位编码的信息,从而实现对深度模型内部可解释 Ramprasaath等人提出了 Grad-CAM方法生成对卷性知识的解构 积神经网络的可视化解释,该方法利用加权梯度类 A head filter 激活映射,使任何目标特征的梯度经过最后一个卷 解释图 A feet filter A 积层后产生大致的局部特征图,显示出图像中对目 A torso filte 标预测分类重要的区域Grad-CAM对最终的加权和 目标部分 加了一个ReLU层,原因在于我们只关心对类别有正 图4解释图表征 影响的那些像素点,如果不加ReLU层,最终可能会 Figure4 Explanatory Graph Representation 带入一些属于其他类别的像素,从而影响解释的效 果。该方法将现有的细粒度可视化方法与 Grad-CAM 由于神经网络中有非常复杂的语义和结构知识, 结合产生高分辨率的分类可视化特征,并将其运用很难以人类可理解的方式完全对神经网络进行解 到图像分类,图像文字描述以及视觉问答,如图3。释。而特征统计分析的方法则是通过对模型中的知 Grad-CAM适用于各种各样的CN网络模型且不会识进行解构表征,实现模型的可解释,这种方法是 改变网络结构,也不需要重新训练。 对模型的隐藏知识进行逐步解释。 irad-CAM Grad-CAM 223可解释模型 随着迁移学习的发展,不仅能够实现模型结构 的迁移,我们也可以将模型的可解释性进行迁移。利 用具有可解释性的模型,比如线性模型、决策树模型, 通过将黑盒的深度学习模型迁移到这些可解释的模 a group of people flying kites A man is sitting at a table 型中,从而可以解构这些不可解释的模型。 图3 Grad-CAM的图像文字描述解释 (1)线性模型 理解预测结果背后的原因对于评估模型的可信 igure 3 Image Captioning Explanations via Grad-CAM 度很重要,直接影响人工智能模型的实际应用,而 且有助于把不可信的模型或者决策结果变成可信的 (3)特征图表征 当人工智能模型用于社会中的实际问题时,决策结 特征图表征是指从深度神经网络中学习一个可果的可信度就非常重要。比如人工智能用于医疗诊
化盈盈 等: 深度学习模型可解释性的研究进展 5 分类结果, 从而可以为 GAP 输出的每个特征图赋予 实际的含义。对模型输出结果进行解释时, 可以直接 对 GAP 的输出进行可视化, 即以热力图的形式可视 化出对应的特征图的加权和, 从而可以判断出对分 类结果具有显著作用的特征。 由于 CAM 方法中没有全连接层, 所以模型对输 入的尺寸没有要求, GAP 可以更加充分的利用空间 信息。而且没有全连接层的参数也增加了模型的鲁 棒性, 不易产生过拟合。但是 CAM 方法是通过修改 模型的结构, 然后重新训练新的模型以实现对黑盒 模型的解释。所以该方法会增加模型训练的成本, 而 且极大地限制了模型的应用场景。 图 2 CAM 方法 Figure 2 CAM Method Grad-CAM: 为了解决 CAM 方法存在的问题, Ramprasaath 等人提出了 Grad-CAM[44]方法生成对卷 积神经网络的可视化解释, 该方法利用加权梯度类 激活映射, 使任何目标特征的梯度经过最后一个卷 积层后产生大致的局部特征图, 显示出图像中对目 标预测分类重要的区域。Grad-CAM 对最终的加权和 加了一个ReLU层, 原因在于我们只关心对类别有正 影响的那些像素点, 如果不加 ReLU 层, 最终可能会 带入一些属于其他类别的像素, 从而影响解释的效 果。该方法将现有的细粒度可视化方法与 Grad-CAM 结合产生高分辨率的分类可视化特征, 并将其运用 到图像分类, 图像文字描述以及视觉问答, 如图 3。 Grad-CAM 适用于各种各样的 CNN 网络模型且不会 改变网络结构, 也不需要重新训练。 图 3 Grad-CAM 的图像文字描述解释 Figure 3 Image Captioning Explanations via Grad-CAM (3) 特征图表征 特征图表征是指从深度神经网络中学习一个可 解释性的语义图, 实现对模型内部知识的解构。利用 学习到的语义图来表征深度学习模型的知识, 由于 该语义图是可以人为理解的, 所以该语义图可以实 现对深度模型的解释。 张拳石等人[45]提出了解释图的概念, 它揭示了 隐藏在预训练的神经网络内部的知识层次, 即通过 在深度神经网络内部学习一张解释图来实现对深度 模型的解释。这种简单而有效的方法是以无监督的 方式自动从过滤器的特征图中发现目标部分, 而无 需标注信息。学习到的解释图有多层, 并且每一层对 应于神经网络中的卷积层。解释图中的每个节点代 表一个特定的部分, 从而可以从输入中解构出不同 的目标部分, 如图 4。我们将目标部分与每个过滤器 的特征分开。因此, 我们可以从单个过滤器中学习多 个节点。解释图中的边对节点之间的共同激活关系 和变形的空间关系进行建模。较高层中的节点代表 较大的部分, 而较低层中的节点描述该部分的子区 域。我们可以将解释图视为神经网络中间层特征的 压缩, 通过使用数千个图节点来表示数百万个神经 单位编码的信息, 从而实现对深度模型内部可解释 性知识的解构。 图 4 解释图表征 Figure 4 Explanatory Graph Representation 由于神经网络中有非常复杂的语义和结构知识, 很难以人类可理解的方式完全对神经网络进行解 释。而特征统计分析的方法则是通过对模型中的知 识进行解构表征, 实现模型的可解释, 这种方法是 对模型的隐藏知识进行逐步解释。 2.2.3 可解释模型 随着迁移学习的发展, 不仅能够实现模型结构 的迁移, 我们也可以将模型的可解释性进行迁移。利 用具有可解释性的模型, 比如线性模型、决策树模型, 通过将黑盒的深度学习模型迁移到这些可解释的模 型中, 从而可以解构这些不可解释的模型。 (1) 线性模型 理解预测结果背后的原因对于评估模型的可信 度很重要, 直接影响人工智能模型的实际应用, 而 且有助于把不可信的模型或者决策结果变成可信的 当人工智能模型用于社会中的实际问题时, 决策结 果的可信度就非常重要。比如人工智能用于医疗诊