第17卷第5期 智能系统学报 Vol.17 No.5 2022年9月 CAAI Transactions on Intelligent Systems Sep.2022 D0:10.11992/tis.202107026 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.tp.20220512.1332.002.html 融合外部知识的输电线路多金具解耦检测方法 翟永杰'，王乾铭，杨旭，赵振兵2，赵文清 (1.华北电力大学控制与计算机工程学院，河北保定071003：2.华北电力大学电气与电子工程学院，河北保 定071003) 摘要：为了有效解决输电线路多金具检测过程中存在的目标密集和目标间相互遮挡的问题，提出了融合外部 知识的多目标解耦检测方法(external knowledge decoupling R-CNN,EKDR-CNN)。首先通过深入分析金具数据 集的领域规则和图像信息，提取出共现和空间知识：然后使用图神经网络方法建立共现和空间知识推理模型， 将外部知识进行实例化表达：最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习。在实验阶 段，对具有14类金具的数据集，进行多种定性和定量实验。对比实验表明，EKDR-CNN的检测效果优于其他 先进目标检测模型，与原有基线模型相比，准确率提高6.6%：定性实验表明算法能够解决目标遮挡的问题，实 现密集目标的检测：消融实验表明，每种模块对模型的检测效果均有一定的提升。 关键词：输电线路；金具；深度学习；目标检测；共现知识；空间知识；知识推理模块；解耦检测 中图分类号：TP18文献标志码：A文章编号：1673-4785(2022)05-0980-10 中文引用格式：翟永杰，王乾铭，杨旭，等.融合外部知识的输电线路多金具解耦检测方法.智能系统学报，2022,17(5)： 980-989. 英文引用格式：ZHAI Yongjie,,WANG Qianming,YANG Xu,.ctal.A multi-fitting decoupling detection method for transmission lines based on external knowledgeJ.CAAI transactions on intelligent systems,2022,17(5):980-989. A multi-fitting decoupling detection method for transmission lines based on external knowledge ZHAI Yongjie',WANG Qianming',YANG Xu',ZHAO Zhenbing,ZHAO Wenqing' (1.School of Control and Computer Engineering,North China Electric Power University,Baoding 071003,China;2.School of Elec- trical and Electronic Engineering,North China Electric Power University,Baoding 071003,China) Abstract:This paper proposes a multi-object decoupling detection method based on external knowledge(EKD R-CNN) to effectively solve the problems of object density and mutual occlusion in the process of multi-fitting detection of trans- mission lines.First,the domain rules and image information of the fittings datasets are deeply analyzed to extract the co- occurrence and spatial knowledge;then,graph neural network methods are used to build co-occurrence and spatial knowledge reasoning models,to instantiate and express external knowledge;finally,the decoupling module is em- ployed to train and learn the fittings detection task in an uncoupled way.Multiple qualitative and quantitative experi- ments are conducted on datasets with 14 types of fittings in the experiment phase.The contrast experiment shows that the detection effect of EKD R-CNN is better than that of other advanced object detection models and that compared with the original baseline model,the detection accuracy of the algorithm is increased by 6.6%;the qualitative experiments suggest that the proposed algorithm can solve the problem of object occlusion,and the ablation experiment indicates that each module improves the detection effect of the model to a certain extent. Keywords:transmission line;fitting;deep learning;object detection;co-occurrence knowledge;spatial knowledge; knowledge reasoning module;decoupling detection 近年来，随着电力系统规模和城市建设的不 收稿日期：2021-07-15.网络出版日期：2022-05-13. 基金项目：国家自然科学基金项目(61773160,61871182)：北京 断发展，输电线路逐渐覆盖了苛刻的环境和复杂 市自然科学基金项目(4192055)：河北省自然科学基 地形的区域。输电线路是电力系统的重要组成 金项目(F2021502013,F2020502009,F2021502008). 通信作者：赵振兵.E-mail:zhaozhenbing(@ncepu..edu.cn. 部分。金具是输电线路中广泛使用的铁制或铝制
DOI: 10.11992/tis.202107026 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.tp.20220512.1332.002.html 融合外部知识的输电线路多金具解耦检测方法 翟永杰1 ，王乾铭1 ，杨旭1 ，赵振兵2 ，赵文清1 （1. 华北电力大学 控制与计算机工程学院, 河北 保定 071003; 2. 华北电力大学 电气与电子工程学院, 河北 保 定 071003） 摘 要：为了有效解决输电线路多金具检测过程中存在的目标密集和目标间相互遮挡的问题，提出了融合外部 知识的多目标解耦检测方法 (external knowledge decoupling R-CNN, EKD R-CNN)。首先通过深入分析金具数据 集的领域规则和图像信息，提取出共现和空间知识；然后使用图神经网络方法建立共现和空间知识推理模型， 将外部知识进行实例化表达；最后使用解耦模块将金具检测任务以非耦合的方式进行训练和学习。在实验阶 段，对具有 14 类金具的数据集，进行多种定性和定量实验。对比实验表明，EKD R-CNN 的检测效果优于其他 先进目标检测模型，与原有基线模型相比，准确率提高 6.6%；定性实验表明算法能够解决目标遮挡的问题，实 现密集目标的检测；消融实验表明，每种模块对模型的检测效果均有一定的提升。 关键词：输电线路；金具；深度学习；目标检测；共现知识；空间知识；知识推理模块；解耦检测 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2022)05−0980−10 中文引用格式：翟永杰, 王乾铭, 杨旭, 等. 融合外部知识的输电线路多金具解耦检测方法 [J]. 智能系统学报, 2022, 17(5): 980–989. 英文引用格式：ZHAI Yongjie, WANG Qianming, YANG Xu, et al. A multi-fitting decoupling detection method for transmission lines based on external knowledge[J]. CAAI transactions on intelligent systems, 2022, 17(5): 980–989. A multi-fitting decoupling detection method for transmission lines based on external knowledge ZHAI Yongjie1 ，WANG Qianming1 ，YANG Xu1 ，ZHAO Zhenbing2 ，ZHAO Wenqing1 (1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China; 2. School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China) Abstract: This paper proposes a multi-object decoupling detection method based on external knowledge (EKD R-CNN) to effectively solve the problems of object density and mutual occlusion in the process of multi-fitting detection of transmission lines. First, the domain rules and image information of the fittings datasets are deeply analyzed to extract the cooccurrence and spatial knowledge; then, graph neural network methods are used to build co-occurrence and spatial knowledge reasoning models, to instantiate and express external knowledge; finally, the decoupling module is employed to train and learn the fittings detection task in an uncoupled way. Multiple qualitative and quantitative experiments are conducted on datasets with 14 types of fittings in the experiment phase. The contrast experiment shows that the detection effect of EKD R-CNN is better than that of other advanced object detection models and that compared with the original baseline model, the detection accuracy of the algorithm is increased by 6.6%; the qualitative experiments suggest that the proposed algorithm can solve the problem of object occlusion, and the ablation experiment indicates that each module improves the detection effect of the model to a certain extent. Keywords: transmission line; fitting; deep learning; object detection; co-occurrence knowledge; spatial knowledge; knowledge reasoning module; decoupling detection 近年来，随着电力系统规模和城市建设的不 断发展，输电线路逐渐覆盖了苛刻的环境和复杂 地形的区域[1]。输电线路是电力系统的重要组成 部分。金具是输电线路中广泛使用的铁制或铝制 收稿日期：2021−07−15. 网络出版日期：2022−05−13. 基金项目：国家自然科学基金项目 (61773160, 61871182)；北京 市自然科学基金项目 (4192055)；河北省自然科学基 金项目 (F2021502013, F2020502009, F2021502008). 通信作者：赵振兵. E-mail：zhaozhenbing@ncepu.edu.cn. 第 17 卷第 5 期 智 能 系 统 学 报 Vol.17 No.5 2022 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2022
·981· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 金属附件，种类繁多，功能多样，主要用于支持、 的检测目标大多为单类金具目标图像，不适用在 固定、接续裸导线、导体及绝缘子等。因此输电 多金具检测的场景中。 线路的安全保障的重要环节就是对输电线路金具 本文面向多金具目标检测需求，针对由于目 的运维和保障。当前输电线路运维方式主要依靠 标密集导致金具之间存在相互遮挡的问题，提出 无人机航拍获得金具图像，凭借着基于机器视觉 了融合外部知识的多金具解耦检测模型(external 的图像处理技术对航拍图像和视频自动化处理。 knowledge decouping R-CNN,EKDR-CNN),通过 对于输电线路金具目标精确定位和识别是对金具 深入挖掘金具目标间共现与空间关系，使用图学 运行状态研判的前提，因此综合检测多类金具算 习方法增强被遮挡金具的视觉特征，促进知识的 法的研究具有极高价值。 实例化表达，并使用解耦模块将分类和回归任务 输电线路部件的识别与检测任务引起了众多 分离训练，从而提高金具检测的性能。 学者的关注。传统图像处理方法通过设计目标特 1相关工作 征将图像识别任务进行多阶段处理。文献[5]利 用对形状的特征描述，实现了对绝缘子轮廓的识 1.1融入知识的深度学习模型 别。文献[6-8]实现了基于形态学特征的输电线 在计算机视觉任务中，图像本身含有丰富的语 路部件的特征提取与识别。文献[9-10]通过特征 义知识和常识知识，图像中的对象与对象之间往 提取、图像分割分别实现了对于绝缘子及防振锤 往会存在某种联系，近些年来，一些基于深度学 的定位和识别。传统图像处理方法需要多阶段处 习的方法已经尝试将这些关系信息利用到计算机 理图像特征，操作步骤繁琐且冗余，而且传统算 视觉任务中，例如目标检测、视觉推理和场景图 法一般只能针对单一目标和缺陷进行识别，难以 生成等任务。Hu等1提出目标关系网络，使用 投入实际应用。基于机器学习方法使用人工特征 自注意力机制对目标之间关系进行建模，通过寻 提取以及多种机器学习算法相结合的方法进行金 找目标细节特性的相似关系来增强视觉特征。Chn 具识别。文献[11]通过聚合复频域特征以及多尺 等6通过空间记忆网络(spatial memory network, 度通道特征，实现防震锤的检测，该算法在一定 SMN)提取空间模式，实现了实例级上下文和目标 程度上提高了在复杂背景下对防震锤检测的精 关系的建模。Zeng等叨提出了一种新颖的门控 度。文献[12]提出利用层次模型提取多目标之间 双向网铬(gated bi-directional net,,GBDNet),使用 的约束关系，并提出了多向判别路径的方法，实 门控机制将信息在不同的区域之间进行传递，从 现了防震锤目标的状态研判。机器学习算法需要 而整合局部和全局上下文的视觉特征。翟永杰等网 人工构建目标特征，并且容易受到各种复杂外部 从金具之间的共现连接出发，统计对象与对象之 环境的影响，因此在检测性能上仍有很大的提升 间的共现频率作为显式外部知识，首次将共现知 空间。与以上两种方法相比，深度学习方法通过 识引入到输电线路金具目标检测模型中。 端到端的方法自主学习图像特征，具有操作简单， 1.2图神经网络模型 特征提取能力强的优点。文献[I3]基于Faster R- 对于引入外部知识的目标检测模型，如何将 CNN模型对电力部件进行检测，通过调整卷积神 抽象知识实例化并融合进端到端网络中是该类模 经网络(convolutional neural networks,,CNN)的卷 型的研究重点。Jiang等u提出了有监督的图学 积核大小以及图像增强方法，在一定程度上提高 习网络模型，使用了一种知识路由的方式将外部 了模型的检测精度；文献[14]使用YOLOv3模型 知识融入到深度模型中。另外基于拓扑结构实现 对目标进行分解和聚合实现了对航拍图像中绝缘 图结构数据学习与推理的图神经网络的提出为上 子的识别和定位。上述工作主要是从航拍图像本 述问题提供了解决办法。图神经网络(graph neur-- 身特征出发，针对目前的深度学习模型做适应性 al networks,GNNs)P2o是在递归神经网络的基础上 研究，然而仅研究图像特征并不能较好地解决金 首次提出的，用于处理以图结构数据的表示和学 具检测本身存在的目标密集问题。 习。受CNN架构成功的启发，Defferrard2设计 由于金具在输电线路结构中承担着连接、接 了图卷积架构，将卷积运算从传统数据（图像或 续以及保护的功能，因此在输电线路中广泛存在 网格)推广到图形数据。Bruna等22提出了第一 着多种金具相互连接的现象，从而导致无人机航 个基于谱卷积的图神经网络模型，并在谱图理论 拍图像数据中金具目标密集以及金具间相互遮挡 的基础上发展了图的卷积运算。后来，Deffer- 的问题，当前关于输电线路智能巡检的研究工作 rard等2通过使用切比雪夫多项式定义滤波，扩
金属附件，种类繁多，功能多样，主要用于支持、 固定、接续裸导线、导体及绝缘子等[2]。因此输电 线路的安全保障的重要环节就是对输电线路金具 的运维和保障。当前输电线路运维方式主要依靠 无人机航拍获得金具图像，凭借着基于机器视觉 的图像处理技术对航拍图像和视频自动化处理[3]。 对于输电线路金具目标精确定位和识别是对金具 运行状态研判的前提，因此综合检测多类金具算 法的研究具有极高价值[4]。 输电线路部件的识别与检测任务引起了众多 学者的关注。传统图像处理方法通过设计目标特 征将图像识别任务进行多阶段处理。文献 [5] 利 用对形状的特征描述，实现了对绝缘子轮廓的识 别。文献 [6-8] 实现了基于形态学特征的输电线 路部件的特征提取与识别。文献 [9-10] 通过特征 提取、图像分割分别实现了对于绝缘子及防振锤 的定位和识别。传统图像处理方法需要多阶段处 理图像特征，操作步骤繁琐且冗余，而且传统算 法一般只能针对单一目标和缺陷进行识别，难以 投入实际应用。基于机器学习方法使用人工特征 提取以及多种机器学习算法相结合的方法进行金 具识别。文献 [11] 通过聚合复频域特征以及多尺 度通道特征，实现防震锤的检测，该算法在一定 程度上提高了在复杂背景下对防震锤检测的精 度。文献 [12] 提出利用层次模型提取多目标之间 的约束关系，并提出了多向判别路径的方法，实 现了防震锤目标的状态研判。机器学习算法需要 人工构建目标特征，并且容易受到各种复杂外部 环境的影响，因此在检测性能上仍有很大的提升 空间。与以上两种方法相比，深度学习方法通过 端到端的方法自主学习图像特征，具有操作简单， 特征提取能力强的优点。文献 [13] 基于 Faster RCNN 模型对电力部件进行检测，通过调整卷积神 经网络 (convolutional neural networks, CNN) 的卷 积核大小以及图像增强方法，在一定程度上提高 了模型的检测精度；文献 [14] 使用 YOLOv3 模型 对目标进行分解和聚合实现了对航拍图像中绝缘 子的识别和定位。上述工作主要是从航拍图像本 身特征出发，针对目前的深度学习模型做适应性 研究，然而仅研究图像特征并不能较好地解决金 具检测本身存在的目标密集问题。 由于金具在输电线路结构中承担着连接、接 续以及保护的功能，因此在输电线路中广泛存在 着多种金具相互连接的现象，从而导致无人机航 拍图像数据中金具目标密集以及金具间相互遮挡 的问题，当前关于输电线路智能巡检的研究工作 的检测目标大多为单类金具目标图像，不适用在 多金具检测的场景中。 本文面向多金具目标检测需求，针对由于目 标密集导致金具之间存在相互遮挡的问题，提出 了融合外部知识的多金具解耦检测模型 (external knowledge decouping R-CNN, EKD R-CNN)，通过 深入挖掘金具目标间共现与空间关系，使用图学 习方法增强被遮挡金具的视觉特征，促进知识的 实例化表达，并使用解耦模块将分类和回归任务 分离训练，从而提高金具检测的性能。 1 相关工作 1.1 融入知识的深度学习模型 在计算机视觉任务中，图像本身含有丰富的语 义知识和常识知识，图像中的对象与对象之间往 往会存在某种联系，近些年来，一些基于深度学 习的方法已经尝试将这些关系信息利用到计算机 视觉任务中，例如目标检测、视觉推理和场景图 生成等任务。Hu 等 [15] 提出目标关系网络，使用 自注意力机制对目标之间关系进行建模，通过寻 找目标细节特性的相似关系来增强视觉特征。Chen 等 [16] 通过空间记忆网络 (spatial memory network, SMN) 提取空间模式,实现了实例级上下文和目标 关系的建模。Zeng 等 [17] 提出了一种新颖的门控 双向网络 (gated bi-directional net, GBDNet)，使用 门控机制将信息在不同的区域之间进行传递，从 而整合局部和全局上下文的视觉特征。翟永杰等[18] 从金具之间的共现连接出发，统计对象与对象之 间的共现频率作为显式外部知识，首次将共现知 识引入到输电线路金具目标检测模型中。 1.2 图神经网络模型 对于引入外部知识的目标检测模型，如何将 抽象知识实例化并融合进端到端网络中是该类模 型的研究重点。Jiang 等 [19] 提出了有监督的图学 习网络模型，使用了一种知识路由的方式将外部 知识融入到深度模型中。另外基于拓扑结构实现 图结构数据学习与推理的图神经网络的提出为上 述问题提供了解决办法。图神经网络 (graph neural networks, GNNs)[20] 是在递归神经网络的基础上 首次提出的，用于处理以图结构数据的表示和学 习。受 CNN 架构成功的启发，Defferrard[21] 设计 了图卷积架构，将卷积运算从传统数据 (图像或 网格) 推广到图形数据。Bruna 等 [22] 提出了第一 个基于谱卷积的图神经网络模型，并在谱图理论 的基础上发展了图的卷积运算。后来，Defferrard 等 [21] 通过使用切比雪夫多项式定义滤波，扩 ·981· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期
第17卷 智能系统学报 ·982· 展了谱CNN的快速局部化卷积。Kipf等21通过 景问题的影响较大，仅仅依靠图像的特征对金具 简化谱图卷积的一阶近似模型，正式提出了GCN 进行识别是比较困难的。根据输电线路金具之间 的概念，从而得到了更有效的滤波操作。Velickovic 的组合规则，构建共现关系连接矩阵，形成共现 等2！将注意力机制应用到图神经网络聚合邻居 知识，通过识别一些比较容易检测的大尺寸金具， 的操作中，提出了对节点特征敏感的图注意力机 再借助金具之间的共现知识，从而推理出隐匿在 制(graph attention network,GAT)。图注意力机制 密集目标中的难以识别的金具。因此共现知识能 能够关注节点之间的相似度，从而增加一种有效 够有效地提高金具检测任务中的识别分类问题。 的边权重。 1.3基于解耦原理的目标检测模型 目标检测是一种分类和回归的多任务学习问 题，然而大多数目标检测模型都是共享头部检测 网络同时进行分类和边界框回归的任务，往往存 在两种任务相互影响的问题，Jiang等首先提出 (a)单联悬垂结构 (b)防舞动结构 了这个问题：生成较好分类分数的视觉特征无法 同时生成精度较高的边界框，候选框的分类置信 度与定位置信度存在偏差，因此文中提出了新的 检测网络IoU-Net生成定位置信度来学习预测候 选框，获取位置更精确的回归框，并将定位回归 问题作为优化任务进行处理，从而实现了更精确 (c)V型悬垂结构 (d均压屏蔽结构 的检测效果。Wu等2提出了Double-Head网络 图1金具常见组合结构 将分类和定位分成两个任务，采用了不同的分支 Fig.1 Examples of common hardware combinations 检测网络进行训练，通过实验证明了FC-head对 2.2空间结构特点 于空间具有敏感性，适合处理图像的识别和分类 在金具航拍图像中，由于多类金具的尺寸较 任务，而Conv-head更适合对目标框的定位和回 小，并且连接金具和接续金具需要连接各种电气 归任务。Song等2)针对分类和回归任务不对齐 元件，因此金具数据集中的目标分布密集，存在 的问题，提出了任务感知空间解耦算子(task- 相互遮挡的问题。图1展示了金具结构具有一定 aware spatial disentanglement,.TSD)来处理任务冲 的组合规则，属于同一种结构的金具能够给通过 突问题，并进一步提出了渐进约束方法来弥补 共现知识进行互相的推理和识别，但共现知识推 TSD和经典检测器网络的差距，通过实验证明了 理模型能够促进深度模型识别金具类别，并不能 两个任务分支都均能提高分类和定位的精度。 更好地辅助模型进行定位。金具与金具之间由于 一些固定组合结构的原因会导致相互遮挡，而这 2输电线路金具特点 种在空间位置上的遮挡关系可以作为一种上下文 2.1共现特点 信息来辅助模型进行定位。比如在防舞动结构 在架空输电线路的设计和建造过程中，为了 中，重锤作为增加绝缘子串垂直荷重或防止导线 达到标准的电气要求和安装规范，输电线路金具 振动的防护金具，往往3个及以上的提包式悬垂 往往具有一定的组合规则和结构。如图1所示， 线夹与导线连接，现有金具检测数据集中大部分 由提包式悬垂线夹、山型挂环、联板和均压环组成 的重锤目标的标注框中都包含了部分提包式悬垂 单联悬垂结构；由提包式悬垂线夹、联板和重锤 线夹目标，并且提包式悬垂线夹的目标框往往会 组成防舞动结构；由提包式悬垂线夹、联板和均 均匀分布在重锤目标的四周。因此金具与金具之 压环组成V型悬垂结构；由锲型耐张线夹、联板、 间的空间关系信息能够辅助模型进行目标定位。 调整板和屏蔽环组成均压屏蔽环结构。 3研究方法 由于金具之间存在的固定组合结构，因此根 据金具与金具之间的共现知识辅助模型进行 本文总体网络架构如图2所示，首先将金具 检测。具体来说，由于金具在识别的过程中，受 航拍图像作为输入，通过卷积神经网络提取基础 到复杂背景的影响，一些金具由于尺寸较小经常 特征，通过区域建议网络模块(RPN)从基础特征 会隐匿在自然环境或者其他部件中，受到复杂背 中得到的区域建议框。然后从航拍图像数据集中
展了谱 CNN 的快速局部化卷积。Kipf 等 [23] 通过 简化谱图卷积的一阶近似模型，正式提出了 GCN 的概念，从而得到了更有效的滤波操作。Veličković 等 [24] 将注意力机制应用到图神经网络聚合邻居 的操作中，提出了对节点特征敏感的图注意力机 制 (graph attention network, GAT)。图注意力机制 能够关注节点之间的相似度，从而增加一种有效 的边权重。 1.3 基于解耦原理的目标检测模型 目标检测是一种分类和回归的多任务学习问 题，然而大多数目标检测模型都是共享头部检测 网络同时进行分类和边界框回归的任务，往往存 在两种任务相互影响的问题，Jiang 等 [25] 首先提出 了这个问题：生成较好分类分数的视觉特征无法 同时生成精度较高的边界框，候选框的分类置信 度与定位置信度存在偏差，因此文中提出了新的 检测网络 IoU-Net 生成定位置信度来学习预测候 选框，获取位置更精确的回归框，并将定位回归 问题作为优化任务进行处理，从而实现了更精确 的检测效果。Wu 等 [26] 提出了 Double-Head 网络 将分类和定位分成两个任务，采用了不同的分支 检测网络进行训练，通过实验证明了 FC-head 对 于空间具有敏感性，适合处理图像的识别和分类 任务，而 Conv-head 更适合对目标框的定位和回 归任务。Song 等 [27] 针对分类和回归任务不对齐 的问题，提出了任务感知空间解耦算子 (taskaware spatial disentanglement, TSD) 来处理任务冲 突问题，并进一步提出了渐进约束方法来弥补 TSD 和经典检测器网络的差距，通过实验证明了 两个任务分支都均能提高分类和定位的精度。 2 输电线路金具特点 2.1 共现特点 在架空输电线路的设计和建造过程中，为了 达到标准的电气要求和安装规范，输电线路金具 往往具有一定的组合规则和结构。如图 1 所示， 由提包式悬垂线夹、u 型挂环、联板和均压环组成 单联悬垂结构；由提包式悬垂线夹、联板和重锤 组成防舞动结构；由提包式悬垂线夹、联板和均 压环组成 V 型悬垂结构；由锲型耐张线夹、联板、 调整板和屏蔽环组成均压屏蔽环结构。 由于金具之间存在的固定组合结构，因此根 据金具与金具之间的共现知识辅助模型进行 检测。具体来说，由于金具在识别的过程中，受 到复杂背景的影响，一些金具由于尺寸较小经常 会隐匿在自然环境或者其他部件中，受到复杂背 景问题的影响较大，仅仅依靠图像的特征对金具 进行识别是比较困难的。根据输电线路金具之间 的组合规则，构建共现关系连接矩阵，形成共现 知识，通过识别一些比较容易检测的大尺寸金具， 再借助金具之间的共现知识，从而推理出隐匿在 密集目标中的难以识别的金具。因此共现知识能 够有效地提高金具检测任务中的识别分类问题。 (a) 单联悬垂结构 (c) V 型悬垂结构 (d) 均压屏蔽结构 (b) 防舞动结构 图 1 金具常见组合结构 Fig. 1 Examples of common hardware combinations 2.2 空间结构特点 在金具航拍图像中，由于多类金具的尺寸较 小，并且连接金具和接续金具需要连接各种电气 元件，因此金具数据集中的目标分布密集，存在 相互遮挡的问题。图 1 展示了金具结构具有一定 的组合规则，属于同一种结构的金具能够给通过 共现知识进行互相的推理和识别，但共现知识推 理模型能够促进深度模型识别金具类别，并不能 更好地辅助模型进行定位。金具与金具之间由于 一些固定组合结构的原因会导致相互遮挡，而这 种在空间位置上的遮挡关系可以作为一种上下文 信息来辅助模型进行定位。比如在防舞动结构 中，重锤作为增加绝缘子串垂直荷重或防止导线 振动的防护金具，往往 3 个及以上的提包式悬垂 线夹与导线连接，现有金具检测数据集中大部分 的重锤目标的标注框中都包含了部分提包式悬垂 线夹目标，并且提包式悬垂线夹的目标框往往会 均匀分布在重锤目标的四周。因此金具与金具之 间的空间关系信息能够辅助模型进行目标定位。 3 研究方法 本文总体网络架构如图 2 所示，首先将金具 航拍图像作为输入，通过卷积神经网络提取基础 特征，通过区域建议网络模块 (RPN) 从基础特征 中得到的区域建议框。然后从航拍图像数据集中 第 17 卷 智 能 系 统 学 报 ·982·
·983· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第5期 提取出共现知识和空间知识，并分别引入到共现 关系图，并使用对应的图学习方法进行知识推 和空间知识推理模块中。之后，将这些外部知识 理。最后将知识推理模块生成的增强特征层输入 通过映射的方式进行实例化作为图结构的边，将 到解耦模块中，解耦模块使用分类和回归框检测 RPN模块得到的区域建议框作为节点，构成拓扑 器分别进行金具识别和定位任务。 空间和顶推理模项 共现知识推理模块 CNN 输电部件 生成共现图 共现关系 RPN模块 司同胃易 空间重叠关系 视觉节点特征GAT,(CnX,w) ECRN 区域 建议图 GCN (.W) 基础特征 节点特征计算GAT,GXm) Conv层 FC层 090… 000…母 空间增强特征 共现增强特征 解耦检测模块 Shielded ring Compression-type strain clamp 金 Compression-type strain clamp RCNN Bbox RCNN CIs Yoke plate 定 良 u-type hanging ring 识 Hanging ring Adjusting board 别 图2本文模型网络结构图 Fig.2 Network structure of proposed model 3.1共现推理模块 3.1.1共现知识提取 HKRM模型叨基于常识知识提取了提取物 悬望餐葵」 1.0 体间的共现信息，但是该模型认为物体之间的共 悬黌突 现信息是对等的，而这种对等共现信息并不能适 题 用于样本分布不平衡的数据中。本文在构建金具 耐张垫乳 目标的共现知识时充分考虑了物体本身的出现频 挂板 u型挂环 06 率，以条件概率的方式有效表达金具目标之间的 联板 共现知识。 并沟线夹 防震锤 首先，本文统计了每种金具与其他金具在同 间隔棒 张图片中共同出现的频率，得到了共现频率矩 均压环 阵N∈Rcxc,其中C为总类别个数，如图3所示。之 屏蔽环 02 后计算每两种目标之间的共现概率，使用条件概 重锤 调整板 率来表示，即P(ffa,计算公式如下： PiB-Pf_aN_N山 图3共现概率矩阵 P(f8)Ni/Na Ni (1) Fig.3 Co-occurrence probability matrix 式中：Wha为两金具同时出现的次数；6为金具 3.1.2共现推理模块 fs出现的次数；N为所有图片的个数。因此对共 翟永杰等提出了一种有监督的图学习方法 现频率矩阵进行归一化得到共现概率矩阵，共现 进行共现知识的实例化表达和推理，然而这种方 概率矩阵的热点图如图3所示。 法把图学习任务当作回归问题进行处理，使用
提取出共现知识和空间知识，并分别引入到共现 和空间知识推理模块中。之后，将这些外部知识 通过映射的方式进行实例化作为图结构的边，将 RPN 模块得到的区域建议框作为节点，构成拓扑 关系图，并使用对应的图学习方法进行知识推 理。最后将知识推理模块生成的增强特征层输入 到解耦模块中，解耦模块使用分类和回归框检测 器分别进行金具识别和定位任务。 空间知识推理模块 空间重叠关系 εs ϵRNr×Nr GCNs (εs , X, ws ) GAT1 (εT , X, wk1 ) GAT3 (εT , X, wk3 ) CNN RPN 模块 空间增强特征 ... ... ... ... ... ... ... ... X X f ϕ ( f ) 基础特征 区域 建议图 节点特征计算 金 具 定 位 金 具 识 别 Conv 层 RCNN_Bbox RCNN_Cls 解耦检测模块 FC 层 共现知识推理模块 输电部件 共现关系 z1 z2 z3 zn 视觉节点特征 εT εT 生成共现图 共现增强特征 Shielded ring Compression-type strain clamp Compression-type strain clamp Yoke plate u-type hanging ring Hanging ring Adjusting board 图 2 本文模型网络结构图 Fig. 2 Network structure of proposed model 3.1 共现推理模块 3.1.1 共现知识提取 HKRM 模型[19] 基于常识知识提取了提取物 体间的共现信息，但是该模型认为物体之间的共 现信息是对等的，而这种对等共现信息并不能适 用于样本分布不平衡的数据中。本文在构建金具 目标的共现知识时充分考虑了物体本身的出现频 率，以条件概率的方式有效表达金具目标之间的 共现知识。 N ∈ R C×C C P( fA| fB) 首先，本文统计了每种金具与其他金具在同 一张图片中共同出现的频率，得到了共现频率矩 阵 ，其中 为总类别个数，如图 3 所示。之 后计算每两种目标之间的共现概率，使用条件概 率来表示，即 ，计算公式如下： P( fA| fB)= P(fA, fB) P(fB) = N(fA, fB)/Nall NfB /Nall = N(fA, fB) NfB (1) N(fA, fB) NfB fB Nall 式中： 为两金具同时出现的次数； 为金具 出现的次数； 为所有图片的个数。因此对共 现频率矩阵进行归一化得到共现概率矩阵，共现 概率矩阵的热点图如图 3 所示。 预绞式 悬垂线夹 提包式 悬垂线夹 压缩型 耐张线夹 锲型 耐张线夹 挂板 u 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 预绞式 悬垂线夹 提包式 悬垂线夹 压缩型 耐张线夹 锲型耐张线夹 挂板 u 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 1.0 0.8 0.6 0.4 0.2 0 图 3 共现概率矩阵 Fig. 3 Co-occurrence probability matrix 3.1.2 共现推理模块 翟永杰等[18] 提出了一种有监督的图学习方法 进行共现知识的实例化表达和推理，然而这种方 法把图学习任务当作回归问题进行处理，使用 ·983· 翟永杰，等：融合外部知识的输电线路多金具解耦检测方法 第 5 期
第17卷 智能系统学报 ·984· L1范式来计算节点之间的相似度，对目标与目标 3.2空间推理模块 之间的共现关系进行有监督的训练，并没有真正 3.2.1空间知识提取 学习到拓扑关系图的图结构特征。因此本文使用 当金具之间存在遮挡时，其目标框之间会存 对节点特征更敏感的GAT来学习图结构的特征， 在交叉和重叠的现象，因此，目标框与目标框之 使用图神经网络进行图推理的过程中，节点的信 间的交并比(intersection over union,IoU的大小能 息能够通过边进行传递，从而对图中节点之间的 够反映出金具之间的遮挡关系。比如在单联悬垂 依赖关系进行建模。 结构和防舞动结构中，联板和重锤往往与提包式 具体实现流程如图1中的共现知识推理模 悬垂线夹相连，使目标框有交叉；在均压屏蔽结 块，首先设f=(f,∈RD为是从骨干网络中提 构中，由于屏蔽环的尺寸较大，因此屏蔽环的目 取出的高维特征，其中D,为base feature的维度， 标框往往会覆盖着联板、挂板、u型挂环以及耐张 通过线性变换操作z=()将视觉特征f转化为区 线夹等金具的目标框。具体的知识提取方式就是 域关系图的节点特征z={z,za∈R,D为图节点 统计金具数据集中各个类别之间的目标框的 特征的维度，引入这种图节点特征，能够使模块 IoU,IoU的计算公式如下： 能够更深化表达视觉空间中的共现关系。为了深 IoU=AnB (7) 度学习模型能够充分表达金具共现知识，本文使 AUB 用了对节点特征敏感的图注意力机制对共现关系 通过计算电力部件数据集中各个类别目标框 图结构进行建模。 的IoU均值，得到C×C的IoU空间关系矩阵，其 图注意力机制的图卷积形式定义为 中，C为类别个数。 3.2.2空间推理模块 (2) 为了有效表达空间重叠知识，本文构建了空 间推理模块如图1所示，与共现推理模块类似，首 式中：图卷积网络的输人和输出分别是X和X1, 先将类别之间的关系进行映射，得到区域建议框 x1eR",o为LeakyReLU激活函数，a为注意 之间的关系，得到了ε图结构。为了使模型能够 力权重，WeR"x为第1层节点特征变换的权 针对不同的图像目标自适应地获取空间信息，本 重参数。 文引入了图卷积网络(graph convolutional network, 设中心节点为，则邻居节点v,到y的权重系 GCN)模块对空间知识进行图推理学习，对于 数为 GCN模型来说，它更注重学习拓扑图的结构，其 e=a(WXi,WX (3) 中GCN模块的输入是区域建议框的特征向量 其中e,是计算两个节点相关度的函数，本文按照 XER,xD。最后使用全连接的方式，将输出的两 文献[24]的做法，定义这一种神经网络层进行相 种图结构特征向量进行融合，生成空间知识增强 关度计算，最终本文的权重系数计算公式为 特征层。 e=(a'[WXillWX ] 4) 对于图卷积模块，给定一个图信号x∈R,拉 其中参数a∈R,为了更有效地分配权重，本文 普拉斯矩阵可以表示为L=Iw-D-1PAD2,其中 将所有邻居节点的相关度进行归一化处理，具体 A是邻接矩阵，D是度矩阵，图卷积等价于x与滤 形式为softmax归一化： 波核g在频谱域中的乘积，并在此基础上进行傅里 exp((a[WX:llWX;])) (5) 叶变换，图卷积的矩阵向量形式可以表示如下： exp((a'[WXilWx l)) x*go=UGo(A)Ux=Go(UAU)x=Go(L)x (8) 为了更进一步提升图注意力层的表达能力， 式中：U是度矩阵，它的列向量是L=UAU严特征分 本文加入了多头注意力机制，使用了K组相互独 解之后的特征值，G(L)是一个对角矩阵，对象元 立的注意力层，然后将其进行级联： 素是由函数特征值0参数化，在此基础上，根据图 x=(∑en哈w (6) 拉普拉斯的切比雪夫展开，可以得到 式中：‖表示级联操作；α是第k组注意力机制计 x*go(IN+D-IRAD-IP)x (9) 算出的权重系数；W是对应的学习参数。多个彼 式(9)表示图卷积的一阶近似形式，最终可以得 此独立的注意力机制层，使模型能够将注意力的 到图卷积网络的一般形式： 分配集中在中心节点与相邻节点之间的多处相干 XI=σ(AX'W (10) 的特征上，从而学习到效果更好的增强特征。 式中：A是带有自连接的标准化邻接矩阵：和
L1 范式来计算节点之间的相似度，对目标与目标 之间的共现关系进行有监督的训练，并没有真正 学习到拓扑关系图的图结构特征。因此本文使用 对节点特征更敏感的 GAT 来学习图结构的特征， 使用图神经网络进行图推理的过程中，节点的信 息能够通过边进行传递，从而对图中节点之间的 依赖关系进行建模。 f = {fi} Nr i=1 fi ∈ R Db Db z = ϕ(f) f z = {zi} Nr i=1 zi ∈ R Dz Dz 具体实现流程如图 1 中的共现知识推理模 块，首先设 ， 为是从骨干网络中提 取出的高维特征，其中 为 base feature 的维度， 通过线性变换操作 将视觉特征 转化为区 域关系图的节点特征 ， ， 为图节点 特征的维度，引入这种图节点特征，能够使模块 能够更深化表达视觉空间中的共现关系。为了深 度学习模型能够充分表达金具共现知识，本文使 用了对节点特征敏感的图注意力机制对共现关系 图结构进行建模。 图注意力机制的图卷积形式定义为 X l+1 = σ ∑ vj∈Nvi αi jWlX l (2) X l X l+1 X l+1 ∈ R D (l+1) t σ αi j Wl ∈ R D (l+1) t ×D (l) t 式中：图卷积网络的输入和输出分别是 和 ， ， 为 LeakyReLU 激活函数， 为注意 力权重， 为第 l 层节点特征变换的权 重参数。 设中心节点为 vi，则邻居节点 vj 到 vi的权重系 数为 ei j = a(WXi ,WXj) (3) 其中 ei j 是计算两个节点相关度的函数，本文按照 文献 [24] 的做法，定义这一种神经网络层进行相 关度计算，最终本文的权重系数计算公式为 ei j = σ(a T [WXi ||WXj]) (4) a ∈ R 2D (l) 其中参数 t ，为了更有效地分配权重，本文 将所有邻居节点的相关度进行归一化处理，具体 形式为 softmax 归一化： αi j = exp(σ(a T [WXi ||WXj])) ∑ vj∈Nvi exp(σ(a T [WXi ||WXj])) (5) 为了更进一步提升图注意力层的表达能力， 本文加入了多头注意力机制，使用了 K 组相互独 立的注意力层，然后将其进行级联： X l+1 i = ||K k=1σ (∑ vj∈N(vi) α (k) i j W(k)X l j ) (6) α (k) i j W(k) 式中：||表示级联操作； 是第 k 组注意力机制计 算出的权重系数； 是对应的学习参数。多个彼 此独立的注意力机制层，使模型能够将注意力的 分配集中在中心节点与相邻节点之间的多处相干 的特征上，从而学习到效果更好的增强特征。 3.2 空间推理模块 3.2.1 空间知识提取 当金具之间存在遮挡时，其目标框之间会存 在交叉和重叠的现象，因此，目标框与目标框之 间的交并比 (intersection over union, IoU) 的大小能 够反映出金具之间的遮挡关系。比如在单联悬垂 结构和防舞动结构中，联板和重锤往往与提包式 悬垂线夹相连，使目标框有交叉；在均压屏蔽结 构中，由于屏蔽环的尺寸较大，因此屏蔽环的目 标框往往会覆盖着联板、挂板、u 型挂环以及耐张 线夹等金具的目标框。具体的知识提取方式就是 统计金具数据集中各个类别之间的目标框的 IoU，IoU 的计算公式如下： IoU = A∩ B A∪ B (7) 通过计算电力部件数据集中各个类别目标框 的 IoU 均值，得到 C×C 的 IoU 空间关系矩阵，其 中，C 为类别个数。 3.2.2 空间推理模块 εs X ∈ R Nr×Db 为了有效表达空间重叠知识，本文构建了空 间推理模块如图 1 所示，与共现推理模块类似，首 先将类别之间的关系进行映射，得到区域建议框 之间的关系，得到了 图结构。为了使模型能够 针对不同的图像目标自适应地获取空间信息，本 文引入了图卷积网络 (graph convolutional network, GCN) 模块对空间知识进行图推理学习，对于 GCN 模型来说，它更注重学习拓扑图的结构，其 中 GCN 模块的输入是区域建议框的特征向量 。最后使用全连接的方式，将输出的两 种图结构特征向量进行融合，生成空间知识增强 特征层。 x ∈ R N L = IN − D −1/2AD−1/2 对于图卷积模块，给定一个图信号 ，拉 普拉斯矩阵可以表示为 ，其中 A 是邻接矩阵，D 是度矩阵，图卷积等价于 x 与滤 波核 g 在频谱域中的乘积，并在此基础上进行傅里 叶变换，图卷积的矩阵向量形式可以表示如下： x ∗ gθ = UGθ(Λ)U T x = Gθ(UΛU T )x = Gθ(L)x (8) U L = UΛU T Gθ(L) θ 式中： 是度矩阵，它的列向量是 特征分 解之后的特征值， 是一个对角矩阵，对象元 素是由函数特征值 参数化，在此基础上，根据图 拉普拉斯的切比雪夫展开，可以得到 x ∗ gθ ≈ θ(IN + D −1/2AD−1/2 )x (9) 式 (9) 表示图卷积的一阶近似形式，最终可以得 到图卷积网络的一般形式： X l+1 = σ(AX˜ lWl ) (10) A˜ X 式中： 是带有自连接的标准化邻接矩阵； l 和 第 17 卷 智 能 系 统 学 报 ·984·