【机器学习】融合共现推理的Faster R-CNN输电线路金具检测

第16卷第2期 智能系统学报 Vol.16 No.2 2021年3月 CAAI Transactions on Intelligent Systems Mar.2021 D0:10.11992/tis.202012023 融合共现推理的Faster R-CNN输电线路金具检测 翟永杰'，杨旭，赵振兵2，王乾铭，赵文清 (1.华北电力大学控制与计算机工程学院，河北保定071003,2.华北电力大学电气与电子工程学院，河北保 定071003) 摘要：为促进目标检测模型与电力领域业务知识有机融合，缓解金具样本间长尾分布问题，有效提升输电线 路金具的自动化检测效果，提出了融合共现推理的Faster R-CNN(faster region-based convolutional neural network)输电线路金具检测模型。首先，深入研究输电线路金具结构化组合规则，通过数据驱动的方式以条件 概率对金具目标间的共现连接关系进行有效表达：然后，结合图学习方法，利用学习并映射的共现概率关联作 为共现图邻接矩阵，使用基线模型(Faster R-CNN)提取的特征向量作为图推理输入特征，以自学习的变换矩阵 作为共现图传播权重，完成图信息传播并实现有效的共现推理模型嵌入。实验证明，融合共现推理模块的 Faster R-CNN模型较原始模型提升了6.56%的准确率，对于长尾分布样本中数量较少的金具性能提升尤其显著。 关键词：输电线路：金具；深度学习；目标检测；Faster R-CNN;结构化组装；共现矩阵：共现推理模块 中图分类号：TP18文献标志码：A 文章编号：1673-4785(2021)02-0237-10 中文引用格式：翟永杰，杨旭，赵振兵，等.融合共现推理的Faster R-CNN输电线路金具检测.智能系统学报，2021,16(2： 237-246. 英文引用格式：ZHAI Yongjie,YANG Xu,ZHAO Zhenbing,etal.Integrating co-occurrence reasoning for Faster R-CNN transmis- sion line fitting detection[JI.CAAl transactions on intelligent systems,2021,16(2):237-246. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection ZHAI Yongjie',YANG Xu',ZHAO Zhenbing,WANG Qianming',ZHAO Wenqing (1.School of Control and Computer Engineering,North China Electric Power University,Baoding 071003,China;2.Department, University,School of Electrical and Electronic Engineering,North China Electric Power University,Baoding 071003,China) Abstract:To promote the organic integration of object detection and business knowledge in the electric power field,al- leviate the problem of long-tailed distribution among fitting samples,and effectively improve the automatic detection ef- fect of transmission line fittings,we propose a faster region-based convolutional neural network(Faster R-CNN)trans- mission line fitting detection model based on integrating co-occurrence reasoning.First,the structural combination rule of transmission line fittings is extensively investigated,and the co-occurrence connection relationship between objects is effectively expressed using conditional probability in a data-driven manner.Then,in combination with the graph learn- ing method,the co-occurrence probability association is learned and mapped as the adjacency matrix of the co-occur- rence graph,the feature vector extracted from the baseline model(Faster R-CNN)is used as the graph inference input feature,and the self-learning transformation matrix is used as the propagation weight of the co-occurrence graph to com- plete graph information propagation and realize effective co-occurrence inference model embedding.The experimental results show that the Faster R-CNN integrating co-occurrence reasoning module outperforms the original model by 6.56%,which is particularly significant for performance improvement in terms of transmission line fitting detection with a reduced long-tailed distribution among fitting samples. Keywords:transmission lines;fitting;deep learning;object detection;Faster R-CNN;structured assembly;co-occur- rence matrix;co-occurrence reasoning module 收稿日期：2020-12-15. 基金项目：国家自然科学基金项目(61871182、61773160)：北京 近年来，随着电网高速发展与全面覆盖，输电 市自然料学基金项日(4192055)：河北省自然科学基 金项目(F2020502009). 线路作为电力传输中的核心系统，其稳定运行对 通信作者：赵振兵.E-mail:zhaozhenbing(@ncepu.edu.cn. 电网的安全有着至关重要的影响。其中，金具

DOI: 10.11992/tis.202012023 融合共现推理的 Faster R-CNN 输电线路金具检测 翟永杰1 ，杨旭1 ，赵振兵2 ，王乾铭1 ，赵文清1 （1. 华北电力大学 控制与计算机工程学院，河北 保定 071003; 2. 华北电力大学 电气与电子工程学院，河北 保 定 071003） 摘 要：为促进目标检测模型与电力领域业务知识有机融合，缓解金具样本间长尾分布问题，有效提升输电线 路金具的自动化检测效果，提出了融合共现推理的 Faster R-CNN(faster region-based convolutional neural network) 输电线路金具检测模型。首先，深入研究输电线路金具结构化组合规则，通过数据驱动的方式以条件 概率对金具目标间的共现连接关系进行有效表达；然后，结合图学习方法，利用学习并映射的共现概率关联作 为共现图邻接矩阵，使用基线模型 (Faster R-CNN) 提取的特征向量作为图推理输入特征，以自学习的变换矩阵 作为共现图传播权重，完成图信息传播并实现有效的共现推理模型嵌入。实验证明，融合共现推理模块的 Faster R-CNN 模型较原始模型提升了 6.56% 的准确率，对于长尾分布样本中数量较少的金具性能提升尤其显著。 关键词：输电线路；金具；深度学习；目标检测；Faster R-CNN；结构化组装；共现矩阵；共现推理模块 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2021)02−0237−10 中文引用格式：翟永杰, 杨旭, 赵振兵, 等. 融合共现推理的 Faster R-CNN 输电线路金具检测 [J]. 智能系统学报, 2021, 16(2): 237–246. 英文引用格式：ZHAI Yongjie, YANG Xu, ZHAO Zhenbing, et al. Integrating co-occurrence reasoning for Faster R-CNN transmis￾sion line fitting detection[J]. CAAI transactions on intelligent systems, 2021, 16(2): 237–246. Integrating co-occurrence reasoning for Faster R-CNN transmission line fitting detection ZHAI Yongjie1 ，YANG Xu1 ，ZHAO Zhenbing2 ，WANG Qianming1 ，ZHAO Wenqing1 (1. School of Control and Computer Engineering, North China Electric Power University, Baoding 071003, China; 2. Department, University, School of Electrical and Electronic Engineering, North China Electric Power University, Baoding 071003, China) Abstract: To promote the organic integration of object detection and business knowledge in the electric power field, al￾leviate the problem of long-tailed distribution among fitting samples, and effectively improve the automatic detection ef￾fect of transmission line fittings, we propose a faster region-based convolutional neural network (Faster R-CNN) trans￾mission line fitting detection model based on integrating co-occurrence reasoning. First, the structural combination rule of transmission line fittings is extensively investigated, and the co-occurrence connection relationship between objects is effectively expressed using conditional probability in a data-driven manner. Then, in combination with the graph learn￾ing method, the co-occurrence probability association is learned and mapped as the adjacency matrix of the co-occur￾rence graph, the feature vector extracted from the baseline model (Faster R-CNN) is used as the graph inference input feature, and the self-learning transformation matrix is used as the propagation weight of the co-occurrence graph to com￾plete graph information propagation and realize effective co-occurrence inference model embedding. The experimental results show that the Faster R-CNN integrating co-occurrence reasoning module outperforms the original model by 6.56%, which is particularly significant for performance improvement in terms of transmission line fitting detection with a reduced long-tailed distribution among fitting samples. Keywords: transmission lines; fitting; deep learning; object detection; Faster R-CNN; structured assembly; co-occur￾rence matrix; co-occurrence reasoning module 近年来，随着电网高速发展与全面覆盖，输电 线路作为电力传输中的核心系统，其稳定运行对 电网的安全有着至关重要的影响[1-2]。其中，金具 收稿日期：2020−12−15. 基金项目：国家自然科学基金项目 (61871182、61773160)；北京 市自然科学基金项目 (4192055)；河北省自然科学基 金项目 (F2020502009). 通信作者：赵振兵. E-mail：zhaozhenbing@ncepu.edu.cn. 第 16 卷第 2 期 智 能 系 统 学 报 Vol.16 No.2 2021 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2021

·238· 智能系统学报 第16卷 作为输电线路的重要附件，起到了固定、防护与 Faster R-CNN模型作为目标检测基础框架，利用 接续以及维持整个线路稳定运行的作用3。由 表达金具组合规则的共现矩阵作为先验指导，设 于金具的工作环境往往处在复杂恶劣的野外环 计共现推理模块并嵌入目标检测模型中，进一步 境，极易发生锈蚀、变形、破损等缺陷，因此对输 提高了模型检测的准确性，为输电线路金具运行 电线路进行定期巡检将大大减少输电线路故障的 状态的智能检测提供新的思路。 发生。 随着数字图像处理与无人机监控技术的发 1 研究背景 展，基于航拍图像处理的输电线路金具巡检技术 在输电线路中多种金具的组合结构具有一定 已成功应用1。目前常用的方法可以分为3类： 的规则性，如悬垂绝缘子串系统中，从低压侧到 基于特征描述的算法、基于经典机器学习的算法 高压侧间金具排列结构由绝缘子与均压环和 和基于深度学习的算法。其中，基于特征描述的 U型挂环与挂板、联板依次连接，最终通过悬垂 算法主要利用形状6刀、边缘8、轮廓910等形态学 线夹与高压侧导线相连；而用于避免导线舞动幅 特征，或图形基元川、共生纹理☒等手工特征实 度过大导致线路跳闸的重锤，也上接均压环、下 现对防振锤、绝缘子、间隔棒等输电线路部件的 连悬垂线夹，通过这样的连接方式保证重锤安 特征提取与识别，在实际应用中往往会受到成像 全、有效地增加绝缘子串垂直荷重。输电线路常 条件、外界环境等因素变化的影响，导致金具的 见金具组合结构如图1所示，其中图1(a)和图1(b) 识别可靠性不高，难以满足工业应用要求。基于 分别展示了输电线路悬垂绝缘子结构与防舞动结 经典机器学习算法的金具识别往往通过传统特征 构的部分示例。由图可知，目前输电线路中金具 提取方法与经典线性分类器相结合的方法31完 的组装结构较为固定，具有丰富经验的巡检工人 成金具识别任务。相比于最初的特征描述方法， 只需要通过组装结构就可以判断出被遮挡金具的 机器学习算法在一定程度上提高了可靠性，但模 大致位置。然而，当前的深度检测算法仅对图像 型受到人工构建的限制难以无法深度挖掘样本特 中的物体进行独立检测，没有有效利用目标之间 征，在识别的准确率上仍有很大的提升空间。随 的相互关系。 着深度学习在公开数据集中的流行与发展6，基 于深度学习目标检测算法的金具定位与检测研究 得到了国内外研究学者的广泛关注，如文献[1刀 结合多显著性目标检测技术与逻辑判断对输电线 路金具航拍图像实现目标检测；文献[18]结合输 电线路金具的特征，使用深度可分离卷积与多尺 (a)悬垂绝缘子串结构 度特征融合方法实现绝缘子、悬垂线夹、防震锤 三类部件的识别与检测；文献[19]结合RFB模型 与Focal-.loss损失函数一定程度上缓解了绝缘子 样本不平衡问题，提高了检测速度与准确率；文 献2O]采用ResNet网络对SSD目标检测算法进 行改进，完成了较高检测精度与置信度的绝缘子 (b)防舞动结构 任务。然而，上述工作仅是针对输电线路金具本 图1输电线路常见金具组合结构示例 身特性对目标检测模型进行适用性应用与改进， Fig.1 Examples of common hardware combinations in 未能将模型与电力领域业务知识有效融合。同 transmission lines 时，受限于金具工作环境的特殊性，金具数据集 同时，由于输电线路工作环境的复杂多变，常 往往存在严重的样本不平衡问题，对于某些样本 用金具种类繁多，可分为线夹、连接金具、接续金 较少的金具，单一的深度检测模型不能准确地对 具、防护金具、拉线金具、接触金具、母线金具等 关键部件进行检测。 多个粗粒度类别，每一大类下还有众多细粒度类 为促进深度学习模型与电力领域业务知识有 别。由于多种金具的运行环境与作用各不相同， 机融合，缓解金具样本间样本不平衡问题，本文 因此在输电线路中多个金具的组合结构所需数量 深入研究输电线路金具结构化组合规则，结合输 也往往各有不同，如提包式悬垂线夹常用于多个 电线路航拍图像构建多种金具间的共现矩阵，以 组合结构中连接金具与导线，使用数量与频率都

作为输电线路的重要附件，起到了固定、防护与 接续以及维持整个线路稳定运行的作用[3-4]。由 于金具的工作环境往往处在复杂恶劣的野外环 境，极易发生锈蚀、变形、破损等缺陷，因此对输 电线路进行定期巡检将大大减少输电线路故障的 发生[5]。 随着数字图像处理与无人机监控技术的发 展，基于航拍图像处理的输电线路金具巡检技术 已成功应用[3]。目前常用的方法可以分为 3 类： 基于特征描述的算法、基于经典机器学习的算法 和基于深度学习的算法。其中，基于特征描述的 算法主要利用形状[6-7] 、边缘[8] 、轮廓[9-10] 等形态学 特征，或图形基元[11] 、共生纹理[12] 等手工特征实 现对防振锤、绝缘子、间隔棒等输电线路部件的 特征提取与识别，在实际应用中往往会受到成像 条件、外界环境等因素变化的影响，导致金具的 识别可靠性不高，难以满足工业应用要求。基于 经典机器学习算法的金具识别往往通过传统特征 提取方法与经典线性分类器相结合的方法[13-15] 完 成金具识别任务。相比于最初的特征描述方法， 机器学习算法在一定程度上提高了可靠性，但模 型受到人工构建的限制难以无法深度挖掘样本特 征，在识别的准确率上仍有很大的提升空间。随 着深度学习在公开数据集中的流行与发展[16] ，基 于深度学习目标检测算法的金具定位与检测研究 得到了国内外研究学者的广泛关注，如文献 [17] 结合多显著性目标检测技术与逻辑判断对输电线 路金具航拍图像实现目标检测；文献 [18] 结合输 电线路金具的特征，使用深度可分离卷积与多尺 度特征融合方法实现绝缘子、悬垂线夹、防震锤 三类部件的识别与检测；文献 [19] 结合 RFB 模型 与 Focal-loss 损失函数一定程度上缓解了绝缘子 样本不平衡问题，提高了检测速度与准确率；文 献 [20] 采用 ResNet 网络对 SSD 目标检测算法进 行改进，完成了较高检测精度与置信度的绝缘子 任务。然而，上述工作仅是针对输电线路金具本 身特性对目标检测模型进行适用性应用与改进， 未能将模型与电力领域业务知识有效融合。同 时，受限于金具工作环境的特殊性，金具数据集 往往存在严重的样本不平衡问题，对于某些样本 较少的金具，单一的深度检测模型不能准确地对 关键部件进行检测。 为促进深度学习模型与电力领域业务知识有 机融合，缓解金具样本间样本不平衡问题，本文 深入研究输电线路金具结构化组合规则，结合输 电线路航拍图像构建多种金具间的共现矩阵，以 Faster R-CNN 模型作为目标检测基础框架，利用 表达金具组合规则的共现矩阵作为先验指导，设 计共现推理模块并嵌入目标检测模型中，进一步 提高了模型检测的准确性，为输电线路金具运行 状态的智能检测提供新的思路。 1 研究背景 在输电线路中多种金具的组合结构具有一定 的规则性[21] ，如悬垂绝缘子串系统中，从低压侧到 高压侧间金具排列结构由绝缘子与均压环和 U 型挂环与挂板、联板依次连接，最终通过悬垂 线夹与高压侧导线相连；而用于避免导线舞动幅 度过大导致线路跳闸的重锤，也上接均压环、下 连悬垂线夹，通过这样的连接方式保证重锤安 全、有效地增加绝缘子串垂直荷重。输电线路常 见金具组合结构如图 1 所示，其中图 1(a) 和图 1(b) 分别展示了输电线路悬垂绝缘子结构与防舞动结 构的部分示例。由图可知，目前输电线路中金具 的组装结构较为固定，具有丰富经验的巡检工人 只需要通过组装结构就可以判断出被遮挡金具的 大致位置。然而，当前的深度检测算法仅对图像 中的物体进行独立检测，没有有效利用目标之间 的相互关系。 (a) 悬垂绝缘子串结构 (b) 防舞动结构 图 1 输电线路常见金具组合结构示例 Fig. 1 Examples of common hardware combinations in transmission lines 同时，由于输电线路工作环境的复杂多变，常 用金具种类繁多，可分为线夹、连接金具、接续金 具、防护金具、拉线金具、接触金具、母线金具等 多个粗粒度类别，每一大类下还有众多细粒度类 别。由于多种金具的运行环境与作用各不相同， 因此在输电线路中多个金具的组合结构所需数量 也往往各有不同，如提包式悬垂线夹常用于多个 组合结构中连接金具与导线，使用数量与频率都 ·238· 智 能 系 统 学 报 第 16 卷

第2期 翟永杰，等：融合共现推理的Faster R-CNN输电线路金具检测 ·239· 比较高；而用于非直线杆塔跳线的并沟线夹，因 了待检测物体本身的特征，每种物体的数据集数 其承担任务的特殊性，所以应用数量与频率较 量和质量对检测结果具有很大的影响。而在输电 少。因此，在输电线路航拍图像金具数据集中， 线路金具目标检测场景中，输电线路金具具有较 会出现数据不平衡和长尾分布的问题。图2展示 高规则性的组装结构特点，通过对金具组装结构 出本文所用金具检测数据集中各个金具的标注框 特点进行分析，挖掘相应关系信息为目标检测进 在整个数据集的分布情况，其中数据集共含金具 行辅助判断以解决数据长尾问题。 14种，标注框9101个。可以看出，各个金具标注 为了有效利用金具间固有的连接结构，将输 框数量依次降低，且前5种金具标注框数量占整 电领域业务知识与深度学习目标检测模型相 体标注框数量70%以上，呈现出非常严重的长尾 融合。本文提出采用共现矩阵47作为金具目标 分布问题。然而当前深度学习算法往往是基于数 结构性信息的表达方法，设计了描述多类金具间 据驱动的，面对缺乏大量样本的混淆类别与长尾 共现关系的推理模块并嵌入Faster R-CNN模型 数据，性能会有很大下降。 中，实现了融合金具目标结构关系的深度目标检 测模型。 提包式悬垂线 U型挂环 848 挂板 169 594 2 Faster R-CNN模型 防钙 均压环 891 联板 1551 Faster R-CNN算法2]自20l5年由Ren等提 调整 446 压缩型耐张线夹 ■2394 出后受到了目标检测领域的广泛应用。相比于单 363 间隔林 277 阶段的SSD(Single Shot MultiBox Detector)2) 预绞式悬垂线夹 158 屏被环 109 YOLO(You Only Look Once)o算法，二阶段算法 并沟线夹 108 锲型耐张线夹口1， 结合大规模数据集与深度检测框架的优势，得到 的检测结果具备较高的检测精度与泛化性能。 标注框数量 Faster R-CNN算法创新性提出区域建议网络(Re 图2金具检测数据集中标注框数量分布 gion Proposal Network,RPN),通过端到端的方式 Fig.2 Quantity distribution of bounding boxs in fittings 解决了R-CNNB、Fast R-CNN检测算法中候选 detection dataset 框生成耗时问题，极大提高了双阶段检测算法的 物体之间的关系可以帮助提高物体识别能 效率。 力，这在人类常识上已经得到了很好的认识22。 Faster R-CNN算法的基本框架如图3所示， 现有通用目标检测模型由于多类目标检测缺乏共 主要由卷积神经网络、RPN网络、感兴趣区域池 性的结构性描述，因此大多还是针对每个物体单 化单元(region of interest pooling,RoI Pooling)以及 独进行检测，这种相对独立的检测模型仅仅利用 结果输出单元4部分组成。 类别 图像输入 特征提取 ROI池化 结果计算 位置 ROI 池化 RP 图3 Faster R-CNN检测框架 Fig.3 Faster R-CNN detection framework 1)卷积神经网络：利用一系列卷积、池化、非 道特征并形成图像特征图(feature map)o 线性模块的组合，从浅至深提取输入图像的多通 2)RPN网络：通过预设尺寸与比例的多种锚

比较高；而用于非直线杆塔跳线的并沟线夹，因 其承担任务的特殊性，所以应用数量与频率较 少。因此，在输电线路航拍图像金具数据集中， 会出现数据不平衡和长尾分布的问题。图 2 展示 出本文所用金具检测数据集中各个金具的标注框 在整个数据集的分布情况，其中数据集共含金具 14 种，标注框 9 101 个。可以看出，各个金具标注 框数量依次降低，且前 5 种金具标注框数量占整 体标注框数量 70% 以上，呈现出非常严重的长尾 分布问题。然而当前深度学习算法往往是基于数 据驱动的，面对缺乏大量样本的混淆类别与长尾 数据，性能会有很大下降。 提包式悬垂线夹 挂板 防震锤 均压环 联板 调整板 压缩型耐张线夹 重锤 间隔棒 预绞式悬垂线夹 屏蔽环 并沟线夹 锲型耐张线夹 U 型挂环 0 200 400 600 800 1 000 1 200 1 400 1 600 1 800 2 000 1 848 1 594 1 169 1 122 891 551 446 394 363 277 158 109 108 71 标注框数量 图 2 金具检测数据集中标注框数量分布 Fig. 2 Quantity distribution of bounding boxs in fittings detection dataset 物体之间的关系可以帮助提高物体识别能 力，这在人类常识上已经得到了很好的认识[22-24]。 现有通用目标检测模型由于多类目标检测缺乏共 性的结构性描述，因此大多还是针对每个物体单 独进行检测，这种相对独立的检测模型仅仅利用 了待检测物体本身的特征，每种物体的数据集数 量和质量对检测结果具有很大的影响。而在输电 线路金具目标检测场景中，输电线路金具具有较 高规则性的组装结构特点，通过对金具组装结构 特点进行分析，挖掘相应关系信息为目标检测进 行辅助判断以解决数据长尾问题。 为了有效利用金具间固有的连接结构，将输 电领域业务知识与深度学习目标检测模型相 融合。本文提出采用共现矩阵[24-27] 作为金具目标 结构性信息的表达方法，设计了描述多类金具间 共现关系的推理模块并嵌入 Faster R-CNN 模型 中，实现了融合金具目标结构关系的深度目标检 测模型。 2 Faster R-CNN 模型 Faster R-CNN 算法[28] 自 2015 年由 Ren 等提 出后受到了目标检测领域的广泛应用。相比于单 阶段的 SSD(Single Shot MultiBox Detector)[29] ， YOLO(You Only Look Once)[30] 算法，二阶段算法 结合大规模数据集与深度检测框架的优势，得到 的检测结果具备较高的检测精度与泛化性能。 Faster R-CNN 算法创新性提出区域建议网络 (Re￾gion Proposal Network, RPN)，通过端到端的方式 解决了 R-CNN[31] 、Fast R-CNN[32] 检测算法中候选 框生成耗时问题，极大提高了双阶段检测算法的 效率。 Faster R-CNN 算法的基本框架如图 3 所示， 主要由卷积神经网络、RPN 网络、感兴趣区域池 化单元 (region of interest pooling, RoI Pooling) 以及 结果输出单元 4 部分组成。 图像输入 特征提取 类别 位置 ROI 池化 RPN NMS ROI 池化 结果计算 图 3 Faster R-CNN 检测框架 Fig. 3 Faster R-CNN detection framework 1) 卷积神经网络：利用一系列卷积、池化、非 线性模块的组合，从浅至深提取输入图像的多通 道特征并形成图像特征图 (feature map)。 2) RPN 网络：通过预设尺寸与比例的多种锚 第 2 期 翟永杰，等：融合共现推理的 Faster R-CNN 输电线路金具检测 ·239·

·240· 智能系统学报 第16卷 框进行特征图滑动并生成多个候选框，采用非极 C表示金具类别数，H,表示标签Lx与标签L,在 大值抑制(non-maximum suppression,NMS)分析并 同一张图像中出现的次数，H.即对角线元素数 筛选出N,个目标候选区域。 值表示所在金具种类在训练集图像中出现的次 3)RoI Pooling:将每个目标候选区域均匀分 数。然后通过行归一化得到共现概率矩阵P∈RxC, 成n×n个图块并进行最大值池化计算，得到固定 如式(1)所示： 尺度的特征图候选区域向量。 Po Ho/H (1) 4)结果输出单元：将步骤3)得到的特征向量 其中Pw=P(L,L)表示当标签L出现时标签L, 输入全连接层，判断特征图候选区域的类别以及 的概率。 准确位置。 0.62 重铺 均压环 3融合共现推理的Faster R-CNN PL均s环L重倾=0.62 3.1共现概率矩阵构建 0.37 由图1可知，输电线路金具的组装连接呈现 均压环 重 出结构化、固定化的特点，因此属于同一连接结 P(LL均东环0.37 构的金具往往会在同一幅航拍图像中共同出现。 在大多数应用中，相关关系是预先定义的22，可。 图4成对标签间的条件概率 Fig.4 Conditional probability between pairs labels 本文通过数据驱动的方式构建共现概率矩阵，即 通过挖掘标签在数据集中的共现模式来定义标签 根据式(1)在金具检测数据集中计算得到的 共现如图5所示，其中每一行金具类别为前文所 之间的相关性。 述标签Lx,每一列金具类别为前文所述标签L,。 本文以条件概率P(L,L)的形式对标签相关 可以看出，当联板在一张图像中出现时，U型挂 性进行建模，其中P(LL)表示当标签L.出现时 环、挂板、提包式悬垂线夹等金具出现的概率相 标签L,出现的概率。如图4所示，P(LL)与 应增大；同样的，与重锤共现概率较大的金具分 P(LL,)并不相等，因此共现矩阵是非对称的。 别是提包式悬垂线夹与均压环。该结论与金具组 为了构建金具检测数据集的共现矩阵，本文 合结构一致，可知共现概率矩阵能够有效表达标 首先计算了训练集中每一图像中金具标签成对出 签间的共现关系，有利于进一步将输电线路金具 现的次数，得到共现次数统计矩阵H∈RxC,其中 组装结构与深度学习模型进行合理融合。 壁 图 预绞式悬垂线夹应。。。站方。日6。d 预纹式悬垂线夹 提包式悬垂线夹·0 20 961201594025272789721 提包式悬垂线夹 压缩型耐张线夹-02107081100B101433284572 压缩型耐张线夹 锲型耐张线夹-00022521151119000 锲型耐张线夹 挂板24968159326323287391148251161 挂板 U型挂环-7120102126592533011341708638183 U型挂环 联板-47159a1152322834193r51918631B1行归 联板 并沟线夹-25400183019901406002 一化 ·并沟线夹 防震锤-512614173113131743的11111132511■ 防餐锤 间隔棒-0273319645101114947328045 。间隔棒 均压环-828291a1709161147135961 。均压环 屏蔽环-08时02660133213107106 屏蔽环 重锤-019750613g3102501891030535 重锤 调整板-02130611解61214561535198 调整板 共现次数统计矩阵 共现概率矩阵 图5共现概率矩阵生成图解 Fig.5 Cooccurrence probability matrix generation diagram 3.2共现推理模块 通过共现概率矩阵形成共现推理模块嵌入Faster 为融合输电领域业务知识与深度学习模型， R-CNN算法，本文结合图学习方法，通过学习共

Nr 框进行特征图滑动并生成多个候选框，采用非极 大值抑制 (non-maximum suppression, NMS) 分析并 筛选出 个目标候选区域。 3) RoI Pooling：将每个目标候选区域均匀分 成 n×n 个图块并进行最大值池化计算，得到固定 尺度的特征图候选区域向量。 4) 结果输出单元：将步骤 3) 得到的特征向量 输入全连接层，判断特征图候选区域的类别以及 准确位置。 3 融合共现推理的 Faster R-CNN 3.1 共现概率矩阵构建 由图 1 可知，输电线路金具的组装连接呈现 出结构化、固定化的特点，因此属于同一连接结 构的金具往往会在同一幅航拍图像中共同出现。 在大多数应用中，相关关系是预先定义的[22-23, 27]。 本文通过数据驱动的方式构建共现概率矩阵，即 通过挖掘标签在数据集中的共现模式来定义标签 之间的相关性。 P( Ly    Lx) P( Ly    Lx) Lx Ly P( Ly    Lx) P( Lx | Ly) 本文以条件概率 的形式对标签相关 性进行建模，其中 表示当标签 出现时 标签 出现的概率。如图 4 所示， 与 并不相等，因此共现矩阵是非对称的。 H ∈ R C×C 为了构建金具检测数据集的共现矩阵，本文 首先计算了训练集中每一图像中金具标签成对出 现的次数，得到共现次数统计矩阵 ，其中 C Hxy Lx Ly Hxx P ∈ R C×C 表示金具类别数， 表示标签 与标签 在 同一张图像中出现的次数， 即对角线元素数 值表示所在金具种类在训练集图像中出现的次 数。然后通过行归一化得到共现概率矩阵 ， 如式 (1) 所示： Pxy = Hxy/Hxx (1) Pxy = P( Ly   其中  Lx) 表示当标签 Lx 出现时标签 Ly 的概率。 均压环 重锤 重锤 均压环 0.62 0.37 P(L均压环|L重锤)=0.62 P(L重锤|L均压环)=0.37 图 4 成对标签间的条件概率 Fig. 4 Conditional probability between pairs labels Lx Ly 根据式 (1) 在金具检测数据集中计算得到的 共现如图 5 所示，其中每一行金具类别为前文所 述标签 ，每一列金具类别为前文所述标签 。 可以看出，当联板在一张图像中出现时，U 型挂 环、挂板、提包式悬垂线夹等金具出现的概率相 应增大；同样的，与重锤共现概率较大的金具分 别是提包式悬垂线夹与均压环。该结论与金具组 合结构一致，可知共现概率矩阵能够有效表达标 签间的共现关系，有利于进一步将输电线路金具 组装结构与深度学习模型进行合理融合。 共现次数统计矩阵 共现概率矩阵 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 锲型耐张线夹 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 锲型耐张线夹 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 锲型耐张线夹 预绞式悬垂线夹 提包式悬垂线夹 压缩型耐张线夹 挂板 U 型挂环 锲型耐张线夹 联板 并沟线夹 防震锤 间隔棒 均压环 屏蔽环 重锤 调整板 行归 一化 图 5 共现概率矩阵生成图解 Fig. 5 Cooccurrence probability matrix generation diagram 3.2 共现推理模块 为融合输电领域业务知识与深度学习模型， 通过共现概率矩阵形成共现推理模块嵌入 Faster R-CNN 算法，本文结合图学习方法，通过学习共 ·240· 智 能 系 统 学 报 第 16 卷

第2期 翟永杰，等：融合共现推理的Faster R-CNN输电线路金具检测 ·241· 现概率矩阵中各个种类金具间的相关关系并映射 重矩阵作为共现图传播的权重，完成共现图信息 计算共现概率关联作为共现图的邻接矩阵，通过 传播并得到增强知识特征，与原有候选区域特征 Faster R-CNN算法提取的N,个候选区域特征向 级联后送入边界框回归层与分类层，计算类别与 量作为共现图的输入特征，通过自学习的变换权 位置的最终结果，算法流程图如图6所示。 RPN 候选区域特征 共现推理模块 共 ● 节点 现 图 关联关系 建 一特征传播 图像输人 图6本文检测算法流程图 Fig.6 Flow chart of detection algorithm for this article 3.2.1共现图邻接矩阵 式的情况下，模型可以通过不同区域候选特征的 参照图推理技术，本文所设计的共现推理模 上下文信息相应地更新不同的边缘连接，通过 块通过候选区域特征与共现关联等概念实现共现 堆叠的多层感知机(multi-layer perceptron,.MLP) 图信息传播与深度模型融合。首先本文通过 对每个结点间的邻接关系进行学习，如式(2)所示： Faster R-CNN算法所提取的N,个具有固定特征 MLPo(a(fi.fj)) (2) 维度的特征图候选区域向量f={f,f∈RP对 式中：MLP。表示给定共现候选图Q情况下通过 共现图G:G=<N,s,X,W>中结点N与输人特 MLP学习的矩阵参数；（表示对于两两结点的 征X进行定义，其中N,为Faster R-CNN算法提 输入特征(，f)进行L范式计算的结果。对于给 取候选目标数量，D为每个候选目标区域的特征 定不同的共现候选图Q,MLP。通过可学习参数利 维度，ε和W分别为图的邻接矩阵与传播权重。 用两两视觉特征的差异形成不同结点间的不同边 根据特征图候选区域向量∫的维度，本文使用N, 缘关系连接，从而实现个性化知识推理。 个视觉特征作为图传播结点的输入特征X,即可 3)为了训练合适的MLP。矩阵参数，可以对 得到N,个图传播结点N,i∈(L,N)。 测试样本应用显示共现关联进行编码，本文采用 对于共现图邻接矩阵，本文采用有监督的方 有监督方式对MLP。参数进行学习，以共现候选 式将金具结构性特征通过共现概率矩阵与目标检 图边权参数ē作为真值，以视觉特征与MLP。学 测模型进行融合。计算过程如下所述： 习的关系权重作为训练值，对MLP。进行参数 1)为保证能够有效利用预训练的共现概率矩 更新。在训练阶段，对于N,个候选区域的可学习 阵P中的信息并嵌入目标检测模型形成端对端网 边权{e}的损失函数如下式所示： 络，本文定义共现候选图Q:Q=<N,>表示C N,N, L(f,MLPo.Q)= (3) 类目标种类到N,个目标结点及其先验边权E∈R,xw, =11 的共现关系映射矩阵。在训练过程中，当我们知 3.2.2基于图推理的特征挖掘 道每个区域的真实类别时，两个区域节点的边权 在对所学习的共现图邻接矩阵={e}进行 V是按照P中对应真实类别的共现概率映射的， 行归一化后，我们通过结点关系加权的方式对候 即=P,山，。这种利用区域结点真实样本的显式 选区域的视觉特征进行信息传播并得到增强特征 映射将确保可靠的共现信息提取，为后续共现图 f,如式(4)所示： 邻接矩阵的有监督学习提供有力保证。 ∫'=fW。 (4) 2)定义e,∈，其中ey表示共现图中第i个结 式中：为候选区域结点间的归一化邻接矩阵；∫ 点与第个结点间的关联关系，表示模型学习的 为输人的视觉特征；W。∈RE为变换权重矩阵； 共现图邻接矩阵。为保证在给定任何外部知识形 ∫∈RE是通过图推理得到的增强特征；E是增强

Nr 现概率矩阵中各个种类金具间的相关关系并映射 计算共现概率关联作为共现图的邻接矩阵，通过 Faster R-CNN 算法提取的 个候选区域特征向 量作为共现图的输入特征，通过自学习的变换权 重矩阵作为共现图传播的权重，完成共现图信息 传播并得到增强知识特征，与原有候选区域特征 级联后送入边界框回归层与分类层，计算类别与 位置的最终结果，算法流程图如图 6 所示。 RPN 图像输入 候选区域特征 节点 关联关系 特征传播 共现推理模块 共 现 图 建 立 图 6 本文检测算法流程图 Fig. 6 Flow chart of detection algorithm for this article 3.2.1 共现图邻接矩阵 Nr f = {fi} Nr i=1 , fi ∈ R D G : G =< N, ε, X, W > N X Nr D ε W f Nr X Nr Ni , i ∈ (1, Nr) 参照图推理技术，本文所设计的共现推理模 块通过候选区域特征与共现关联等概念实现共现 图信息传播与深度模型融合。首先本文通过 Faster R-CNN 算法所提取的 个具有固定特征 维度的特征图候选区域向量 对 共现图 中结点 与输入特 征 进行定义，其中 为 Faster R-CNN 算法提 取候选目标数量， 为每个候选目标区域的特征 维度， 和 分别为图的邻接矩阵与传播权重。 根据特征图候选区域向量 的维度，本文使用 个视觉特征作为图传播结点的输入特征 ，即可 得到 个图传播结点 。 对于共现图邻接矩阵，本文采用有监督的方 式将金具结构性特征通过共现概率矩阵与目标检 测模型进行融合。计算过程如下所述： P Q : Q =< Nr ,ε >¯ Nr ε¯ ∈ R Nr×Nr V P ε¯i j = PLi,Lj 1) 为保证能够有效利用预训练的共现概率矩 阵 中的信息并嵌入目标检测模型形成端对端网 络，本文定义共现候选图 表示 C 类目标种类到 个目标结点及其先验边权 的共现关系映射矩阵。在训练过程中，当我们知 道每个区域的真实类别时，两个区域节点的边权 是按照 中对应真实类别的共现概率映射的， 即 。这种利用区域结点真实样本的显式 映射将确保可靠的共现信息提取，为后续共现图 邻接矩阵的有监督学习提供有力保证。 eˆi j ∈ εˆ ei j εˆ 2) 定义 ，其中 表示共现图中第 i 个结 点与第 j 个结点间的关联关系， 表示模型学习的 共现图邻接矩阵。为保证在给定任何外部知识形 εˆ 式的情况下，模型可以通过不同区域候选特征的 上下文信息相应地更新不同的边缘连接 ，通过 堆叠的多层感知机 (multi-layer perceptron, MLP) 对每个结点间的邻接关系进行学习，如式（2）所示： eˆi j = MLPQ(α(fi , fj)) (2) MLPQ Q α(·) (fi , fj) Q MLPQ 式中： 表示给定共现候选图 情况下通过 MLP 学习的矩阵参数； 表示对于两两结点的 输入特征 进行 L1 范式计算的结果。对于给 定不同的共现候选图 ， 通过可学习参数利 用两两视觉特征的差异形成不同结点间的不同边 缘关系连接，从而实现个性化知识推理。 MLPQ MLPQ ε¯ MLPQ εˆ MLPQ Nr { eˆi j} 3) 为了训练合适的 矩阵参数，可以对 测试样本应用显示共现关联进行编码，本文采用 有监督方式对 参数进行学习，以共现候选 图边权参数 作为真值，以视觉特征与 学 习的关系权重 作为训练值，对 进行参数 更新。在训练阶段，对于 个候选区域的可学习 边权 的损失函数如下式所示： L ( f,MLPQ,Q ) = ∑Nr i=1 ∑Nr j=1 ( eˆi j −e˜i j)2 /2 (3) 3.2.2 基于图推理的特征挖掘 εˆ = { eˆi j} f ′ 在对所学习的共现图邻接矩阵 进行 行归一化后，我们通过结点关系加权的方式对候 选区域的视觉特征进行信息传播并得到增强特征 ，如式 (4) 所示： f ′ = εˆ f We (4) εˆ f We ∈ R D×E f ′ ∈ R E E 式中： 为候选区域结点间的归一化邻接矩阵； 为输入的视觉特征； 为变换权重矩阵； 是通过图推理得到的增强特征； 是增强 第 2 期 翟永杰，等：融合共现推理的 Faster R-CNN 输电线路金具检测 ·241·