第15卷第5期 智能系统学报 Vol.15 No.5 2020年9月 CAAI Transactions on Intelligent Systems Sep.2020 D0:10.11992tis.202006037 多特征融合的异视角目标关联算法 付昆,田金文,马懿超2 (1.华中科技大学多谱信息处理国家级重点实验室,武汉湖北430074,2.北京机电工程研究所,北京100074) 摘要:目标关联在协同多目标探测中具有重要意义,受视角变换等因素的影响,传统目标关联算法在异视角 目标观测情况下效果较差。本文提出了一种基于拓扑特征与颜色特征合的无人机协同侦查目标关联算法, 通过利用无人机提供的位置、姿态及其搭载传感器获得的多维特征数据,提取出目标的拓扑特征及颜色特征, 并通过D-$证据理论融合多维特征,完成对异视角目标群的关联。实验表明,这种算法框架能够有效帮助无人 机完成对目标群的关联任务。 关键词:目标关联:异视角:协同探测:无人机:多特征融合:姿态数据:拓扑特征:颜色特征:D-S证据理论 中图分类号:TP391文献标志码:A文章编号:1673-4785(2020)05-0847-09 中文引用格式:付昆,田金文,马懿超.多特征融合的异视角目标关联算法.智能系统学报,2020,15(⑤):847-855 英文引用格式:FUKun,.TIAN Jinwen,,MA Yichao..Target association from different perspectives based on multi--feature fusion. CAAI transactions on intelligent systems,2020,15(5):847-855. Target association from different perspectives based on multi-feature fusion FU Kun',TIAN Jinwen',MA Yichao? (1.College of Automation,National Key Laboratory of Multispectral Information Processing Technology,Huazhong University of Science and Technology,Wuhan 430074,China;2.Beijing Electro-mechanical Engineering Institute,Beijing 100074,China) Abstract:Target association has great significance in collaborative multi-target detection.As traditional target associ- ation algorithms are affected by factors such as changes in view angle,they are less effective when observing targets from different perspectives.This paper proposes a target association algorithm for collaborative reconnaissance by un- manned aerial vehicles (UAVs)based on the fusion of topological and color features.Using position,attitude,and multi- dimensional feature data obtained by the sensors in the UAV,the topological and color features of the target are extrac- ted and the multi-dimensional features are then fused based on the Dempster-Shafer evidence theory to complete the as- sociation of target groups from different perspectives.Experiments show that this algorithm framework can effectively help UAVs to complete the task of target group association. Keywords:target association;different perspective;cooperative detection:UAV:multi feature fusion;attitude data;to- pological feature;color feature;D-S evidence theory 目标关联是数据融合过程的重要步骤,其本 文的研究任务是如何对异视角下同一目标群的多 质是确定传感器量测与目标源之间的对应关系。 个量测进行目标关联。 根据应用场景的不同,又可以分为量测与目标的 国外针对航迹起始比较成熟的量测-量测关 关联和量测与量测的关联。前者的任务是将新获 联方法主要有3类:基于启发式规则的方法山,基 得的量测信息与已有目标进行对应,后者关心的 于逻辑规则的方法和基于Hough变换的方法。 是将对同一目标群的多个量测进行一一对应。本 前两者利用的都是目标运动的机动限制条件,仅 适用于噪声虚警和杂波较少的环境。后者适应性 收稿日期:2020-06-23. 基金项目:国家自然科学基金项目(61273279). 更强但需要知道目标轨道的参数信息,并且在参 通信作者:田金文.E-mail:jwtian@mail.hust.edu.cn 数域运行聚类方法的计算量较大
DOI: 10.11992/tis.202006037 多特征融合的异视角目标关联算法 付昆1 ,田金文1 ,马懿超2 (1. 华中科技大学 多谱信息处理国家级重点实验室,武汉 湖北 430074; 2. 北京机电工程研究所,北京 100074) 摘 要:目标关联在协同多目标探测中具有重要意义,受视角变换等因素的影响,传统目标关联算法在异视角 目标观测情况下效果较差。本文提出了一种基于拓扑特征与颜色特征融合的无人机协同侦查目标关联算法, 通过利用无人机提供的位置、姿态及其搭载传感器获得的多维特征数据,提取出目标的拓扑特征及颜色特征, 并通过 D-S 证据理论融合多维特征,完成对异视角目标群的关联。实验表明,这种算法框架能够有效帮助无人 机完成对目标群的关联任务。 关键词:目标关联;异视角;协同探测;无人机;多特征融合;姿态数据;拓扑特征;颜色特征;D-S 证据理论 中图分类号:TP391 文献标志码:A 文章编号:1673−4785(2020)05−0847−09 中文引用格式:付昆, 田金文, 马懿超. 多特征融合的异视角目标关联算法 [J]. 智能系统学报, 2020, 15(5): 847–855. 英文引用格式:FU Kun, TIAN Jinwen, MA Yichao. Target association from different perspectives based on multi-feature fusion[J]. CAAI transactions on intelligent systems, 2020, 15(5): 847–855. Target association from different perspectives based on multi-feature fusion FU Kun1 ,TIAN Jinwen1 ,MA Yichao2 (1. College of Automation, National Key Laboratory of Multispectral Information Processing Technology, Huazhong University of Science and Technology, Wuhan 430074, China; 2. Beijing Electro-mechanical Engineering Institute, Beijing 100074, China) Abstract: Target association has great significance in collaborative multi-target detection. As traditional target association algorithms are affected by factors such as changes in view angle, they are less effective when observing targets from different perspectives. This paper proposes a target association algorithm for collaborative reconnaissance by unmanned aerial vehicles (UAVs) based on the fusion of topological and color features. Using position, attitude, and multidimensional feature data obtained by the sensors in the UAV, the topological and color features of the target are extracted and the multi-dimensional features are then fused based on the Dempster–Shafer evidence theory to complete the association of target groups from different perspectives. Experiments show that this algorithm framework can effectively help UAVs to complete the task of target group association. Keywords: target association; different perspective; cooperative detection; UAV; multi feature fusion; attitude data; topological feature; color feature; D-S evidence theory 目标关联是数据融合过程的重要步骤,其本 质是确定传感器量测与目标源之间的对应关系。 根据应用场景的不同,又可以分为量测与目标的 关联和量测与量测的关联。前者的任务是将新获 得的量测信息与已有目标进行对应,后者关心的 是将对同一目标群的多个量测进行一一对应。本 文的研究任务是如何对异视角下同一目标群的多 个量测进行目标关联。 国外针对航迹起始比较成熟的量测−量测关 联方法主要有 3 类:基于启发式规则的方法[1] ,基 于逻辑规则的方法[2] 和基于 Hough 变换的方法[3-4]。 前两者利用的都是目标运动的机动限制条件,仅 适用于噪声虚警和杂波较少的环境。后者适应性 更强但需要知道目标轨道的参数信息,并且在参 数域运行聚类方法的计算量较大。 收稿日期:2020−06−23. 基金项目:国家自然科学基金项目 (61273279). 通信作者:田金文. E-mail:jwtian@mail.hust.edu.cn. 第 15 卷第 5 期 智 能 系 统 学 报 Vol.15 No.5 2020 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2020
·848· 智能系统学报 第15卷 按照关联因子的不同,目标关联主要可分为 定的优化。 基于位置信息和基于属性信息两大类,由于异 2)算法同时考虑了目标群的位置特征和属性 视角对属性特征的影响较大,早期关联算法大多 特征,具有更好的抗干扰能力和准确性。 是基于位置信息的。一些经典的多目标关联算 3)基于D-S证据理论的融合框架具有很好的 法,如最近邻算法(NN)、概率数据关联算法 扩展能力,可以根据应用场景的不同使用不同的 (PDA)、多假设跟踪算法MHT)等。近年来,很多 目标群特征。 学者在此基础上做了很多改进。赵健阿研究的基 于点模式匹配算法可以处理目标群的刚体或非刚 1算法基本框架 体形变,对基于位置的关联效果有很大提升。 本文整体算法框架如图1所示,目标检测模 Zeng等)提出了一种舰船编队特征与舰船属性 块获得目标群位置后,将目标区域子图像送入属 特征相结合的目标关联算法,该算法同时考虑了 性特征提取模块,获得目标的颜色特征并计算不 目标的属性特征和舰船编队形状特征进行证据合 同视角下的特征相似度。与此同时,将目标群的 成,充分利用了两者的互补性,但受形状描述及 位置分布及无人机姿态信息等送入拓扑特征提取 目标识别算法的影响,关联正确率不高。刘铮等圆 模块,获得目标的位置信息特征及对应的相似 针对多源数据多特征融合的应用场景,提出基于 度。利用D-S证据理论融合不同特征下的关联概 多模型估计方法对同类型目标进行初步筛选,再 率分配结果并输出最终关联结果。 基于多特征最大联合概率分布对目标精细关联的 方案,有效提高了弱小目标关联的准确性。王继 视角1目标 视角2目标 群图像坐标 群图像坐标 阳等9提出了一种基于目标属性特征的多假设关 颜色特征 联算法,仅仅使用目标的属性特征作为关联依 提取 据,该算法适用于基于低时间分辨率的遥感图像 关联。如何单纯依靠属性特征完成关联任务,目 无人机位置 拓扑特征 无人机位置 姿态信息 提取 姿态信息 前鲜见较为成熟的解决方案。唐宏美0详细研 究了从坐标变换、全局结构、谱特征到拓扑特征 的多种位置关联算法,得出拓扑特征具有最强的 计算属性 计算拓扑 特征相似度 特征相似度 适应性和最高准确率的结论。此外,也有少量综 合位置和属性信息的目标关联方法。汤守波等山 融合不同特征 下的目标关联 在目标运动状态信息可用的情况下,采用原始的 概率 状态滤波的方法形成多条可能航迹,而后利用属 性信息的相似性对关联结果进行修正。孙寒涛回 触合关联 结果 利用灰色系统理论和系统聚类分析方法判断目标 间的相似程度。对于不确定的集合再次进行方位 图1本文算法流程图 Fig.1 Flow chart of the proposed method 数据关联,有效弥补了单一方法的缺陷。 总体来说,以上方案的主要思路都是基于目 2 特征提取子模块 标的位置信息,对目标群运动过程建立适当的模 型,根据这些运动参量计算出航迹量测的匹配 2.1 颜色特征提取子模块 度,进而对关联关系的判断1。这些算法并没有 目标的属性特征包括目标的颜色、纹理、形 充分利用目标的属性信息。随着无人机信息采集 状等,这些属性特征大多受视角变换影响较大, 技术的发展,目标关联可以利用的信息越来越丰 因此传统目标关联算法很少利用其属性特征。无 富。区别于传统的天基、地基传感器,以无人机 人机编队因其自带姿态位置传感器,能够在一定 编队为载体的各种传感器可以提供多视角、近距 程度上修正视角对观测结果的影响,使得属性特 离的各种目标特征信息。综合利用目标在时空和 征的引入具有可行性。 属性上的特征,能够有效提高关联的准确率。与 本文算法主要使用了目标的颜色特征,为减 传统目标关联算法相比,本文算法具有以下优势: 小视角变化对目标颜色特征的影响,使用以下步 1)借助姿态及位置传感器,无人机成像平台 骤提取日标的颜色特征。 提供的目标空间信息,能够对二维图像特征进行 1)去除背景干扰。由于目标检测给出的目标
按照关联因子的不同,目标关联主要可分为 基于位置信息和基于属性信息两大类[5] ,由于异 视角对属性特征的影响较大,早期关联算法大多 是基于位置信息的。一些经典的多目标关联算 法,如最近邻算 法 (NN)、概率数据关联算 法 (PDA)、多假设跟踪算法 (MHT) 等。近年来,很多 学者在此基础上做了很多改进。赵健[6] 研究的基 于点模式匹配算法可以处理目标群的刚体或非刚 体形变,对基于位置的关联效果有很大提升。 Zeng 等 [7] 提出了一种舰船编队特征与舰船属性 特征相结合的目标关联算法,该算法同时考虑了 目标的属性特征和舰船编队形状特征进行证据合 成,充分利用了两者的互补性,但受形状描述及 目标识别算法的影响,关联正确率不高。刘铮等[8] 针对多源数据多特征融合的应用场景,提出基于 多模型估计方法对同类型目标进行初步筛选,再 基于多特征最大联合概率分布对目标精细关联的 方案,有效提高了弱小目标关联的准确性。王继 阳等[9] 提出了一种基于目标属性特征的多假设关 联算法,仅仅使用目标的属性特征作为关联依 据,该算法适用于基于低时间分辨率的遥感图像 关联。如何单纯依靠属性特征完成关联任务,目 前鲜见较为成熟的解决方案。唐宏美[10] 详细研 究了从坐标变换、全局结构、谱特征到拓扑特征 的多种位置关联算法,得出拓扑特征具有最强的 适应性和最高准确率的结论。此外,也有少量综 合位置和属性信息的目标关联方法。汤守波等[11] 在目标运动状态信息可用的情况下,采用原始的 状态滤波的方法形成多条可能航迹,而后利用属 性信息的相似性对关联结果进行修正。孙寒涛[12] 利用灰色系统理论和系统聚类分析方法判断目标 间的相似程度。对于不确定的集合再次进行方位 数据关联,有效弥补了单一方法的缺陷。 总体来说,以上方案的主要思路都是基于目 标的位置信息,对目标群运动过程建立适当的模 型,根据这些运动参量计算出航迹量测的匹配 度,进而对关联关系的判断[13]。这些算法并没有 充分利用目标的属性信息。随着无人机信息采集 技术的发展,目标关联可以利用的信息越来越丰 富。区别于传统的天基、地基传感器,以无人机 编队为载体的各种传感器可以提供多视角、近距 离的各种目标特征信息。综合利用目标在时空和 属性上的特征,能够有效提高关联的准确率。与 传统目标关联算法相比,本文算法具有以下优势: 1) 借助姿态及位置传感器,无人机成像平台 提供的目标空间信息,能够对二维图像特征进行 一定的优化。 2) 算法同时考虑了目标群的位置特征和属性 特征,具有更好的抗干扰能力和准确性。 3) 基于 D-S 证据理论的融合框架具有很好的 扩展能力,可以根据应用场景的不同使用不同的 目标群特征。 1 算法基本框架 本文整体算法框架如图 1 所示,目标检测模 块获得目标群位置后,将目标区域子图像送入属 性特征提取模块,获得目标的颜色特征并计算不 同视角下的特征相似度。与此同时,将目标群的 位置分布及无人机姿态信息等送入拓扑特征提取 模块,获得目标的位置信息特征及对应的相似 度。利用 D-S 证据理论融合不同特征下的关联概 率分配结果并输出最终关联结果。 视角 1 目标 群图像坐标 视角 2 目标 群图像坐标 颜色特征 提取 拓扑特征 提取 计算拓扑 特征相似度 计算属性 特征相似度 融合不同特征 下的目标关联 概率 融合关联 结果 无人机位置 姿态信息 无人机位置 姿态信息 图 1 本文算法流程图 Fig. 1 Flow chart of the proposed method 2 特征提取子模块 2.1 颜色特征提取子模块 目标的属性特征包括目标的颜色、纹理、形 状等,这些属性特征大多受视角变换影响较大, 因此传统目标关联算法很少利用其属性特征。无 人机编队因其自带姿态位置传感器,能够在一定 程度上修正视角对观测结果的影响,使得属性特 征的引入具有可行性。 本文算法主要使用了目标的颜色特征,为减 小视角变化对目标颜色特征的影响,使用以下步 骤提取目标的颜色特征。 1) 去除背景干扰。由于目标检测给出的目标 ·848· 智 能 系 统 学 报 第 15 卷
第5期 付昆,等:多特征融合的异视角目标关联算法 ·849· 框往往带有一定的背景区域,这些背景不属于目 X 1 0 0 标的信息,在统计目标的颜色特征时应当预先剔 0 cos y sin y Z 0 除。本文使用基于自适应阈值的泛洪填充算法计 -sin y cos y cos 0 sin 0 cos 0 -sin 算背景区域。具体步骤如下:①计算宽w高h的 sin 0 cos 00 0 1 0 跟踪框内每个像素对应的像素梯度,按升序进行 0 0 1 sin 0 cos 排序得到w×h长度的一维数组S:②计算目标边 式中:(X,Y,Z)为目标在地理坐标系下的坐标; 缘的梯度阈值:③从跟踪框的矩形边缘开始向中 (0,p,)分别为无人机的俯仰角、航向角、滚动角。 心进行遍历,将梯度小于阈值的像素点标记为背 2)计算目标的拓扑描述子。由于无人机编队 景,直到遇到大于边缘阈值的像素停止遍历。标 覆盖范围有限,目标群分布范围可近似看做同一 记为背景的像素不参与颜色统计。 高度分布,只需要提取目标的二维拓扑特征。以 视角中某一目标为原点建立极坐标系,将其余目 2)二维透视变换消除视角畸变。由于无人机 标按照极角分为12个区间,每个区间为π6弧度 多为高空侦查,地面目标可近似为二维物体,使 的扇形区域。统计每个区间中目标的极径之和 用二维透视变换将目标的前下视图像矫正为正下 作为这一区间的特征值。这个12维特征向量即 视图可以消除视角倾斜带来的影响。具体方案为 为当前参考目标的拓扑描述子。 使用无人机的姿态及相机内参确定投影矩阵,将 3)根据描述子计算目标之间的拓扑特征相似 图像上的目标像素分别投影到地平面上,然后将 度。本文使用改进的曼哈顿距离计算拓扑描述子 地平面上的虚拟目标等比例缩放获得目标的俯 的相似度,具体步骤如下。①将两目标的拓扑描 视图。 述子按位相减,获得12维的差值;②以3为滑动 3)统计目标颜色直方图并计算频率直方图。 窗口宽度,对12维差值非零部分做均值滤波,消 本文采用RGB或HSV颜色空间,将每种颜色分 除观测角度误差带来的影响;③对滤波后的差值 量按照0~255分为10个区间,统计每个区间的像 绝对值求和为S,最终相似度Similarity计算方式 素点数目,并除以目标像素点总数。这个30维的 如下,A、B分别为两视角下某观测的拓扑描述 颜色频率分布直方图即为属性特征向量。 子,函数∫为均值滤波操作。 4)计算两目标区域的颜色特征相似度并进行 Similarity =1-- sum 关联概率分配。本文采用余弦距离计算颜色特征 S=abs(f(A(i)-B(i))) 向量的相似度。相似度取值范围为0~1,数值越 12 大相似度越高。为方便后续进行特征融合,两视 sum 角不同量测之间的关联概率需要满足∑P=1, abs(A(O),∑abs(BU》 P,表示视角1中的量测i与视角2中的量测j对 4)根据拓扑相似度进行关联概率分配。设两 应同一目标的概率。 视角下分别有M和N个目标,由以上步骤可获得 2.2拓扑特征提取子模块 M×N维的相似度矩阵M。在矩阵中寻找最大元 目标的拓扑特征指的是目标在目标群中的几 素M,若M≥(=0.7),则量测i与量测j关联, 何位置信息,与单纯的坐标信息不同,拓扑特征 然后从相似矩阵中划掉、j对应的行和列,得到 综合考虑了参考目标与其他目标之间的相对位置 降阶的相似矩阵,在降阶矩阵中再找最大元素, 关系。由于当前技术条件下无人机的位置传感器 重复上述过程,直到所有元素均小于阈值为止。 精度不足,基于坐标相对关系的拓扑特征往往更 2.3D-S证据理论特征融合模块 基于颜色特征和拓扑特征均可获得一个 加准确稳定。 MxN维的关联概率矩阵,使用D-S证据理论融合 由于不同无人机视角不同,为获得同一坐标 两个矩阵可获得更加可靠的关联结果。 系下的几何位置分布,需要使用无人机的姿态参 本文在基于属性特征和拓扑特征的关联概率 数将目标群图像坐标转换为地理坐标。具体算法 矩阵上运行证据融合过程,视角1中每个量测分 步骤如下: 别有8个关联概率与视角2中目标对应,加上全 1)将目标的二维图像坐标转化为三维地理坐 集和空集,每个量测的关联概率向量为10维。合 标。转换过程需先把成像坐标系转换为导航坐标 成规则如下: 系,再将导航坐标系变为地理坐标系。坐标系转 0为假设空间,mass函数是一个在假设空间 化公式如下: 上的基本概率分配函数m,满足:
框往往带有一定的背景区域,这些背景不属于目 标的信息,在统计目标的颜色特征时应当预先剔 除。本文使用基于自适应阈值的泛洪填充算法计 算背景区域。具体步骤如下:①计算宽 w 高 h 的 跟踪框内每个像素对应的像素梯度,按升序进行 排序得到 w×h 长度的一维数组 S;②计算目标边 缘的梯度阈值;③从跟踪框的矩形边缘开始向中 心进行遍历,将梯度小于阈值的像素点标记为背 景,直到遇到大于边缘阈值的像素停止遍历。标 记为背景的像素不参与颜色统计。 2) 二维透视变换消除视角畸变。由于无人机 多为高空侦查,地面目标可近似为二维物体,使 用二维透视变换将目标的前下视图像矫正为正下 视图可以消除视角倾斜带来的影响。具体方案为 使用无人机的姿态及相机内参确定投影矩阵,将 图像上的目标像素分别投影到地平面上,然后将 地平面上的虚拟目标等比例缩放获得目标的俯 视图[14]。 3) 统计目标颜色直方图并计算频率直方图。 本文采用 RGB 或 HSV 颜色空间,将每种颜色分 量按照 0~255 分为 10 个区间,统计每个区间的像 素点数目,并除以目标像素点总数。这个 30 维的 颜色频率分布直方图即为属性特征向量。 4) 计算两目标区域的颜色特征相似度并进行 关联概率分配。本文采用余弦距离计算颜色特征 向量的相似度。相似度取值范围为 0~1,数值越 大相似度越高。为方便后续进行特征融合,两视 角不同量测之间的关联概率需要满足∑Pi j=1, Pij 表示视角 1 中的量测 i 与视角 2 中的量测 j 对 应同一目标的概率。 2.2 拓扑特征提取子模块 目标的拓扑特征指的是目标在目标群中的几 何位置信息,与单纯的坐标信息不同,拓扑特征 综合考虑了参考目标与其他目标之间的相对位置 关系。由于当前技术条件下无人机的位置传感器 精度不足,基于坐标相对关系的拓扑特征往往更 加准确稳定。 由于不同无人机视角不同,为获得同一坐标 系下的几何位置分布,需要使用无人机的姿态参 数将目标群图像坐标转换为地理坐标。具体算法 步骤如下: 1) 将目标的二维图像坐标转化为三维地理坐 标。转换过程需先把成像坐标系转换为导航坐标 系,再将导航坐标系变为地理坐标系。坐标系转 化公式如下: X Y Z = T −1 Xc Yc Zc T = 1 0 0 0 cos γ sin γ 0 −sin γ cos γ ∗ cos θ sin θ 0 −sin θ cos θ 0 0 0 1 cos φ 0 −sin φ 0 1 0 sin φ 0 cos φ 式中:(X,Y,Z) 为目标在地理坐标系下的坐标; (θ,φ,γ) 分别为无人机的俯仰角、航向角、滚动角。 2) 计算目标的拓扑描述子。由于无人机编队 覆盖范围有限,目标群分布范围可近似看做同一 高度分布,只需要提取目标的二维拓扑特征。以 视角中某一目标为原点建立极坐标系,将其余目 标按照极角分为 12 个区间,每个区间为 π/6 弧度 的扇形区域。统计每个区间中目标的极径之和, 作为这一区间的特征值。这个 12 维特征向量即 为当前参考目标的拓扑描述子。 3) 根据描述子计算目标之间的拓扑特征相似 度。本文使用改进的曼哈顿距离计算拓扑描述子 的相似度,具体步骤如下。①将两目标的拓扑描 述子按位相减,获得 12 维的差值;②以 3 为滑动 窗口宽度,对 12 维差值非零部分做均值滤波,消 除观测角度误差带来的影响;③对滤波后的差值 绝对值求和为 S,最终相似度 Similarity 计算方式 如下,A、B 分别为两视角下某观测的拓扑描述 子,函数 f 为均值滤波操作。 Similarity = 1− S sum S = ∑12 i=1 abs(f(A(i)− B(i))) sum = max ∑12 i=1 abs(A(i)), ∑12 j=1 abs(B(j)) 4) 根据拓扑相似度进行关联概率分配。设两 视角下分别有 M 和 N 个目标,由以上步骤可获得 M×N 维的相似度矩阵 Ms。在矩阵中寻找最大元 素 Msij,若 Msij≥ɛ(ɛ=0.7),则量测 i 与量测 j 关联, 然后从相似矩阵中划掉 i、j 对应的行和列,得到 降阶的相似矩阵,在降阶矩阵中再找最大元素, 重复上述过程,直到所有元素均小于阈值为止。 2.3 D-S 证据理论特征融合模块 基于颜色特征和拓扑特征均可获得一 个 M×N 维的关联概率矩阵,使用 D-S 证据理论融合 两个矩阵可获得更加可靠的关联结果。 本文在基于属性特征和拓扑特征的关联概率 矩阵上运行证据融合过程,视角 1 中每个量测分 别有 8 个关联概率与视角 2 中目标对应,加上全 集和空集,每个量测的关联概率向量为 10 维。合 成规则如下: θ 为假设空间,mass 函数是一个在假设空间 上的基本概率分配函数 m,满足: 第 5 期 付昆,等:多特征融合的异视角目标关联算法 ·849·
·850· 智能系统学报 第15卷 m(O)=0,∑mA)=1 对任意A属于0,0上的两个mass函数m1, m2的Dempster合成规则为 1 m1⊕m2(A)= ∑m4(B-m,(C),B,Cc8 K=1- 2 mi(B).m2(C) BnC=0 (a)视角1目标分布位置 对任意A属于0,0上的n个mass函数m1, m2,…,mn的Dempster合成规则为 m1⊕m2⊕…⊕1mn(A)= ∑m1(A)-m2(A2)…·ma(A) AinA:-A.=A A1,A2,…,Ang6, K=1-∑(A)m(A)m.A) 3实验分析 (b)视角2目标分布位置 本文的实验图像是基于两架无人机在不同视 图3两个视角下的目标分布 角下同时采集获得的可见光图像,图2为原图,分 Fig.3 Target distribution from two perspectives 辨率3000×4000,图3为目标群的位置分布情况, 表1两视角不同目标与量测的对应关系 关联目标为车辆,每幅图像带有相应的拍摄坐标 Table 1 Corresponding relationship between different tar- 及飞行姿态数据。在两个视角中分别选取8个 gets and measurement from two perspectives 和9个车辆目标作为识别目标,分别编号为101~ 目标 0 1 2 3 109,201~208。正确对应关系如表1所示。 视角1 101 102 103 104 视角2 201 202 203 204 目标 6 6 9 视角1 105 106 107 108 109 视角2 205 206 207 208 (a)视角1原图 (b)视角2原图 图2两视角下无人机拍摄原图 两视角目标区域图片裁剪如表2所示,视角 Fig.2 Original picture taken by UAV 2拍摄位置离地更高,故同一目标的量测更小。 表2目标区域裁剪子图像 Table 2 Sub image cut from target area 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 3.1颜色特征提取 标图像如表3所示,预处理将背景像素统一标记 3.11去除背景像素 为黑色。 基于自适应阈值的泛洪填充算法处理后的目
m(Ø) = 0, ∑ A⊆θ m(A) = 1 对任意 A 属于 θ,θ 上的两个 mass 函数 m1, m2 的 Dempster 合成规则为 m1 ⊕m2(A) = 1 K ∑ B∩C=A m1(B)·m2(C),B,C ⊆ θ, K = 1− ∑ B∩C=Ø m1(B)·m2(C) 对任意 A 属于 θ,θ 上的 n 个 mass 函数 m1, m2,…,mn 的 Dempster 合成规则为 m1 ⊕m2 ⊕ ··· ⊕mn(A) = 1 K ∑ A1∩A2 ···An=A m1(A1)·m2(A2)· ··· ·mn(An) A1,A2,··· ,An ⊆ θ, K = 1− ∑ m1(A1)·m2(A2)· ··· ·mn(An) 3 实验分析 本文的实验图像是基于两架无人机在不同视 角下同时采集获得的可见光图像,图 2 为原图,分 辨率 3 000×4 000,图 3 为目标群的位置分布情况, 关联目标为车辆,每幅图像带有相应的拍摄坐标 及飞行姿态数据。在两个视角中分别选取 8 个 和 9 个车辆目标作为识别目标,分别编号为 101~ 109,201~208。正确对应关系如表 1 所示。 (a) 视角 1 原图 (b) 视角 2 原图 图 2 两视角下无人机拍摄原图 Fig. 2 Original picture taken by UAV (a) 视角 1 目标分布位置 (b) 视角 2 目标分布位置 图 3 两个视角下的目标分布 Fig. 3 Target distribution from two perspectives 表 1 两视角不同目标与量测的对应关系 Table 1 Corresponding relationship between different targets and measurement from two perspectives 目标 0 1 2 3 4 视角1 101 − 102 103 104 视角2 − 201 202 203 204 目标 5 6 7 8 9 视角1 105 106 107 108 109 视角2 205 206 207 208 − 两视角目标区域图片裁剪如表 2 所示,视角 2 拍摄位置离地更高,故同一目标的量测更小。 3.1 颜色特征提取 3.1.1 去除背景像素 基于自适应阈值的泛洪填充算法处理后的目 标图像如表 3 所示,预处理将背景像素统一标记 为黑色。 表 2 目标区域裁剪子图像 Table 2 Sub image cut from target area 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 ·850· 智 能 系 统 学 报 第 15 卷
第5期 付昆,等:多特征融合的异视角目标关联算法 ·851· 表3消除背景后的目标图像 Table 3 Target area without background pixels 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 3.1.2计算颜色特征向量 率分布直方图,可以看出,不同颜色的目标颜色 表4是以RGB颜色分量计算的部分目标频 特征向量有很大的不同。 表4部分目标的颜色特征向量 Table 4 Color feature vector of some targets 目标编号 2 3 目标图像 100 0 1020 t00 颜色特征直方图 色升日区到 B色分量区 色分量区到 200 20 100 200 t00 0 GB色分区 分量区间 目标编号 4 目标图像 颜色特征直方图 e8 100 0 00 B色分量区到 GB黑色分阳区到 台横色升量区到
3.1.2 计算颜色特征向量 表 4 是以 RGB 颜色分量计算的部分目标频 率分布直方图,可以看出,不同颜色的目标颜色 特征向量有很大的不同。 表 4 部分目标的颜色特征向量 Table 4 Color feature vector of some targets 目标编号 2 3 目标图像 颜色特征直方图 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 目标编号 4 7 目标图像 颜色特征直方图 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 RGB 颜色分量区间 像素数目 像素数目 像素数目 像素数目 像素数目 像素数目 表 3 消除背景后的目标图像 Table 3 Target area without background pixels 编号 101 102 103 104 105 106 107 108 109 图片 编号 201 202 203 204 205 206 207 208 图片 第 5 期 付昆,等:多特征融合的异视角目标关联算法 ·851·