第13卷第6期 智能系统学报 Vol.13 No.6 2018年12月 CAAI Transactions on Intelligent Systems Dec.2018 D0:10.11992/tis.201712005 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.TP.20180411.1548.014html 基于显著性检测的双目测距系统 安果维，王耀南，周显恩，谭建豪 (湖南大学机器人视觉感知与控制技术国家工程实验室，湖南长沙410082) 摘要：为了提高双目视觉测距系统中图像匹配的实时性与测距的精度，提出一种将显著性检测与焦距拟合相 结合的双目测距方法。首先对双目相机进行畸变矫正，并利用双目相机成像的特点拟合相机焦距与目标距离 的关系，随后对所得图像进行显著性检测，并提取目标区域，最后，利用su算子对提取出的区域进行特征匹 配，将匹配点代入测距模型中得到目标物体的距离。结果表明：显著性检测方法明显提升算法执行速度，焦距 拟合降低双目测距模型误差，明显提升双目测距精度。 关键词：机器视觉；suf算子；双目测距；特征点匹配；相机矫正 中图分类号：TP391文献标志码：A文章编号：1673-4785(2018)06-0913-08 中文引用格式：安果维，王耀南，周显恩，等.基于显著性检测的双目测距系统J.智能系统学报，2018,13(6)：913-920 英文引用格式：AN Guowei,,WANG Yaonan,,ZHOU Xian'en,etal.Binocular distance measurement system based on saliency de- tection[J.CAAI transactions on intelligent systems,2018,13(6):913-920. Binocular distance measurement system based on saliency detection AN Guowei,WANG Yaonan,ZHOU Xian'en,TAN Jianhao (National Engineering Laboratory for Robot Visual Perception and Control Technology,Hu'nan University,Changsha 410082 China) Abstract:To improve real-time image matching and ranging accuracy in binocular vision ranging systems,this paper proposes a binocular distance measurement method,in which saliency detection and focal length fitting are combined. The method first corrects the distortion of the binocular camera and then fits the relationship between the camera focal length and object distance by using the characteristics of the binocular camera imaging and further applies the obtained image for saliency detection,and then the target object area is extracted.Finally,the surf operator is used to perform fea- ture matching on the extracted region,and the matching point is substituted into the ranging model to obtain the dis- tance of the target object.The results show that the saliency detection method can significantly improve the execution speed of the algorithm,and the focal length fitting can reduce the error of binocular ranging model,which significantly improves the binocular ranging system accuracy. Keywords:machine vision;surf operator,binocular distance measurement;feature points match;camera correction 双目视觉测距技术是计算机视觉技术的一种 与目前其他测距方法相比，双目测距具有成本 应用。它具有通过对人类双眼处理景物方式的模 低、精度高、方便快捷等优点4。作为计算机视 拟感知周围环境空间深度的功能。在一些领 觉的分支，双目视觉技术在近些年来得到了长足 域，机器视觉正在代替人眼成为有效的新工具。 的发展阿。 双目视觉在机器人导航与避障、机械臂的引导、 双目视觉测距技术的基本原理是基于物体在 三维成像、汽车导航等诸多领域都极具应用价值。 左右相机像平面成像的相差，利用相似三角形的 几何关系，得到物体距相机的距离。其中的关 收稿日期：2017-12-04.网络出版日期：2018-04-11. 键部分则是对左右视图进行匹配得到特征点的相 基金项目：国家自然科学基金项目(61433016,61573134) 通信作者：安果维.E-mail:992466100@q9.com. 差。而suf算法的特征点匹配具有稳定性高，实
DOI: 10.11992/tis.201712005 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20180411.1548.014.html 基于显著性检测的双目测距系统 安果维，王耀南，周显恩，谭建豪 （湖南大学 机器人视觉感知与控制技术国家工程实验室，湖南 长沙 410082） 摘 要：为了提高双目视觉测距系统中图像匹配的实时性与测距的精度，提出一种将显著性检测与焦距拟合相 结合的双目测距方法。首先对双目相机进行畸变矫正，并利用双目相机成像的特点拟合相机焦距与目标距离 的关系，随后对所得图像进行显著性检测，并提取目标区域，最后，利用 surf 算子对提取出的区域进行特征匹 配，将匹配点代入测距模型中得到目标物体的距离。结果表明：显著性检测方法明显提升算法执行速度，焦距 拟合降低双目测距模型误差，明显提升双目测距精度。 关键词：机器视觉；surf 算子；双目测距；特征点匹配；相机矫正 中图分类号：TP391 文献标志码：A 文章编号：1673−4785(2018)06−0913−08 中文引用格式：安果维, 王耀南, 周显恩, 等. 基于显著性检测的双目测距系统[J]. 智能系统学报, 2018, 13(6): 913–920. 英文引用格式：AN Guowei, WANG Yaonan, ZHOU Xian’en, et al. Binocular distance measurement system based on saliency detection[J]. CAAI transactions on intelligent systems, 2018, 13(6): 913–920. Binocular distance measurement system based on saliency detection AN Guowei，WANG Yaonan，ZHOU Xian’en，TAN Jianhao (National Engineering Laboratory for Robot Visual Perception and Control Technology, Hu’nan University, Changsha 410082, China) Abstract: To improve real-time image matching and ranging accuracy in binocular vision ranging systems, this paper proposes a binocular distance measurement method, in which saliency detection and focal length fitting are combined. The method first corrects the distortion of the binocular camera and then fits the relationship between the camera focal length and object distance by using the characteristics of the binocular camera imaging and further applies the obtained image for saliency detection, and then the target object area is extracted. Finally, the surf operator is used to perform feature matching on the extracted region, and the matching point is substituted into the ranging model to obtain the distance of the target object. The results show that the saliency detection method can significantly improve the execution speed of the algorithm, and the focal length fitting can reduce the error of binocular ranging model, which significantly improves the binocular ranging system accuracy. Keywords: machine vision; surf operator; binocular distance measurement; feature points match; camera correction 双目视觉测距技术是计算机视觉技术的一种 应用。它具有通过对人类双眼处理景物方式的模 拟感知周围环境空间深度的功能[1]。在一些领 域，机器视觉正在代替人眼成为有效的新工具。 双目视觉在机器人导航与避障、机械臂的引导、 三维成像、汽车导航等诸多领域都极具应用价值[2-3]。 与目前其他测距方法相比，双目测距具有成本 低、精度高、方便快捷等优点[4-5]。作为计算机视 觉的分支，双目视觉技术在近些年来得到了长足 的发展[6]。 双目视觉测距技术的基本原理是基于物体在 左右相机像平面成像的相差，利用相似三角形的 几何关系，得到物体距相机的距离[7]。其中的关 键部分则是对左右视图进行匹配得到特征点的相 差。而 surf 算法的特征点匹配具有稳定性高，实 收稿日期：2017−12−04. 网络出版日期：2018−04−11. 基金项目：国家自然科学基金项目 (61433016，61573134). 通信作者：安果维. E-mail：992466100@qq.com. 第 13 卷第 6 期 智 能 系 统 学 报 Vol.13 No.6 2018 年 12 月 CAAI Transactions on Intelligent Systems Dec. 2018
·914· 智能系统学报 第13卷 时性高的特点。本文在对视图进行显著性检测 (XYZ),点P在左右像平面的成像坐标分别为 的基础上，用suf算子对提取出的目标区域进行 P(y)和P(xy),P与P为点P的一组匹配点对。 特征点匹配。准确地得到了目标的距离，并提高 图2为该模型在XZ平面的投影成像图。左右相 了测距过程的实时性。 机光心O、O,平行放置相距为基线距离T。相机 焦距为F,点P距离相机平面的距离为Z,则由相 1双目视觉测距系统 似三角形几何关系可得： 本文设计的双目视觉测距系统旨在为旋翼飞 行器机械臂系统提供目标物体的距离信息，如图1 所示，双目相机安装在旋翼飞行器机械臂系统的 F:Y (1) 机械臂末端，通过双目相机对目标物体的实时测 F:(T-X) X,= 距并反馈距离信息，来控制旋翼飞行器机械臂系 Z Z-Fx 统操作实现抓取功能。双目视觉系统的原理图如 元=T--x 图2所示。 推导可得： X= x1-x Y=- y -T xI-x (2) 双目稻 Z= F:T 机搭载 X-x 平台 相机 式中(：一x)为左右视差图匹配点的视差。可见目 左目 标点距离相机平面的距离Z的求取精度与相差直 接相关，所以图像特征点匹配的成功与否直接决 定距离测量的精度，X-Z平面成像图如图3所示。 D 待抓取 目标 物体 图1双目视觉系统实物 0 Fig.1 Real object drawing of binocular vision system 0 7 0, 摄像头 图3X-Z平面成像图 Fig.3 The projection on X-Zplane 摄像头 2本文方法 图2双目视觉结构原理 为了提高双目测距过程的实时性，本文设计 Fig.2 The principle diagram of the binocular vision 了一种双目视觉成像测距模型，并重点研究了目 假设左右相机的焦距和其他相关参数均相 标检测识别与左右视图特征匹配的问题，提出了 等，且平行放置。镜头基线均垂直于成像平面， 一种基于显著性检测的双目视觉测距方法。根据 左右相机满足x轴重合，y轴平行，左右相机像平面 目标物体在视图中颜色对比度比较明显的特征， 重合。左右相机的成像像差只在x轴存在。目标 采用基于直方图对比度(histogram contrast,,HC)的 P为物体上一点，在摄像机坐标系下坐标为 显著性值检测方法提取检测目标区域。针对相
时性高的特点[8]。本文在对视图进行显著性检测 的基础上，用 surf 算子对提取出的目标区域进行 特征点匹配。准确地得到了目标的距离，并提高 了测距过程的实时性。 1 双目视觉测距系统 本文设计的双目视觉测距系统旨在为旋翼飞 行器机械臂系统提供目标物体的距离信息，如图 1 所示，双目相机安装在旋翼飞行器机械臂系统的 机械臂末端，通过双目相机对目标物体的实时测 距并反馈距离信息，来控制旋翼飞行器机械臂系 统操作实现抓取功能。双目视觉系统的原理图如 图 2 所示。 双目相 机搭载 平台 左目 相机 右目 相机 待抓取 目标 物体 图 1 双目视觉系统实物 Fig. 1 Real object drawing of binocular vision system x y z T Fx P(X,Y,Z) Pl Pr 摄像头 摄像头 图 2 双目视觉结构原理 Fig. 2 The principle diagram of the binocular vision x y x P 假设左右相机的焦距和其他相关参数均相 等，且平行放置。镜头基线均垂直于成像平面， 左右相机满足 轴重合， 轴平行，左右相机像平面 重合。左右相机的成像像差只在 轴存在。目标 为物体上一点，在摄像机坐标系下坐标 为 X,Y,Z P Pl xl yl Pr xr yr Pl Pr P Ol Or Fx P Z ( )，点 在左右像平面的成像坐标分别为 ( , ) 和 ( , ), 与 为点 的一组匹配点对。 图 2 为该模型在 X-Z 平面的投影成像图。左右相 机光心 、 平行放置相距为基线距离 T。相机 焦距为 ，点 距离相机平面的距离为 ，则由相 似三角形几何关系[9-10]可得: xl = Fx Z X y = Fx Z Y xr = − Fx Z (T − X) Z T = Z − Fx T −(xl − xr) (1) 推导可得： X = xl xl − xr T Y = y xl − xr T Z = Fx xl − xr T (2) 式中 (xl − xr) 为左右视差图匹配点的视差。可见目 标点距离相机平面的距离 Z 的求取精度与相差直 接相关，所以图像特征点匹配的成功与否直接决 定距离测量的精度，X-Z 平面成像图如图 3 所示。 xl xr Ol Or P T Fx Fx 左 右 X Z 图 3 X-Z 平面成像图 Fig. 3 The projection on X-Z plane 2 本文方法 为了提高双目测距过程的实时性，本文设计 了一种双目视觉成像测距模型，并重点研究了目 标检测识别与左右视图特征匹配的问题，提出了 一种基于显著性检测的双目视觉测距方法。根据 目标物体在视图中颜色对比度比较明显的特征， 采用基于直方图对比度 (histogram contrast, HC) 的 显著性值检测方法[11]提取检测目标区域。针对相 ·914· 智 能 系 统 学 报 第 13 卷
第6期 安果维，等：基于显著性检测的双目测距系统 ·915· 机焦距会随距离变化产生误差的特点，提出了一 即完成了相机畸变校正的过程，其中(，)表示畸 种用多组实验数据拟合相机焦距的方法，随后对 变矫正后的像素坐标，（位，）代表畸变矫正前，实际 检测到的目标物体应用surf算子⑧进行匹配，得 径向畸变下的像素坐标。由图6可以看出，与畸 到目标物体的距离信息，算法流程如图4所示。 变校正前的图5相比，在畸变影响下变弯曲的直 线得到了很明显的修正。 相机标定 相机单 畸变 双目测距模 视图获取 目标定 校正 型焦距拟合 视图显著 目标区 surf算 算出目标 性检测 域提取 子匹配 距离 图4本文算法流程图 Fig.4 The flowchart of the proposed method 2.1相机畸变校正 在本文模型中主要考虑相机的径向畸变问题网。 图5畸变矫正前图像 由图5可以看出，由于径向畸变的存在，在远离图 Fig.5 Image before distortion correction 像中心的区域a与区域b,现实当中的直线已经 出现明显的弯曲。设不考虑畸变的图像坐标为 (低，)，畸变之后的图像坐标为（优，），则两者的对应 关系满足： =x+x(k(x2+y)+k2(x2+y2)) (3) =y+yk1(x2+y2)+k2(x2+y2)2) (4) 式中k与2为径向畸变系数。 假设在图像像素坐标系下，不考虑畸变的坐 标为(，)，考虑畸变后的坐标值为（位，），则式 (3)与式(4)等价于： 图6畸变矫正后图像 Fig.6 Image after distortion correction i=4+(u-6)k1(x2+y2)+k2(x2+y2)2) (5) 2.2 双目测距模型焦距的拟合 =v+(w-6)k1(x2+y2)+k2(x2+y22) (6) 在双目视觉的测距过程中，由于误差存在的 式中(o,)表示图像平面的主点，对式(5)与式 原因，随着距离的变大，测量的焦距逐渐增大， (6)继续整理可得： 焦距与距离近似满足线性关系如式(11)。于是本 ce 文采用测量多组数据进行线性回归拟合以得到焦 距的方法。其中，求取焦距与实际距离的拟合公 假设有n幅图片，每幅图片有m个点，则可以 式为 得到2mm个等式，运用最小二乘法对结果进行优 F,=G(D) (11) 化，可以解得： 测量的焦距F与实际距离D成线性关系，即 k=(DTD)D'd (7) 可以近似写成： 在考虑到畸变参数之后把世界坐标系下的点 F,T=kD+b (12) 反投影到图像坐标系下，并与理想无畸变的参数 式中k、b为常数。 进行最大似然估计，得到式(8)，可以采用LM 由方程组 算法进行计算求取最优解。 F,T=kD+b (13) o-r...vo D=FT/(x-x,) (14) (8) 可以得到实际距离D与相差x-x,的关系： (15) 然后由式(9)与式(10) D(x-x,-k)+b=0 得到D与(：-x)的数据后，为了求得最准确 u=i+(i-o)[k1(x2+y2)+k2(x2+y2)2] (9) 的k与b值，由最小二乘法求出线性回归拟合方程 v=+(-6)k1(x2+y2)+k2(x2+y2)2] (10) 组。为方便表达，设D的值为x,FT的值为y,为使
机焦距会随距离变化产生误差的特点，提出了一 种用多组实验数据拟合相机焦距的方法，随后对 检测到的目标物体应用 surf 算子[8]进行匹配，得 到目标物体的距离信息，算法流程如图 4 所示。 相机单 目标定 畸变 校正 双目测距模 型焦距拟合 视图获取 视图显著 性检测 surf 算 子匹配 算出目标 距离 相机标定 目标区 域提取 图 4 本文算法流程图 Fig. 4 The flowchart of the proposed method 2.1 相机畸变校正 ( ⌣ x, ⌣ y) ( ⌣ x, ⌣ y) 在本文模型中主要考虑相机的径向畸变问题[12]。 由图 5 可以看出，由于径向畸变的存在，在远离图 像中心的区域 a 与区域 b，现实当中的直线已经 出现明显的弯曲。设不考虑畸变的图像坐标为 ，畸变之后的图像坐标为 ，则两者的对应 关系满足: ⌣ x = x+ x(k1(x 2 +y 2 )+k2(x 2 +y 2 ) 2 ) (3) ⌣ y = y+y(k1(x 2 +y 2 )+k2(x 2 +y 2 ) 2 ) (4) 式中 k1与 k2为径向畸变系数。 (u, v) ( ⌣ u, ⌣ v) 假设在图像像素坐标系下，不考虑畸变的坐 标 为 ，考虑畸变后的坐标值为 ， 则 式 (3) 与式 (4) 等价于： ⌣ u = u+(u−u0)(k1(x 2 +y 2 )+k2(x 2 +y 2 ) 2 ) (5) ⌣ v = v+(v−v0)(k1(x 2 +y 2 )+k2(x 2 +y 2 ) 2 ) (6) 式中 (u0, v0) 表示图像平面的主点，对式 (5) 与式 (6) 继续整理可得： [ (u−u0)(x 2 +y 2 ) (u−u0)(x 2 +y 2 ) 2 (v−v0)(x 2 +y 2 ) (v−v0)(x 2 +y 2 ) 2 ] [ k1 k2 ] = ⌣ u−u ⌣ v−v n m 2mn 假设有 幅图片，每幅图片有 个点，则可以 得到 个等式，运用最小二乘法对结果进行优 化，可以解得： k = (D T D) −1 D T d (7) 在考虑到畸变参数之后把世界坐标系下的点 反投影到图像坐标系下，并与理想无畸变的参数 进行最大似然估计，得到式 (8)，可以采用 LM 算法进行计算求取最优解。 ∑n i=1 ∑m j=1 ui j − f(M,Ri ,ti , k1 , k2 ,Ui j) 2 (8) 然后由式 (9) 与式 (10)， u = ⌣ u+( ⌣ u−u0)[k1(x 2 +y 2 )+k2(x 2 +y 2 ) 2 ] (9) v = ⌣ v+( ⌣ v−v0)[k1(x 2 +y 2 )+k2(x 2 +y 2 ) 2 ] (10) (u, v) ( ⌣ u, ⌣ v) 即完成了相机畸变校正的过程，其中 表示畸 变矫正后的像素坐标， 代表畸变矫正前，实际 径向畸变下的像素坐标。由图 6 可以看出，与畸 变校正前的图 5 相比，在畸变影响下变弯曲的直 线得到了很明显的修正。 a b 图 5 畸变矫正前图像 Fig. 5 Image before distortion correction a b 图 6 畸变矫正后图像 Fig. 6 Image after distortion correction 2.2 双目测距模型焦距的拟合 在双目视觉的测距过程中，由于误差存在的 原因，随着距离的变大，测量的焦距逐渐增大[13] ， 焦距与距离近似满足线性关系如式 (11)。于是本 文采用测量多组数据进行线性回归拟合以得到焦 距的方法。其中，求取焦距与实际距离的拟合公 式为 Fx = G(D) (11) 测量的焦距 Fx与实际距离 D 成线性关系，即 可以近似写成： FxT = kD+b (12) 式中 k、b 为常数。 由方程组 FxT = kD+b (13) D = FxT/ (xl − xr) (14) 可以得到实际距离 D 与相差xl − xr的关系： D(xl − xr −k)+b = 0 (15) (xl − xr) k b x FxT y 得到 D 与 的数据后，为了求得最准确 的 与 值，由最小二乘法求出线性回归拟合方程 组。为方便表达，设 D 的值为 , 的值为 , 为使 第 6 期 安果维，等：基于显著性检测的双目测距系统 ·915·
·916· 智能系统学报 第13卷 k与b的值误差最小，即要求误差平方和 ×10 6.2 数据 e-2+- (16) 6.0 拟合曲线 5.8 最小，先求出x与y的平均值与)，将式(16)变形得 5.6 5.4 2=【6+k-刃-0M-列+kx-r (17) 5.2 5.0 将平方开出，并整理得 4.8 0=术2矿-2必24-0w- 4.6 4.4 4 5 6789101*10 6+=+2w-列 (18) 图7线性拟合图像 Fig.7 Linear fitting image 此为关于k的一元二次方程，所以当且仅当 2.3图像的显著性检测 2-0w-列 图像的显著性区域检测是近年来计算机视觉 和图像预处理领域的研究热点之一，其本质是模 2-时 了- (19) 拟人眼观察自然界图像时的视觉选择性注意机 b=-k元 制，是一种视觉注意模型。显著区域检测在图 时，误差Q取最小值，式(19)即为k与b的线性回归 像检索、图像分割、目标识别s等诸多领域有广 拟合方程组。将测量的数据代入式(19)中，得到 泛的应用。 b=37474.28,k=22.0778其中测量得到的数据（已 本文采用CHENG的基于直方图对比度(histo- 知基线距离T=62mm)如表1所示。 gram contrast,.HC)的图像像素显著性值检测方法u。 该方法利用人的视觉系统对高对比度的视觉信号 表1拟合焦距所测得的数据 Table 1 Measured data by fitting the focal length 比较敏感的特点，首先定义一个像素的显著性值 S(),根据该方法的原理，一个像素的显著性值与 距离Dmm 相差(-x) 测量的焦距F./mm 它和图像中其他像素颜色的对比度相关，所以在 334 135 727.3 图像中像素4的显著性定义为 366 124 732.0 Sw=∑Du,0 (20) 433 108 754.3 园 517 94 783.8 式中DI,)为像素I,与像素I,在L×a×b空间的颜色 556 89 798.1 距离度量。 586 86 812.8 将式(20)按照像素顺序展开得到： S()=DI,I)+D(L,2)+…+DL,)(21) 624 81 815.2 可以看出，由于没有考虑空间的关系，在这种 667 77 828.4 定义下，具有相同颜色值的像素会具有相同的显 706 75 854.0 著性值，因此把具有相同颜色值c的像素归在一 784 69 872.5 起，可以得到每个颜色的显著性值 811 67 876.4 sw=so=∑fD6,e) (22) 836 6 889.9 884 64 912.5 式中：为c像素，的颜色值，n为图像中所含有的颜 917 62 917.0 色总数，为在图像I中颜色c出现的概率。 968 60 936.8 图8与图9为显著性检测的实验效果图。 1011 58 945.8 2.4目标区域的提取 在得到目标物体的显著图后，首先对显著图 实验所得线性回归方程拟合所得图像如图7 进行腐蚀与膨胀操作，去除显著图中的噪点干 所示。 扰，如图10所示。随后根据显著图中得到的目标
k 与 b 的值误差最小，即要求误差平方和 Q = ∑n i=1 (kxi +b−yi) 2 (16) 最小，先求出x与 y 的平均值x¯与 y¯，将式 (16) 变形得 Q = ∑n i=1 [ (b+kx¯ −y¯)−(yi −y¯)+k (xi − x¯) ]2 (17) 将平方开出，并整理得 Q =k 2∑n i=1 (xi − x¯) 2 −2k ∑n i=1 (xi − x¯) (yi −y¯)+ n(b+k · x¯ −y¯) 2 + ∑n i=1 (yi −y¯) 2 (18) 此为关于 k 的一元二次方程，所以当且仅当 k = ∑n i=1 (xi − x¯y¯)(yi −y¯) ∑n i=1 (xi − x¯) 2 = ∑n i=1 xiyi −nx¯y¯ ∑n i=1 x 2 i −nx¯ 2 b = y¯ −k · x¯ (19) Q k b b = 37 474.28 k = 22.077 8 T 时，误差 取最小值，式 (19) 即为 与 的线性回归 拟合方程组。将测量的数据代入式 (19) 中，得到 , 其中测量得到的数据 (已 知基线距离 =62 mm) 如表 1 所示。 表 1 拟合焦距所测得的数据 Table 1 Measured data by fitting the focal length 距离 D /mm 相差 (xl − xr) 测量的焦距 Fx /mm 334 135 727.3 366 124 732.0 433 108 754.3 517 94 783.8 556 89 798.1 586 86 812.8 624 81 815.2 667 77 828.4 706 75 854.0 784 69 872.5 811 67 876.4 836 66 889.9 884 64 912.5 917 62 917.0 968 60 936.8 1 011 58 945.8 实验所得线性回归方程拟合所得图像如图 7 所示。 2.3 图像的显著性检测 图像的显著性区域检测是近年来计算机视觉 和图像预处理领域的研究热点之一，其本质是模 拟人眼观察自然界图像时的视觉选择性注意机 制，是一种视觉注意模型[14]。显著区域检测在图 像检索、图像分割、目标识别[15-17]等诸多领域有广 泛的应用。 S (Ik) I Ik 本文采用 CHENG 的基于直方图对比度 (histogram contrast, HC) 的图像像素显著性值检测方法[11]。 该方法利用人的视觉系统对高对比度的视觉信号 比较敏感的特点，首先定义一个像素的显著性值 ，根据该方法的原理，一个像素的显著性值与 它和图像中其他像素颜色的对比度相关，所以在 图像 中像素 的显著性定义为 S (Ik) = ∑ ∀Ii∈I D(Ik ,Ii) (20) D(Ik 式中 ,Ii) 为像素 Ik与像素 Ii在 L×a×b 空间的颜色 距离度量。 将式 (20) 按照像素顺序展开得到： S (Ik) = D(Ik ,I1)+ D(Ik ,I2)+···+ D(Ik ,In) (21) cj 可以看出，由于没有考虑空间的关系，在这种 定义下，具有相同颜色值的像素会具有相同的显 著性值，因此把具有相同颜色值 的像素归在一 起，可以得到每个颜色的显著性值 S (Ik) = S (cl) = ∑n j=1 fjD(cl , cj) (22) cl Ik n fj cj 式中：为 像素 的颜色值， 为图像中所含有的颜 色总数， 为在图像 I 中颜色 出现的概率。 图 8 与图 9 为显著性检测的实验效果图。 2.4 目标区域的提取 在得到目标物体的显著图后，首先对显著图 进行腐蚀与膨胀操作，去除显著图中的噪点干 扰，如图 10 所示。随后根据显著图中得到的目标 6.2 6.0 5.8 5.6 5.4 5.2 5.0 4.8 4.6 4.4 y x 3 4 5 6 7 8 9 10 11 ×104 ×102 数据 拟合曲线 图 7 线性拟合图像 Fig. 7 Linear fitting image ·916· 智 能 系 统 学 报 第 13 卷
第6期 安果维，等：基于显著性检测的双目测距系统 ·917· 区域信息对原图做与运算，则目标区域内像素值 (speed up robust features,surf)。surf检测算子与 不变，目标区域外像素值置零，将目标区域从原 sf检测算子类似，首先构建尺度空间，初步检测 图中提取出来，如图11所示。在此基础在上，对 极值点，在确定特征点主方向后确定特征点描述 所得到的图像信息进行判断，只对像素不为零的 子。与sit对图像构造金字塔图不同，suf是通过 值进行特征点匹配，处理流程如图12所示。 改变滤波器的大小构造金字塔图层构建尺度空 间，在此基础之上采用Hessian矩阵检测极值点， 对检测的速度有很大提高。 图8显著性检测前效果图 Fig.8 Renderings before significance detection 图11目标区域从原图中提取出后效果图 Fig.11 Renderings after extracted the target area from original image 得到目标 Y 进行 区域 先腐蚀 与原图 判断像素 心配 显著图 后膨胀 做与运算 是否为零 操作 不进行 匹配操作 图9显著性检测后效果图 图12目标区域处理流程图 Fig.9 Renderings after significance detection Fig.12 The flowchart of target area processing 2.5.1 Hessian矩阵确定特征点 在surf算子检测特征点的过程中Hessian矩 阵判别式尤为关键，在构建尺度空间后，当Hessian 矩阵判别式的局部值最大时所检测出的即为待选 的特征点。在图像I中，点(x,)处尺度为σ，则其 Hessian矩阵为 H(x,y,d)= L(x,y,o）Lo(x,y,) Lm(x,y,σ) Ln(x,y,) 式中：L(xy,)表示高斯二阶偏导数在点(xy处 与图像I的卷积，L,(x,y,)与Ln(x,y,o)与此相同。 图10对显著图先腐蚀后膨胀效果图 为了方便计算且不影响效果，直接用框状滤波模 Fig.10 Renderings after erosion and dilate 板代替高斯的二阶偏导，如图13所示。 2.5surf算法特征点检测 在模板中用D、D、和Dn分别取代原矩阵中 由于SIFT算子在检测的过程中存在计算数 的Lr、Lg与Lr。所以得到近似Hessian矩阵的表示： 据大，耗时长的问题，Bay等提出了一种对尺度 detH=DD -(@D)2 (23) 和旋转具有鲁棒性的快速鲁棒的特征描述方法 由于高斯滤波与近似高斯滤波的差异性，用
区域信息对原图做与运算，则目标区域内像素值 不变，目标区域外像素值置零，将目标区域从原 图中提取出来，如图 11 所示。在此基础在上，对 所得到的图像信息进行判断，只对像素不为零的 值进行特征点匹配，处理流程如图 12 所示。 图 8 显著性检测前效果图 Fig. 8 Renderings before significance detection 图 9 显著性检测后效果图 Fig. 9 Renderings after significance detection 图 10 对显著图先腐蚀后膨胀效果图 Fig. 10 Renderings after erosion and dilate 2.5 surf 算法特征点检测 由于 SIFT 算子在检测的过程中存在计算数 据大，耗时长的问题，Bay 等 [8]提出了一种对尺度 和旋转具有鲁棒性的快速鲁棒的特征描述方法 (speed up robust features，surf)。surf 检测算子与 sift 检测算子类似，首先构建尺度空间，初步检测 极值点，在确定特征点主方向后确定特征点描述 子。与 sift 对图像构造金字塔图不同，surf 是通过 改变滤波器的大小构造金字塔图层构建尺度空 间，在此基础之上采用 Hessian 矩阵检测极值点， 对检测的速度有很大提高。 图 11 目标区域从原图中提取出后效果图 Fig. 11 Renderings after extracted the target area from original image 得到目标 区域 显著图 先腐蚀 后膨胀 与原图 做与运算 判断像素 是否为零 进行 匹配 操作 不进行 匹配操作 Y N 图 12 目标区域处理流程图 Fig. 12 The flowchart of target area processing 2.5.1 Hessian 矩阵确定特征点 (x, y) σ 在 surf 算子检测特征点的过程中 Hessian 矩 阵判别式尤为关键，在构建尺度空间后，当 Hessian 矩阵判别式的局部值最大时所检测出的即为待选 的特征点。在图像 I 中，点 处尺度为 ，则其 Hessian 矩阵为 H(x, y,σ) = [ Lxx(x, y,σ) Lxy(x, y,σ) Lxy(x, y,σ) Lyy(x, y,σ) ] Lxx(x, y,σ) (x, y) Lxy(x, y,σ) Lyy(x, y,σ) 式中： 表示高斯二阶偏导数在点 处 与图像 I 的卷积， 与 与此相同。 为了方便计算且不影响效果，直接用框状滤波模 板代替高斯的二阶偏导，如图 13 所示。 Dxx Dxy Dyy Lxx Lxy Lyy 在模板中用 、 、和 分别取代原矩阵中 的 、 与 。所以得到近似 Hessian 矩阵的表示： det H = DxxDyy −(ωDxy) 2 (23) 由于高斯滤波与近似高斯滤波的差异性，用 第 6 期 安果维，等：基于显著性检测的双目测距系统 ·917·