第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992/tis.202008008 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210402.1009.002.html 工业机器人加工轨迹双目3D激光扫描成像修正方法 赵立明，龙大周，徐晓东，张毅，冯阳，李芳芳 (重庆邮电大学先进制造工程学院，重庆400065) 摘要：为了提高工业机器人作业柔性，本文提出了一种基于双目CCD激光扫描3D成像的“眼在外”(Eye-to hand:ETH)工业机器人末端(tool center point,.TCP)运动轨迹在线修正方法。以激光切割机器人视觉引导为研 究背景，降低加工过程机器人对物理工装定位精度的依赖。首先，为提高机器人视觉控制精度，研究了目标工 件双目3D激光扫描成像空间点云坐标精确提取方法；其次，融合ETH控制特点和扫描成像系统结构，建立了 一种机器人TCP运动轨迹相对偏差在线补偿方法，并通过实验验证了所提方法的可行性，为工业应用奠定基础。 关键词：机器视觉；图像处理；机器人；智能制造；传感器；三维成像；激光扫描；双目视觉 中图分类号：TP242.2文献标志码：A文章编号：1673-4785(2021)04-0690-09 中文引用格式：赵立明，龙大周，徐晓东，等.工业机器人加工轨迹双目3D激光扫描成像修正方法J.智能系统学报，2021， 16(4):690-698. 英文引用格式：ZHAO Liming,.LONG Dazhou,XU Xiaodong,et al.Binocular3 D laser scanning imaging-based industrial robot machining trajectory correction method Jl.CAAI transactions on intelligent systems,2021,16(4):690-698. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method ZHAO Liming,LONG Dazhou,XU Xiaodong,ZHANG Yi,FENG Yang,LI Fangfang (College of Advanced Manufacturing Engineering.Chongqing University of Posts and Telecommunications,Chongqing 400065, China) Abstract:In this paper,to improve the flexibility of industrial robot operations,an eye-to-hand(ETH)industrial robot end-effector(tool center point(TCP))trajectory on-line correction method is proposed based on binocular charge- coupled device laser scanning three-dimensional(3D)imaging.Under the research background on the visual guidance of laser cutting robots,the aim of this study is to reduce the dependence of robots on the positioning accuracy of physical tools in the machining process.First,to improve the vision control accuracy of robots,research was performed on a method of accurately extracting the spatial point cloud coordinates of target workpieces based on binocular 3D laser scanning imaging.Then,an online compensation method for the relative deviation of robot TCP trajectories was estab- lished by combining ETH control characteristics and the scanning imaging system structure.The feasibility of the pro- posed method was verified by experiments,which lays a foundation for industrial applications. Keywords:machine vision;image processing;robot;intelligent manufacturing;sensors;3D imaging;laser scanning; binocular vision 机器人与智能制造是国家制造2025的主攻 线编程的方式执行预定指令，不利于加工柔性和 方向和工业4.0的核心技术，为实施制造业创新 智能化程度的提高。机器人按预先编制的模 驱动发展战略和加速制造业转型升级提供有利支 式工作，当环境变化不被机器人感知时，容易造 撑。传统的工业机器人工作过程主要以示教或离 成加工误差，无法满足产品质量要求，或增加产 品报废率，影响企业产品质量等级或增加生产成 收稿日期：2020-08-10.网络出版日期：2021-04-02. 基金项目：国家自然科学基金项目(51604056)：重庆市基础与 本。因此，基于实时信息感知反馈的机器人柔性 前沿研究计划项日(cstc2016 jcyjA0537):重庆市重点 产业重点研发项目(cstc2017zdcy-zdyfX0025). 位姿控制，是提高机器人智能化水平和产品质量 通信作者：徐晓东.E-mail:xxd@cqupt..edu.cn 的有利条件4。机器人智能化程度的提高有赖
DOI: 10.11992/tis.202008008 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210402.1009.002.html 工业机器人加工轨迹双目 3D 激光扫描成像修正方法 赵立明，龙大周，徐晓东，张毅，冯阳，李芳芳 （重庆邮电大学 先进制造工程学院，重庆 400065） 摘 要：为了提高工业机器人作业柔性，本文提出了一种基于双目 CCD 激光扫描 3D 成像的“眼在外”(Eye-tohand:ETH) 工业机器人末端 (tool center point, TCP) 运动轨迹在线修正方法。以激光切割机器人视觉引导为研 究背景，降低加工过程机器人对物理工装定位精度的依赖。首先，为提高机器人视觉控制精度，研究了目标工 件双目 3D 激光扫描成像空间点云坐标精确提取方法；其次，融合 ETH 控制特点和扫描成像系统结构，建立了 一种机器人 TCP 运动轨迹相对偏差在线补偿方法，并通过实验验证了所提方法的可行性，为工业应用奠定基础。 关键词：机器视觉；图像处理；机器人；智能制造；传感器；三维成像；激光扫描；双目视觉 中图分类号：TP242.2 文献标志码：A 文章编号：1673−4785(2021)04−0690−09 中文引用格式：赵立明, 龙大周, 徐晓东, 等. 工业机器人加工轨迹双目 3D 激光扫描成像修正方法 [J]. 智能系统学报, 2021, 16(4): 690–698. 英文引用格式：ZHAO Liming, LONG Dazhou, XU Xiaodong, et al. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method[J]. CAAI transactions on intelligent systems, 2021, 16(4): 690–698. Binocular 3D laser scanning imaging-based industrial robot machining trajectory correction method ZHAO Liming，LONG Dazhou，XU Xiaodong，ZHANG Yi，FENG Yang，LI Fangfang (College of Advanced Manufacturing Engineering, Chongqing University of Posts and Telecommunications, Chongqing 400065, China) Abstract: In this paper, to improve the flexibility of industrial robot operations, an eye-to-hand (ETH) industrial robot end-effector (tool center point (TCP)) trajectory on-line correction method is proposed based on binocular chargecoupled device laser scanning three-dimensional (3D) imaging. Under the research background on the visual guidance of laser cutting robots, the aim of this study is to reduce the dependence of robots on the positioning accuracy of physical tools in the machining process. First, to improve the vision control accuracy of robots, research was performed on a method of accurately extracting the spatial point cloud coordinates of target workpieces based on binocular 3D laser scanning imaging. Then, an online compensation method for the relative deviation of robot TCP trajectories was established by combining ETH control characteristics and the scanning imaging system structure. The feasibility of the proposed method was verified by experiments, which lays a foundation for industrial applications. Keywords: machine vision; image processing; robot; intelligent manufacturing; sensors; 3D imaging; laser scanning; binocular vision 机器人与智能制造是国家制造 2025 的主攻 方向和工业 4.0 的核心技术，为实施制造业创新 驱动发展战略和加速制造业转型升级提供有利支 撑。传统的工业机器人工作过程主要以示教或离 线编程的方式执行预定指令，不利于加工柔性和 智能化程度的提高[1-3]。机器人按预先编制的模 式工作，当环境变化不被机器人感知时，容易造 成加工误差，无法满足产品质量要求，或增加产 品报废率，影响企业产品质量等级或增加生产成 本。因此，基于实时信息感知反馈的机器人柔性 位姿控制，是提高机器人智能化水平和产品质量 的有利条件[4-5]。机器人智能化程度的提高有赖 收稿日期：2020−08−10. 网络出版日期：2021−04−02. 基金项目：国家自然科学基金项目 (51604056)；重庆市基础与 前沿研究计划项目 (cstc2016jcyjA0537)；重庆市重点 产业重点研发项目 (cstc2017zdcy-zdyfX0025). 通信作者：徐晓东. E-mail：xxd@cqupt.edu.cn. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021
第4期 赵立明，等：工业机器人加工轨迹双目3D激光扫描成像修正方法 ·691· 于传感器技术和信息技术的发展，其中，将机器 术领域，由于存在外界光照干扰或加工工件形状 视觉感知与机器人反馈控制技术相结合，有效利 复杂等因素，提高机器人动态环境适应能力和实 用视觉传感器信息感知能力，自适应地控制机器 现精确路径引导技术仍是研究热点。其中，机器 人执行决策，已成为提高机器人柔性和智能化水 人手眼关系标定、视觉有效信息获取、成像与控 平的一个重要支撑条件6刀。 制模式以及视觉检测控制精度等仍需开展进一步 机器人视觉伺服控制研究领域涉及图像处 的研究工作。本文鉴于前人的研究成果，以激光 理、模式识别、机器人运动学、机器人动力学以及 切割机器人视觉引导为研究背景，为克服环境光 控制理论等。20世纪90年代以来，基于信息感 照干扰、切割工件形状复杂以及检测和控制精度 知的工业机器人柔性加工方法得到广泛的关注并 低等问题，提出了一种基于双目CCD激光扫描 进入快速发展阶段。基于视觉的机器人控制形 3D成像的“眼在外”(Eye-to-hand:ETH)）工.业机器 式在很大程度上克服了机器人自身、视觉系统以 人末端(TCP)运动轨迹在线修正方法。以激光切 及外部环境的不确定性，使机器人定位和跟踪精 割机器人视觉引导为研究背景，降低加工过程机 度有极大的提高。Espiau等9较早地开展了机器 器人对物理工装定位精度的依赖。首先，为提高 人视觉伺服控制算法的研究。Belousov等o基于 机器人视觉控制精度，研究了目标工件双目 计算机网络远程控制方式对机器人实时目标抓取3D激光扫描成像空间，点云坐标精确提取方法；其 技术进行了研究，并采用仿真技术研究了目标定 次，融合ETH控制特点和扫描成像系统结构，建 位和运动轨迹跟踪方法。Chaumette等提出了 立了一种机器人TCP运动轨迹相对偏差在线补 基于21/2D视觉伺服控制方法，对视觉伺服经典 偿方法。该方法可用于混合多形状物料的识别 控制方法进行了优化，并开展了机器人工业应用 抓取与分拣工作。 测试。Schmidt等2采用“眼在手”方式，将单目 相机固定于机器人末端，通过在工件表面粘贴标 1实验系统构建 记物实现定位抓取，目标标记方式可有效提高检 1.1手眼关系与目标检测方法 测和控制精度。尹湘云等)基于支持向量机回 文中机器人视觉信息反馈系统采用了眼在外 归的机器人视觉定位，简化了控制策略并提高了 独立工作方式(Eye-to-hand),因此，利用检测坐标 机器人的控制精度。Ishibashi等提出了基于双 点调整机器人末端执行器姿态，需将工件坐标系 目立体视觉的机器人定位方法，实现了目标对象 和机器人末端执行器坐标系统一到基坐标系下，确 的快速、非接触三维定位，但该方法存在特征点 定机器人基座坐标系B和摄像机坐标系D之间的 难以匹配，较适合于特征点显著的目标物体。Wiso 变换关系，转换关系矩阵可由手眼标定完成9,0。 等将单目摄像头安装在机器人执行器末端，借 本系统由于采用双目激光扫描方式，因此.为便 助物体已知特征点，通过扩展卡尔曼滤波器，研 于确定手眼关系，在系统中定义了两个已知坐标 究了轨迹控制和目标跟踪技术，该方法可在动态 原点，如图1所示，一是由示教获得的机器人工作 环境中具备一定的可靠性。陈影等6采用点云 原点，二是双目3D扫描成像系统扫描原点（双目 切片法得到熔覆路径上的点集，运用非均匀有理 CCD3D点云数据在系统结构不变的情况由 B样条拟合得到加工点的曲线，从而得到枪头的 ICP算法进行一次配准，并确定配准变换矩阵参 运动轨迹，该方法提高了算法实现的可行性和可 数不变)。基于以上定义可知，系统中视觉坐标 靠性。Park等)采用厚度映射法对物体表面进 系D与机器人基坐标系B位姿相对固定，基坐标 行三维重建，同时生成磨削路径，主要应用于船 系B与工具中心坐标系之间的转换矩阵可由机器 舶和飞机螺旋桨磨削加工，该方法验证了机器人 人内部参数确定，位于工作原点中的工具中心点 数字化对大型雕刻面进行重塑和刀具路径生成的 坐标系T,与扫描原点视觉成像坐标系V可通过 有效性。董铃等1采用基于三维视觉的激光再 一次标定获得并确定不变。此处，为便于计算， 制造机器人离线自动编程系统，采用梯度重心法 特将视觉坐标系原点V定义在扫描原点，在双目 提取激光条纹的中心线，依据极限几何理论进行 激光扫描系统标定过程中，将被扫描目标点云坐 特征匹配，根据三角原理得到零件的表面点云数 标确定在V坐标下，具体检测方法不作为本文重 据，该算法在一定程度上提高了测量精度，具有 点论述。因此，扫描获得的目标物体上某一点 较好的理论和实用价值。 p(x,yz)可通过式(1)获得： 目前，在面向工业应用的机器人手眼协调技 BP=BTnXTTvXVPp (1)
于传感器技术和信息技术的发展，其中，将机器 视觉感知与机器人反馈控制技术相结合，有效利 用视觉传感器信息感知能力，自适应地控制机器 人执行决策，已成为提高机器人柔性和智能化水 平的一个重要支撑条件[6-7]。 机器人视觉伺服控制研究领域涉及图像处 理、模式识别、机器人运动学、机器人动力学以及 控制理论等。20 世纪 90 年代以来，基于信息感 知的工业机器人柔性加工方法得到广泛的关注并 进入快速发展阶段[8]。基于视觉的机器人控制形 式在很大程度上克服了机器人自身、视觉系统以 及外部环境的不确定性，使机器人定位和跟踪精 度有极大的提高。Espiau 等 [9] 较早地开展了机器 人视觉伺服控制算法的研究。Belousov 等 [10] 基于 计算机网络远程控制方式对机器人实时目标抓取 技术进行了研究，并采用仿真技术研究了目标定 位和运动轨迹跟踪方法。Chaumette 等 [11] 提出了 基于 21/2D 视觉伺服控制方法，对视觉伺服经典 控制方法进行了优化，并开展了机器人工业应用 测试。Schmidt 等 [12] 采用“眼在手”方式，将单目 相机固定于机器人末端，通过在工件表面粘贴标 记物实现定位抓取，目标标记方式可有效提高检 测和控制精度。尹湘云等[13] 基于支持向量机回 归的机器人视觉定位，简化了控制策略并提高了 机器人的控制精度。Ishibashi 等 [14] 提出了基于双 目立体视觉的机器人定位方法，实现了目标对象 的快速、非接触三维定位，但该方法存在特征点 难以匹配，较适合于特征点显著的目标物体。Wilson 等 [15] 将单目摄像头安装在机器人执行器末端，借 助物体已知特征点，通过扩展卡尔曼滤波器，研 究了轨迹控制和目标跟踪技术，该方法可在动态 环境中具备一定的可靠性。陈影等[16] 采用点云 切片法得到熔覆路径上的点集，运用非均匀有理 B 样条拟合得到加工点的曲线，从而得到枪头的 运动轨迹，该方法提高了算法实现的可行性和可 靠性。Park 等 [17] 采用厚度映射法对物体表面进 行三维重建，同时生成磨削路径，主要应用于船 舶和飞机螺旋桨磨削加工，该方法验证了机器人 数字化对大型雕刻面进行重塑和刀具路径生成的 有效性。董铃等[18] 采用基于三维视觉的激光再 制造机器人离线自动编程系统，采用梯度重心法 提取激光条纹的中心线，依据极限几何理论进行 特征匹配，根据三角原理得到零件的表面点云数 据，该算法在一定程度上提高了测量精度，具有 较好的理论和实用价值。 目前，在面向工业应用的机器人手眼协调技 术领域，由于存在外界光照干扰或加工工件形状 复杂等因素，提高机器人动态环境适应能力和实 现精确路径引导技术仍是研究热点。其中，机器 人手眼关系标定、视觉有效信息获取、成像与控 制模式以及视觉检测控制精度等仍需开展进一步 的研究工作。本文鉴于前人的研究成果，以激光 切割机器人视觉引导为研究背景，为克服环境光 照干扰、切割工件形状复杂以及检测和控制精度 低等问题，提出了一种基于双目 CCD 激光扫描 3D 成像的“眼在外”(Eye-to-hand:ETH) 工业机器 人末端 (TCP) 运动轨迹在线修正方法。以激光切 割机器人视觉引导为研究背景，降低加工过程机 器人对物理工装定位精度的依赖。首先，为提高 机器人视觉控制精度，研究了目标工件双 目 3D 激光扫描成像空间点云坐标精确提取方法；其 次，融合 ETH 控制特点和扫描成像系统结构，建 立了一种机器人 TCP 运动轨迹相对偏差在线补 偿方法。该方法可用于混合多形状物料的识别、 抓取与分拣工作。 1 实验系统构建 1.1 手眼关系与目标检测方法 p(xi , yi ,zi) 文中机器人视觉信息反馈系统采用了眼在外 独立工作方式 (Eye-to-hand)，因此，利用检测坐标 点调整机器人末端执行器姿态，需将工件坐标系 和机器人末端执行器坐标系统一到基坐标系下，确 定机器人基座坐标系 B 和摄像机坐标系 D 之间的 变换关系，转换关系矩阵可由手眼标定完成[19-20]。 本系统由于采用双目激光扫描方式，因此，为便 于确定手眼关系，在系统中定义了两个已知坐标 原点，如图 1 所示，一是由示教获得的机器人工作 原点，二是双目 3D 扫描成像系统扫描原点 (双目 CCD 3D 点云数据在系统结构不变的情况 由 ICP 算法进行一次配准，并确定配准变换矩阵参 数不变)。基于以上定义可知，系统中视觉坐标 系 D 与机器人基坐标系 B 位姿相对固定，基坐标 系 B 与工具中心坐标系之间的转换矩阵可由机器 人内部参数确定，位于工作原点中的工具中心点 坐标系 T1 与扫描原点视觉成像坐标系 V 可通过 一次标定获得并确定不变。此处，为便于计算， 特将视觉坐标系原点 V 定义在扫描原点，在双目 激光扫描系统标定过程中，将被扫描目标点云坐 标确定在 V 坐标下，具体检测方法不作为本文重 点论述。因此，扫描获得的目标物体上某一点 可通过式 (1) 获得： B Pp = BTT1 × T1TV × V Pp (1) 第 4 期 赵立明，等：工业机器人加工轨迹双目 3D 激光扫描成像修正方法 ·691·
·692· 智能系统学报 第16卷 式中：BP。为扫描点位于机器人基坐标系下的坐 BP=RXVP+t (2) 标；Tx,为机器人末端工具中心点姿态；Tv为定 式中：R表示视觉坐标系V相对于基坐标系B的 义的双目扫描视觉坐标系与工具中心点坐标系转 旋转矩阵；t表示对应的平移向量，因此，获得 换关系矩阵；'P。为目标扫描点位于在扫描原点 P为目标坐标系相对于基坐标系B的位置，通过 定义的视觉坐标系中的坐标值，此处，扫描原点 正运动学可获取末端工具中心点坐标系的相对位 为双目扫描系统归零点，即系统扫描开始和结束 置，关系为 编码器指定位置。 P-FR×BP+Ft=ER×(R×CP+)+Bt(3) 依据正运动学求解过程，图1中目标坐标系 式中：R、t分别表示工具中心点坐标系T相 内点P,在视觉坐标系内为"P,通过旋转和平移 对于视觉坐标系V的旋转矩阵和平移向量，则 变换可获得该点在机器人基座坐标系B中的坐 工P为工具中心点坐标系T,相对于视觉坐标系 标值，变换式可表示为 V的位姿。 示教工作原点 。目标3D坐标系 工具坐标系 编码器 CCDI CCD2 一字线激光源 扫描 远点 基坐坐标系 p(x》 目标坐标系 悬臂支架 加工工位 图1系统手眼坐标系空间转换关系 Fig.1 Spatial transformation relationship of system hand to eye coordinate system 对式(2)和(3)引入齐次坐标变换矩阵如下： (4) (5) BQ=-----O ,则： 图2手眼标定关系 P=TVP (6) Fig.2 Hand-eye calibration relationship p=TBP=石TBT'P (7) 图2中，类似于空间尺寸链计算过程，T为 式中变换矩阵T的求解过程需获取相机与工具 一个封闭的环，其中，B为机械人基坐标系，T。为 中心点坐标系的关系矩阵T。在系统中，由于 末端坐标系，T,为工具中心点坐标系，V为视觉坐 已设定扫描原点（扫描成像系统归零点）为视觉 标系，O为目标坐标系，该坐标系可定义为标定 坐标系V的原点，将机器人示教工作原点作为 板坐标系，用于标定目标点位于视觉坐标系下的 ￥T求解的T,坐标系原点，因此，YT变换矩阵可 点云量化检测结果。待求的基坐标系与视觉坐标 假定为眼在手方式固定变换参数。因此，借助工 系之间虚线路径可以转化为实线B到D的路径， 具中心点坐标系T,为便于求解，可将各坐标系 变换关系可表示如下： 的逻辑关系表示为图2所示。 BT=T×,T×0T×0T (8)
B Pp BTT1 T1TV V Pp 式中： 为扫描点位于机器人基坐标系下的坐 标； 为机器人末端工具中心点姿态； 为定 义的双目扫描视觉坐标系与工具中心点坐标系转 换关系矩阵； 为目标扫描点位于在扫描原点 定义的视觉坐标系中的坐标值，此处，扫描原点 为双目扫描系统归零点，即系统扫描开始和结束 编码器指定位置。 P V P B 依据正运动学求解过程，图 1 中目标坐标系 内点 ，在视觉坐标系内为 ，通过旋转和平移 变换可获得该点在机器人基座坐标系 中的坐 标值，变换式可表示为 B P = B VR× V P+ B V t (2) B VR B V t B P 式中： 表示视觉坐标系 V 相对于基坐标系 B 的 旋转矩阵； 表示对应的平移向量，因此，获得 为目标坐标系相对于基坐标系 B 的位置，通过 正运动学可获取末端工具中心点坐标系的相对位 置，关系为 T1 P = T1 B R× B P+ T1 B t = T1 B R×( B C R× C P+ B C t)+ T1 B t (3) T1 B R T1 B t T1P 式中： 、 分别表示工具中心点坐标系 T 相 对于视觉坐标系 V 的旋转矩阵和平移向量，则 为工具中心点坐标系 T1 相对于视觉坐标系 V 的位姿。 B z y x O x y z z y x CCD1 CCD2 扫描 远点 V T1 z y x T0 示教工作原点 工具坐标系 目标 3D 坐标系 编码器 一字线激光源 目标坐标系 基坐坐标系 加工工位 p (xi , yi , zi ) 悬臂支架 图 1 系统手眼坐标系空间转换关系 Fig. 1 Spatial transformation relationship of system hand to eye coordinate system 对式 (2) 和 (3) 引入齐次坐标变换矩阵如下： [ B P 1 ] = [ B VR B V t 0 1 ] [ V P 1 ] (4) [ T1 P 1 ] = [ T1 B R T1 B t 0 1 ] [ B P 1 ] (5) V P˜ = [ V P 1 ] B P˜ = [ B P 1 ] T1 P˜ = [ T1 P 1 ] 令 、 、 ，则： B P˜ = B V T V P˜ (6) T1 P˜ = T1 B T B P˜ = T1 B T B V T V P˜ (7) B V T V T1 T V T1 T V T1 T 式中变换矩阵 的求解过程需获取相机与工具 中心点坐标系的关系矩阵 。在系统中，由于 已设定扫描原点 (扫描成像系统归零点) 为视觉 坐标系 V 的原点，将机器人示教工作原点作为 求解的 T1 坐标系原点，因此， 变换矩阵可 假定为眼在手方式固定变换参数。因此，借助工 具中心点坐标系 T1，为便于求解，可将各坐标系 的逻辑关系表示为图 2 所示。 B V O T0 T1 图 2 手眼标定关系 Fig. 2 Hand-eye calibration relationship B 图 2 中，类似于空间尺寸链计算过程， V T 为 一个封闭的环，其中，B 为机械人基坐标系，T0 为 末端坐标系，T1 为工具中心点坐标系，V 为视觉坐 标系，O 为目标坐标系，该坐标系可定义为标定 板坐标系，用于标定目标点位于视觉坐标系下的 点云量化检测结果。待求的基坐标系与视觉坐标 系之间虚线路径可以转化为实线 B 到 D 的路径， 变换关系可表示如下： B VT = B T1 T × T1 T0 T × T0 O T × O V T (8) ·692· 智 能 系 统 学 报 第 16 卷
第4期 赵立明，等：工业机器人加工轨迹双目3D激光扫描成像修正方法 ·693· 式中：，T可由机器人内部参数求出；T对同一 根据检测实时性和检测精度需求，文中对于 末端工具坐标系为已知；T为视觉系统标定变换 激光线进一步单像素处理采用灰度重心法求出， 矩阵，通过该变换可得到目标检测点位于视觉坐 其重心坐标表达式如下： 标系的量化检测值。因此，通过手眼标定，视觉 ii,/ 系统扫描测量的目标工件三维姿态可通过T变 M (11) 换到相对于机械臂基坐标系下的位姿T: yo= BT=ETYT (9) -. 由以上推导可知，通过运动学计算，将机械臂 式中：(xy)为条纹中心坐标；Ii)是图像上第i 的各关节角度输入到机械臂控制器，驱动机械臂 行第j列的灰度值。 完成指定任务。 特定环境下，算法的抗噪性能会影响检测精 通过机器人视觉引导工作过程可知，视觉系 度26)，算法设计应根据所选激光线特征以及环境 统检测精度是提高机器人加工过程偏差修正可靠 易变情况而定，一般不存在最优或通用性条纹提 性的一个必要条件，本实验系统采用主动成像方 取算法。图4分别为最佳成像状态下Steger算 法，针对机器人所处光照不均、亮度变化环境下， 法、模板法和文中算法激光先中心点提取结果。 对不同清晰度评价函数进行了理论分析和实验研 实际应用中，结构光辅助测量图像中心线提取过 究，确定了激光线最佳成像方法。实现CCD在不 程中，光条宽度越小、目标面对比度越高、平顺性 同光积分时间和聚焦（离焦）状态下有效提取激 越好，算法设计性能会越高。 光线调制信息变化情况，提高扫描系统在复杂变 化环境下的鲁棒性。基于此，实验中同时考虑激 光线成像清晰度曲线的单峰性和计算实时性因 (a)Steger激光条纹提取结果 素，综合对比不同图像清晰度评价函数的清晰度 指数计算结果，依据图像清晰度变化的灵敏度响 应，如图3所示，确定了基于Tenengrad图像梯度 的清晰度自适应控制方法。 (b)模板法激光条纹提取结果 1.0 。-Laplace ◆Brenner 0.8 .Tenengrad 一能量函数 0.6 (c)本文算法提取结果 0.4 g0.2 图4激光条纹提取形态对比 Fig.4 Comparison of laser fringe extraction results 0 12345678 0 1.2基于扫描3D点云的姿态修正方法 图像序列 通过双目3D激光扫描成像技术旨在实现被 图3不同图像清晰度评价函数清晰度计算响应结果对比 测件的三维形貌和笛卡尔空间姿态的精确检测， Fig.3 Comparison of sensitivity response of different im- 输出用于工具中心点位姿的旋转和平移量，并将 age definition evaluation functions 结果传递给机器人关节控制器修正执行器姿态。 在实时获取激光线清晰图像的前提下，机 该方法便于实现基于图像和位置的机器人混合视 器人工作目标点云的精确检测取决于激光线调 觉伺服控制，进一步保证了基于图像和基于位置 制信息的精确提取。本文对比研究了目前较为 的伺服控制的优点（本文在该方面不做进一步论 常用的结构光中心线提取算法，包括极值法2 述)。图5为文中设计的基于双目激光3D扫描成 Steger网算法、曲线拟合法21、模板法以及本文 像机器人加工点修正和控制方法示意图。 确定的自适应灰度重心法阿等。实验中，依据所 该修正方法的优点在于结合了双目激光扫描 选激光线特征，首先对激光线条像使用高斯分布 大视野低遮挡的三维量化检测优势，基于此，在 动态阈值进行自适应二值化处理，其阈值函数表 被测目标：方向提取旋转坐标时可采用两个特征 达式如下： 值获得，其一是被测目标在z坐标方向的距离值： T(x)=ae(Tb (10) 其二是结合目标投影畸变获得。如图6(a)、(b)所 式中：a、b、c为常数，且a>0,Tn表示激光线光带 示，当目标定位存在偏差（如一侧高于另一侧）图 离散阈值。 像将发生投影畸变，此时可根据畸变程度与标准
B T1 T T1 T0 T O V T B V T B OT 式中： 可由机器人内部参数求出； 对同一 末端工具坐标系为已知； 为视觉系统标定变换 矩阵，通过该变换可得到目标检测点位于视觉坐 标系的量化检测值。因此，通过手眼标定，视觉 系统扫描测量的目标工件三维姿态可通过 变 换到相对于机械臂基坐标系下的位姿 ： B OT = B CT V OT (9) 由以上推导可知，通过运动学计算，将机械臂 的各关节角度输入到机械臂控制器，驱动机械臂 完成指定任务。 通过机器人视觉引导工作过程可知，视觉系 统检测精度是提高机器人加工过程偏差修正可靠 性的一个必要条件，本实验系统采用主动成像方 法，针对机器人所处光照不均、亮度变化环境下， 对不同清晰度评价函数进行了理论分析和实验研 究，确定了激光线最佳成像方法。实现 CCD 在不 同光积分时间和聚焦 (离焦) 状态下有效提取激 光线调制信息变化情况，提高扫描系统在复杂变 化环境下的鲁棒性。基于此，实验中同时考虑激 光线成像清晰度曲线的单峰性和计算实时性因 素，综合对比不同图像清晰度评价函数的清晰度 指数计算结果，依据图像清晰度变化的灵敏度响 应，如图 3 所示，确定了基于 Tenengrad 图像梯度 的清晰度自适应控制方法。 0 1 2 3 4 5 6 7 8 9 0.2 0.4 0.6 0.8 1.0 图像序列 归一化清晰度指数 Laplace Brenner Tenengrad 能量函数 图 3 不同图像清晰度评价函数清晰度计算响应结果对比 Fig. 3 Comparison of sensitivity response of different image definition evaluation functions 在实时获取激光线清晰图像的前提下，机 器人工作目标点云的精确检测取决于激光线调 制信息的精确提取。本文对比研究了目前较为 常用的结构光中心线提取算法，包括极值法[21] 、 Steger[22] 算法、曲线拟合法[23] 、模板法[24] 以及本文 确定的自适应灰度重心法[25] 等。实验中，依据所 选激光线特征，首先对激光线条像使用高斯分布 动态阈值进行自适应二值化处理，其阈值函数表 达式如下： T(x) = ae (Tn−b) 2/c 2 (10) 式中：a、b、c 为常数，且 a > 0，Tn 表示激光线光带 离散阈值。 根据检测实时性和检测精度需求，文中对于 激光线进一步单像素处理采用灰度重心法求出， 其重心坐标表达式如下： xo = ∑M i=1 ∑N j=1 i·I(i, j)/ ∑M i=1 ∑N j=1 I(i, j) yo = ∑M i=1 ∑N j=1 j·I(i, j)/ ∑M i=1 ∑N j=1 I(i, j) (11) (xo, yo) I(i, j) i j 式中： 为条纹中心坐标； 是图像上第 行第 列的灰度值。 特定环境下，算法的抗噪性能会影响检测精 度 [26] ，算法设计应根据所选激光线特征以及环境 易变情况而定，一般不存在最优或通用性条纹提 取算法。图 4 分别为最佳成像状态下 Steger 算 法、模板法和文中算法激光先中心点提取结果。 实际应用中，结构光辅助测量图像中心线提取过 程中，光条宽度越小、目标面对比度越高、平顺性 越好，算法设计性能会越高。 (a) Steger 激光条纹提取结果 (b) 模板法激光条纹提取结果 (c) 本文算法提取结果 图 4 激光条纹提取形态对比 Fig. 4 Comparison of laser fringe extraction results 1.2 基于扫描 3D 点云的姿态修正方法 通过双目 3D 激光扫描成像技术旨在实现被 测件的三维形貌和笛卡尔空间姿态的精确检测， 输出用于工具中心点位姿的旋转和平移量，并将 结果传递给机器人关节控制器修正执行器姿态。 该方法便于实现基于图像和位置的机器人混合视 觉伺服控制，进一步保证了基于图像和基于位置 的伺服控制的优点 (本文在该方面不做进一步论 述)。图 5 为文中设计的基于双目激光 3D 扫描成 像机器人加工点修正和控制方法示意图。 该修正方法的优点在于结合了双目激光扫描 大视野低遮挡的三维量化检测优势，基于此，在 被测目标 z 方向提取旋转坐标时可采用两个特征 值获得，其一是被测目标在 z 坐标方向的距离值； 其二是结合目标投影畸变获得。如图 6(a)、(b) 所 示，当目标定位存在偏差 (如一侧高于另一侧) 图 像将发生投影畸变，此时可根据畸变程度与标准 第 4 期 赵立明，等：工业机器人加工轨迹双目 3D 激光扫描成像修正方法 ·693·
·694· 智能系统学报 第16卷 图形反推工件姿态。由于已获得被检测目标三维 二维平面中姿态的读取，包括二维空间中的平移 形貌，因此，被测件与计算机输入的标准件在空 和旋转量，如图6（©）所示，读取值为实际检测值 间上可以快速进行匹配。另一方面是被加工件在 与标准定位图像在二维平面的平移和旋转偏差。 期望 末端 确定 关节 机 位置 精确 位姿 关节 PID 位 控制 放 末端 策略 定值 大 人本体 正后姿态 切制 初始 姿态 给定 末端 位姿 旋转 机器人关节位置控制器 期望1 调整 策 角度 机器 三 人工 图 具 维坐 维 目标 目标激光3D扫描 征 貌 关 描 目标测量 图5基于双目激光三维扫描成像的机器人控制方法 Fig.5 Robot control method based on Binocular Laser 3D scanning imaging 4 0 0 0 (a)投影畸变方向1 (b)投影畸变方向2 (©)平移旋转方向 图6基于图像信息检测的目标姿态提取方式 Fig.6 Image information detection-based approach to target attitude extraction 传统的单目激光三角测量系统，对于复杂三 式中：W:为权因子；D为控制顶点；N(0为B样 维曲面其测量精度易受激光入射角影响，或在某 条的基函数(=0,1，…，n),其定义如下所示： 些区域出现成像遮挡问题，产生视觉盲区。文中 NA0=-4N-1++t1-LN41k-1四） 采用双目扫描和图像ICP配准方式优化了成像空 l4k一h Zi+k+1-l4+1 间，采用激光直射和双目斜射扫描激光调制信 1, (13) 且N:o(W={0, :≤u≤山+1 其他 息，并根据系统标定参数输出被测目标点云坐 标。对于机器人在工件上的连续工作路径，通过 式中：U=[4442…4k+]为节点矢量；k为样条 基的次数。 选择边界特征点，采用NURBS曲线拟合得到工 件边界曲线，拟合方法如下阿： 通常情况下，采用NURBS曲线拟合，需要控 制节点矢量、顶点以及权因子参数，其中，通过控 制顶点的位置和数量可以更清晰地调整曲线的形 P(w)= 0 (12) 状，为简化计算，假定权因子W:=1,由于B样条 Ni(u)W; 的基函数满足∑N4(@=1,故式(12)转化为
图形反推工件姿态。由于已获得被检测目标三维 形貌，因此，被测件与计算机输入的标准件在空 间上可以快速进行匹配。另一方面是被加工件在 二维平面中姿态的读取，包括二维空间中的平移 和旋转量，如图 6(c) 所示，读取值为实际检测值 与标准定位图像在二维平面的平移和旋转偏差。 S + 1 S _ + _ + _ + _ 末端 初始 姿态 给定 期望 位置 末端 位姿 平移 调整 策略 确定 关节 位置 待给 定值 末端 位姿 旋转 调整 策略 期望 旋转 角度 PID 控制 伺 服 放 大 执 行 电 机 关节 位置 机 器 人 本 体 修 正 后 姿 态 精确 切割 机器人关节位置控制器 机器 人工 具与 目标 关系 三 维 坐 标 三 维 特 征 三 维 形 貌 图 像 扫 描 目标激光 3D 扫描 目标测量 × × × × 图 5 基于双目激光三维扫描成像的机器人控制方法 Fig. 5 Robot control method based on Binocular Laser 3D scanning imaging O X Y (a) 投影畸变方向 1 O Y X (b) 投影畸变方向 2 O X Y (c) 平移旋转方向 图 6 基于图像信息检测的目标姿态提取方式 Fig. 6 Image information detection-based approach to target attitude extraction 传统的单目激光三角测量系统，对于复杂三 维曲面其测量精度易受激光入射角影响，或在某 些区域出现成像遮挡问题，产生视觉盲区。文中 采用双目扫描和图像 ICP 配准方式优化了成像空 间，采用激光直射和双目斜射扫描激光调制信 息，并根据系统标定参数输出被测目标点云坐 标。对于机器人在工件上的连续工作路径，通过 选择边界特征点，采用 NURBS 曲线拟合得到工 件边界曲线，拟合方法如下[27] ： P(u) = ∑n i=0 Ni,k(u)WiDi ∑n i=0 Ni,k(u)Wi (12) Wi Di Ni,k(u) i = 0,1,··· ,n 式中： 为权因子； 为控制顶点； 为 B 样 条的基函数 ( )，其定义如下所示： Ni,k(u) = u−ui ui+k −ui Ni,k−1(u)+ ui+k+1 −u ui+k+1 −ui+1 Ni+1,k−1(u) 且Ni,0(u) = { 1, ui ⩽ u ⩽ ui+1 0, 其他 (13) 式中： U = [u0 u1 u2 ··· un+k+1] 为节点矢量； k 为样条 基的次数。 Wi = 1 ∑n i=0 Ni,k(u) 通常情况下，采用 NURBS 曲线拟合，需要控 制节点矢量、顶点以及权因子参数，其中，通过控 制顶点的位置和数量可以更清晰地调整曲线的形 状，为简化计算，假定权因子 ，由于 B 样条 的基函数满足 =1，故式 (12) 转化为 ·694· 智 能 系 统 学 报 第 16 卷