存在视场丢失的机器视觉精度补偿方法

工程科学学报，第40卷，第3期：381-388,2018年3月 Chinese Journal of Engineering,Vol.40,No.3:381-388,March 2018 DOI:10.13374/j.issn2095-9389.2018.03.015:http://journals.ustb.edu.cn 存在视场丢失的机器视觉精度补偿方法 黄煜，黄翔四，李泷呆，江一帆 南京航空航天大学机电学院，南京210016 ☒通倍作者，E-mail:xhuangnuaa(@l63.com 摘要无论Eye一in-Hand或Eye-to-Hand型式的机器视觉控制系统，均存在视场受限、丢失等情况，从而无法在一定距离、 角度内对目标进行在线视觉测量，进而无法建立全闭环的伺服控制.基于Eye-in-Hand型式的机器视觉控制系统，以及最短 测量距离L,提出一种闭环与开环相结合的伺服控制系统：即测量距离大于L时为位置反馈型闭环控制的原位调姿，在测 量距离小于L时为位置给定型开环控制，机器人以相对线性运动进给到目标位置.针对该过程中的偏移问题，提出了前馈 补偿模型，即利用前期运动数据对运动误差进行估计.实验证明，该方法能有效地补偿定位误差 关键词机器视觉：误差补偿：工业机器人：双目视觉：视场 分类号TP242.2 Compensation method for a robot vision system with an occluded camera field HUANG Yu,HUANG Xiang,LI Shuang-gao,JIANG Yi-fan College of Mechanical and Electrical Engineering,Nanjing University of Aeronautics Astronautics,Nanjing 210016,China Corresponding author,E-mail:xhuangnuaa@163.com ABSTRACT In both Eye-in-Hand and Eye-to-Hand robotic visual controls,problems such as limited field of view or tracking tar- get loss remain.Thus,online measurement cannot be performed within a certain distance and a certain degree,and a closed-oop con- trol cannot be constructed.Based on Eye-in-Hand visual control and the theoretical shortest measuring distanceL a visual servo combining the closed-loop and open-oop controls was proposed.When above L,an iterative compensation method was proposed to adjust the attitude with the online measured data.In contrast,when below L,a feed-forward compensation for relative linear motion was integrated to improve the positioning accuracy,estimating the error by the data determined by actually moving the path of the robot record by the visual system.As shown by several experiments,this method can effectively enhance the position accuracy. KEY WORDS visual servo control;compensation:industrial robots:binocular vision:camera field 对于机器人自主作业来说，视觉测量起着非常 机器人视觉控制中，工业机器人与摄像机的配 重要的作用.根据摄像机获得的视觉信息对目标的 置（手眼关系）通常有两种：固定在周围环境中 位置和姿态进行测量即为视觉测量.将视觉测量系 (Eye-to-Hand)和安装在末端执行器上(Eye一in- 统加入到机器人控制回路中形成闭、开环控制，以视 Hand)因.这两种配置都存在视场受限或目标易丢 觉测量的信息作为给定或反馈对机器人的位置和姿 失的问题.对于Eye一to一Hand视觉控制系统，当机 态进行控制，引导机器人完成对物体的跟踪-习、抓 器人与目标达到一定距离后（即目标处于机械臂的 取同等其他习作业任务，提高了机器人的智能化 操作范围内)机器人就停止运动.根据视觉测量结 水平和自主作业能力. 果，改由机械臂向目标移动并对目标进行操作.机 收稿日期：201705-24 基金项目：航空科学基金资助项目(2016ZE52053):国家重点研发计划‘重大科学仪器设备开发'资助项目(2017YF0107304)

工程科学学报，第 40 卷，第 3 期: 381--388，2018 年 3 月 Chinese Journal of Engineering，Vol． 40，No． 3: 381--388，March 2018 DOI: 10． 13374 /j． issn2095--9389． 2018． 03． 015; http: / /journals． ustb． edu． cn 存在视场丢失的机器视觉精度补偿方法 黄 煜，黄 翔，李泷杲，江一帆 南京航空航天大学机电学院，南京 210016 通信作者，E-mail: xhuangnuaa@ 163． com 摘 要 无论 Eye--in--Hand 或 Eye--to--Hand 型式的机器视觉控制系统，均存在视场受限、丢失等情况，从而无法在一定距离、 角度内对目标进行在线视觉测量，进而无法建立全闭环的伺服控制． 基于 Eye--in--Hand 型式的机器视觉控制系统，以及最短 测量距离 Lmin，提出一种闭环与开环相结合的伺服控制系统: 即测量距离大于 Lmin时为位置反馈型闭环控制的原位调姿，在测 量距离小于 Lmin时为位置给定型开环控制，机器人以相对线性运动进给到目标位置． 针对该过程中的偏移问题，提出了前馈 补偿模型，即利用前期运动数据对运动误差进行估计． 实验证明，该方法能有效地补偿定位误差． 关键词 机器视觉; 误差补偿; 工业机器人; 双目视觉; 视场 分类号 TP242. 2 收稿日期: 2017--05--24 基金项目: 航空科学基金资助项目( 2016ZE52053) ; 国家重点研发计划‘重大科学仪器设备开发’资助项目( 2017YFF0107304) Compensation method for a robot vision system with an occluded camera field HUANG Yu，HUANG Xiang ，LI Shuang-gao，JIANG Yi-fan College of Mechanical and Electrical Engineering，Nanjing University of Aeronautics ＆ Astronautics，Nanjing 210016，China Corresponding author，E-mail: xhuangnuaa@ 163． com ABSTＲACT In both Eye--in--Hand and Eye--to--Hand robotic visual controls，problems such as limited field of view or tracking tar￾get loss remain． Thus，online measurement cannot be performed within a certain distance and a certain degree，and a closed-loop con￾trol cannot be constructed． Based on Eye--in--Hand visual control and the theoretical shortest measuring distance Lmin，a visual servo combining the closed-loop and open-loop controls was proposed． When above Lmin，an iterative compensation method was proposed to adjust the attitude with the online measured data． In contrast，when below Lmin，a feed-forward compensation for relative linear motion was integrated to improve the positioning accuracy，estimating the error by the data determined by actually moving the path of the robot record by the visual system． As shown by several experiments，this method can effectively enhance the position accuracy． KEY WOＲDS visual servo control; compensation; industrial robots; binocular vision; camera field 对于机器人自主作业来说，视觉测量起着非常 重要的作用． 根据摄像机获得的视觉信息对目标的 位置和姿态进行测量即为视觉测量． 将视觉测量系 统加入到机器人控制回路中形成闭、开环控制，以视 觉测量的信息作为给定或反馈对机器人的位置和姿 态进行控制，引导机器人完成对物体的跟踪［1--2］、抓 取［3］等其他［4--5］作业任务，提高了机器人的智能化 水平和自主作业能力． 机器人视觉控制中，工业机器人与摄像机的配 置( 手 眼 关 系) 通 常 有 两 种: 固 定 在 周 围 环 境 中 ( Eye--to--Hand) 和安装在末端执行器上( Eye--in-- Hand) ［6］． 这两种配置都存在视场受限或目标易丢 失的问题． 对于 Eye--to--Hand 视觉控制系统，当机 器人与目标达到一定距离后( 即目标处于机械臂的 操作范围内) 机器人就停止运动． 根据视觉测量结 果，改由机械臂向目标移动并对目标进行操作． 机

·382 工程科学学报，第40卷，第3期 械臂移动及操作时会对目标造成遮挡.由于相机固 实现全闭环伺服控制，本文提出一种位置反馈型 定（不随机器人移动），对目标的测量结果不变，因 (闭环)与位置给定型（开环）相结合的基于位置的 此若相机标定精度不高，会产生较大的绝对误差使 视觉伺服系统，该方法不需增加额外相机（另结合 机械臂偏移目标位置.对于Eye-in-Hand系统，其 Eye-to-Hand型式)来补充测量视场.末端执行器 在实际应用时视场处于不断变化状态，不能保证目 在最小测量距离以上（目标处于视场内）的调姿过 标一直在视场中，有时会导致目标丢失的现象.而 程采用闭环控制：调姿完成后在最小测量距离以内 且受到作业空间的影响，很难满足对任意姿态、距离 沿法向加载过程为开环控制.针对开环中机器人定 的有效测量.系统只能在目标上方一定高度处进行 位精度的补偿问题，本文提出前馈补偿模型，利用前 测量，机器人根据测量反馈完成调姿后，沿法向运动 期机器人路径中测量得到的若干数据组估算下一阶 到目标位置进行作业. 段机器人运动的偏移量，以作为系统误差直接进行 为解决视场受限、易丢失目标的问题，Corke 补偿.该方法能迅速有效地补偿外扰对整个系统的 等P,刃等提出了一种2.5D的视觉伺服方法，使用扩 影响 展图像坐标在图像空间控制位置，而通过部分三维 重构在笛卡尔空间控制旋转.瑞典Kragic与Chris- 1机器视觉控制系统 tensen图、美国Wang等采用Eye-to--Hand和Eye一 1.1最短测量距离 in-Hand相结合的方式，大范围内使用Eye-to-Hand 在设计非接触式双目视觉测量系统时，首先需 方式以得到较大的视野，而在小范围内使用Eye-in一 根据测量对象、末端执行器尺寸、测量范围等要求完 Hand方式提高控制精度.美国Silveira与Malis 成理论设计.需要选定的参数包含：相机焦距、相机 提出了一种利用图像的像素密度（而非角点、边线 基线距离、光轴夹角、测量距离等.据此可以通过建 等特征)计算相关参数并控制6自由度工业机器人 立三维投影图，如图1(a)所示，计算单相机的理论 的视觉伺服系统，因此当部分图像特征被遮掩或丢 视场大小和双相机的公共视场区域大小. 失时依然可行. 固定焦距镜头具有固定视场角Av·尽管视角 因视场丢失而无法在线补偿的这段运动过程， 保持不变，但通过针对不同工作距离调整镜头焦距， 需采取其他办法对机器人偏移进行纠正.天津大学 仍可获得不同大小的视场(FOV).设相机测量的水 陈益伟提出基于坐标平移的修正方法，将被测点 平视场为HFOV(mm),相机以测量对象几何中心呈 的理论值和三坐标测量机测得的实际值的差作为该 对称安装.相机安装角为0（°），a=Aov/2.焦点到 点的平移量.这种方法可以有效提高定位精度，但 目标的距离为L,则根据几何关系可知： 存在借助三坐标测量机、为减少环境影响而延长测 HFOV =2Ltana [1-(tane)2] (1) 量周期等缺点.江南大学沈程慧等的采用最小距 因此当被测对象的尺寸为amm时，则可得到 离误差逼近法，构建网格模型循环查找最小距离粒 理论最短测量距离L,即目标完全处于视场内的 度点并依次逼近，提高绝对定位精度.但该方法的 最短测量高度： 缺陷是最终定位接近目标点，而不是直接到达目 a (2) 标点 Lin =2Ltan c -(tan 0)] 针对双目Eye-in-Hand系统因视场问题难以 由式(2)确定的最短测量距离可为视觉测量系 a 公共视场区域 b/2 测量目标 作业位置 光轴 最短测量距离 图1双目视觉测量系统最短测量距离 Fig.1 Shortest measure distance of binocular vision

工程科学学报，第 40 卷，第 3 期 械臂移动及操作时会对目标造成遮挡． 由于相机固 定( 不随机器人移动) ，对目标的测量结果不变，因 此若相机标定精度不高，会产生较大的绝对误差使 机械臂偏移目标位置． 对于 Eye--in--Hand 系统，其 在实际应用时视场处于不断变化状态，不能保证目 标一直在视场中，有时会导致目标丢失的现象． 而 且受到作业空间的影响，很难满足对任意姿态、距离 的有效测量． 系统只能在目标上方一定高度处进行 测量，机器人根据测量反馈完成调姿后，沿法向运动 到目标位置进行作业． 为解 决 视 场 受 限、易丢失目标的问题，Corke 等［2，7］等提出了一种 2. 5D 的视觉伺服方法，使用扩 展图像坐标在图像空间控制位置，而通过部分三维 重构在笛卡尔空间控制旋转． 瑞典 Kragic 与 Chris￾tensen［8］、美国 Wang 等［9］采用 Eye--to--Hand 和 Eye-- in--Hand 相结合的方式，大范围内使用 Eye--to--Hand 方式以得到较大的视野，而在小范围内使用 Eye--in-- Hand 方式提高控制精度． 美国 Silveira 与 Malis［10］ 提出了一种利用图像的像素密度( 而非角点、边线 等特征) 计算相关参数并控制 6 自由度工业机器人 的视觉伺服系统，因此当部分图像特征被遮掩或丢 失时依然可行． 图 1 双目视觉测量系统最短测量距离 Fig． 1 Shortest measure distance of binocular vision 因视场丢失而无法在线补偿的这段运动过程， 需采取其他办法对机器人偏移进行纠正． 天津大学 陈益伟［11］提出基于坐标平移的修正方法，将被测点 的理论值和三坐标测量机测得的实际值的差作为该 点的平移量． 这种方法可以有效提高定位精度，但 存在借助三坐标测量机、为减少环境影响而延长测 量周期等缺点． 江南大学沈程慧等［12］采用最小距 离误差逼近法，构建网格模型循环查找最小距离粒 度点并依次逼近，提高绝对定位精度． 但该方法的 缺陷是最终定位接近目标点，而不是直接到达目 标点． 针对双目 Eye--in--Hand 系统因视场问题难以 实现全闭环伺服控制，本文提出一种位置反馈型 ( 闭环) 与位置给定型( 开环) 相结合的基于位置的 视觉伺服系统，该方法不需增加额外相机( 另结合 Eye--to--Hand 型式) 来补充测量视场． 末端执行器 在最小测量距离以上( 目标处于视场内) 的调姿过 程采用闭环控制; 调姿完成后在最小测量距离以内 沿法向加载过程为开环控制． 针对开环中机器人定 位精度的补偿问题，本文提出前馈补偿模型，利用前 期机器人路径中测量得到的若干数据组估算下一阶 段机器人运动的偏移量，以作为系统误差直接进行 补偿． 该方法能迅速有效地补偿外扰对整个系统的 影响． 1 机器视觉控制系统 1. 1 最短测量距离 在设计非接触式双目视觉测量系统时，首先需 根据测量对象、末端执行器尺寸、测量范围等要求完 成理论设计． 需要选定的参数包含: 相机焦距、相机 基线距离、光轴夹角、测量距离等． 据此可以通过建 立三维投影图，如图 1( a) 所示，计算单相机的理论 视场大小和双相机的公共视场区域大小． 固定焦距镜头具有固定视场角 AFOV． 尽管视角 保持不变，但通过针对不同工作距离调整镜头焦距， 仍可获得不同大小的视场( FOV) ． 设相机测量的水 平视场为 HFOV( mm) ，相机以测量对象几何中心呈 对称安装． 相机安装角为 θ( °) ，α = AFOV /2． 焦点到 目标的距离为 L，则根据几何关系可知: HFOV = 2Ltanα［1 － ( tanθ) 2 ］ ( 1) 因此当被测对象的尺寸为 a mm 时，则可得到 理论最短测量距离 Lmin，即目标完全处于视场内的 最短测量高度: Lmin = a 2Ltan α［1 － ( tan θ) 2 ］ ( 2) 由式( 2) 确定的最短测量距离可为视觉测量系 · 283 ·

黄煜等：存在视场丢失的机器视觉精度补偿方法 ·383· 统设计时相机的安装位置提供理论依据.然而测量 助，可有效补偿机器人误差.缺点是当视觉测量系 误差随测量距离的增大而增大，随安装角度日的增 统丢失视场时，即无法通过图像计算出目标位置信 大而增大).因此在设计双目视觉测量系统时，因 息，需要重新定位机器人末端恢复测量视场.基于 尽量减少测量距离、减少安装角度.因此在末端执 系统只能在一定距离对目标进行测量，构建位置 行器条件允许的情况下，尽量使相机靠前平行安装， 反馈型与位置给定型相结合的视觉控制系统（如 但不能小于Lmin· 图2). 原则上，为了充分利用相机像素以提高测量精 当测量距离大于理论最小测量距离时，建立 度，应使实际投影区域大于相共视场区域大小，保证 Eye-in-Hand位置反馈型视觉伺服闭环控制系统. 目标特征不出现在视场边缘.因此相机相对于目标 首先从相机采集的图像中提取特征点的图像坐标， 物体的测量距离L应大于理论最小距离L,这段 然后经过三维重建估计目标位姿，进而计算出机器 距离即为最后一次视觉测量后，机器人运动到目标 人当前的位姿偏差并确定机器人运动参数.该闭环 位置的直线位移距离。这个阶段机器人的运动无法 控制系统可以使机器人末端与目标对象保持固定距 再通过视觉测量进行补偿，因此需要采取其他办法 离，使机器人在调姿过程中的测量距离在设定的理 进行补偿. 想测距范围内.在范围内对测量距离进行设定，控 1.2系统构建 制目标在视场中的占比，进而保证目标一直在视 采用立体视觉（双目或多目）测量系统作为辅 场中 端 机 关节 目标位姿 确定 节 位置 末端位姿 是 距 确定 机器， 末端位姿 调整 人控制器 偏差 参数 策 人本体 器人控制 否 特征提取 图像 位置给定型视觉开环控制系统 维坐标 视觉测量系统 位置反馈型视觉闭环控制系统 图2机器人视觉控制系统构建 Fig.2 Visual servo combining closed-oop and open-oop 当机器人在最小测量距离上完成在线调姿后， 定位误差是引起机器人柔性视觉测量误差的重要因 可基本认为末端中心处于目标位置法向方向上，并 素，有效补偿机器人定位误差是提高机器人柔性视 有一段预设的偏置距离L即在合理阈值内可认为 觉测量精度的关键技术 当前机器人末端的位姿是目标作业位姿在其法向上 在机器人定位过程中，假定理论目标位姿为 的偏置. P=x,y,z,,B,y]T,由于机器人误差△= 当机器人继续朝深度方向运动到目标位置时， [△x,△y,△z,△a,△B,△y]T的存在，机器人实际到达 特征点会超出公共视场区域，即超出测量范围.此 位姿为P+4.机器人误差不可能完全得到消除，只 时属于位置给定型视觉开环控制，此时系统的定位 能将其降低到一定阈值以内.机器人的误差可分成 精度完全依赖于机器人本体的精度.当目标物体脱 四类：几何、动态、温度及系统.几何误差源于机 离视觉测量视场范围时，机器人便无法通过视觉测 器人零件的制造及安装误差：动态误差源于机器人 量进行在线补偿而偏离其目标作业位置 运动中惯性加载及结构振动：温度误差源于材料热 21 性能变化：系统误差源于标定误差、不合理的伺服系 机器人精度补偿 统等原因.其中，动态误差主要影响机器人运动过 2.1机器人定位误差分析 程中轨迹的偏移，而非始、末点的位置：几何误差是 由于机器人本身制造误差及运行过程中相关参 引起机器人定位误差的主要因素.而机器人几何、 数会发生变化，导致末端工具到达的实际空间位置 温度及动态误差耦合在4中，可通过视觉测量进行 与理想位置存在偏差，即机器人定位误差.机器人 补偿

黄 煜等: 存在视场丢失的机器视觉精度补偿方法 统设计时相机的安装位置提供理论依据． 然而测量 误差随测量距离的增大而增大，随安装角度 θ 的增 大而增大［13］． 因此在设计双目视觉测量系统时，因 尽量减少测量距离、减少安装角度． 因此在末端执 行器条件允许的情况下，尽量使相机靠前平行安装， 但不能小于 Lmin ． 原则上，为了充分利用相机像素以提高测量精 度，应使实际投影区域大于相共视场区域大小，保证 目标特征不出现在视场边缘． 因此相机相对于目标 物体的测量距离 L 应大于理论最小距离 Lmin，这段 距离即为最后一次视觉测量后，机器人运动到目标 位置的直线位移距离． 这个阶段机器人的运动无法 再通过视觉测量进行补偿，因此需要采取其他办法 进行补偿． 1. 2 系统构建 采用立体视觉( 双目或多目) 测量系统作为辅 助，可有效补偿机器人误差． 缺点是当视觉测量系 统丢失视场时，即无法通过图像计算出目标位置信 息，需要重新定位机器人末端恢复测量视场． 基于 系统只能在一定距离对目标进行测量，构建位置 反馈型与位置给定型相结合的视觉控制系统( 如 图 2) ． 当测量距离大于理论最小测量距离时，建立 Eye--in--Hand 位置反馈型视觉伺服闭环控制系统． 首先从相机采集的图像中提取特征点的图像坐标， 然后经过三维重建估计目标位姿，进而计算出机器 人当前的位姿偏差并确定机器人运动参数． 该闭环 控制系统可以使机器人末端与目标对象保持固定距 离，使机器人在调姿过程中的测量距离在设定的理 想测距范围内． 在范围内对测量距离进行设定，控 制目标在视场中的占比，进而保证目标一直在视 场中． 图 2 机器人视觉控制系统构建 Fig． 2 Visual servo combining closed-loop and open-loop 当机器人在最小测量距离上完成在线调姿后， 可基本认为末端中心处于目标位置法向方向上，并 有一段预设的偏置距离 L． 即在合理阈值内可认为 当前机器人末端的位姿是目标作业位姿在其法向上 的偏置． 当机器人继续朝深度方向运动到目标位置时， 特征点会超出公共视场区域，即超出测量范围． 此 时属于位置给定型视觉开环控制，此时系统的定位 精度完全依赖于机器人本体的精度． 当目标物体脱 离视觉测量视场范围时，机器人便无法通过视觉测 量进行在线补偿而偏离其目标作业位置． 2 机器人精度补偿 2. 1 机器人定位误差分析 由于机器人本身制造误差及运行过程中相关参 数会发生变化，导致末端工具到达的实际空间位置 与理想位置存在偏差，即机器人定位误差． 机器人 定位误差是引起机器人柔性视觉测量误差的重要因 素，有效补偿机器人定位误差是提高机器人柔性视 觉测量精度的关键技术． 在机器人定位过程中，假定理论目标位姿为 P = ［x，y，z，α，β，γ］T ，由 于 机 器 人 误 差 Δ = ［Δx，Δy，Δz，Δα，Δβ，Δγ］T 的存在，机器人实际到达 位姿为 P + Δ． 机器人误差不可能完全得到消除，只 能将其降低到一定阈值以内． 机器人的误差可分成 四类: 几何、动态、温度及系统［14］． 几何误差源于机 器人零件的制造及安装误差; 动态误差源于机器人 运动中惯性加载及结构振动; 温度误差源于材料热 性能变化; 系统误差源于标定误差、不合理的伺服系 统等原因． 其中，动态误差主要影响机器人运动过 程中轨迹的偏移，而非始、末点的位置; 几何误差是 引起机器人定位误差的主要因素． 而机器人几何、 温度及动态误差耦合在 Δ 中，可通过视觉测量进行 补偿． · 383 ·

·384 工程科学学报，第40卷，第3期 2.2位置反馈型控制系统定位误差补偿 高度处进行原位调姿，为下一阶段机械臂的进给做 如图3所示，P,点表示末端作业的目标位置， 准备.为提高调姿过程中机器人的定位精度，机器 P是调姿的理论位置.P,的理论坐标实际为P,在 人对视觉测量反馈信息进行迭代补偿运动，直到偏 其法向上的一个偏置，偏置距离为△L;P,的理论方 差在设定阈值以内 向实际为P2在基坐标系下的法向.机器人在△L的 首先建立视觉测量坐标系与基坐标系的转换矩 测量坐标系 工具坐标系 基坐标系 图3原位调姿原理 Fig.3 Principle of in-situ attitude adjusting 阵T·通过对基准点的测量可获得基准点在测 以上便建立了机器人控制器到末端理论位姿 量坐标系下的坐标Psur。设基准点在基坐标系下 相机测量坐标系到末端实际位姿的两个映射关系 的坐标为P,因此得到如下关系式： 即能计算F和G之间的偏差△对机器人进行 pl=Tp (3) 补偿. 当非线性排列的基准点超过3个点时（即i≥ 由于机器人绕单一轴旋转参数的改变会引起其 3),即可构成一个超定方程组式(4) 他参数的波动，因此4并不是F“和G简单作 plThp 差.因此采用如下4×4齐次矩阵来定义偏差： (4) 4=）-A门 (7) plThpe 式中，T表示F用ZYX欧拉角表示的4×4转 该超定方程组可通过非线性最小二乘法求解， 换矩阵，T表示G用ZYX欧拉角表示的4×4转 因此对T的求解转化为式(5)， 换矩阵，△T=[△x△y△z]T是一个平移矩阵，表 示位置误差，△R=[△R]3x3是一个旋转矩阵，表示 min∑Ip-tePc2 (5) 方向误差 其次建立末端执行器工具坐标系Tol与基坐 通过上式计算出误差矩阵后，将其转换成6参 标系Base的转换关系.由于工具坐标系、视觉测量 数矩阵[Ax△y△z△a△B△y]I传递给机器 坐标系都固联在机器人的末端执行器上，因此两者 人控制器进行补偿.ZYX欧拉角[△a△B△y]T 之间的转换关系是固定的，即T是恒定的（前期 矩阵可由公式(8)~(10)计算. 由标定确定).则： △R3 △a=arctan (8) -)-8 (6) △RB (cos△a)△R1B 式中，T为坐标系{A}在{B}的转换矩阵，描述坐 △B=arctan △R33 (9) 标系{A}相对于{B}的位姿；R为3×3的旋转变换 （-sin△a)△R,+(cos△a)△Ra 矩阵，描述{A}的三个坐标轴相对于{B}的方向；T △y=arctan(-sin△aAR2+(cos△a)△Rz 为3×1的平移变换矩阵，描述{A}的坐标原点相对 (10) 于{B}的位置 2.3位置给定型控制系统定位误差补偿 因此，机器人末端用于作业的工具头在基坐标 导致机器人线性相对运动的偏移因素有很多， 系下的实际位姿，可由视觉测量结果结合T计算 很难建立准确的数学模型对其进行补偿.基于机器 得到，记作F=x,y,z,a,B,y]T.机器人末端执 人的局部运动轨迹可以由视觉测量系统测量获得， 行器在基坐标系下的理论位姿在CAD数模中直接 因此可建立前馈补偿模型对偏移的运动轨迹进行 读取，记作G=x,y,z,a,B,y门T. 纠正

工程科学学报，第 40 卷，第 3 期 2. 2 位置反馈型控制系统定位误差补偿 如图 3 所示，P2 点表示末端作业的目标位置， P1 是调姿的理论位置． P1 的理论坐标实际为 P2 在 其法向上的一个偏置，偏置距离为 ΔL; P1 的理论方 向实际为 P2 在基坐标系下的法向． 机器人在 ΔL 的 高度处进行原位调姿，为下一阶段机械臂的进给做 准备． 为提高调姿过程中机器人的定位精度，机器 人对视觉测量反馈信息进行迭代补偿运动，直到偏 差在设定阈值以内． 首先建立视觉测量坐标系与基坐标系的转换矩 图 3 原位调姿原理 Fig． 3 Principle of in-situ attitude adjusting 阵 Tbase measure ． 通过对基准点的测量可获得基准点在测 量坐标系下的坐标 Pmeasure i ． 设基准点在基坐标系下 的坐标为 Pbase i ，因此得到如下关系式: Pbase i = Tbase measure·Pmeasure i ( 3) 当非线性排列的基准点超过 3 个点时( 即 i≥ 3) ，即可构成一个超定方程组式( 4) ． Pbase 1 = Tbase measure·Pmeasure 1 Pbase 2 = Tbase measure·Pmeasure 2  Pbase i = Tbase measure·Pmeasure        i ( 4) 该超定方程组可通过非线性最小二乘法求解， 因此对 Tbase measure的求解转化为式( 5) ， min ∑ n i = 1 ‖Pbase i － Tbase measure·Pmeasure i ‖2 ( 5) 其次建立末端执行器工具坐标系 Tool 与基坐 标系 Base 的转换关系． 由于工具坐标系、视觉测量 坐标系都固联在机器人的末端执行器上，因此两者 之间的转换关系是固定的，即 Ttool measure是恒定的( 前期 由标定确定) ． 则: Tbase tool = Tbase measure·( Ttool measure ) － 1 = Ｒ T [ ] 0 1 ( 6) 式中，TB A 为坐标系{ A} 在{ B} 的转换矩阵，描述坐 标系{ A} 相对于{ B} 的位姿; Ｒ 为 3 × 3 的旋转变换 矩阵，描述{ A} 的三个坐标轴相对于{ B} 的方向; T 为 3 × 1 的平移变换矩阵，描述{ A} 的坐标原点相对 于{ B} 的位置． 因此，机器人末端用于作业的工具头在基坐标 系下的实际位姿，可由视觉测量结果结合 Tbase tool 计算 得到，记作 Fbase tool =［x，y，z，α，β，γ］T ． 机器人末端执 行器在基坐标系下的理论位姿在 CAD 数模中直接 读取，记作 Gbase tool =［x，y，z，α，β，γ］T ． 以上便建立了机器人控制器到末端理论位姿、 相机测量坐标系到末端实际位姿的两个映射关系． 即能计算 Fbase tool 和 Gbase tool 之间的偏差 Δ 对机器人进行 补偿． 由于机器人绕单一轴旋转参数的改变会引起其 他参数的波动，因此 Δ 并不是 Fbase tool 和 Gbase tool 简单作 差． 因此采用如下 4 × 4 齐次矩阵来定义偏差: Δ = ( T* base tool ) － 1·Tbase tool = ΔＲ ΔT [ ] 0 1 ( 7) 式中，T* base tool 表示 Fbase tool 用 ZYX 欧拉角表示的 4 × 4 转 换矩阵，Tbase tool 表示 Gbase tool 用 ZYX 欧拉角表示的 4 × 4 转 换矩阵，ΔT =［Δx Δy Δz］T 是一个平移矩阵，表 示位置误差，ΔＲ =［ΔＲij］3 × 3是一个旋转矩阵，表示 方向误差． 通过上式计算出误差矩阵后，将其转换成 6 参 数矩阵［Δx Δy Δz Δα Δβ Δγ］T 传递给机器 人控制器进行补偿． ZYX 欧拉角［Δα Δβ Δγ］T 矩阵可由公式( 8) ～ ( 10) 计算． Δα = arctan ΔＲ23 ΔＲ13 ( 8) Δβ = arctan ( cos Δα) ΔＲ13 ΔＲ33 ( 9) Δγ = arctan ( － sin Δα) ΔＲ11 + ( cos Δα) ΔＲ23 ( － sin Δα) ΔＲ12 + ( cos Δα) ΔＲ22 ( 10) 2. 3 位置给定型控制系统定位误差补偿 导致机器人线性相对运动的偏移因素有很多， 很难建立准确的数学模型对其进行补偿． 基于机器 人的局部运动轨迹可以由视觉测量系统测量获得， 因此可建立前馈补偿模型对偏移的运动轨迹进行 纠正． · 483 ·

黄煜等：存在视场丢失的机器视觉精度补偿方法 ·385· 当测量系统工作在最小理论测量距离上时，将 如图4所示，设置P1点为机器人完成最后一次 预先规划的机器人运动轨迹进行分割，在不同测量 位姿调整后末端执行器所在的位置，P,是P,点沿 距离上记录当前末端执行器的测量位置P和理论 法向需要进给到的目标位置，即为末端执行器最终 位置P,P和P构成一组数据，记录多组样本数 工作点.两点间的法向偏置用△L表示.P1与P, 量.根据这些样本数据估计机器人线性相对运动的 之间的关系可表示为： 偏移量，以提高定位精度 P2=P1+△L (11) 理论运动轨迹 (1+R'·△L 实际运动轨迹 图4机器人线性相对运动前馈补偿原理 Fig.4 Principle of feed-forward compensation for relative linear motion 由于机器人进给到P,存在误差，导致实际到达 的位置会偏离理论值，记到达P,的实际位置为P: 末端执行器 P=(1+k)·R△L+P1 (12) 1 -E: 视觉坐标系 式中：R”= 是方向误差矩阵，表 工业机器 -8v 工具坐标系 示机器人实际运动方向与理论运动方向的偏移：k 激光跟踪仪坐标系 是距离误差系数，k·△L表示距离误差 目标 基坐标系 激光跟踪仪 在P,点之前的机器人运动轨迹中选取n(n≥ 3)组数据，每组数据记作(P,P:),测量位置与理论 图5Eye-n-Hand配置的机器人装配系统实验现场 Fig.5 Experimental setup of robot assemble system with Eye-in- 位置的映射关系可由式(13)建立（式中T为平移误 Hand mode 差矩阵)： 18°（视场夹角36°），标定结果为19.365°(38.73°). Pm=(1+k)·RP+T (13) 可采用最小二成法求解上述方程的补偿系数 标定后，利用该双目视觉系统对标定板的网格测量 R和k,最小二乘法迭代方程如下所示： 值与理论值的120组数据，得到其均值误差为 0.000952mm,标准差为0.006674mm.并通过双目 min I P-(1+)RP:-Tf (14) 视觉不同深度下对反射靶座的测量结果与激光跟踪 仪测量值进行拟合，进一步验证测量精度.由表1 3 实验验证 可知，该双目视觉系统测量精度满足项目要求 3.1实验设置 实验的辅助测量设备采用Leica AT901-MR激 在实验室建立一个基于Eye-ln-Hand配置的 光跟踪仪（测量精度为±10um+5μm·m-),以其 机器人装配系统，如图5所示，以验证该伺服系统及 测量值为基准计算定位误差.所有实验均在无噪 补偿算法的可行性.本文实验对象为带有反射靶标 声、无振动情况下完成，环境温度在20~21℃.视 的小型曲面装配件，其位置精度要求为0.1mm,方 觉测量及机器人运动均由主控软件控制. 向精度要求为0.1°. 3.2实验数据分析 实验采用的工业机器人型号为KUKA 在该装配实验过程的调姿定位阶段，采用两组 KR90R3100 extra.,最大承重为90kg(末端执行器质 实验评估该系统中位置反馈型视觉控制部分的定位 量为55kg),最大作用范围为3100mm.其重复定位 精度.第1组实验通过直接读取CAD数模的理论 精度为0.060mm.实验选用的工业相机型号为 位置引导机器人自动定位，通过视觉测量系统的测 Stingray F-504C,8mm定焦镜头(500万像素).两 量值与理论值计算机器人定位误差.第2组实验通 相机对称安装在末端执行器两侧，其设计基线长度 过视觉辅助测量对机器人位姿进行迭代补偿，直到 为235mm,标定结果为236.785mm,设计夹角为 相机辅助测量的位置误差和方向误差满足装配精度

黄 煜等: 存在视场丢失的机器视觉精度补偿方法 当测量系统工作在最小理论测量距离上时，将 预先规划的机器人运动轨迹进行分割，在不同测量 距离上记录当前末端执行器的测量位置 Pm i 和理论 位置 Pr i，Pm i 和 Pr i 构成一组数据，记录多组样本数 量． 根据这些样本数据估计机器人线性相对运动的 偏移量，以提高定位精度． 如图 4 所示，设置 P1 点为机器人完成最后一次 位姿调整后末端执行器所在的位置，P2 是 P1 点沿 法向需要进给到的目标位置，即为末端执行器最终 工作点． 两点间的法向偏置用 ΔL 表示． P1 与 P2 之间的关系可表示为: P2 = P1 + ΔL ( 11) 图 4 机器人线性相对运动前馈补偿原理 Fig． 4 Principle of feed-forward compensation for relative linear motion 由于机器人进给到 P2 存在误差，导致实际到达 的位置会偏离理论值，记到达 P2 的实际位置为 P' 2 : P' 2 = ( 1 + k)·Ｒ'·ΔL + P1 ( 12) 式中: Ｒ' = 1 － εz εy εz 1 － εx － εy εx          1  是方向误差矩阵，表 示机器人实际运动方向与理论运动方向的偏移; k 是距离误差系数，k·ΔL 表示距离误差． 在 P1 点之前的机器人运动轨迹中选取 n( n≥ 3) 组数据，每组数据记作( Pm i ，Pr i ) ，测量位置与理论 位置的映射关系可由式( 13) 建立( 式中 T'为平移误 差矩阵) : Pm i = ( 1 + k)·Ｒ'·Pr i + T' ( 13) 可采用最小二成法求解上述方程的补偿系数 δＲ 和 k，最小二乘法迭代方程如下所示: min ∑ n i = 1 ‖Pm i － ( 1 + k)·Ｒ'·Pr i － T'‖ 2 ( 14) 3 实验验证 3. 1 实验设置 在实验室建立一个基于 Eye--In--Hand 配置的 机器人装配系统，如图 5 所示，以验证该伺服系统及 补偿算法的可行性． 本文实验对象为带有反射靶标 的小型曲面装配件，其位置精度要求为 0. 1 mm，方 向精度要求为 0. 1°． 实验采用的工业机器人型号为 KUKA KＲ90Ｒ3100extra，最大承重为 90 kg( 末端执行器质 量为 55 kg) ，最大作用范围为 3100 mm． 其重复定位 精度 为 0. 060 mm． 实验选用的工业相机型号为 Stingray F--504C，8 mm 定焦镜头( 500 万像素) ． 两 相机对称安装在末端执行器两侧，其设计基线长度 为 235 mm，标定 结 果 为 236. 785 mm，设 计 夹 角 为 图 5 Eye--In--Hand 配置的机器人装配系统实验现场 Fig． 5 Experimental setup of robot assemble system with Eye--in-- Hand mode 18°( 视场夹角 36°) ，标定结果为 19. 365°( 38. 73°) ． 标定后，利用该双目视觉系统对标定板的网格测量 值与 理 论 值 的 120 组 数 据，得到其均值误差为 0. 000952 mm，标准差为 0. 006674 mm． 并通过双目 视觉不同深度下对反射靶座的测量结果与激光跟踪 仪测量值进行拟合，进一步验证测量精度． 由表 1 可知，该双目视觉系统测量精度满足项目要求． 实验的辅助测量设备采用 Leica AT901--MＲ 激 光跟踪仪( 测量精度为 ± 10 μm + 5 μm·m － 1 ) ，以其 测量值为基准计算定位误差． 所有实验均在无噪 声、无振动情况下完成，环境温度在 20 ～ 21 ℃ ． 视 觉测量及机器人运动均由主控软件控制． 3. 2 实验数据分析 在该装配实验过程的调姿定位阶段，采用两组 实验评估该系统中位置反馈型视觉控制部分的定位 精度． 第 1 组实验通过直接读取 CAD 数模的理论 位置引导机器人自动定位，通过视觉测量系统的测 量值与理论值计算机器人定位误差． 第 2 组实验通 过视觉辅助测量对机器人位姿进行迭代补偿，直到 相机辅助测量的位置误差和方向误差满足装配精度 · 583 ·