第50卷第1期 哈尔滨工业大学学报 Vol 50 No. 1 2018年1月 JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY Jan.2018 DOI:10.l1918/ J. ISsn.0367-6234.2017143 机械臂视觉伺服路径规划研究进展 任秉银,魏坤',吴卓琦2 (1哈尔滨工业大学机电工程学院,哈尔滨15001;2.上海交通大学机械与动力工程学院,上海200240) 摘要:视觉伺服控制是机械臂完成各种复杂作业任务的有效手段,而机械臂在动态非结构环境下自主作业的路径规划方法 是视觉伺服控制领域的难点和关键.分析了动态非结构环境下视觉伺服路径规划中存在的两类约東及其处理方法,介绍并评 述了国内外在机械臂视觉伺服控制中路径规划方面的相关研究进展,讨论并分析了不同路径规划方法在收敛性和稳定性等 方面存在的不足,对未来的研究方向进行了展望 关键词:机械臂;视觉伺服;路径规划;约東;动态非结构环境;不确定性 中图分类号:TP391 文献标志码:A 文章编号:0367-6234(2018)01-0001-10 Research progress of path planning for visual servoing of robotic manipulator Ren Bingyin, WEI Kun, wU Zhuo (1. School of Mechatronics Engineering, Harbin Institute of Technology, Harbin 150001, China 2.School of Mechanical and Power Engineering, Shanghai Jiaotong University, Shanghai 200240, CI Abstract: Visual servoing control is an effective means for robotic manipulator to complete complex tasks and the path planning method of the robo tc manp bulator autonomous operation in dynamic unstructured environment is the difficulty and key in the field of visual servoing control. Two types of constraints that exist in the visual servoing path planning in dynamic unstructured environment and the processing methods of constraints are analyzed. The relevant research progresses of path planning in visual servoing control of robotic manipulator at home and abroad are reviewed, and the deficiencies in convergence and stability of different methods of path planning are als The future research direction is prospected based on current research progress Keywords: robotic manipulator; visual servoing; path planning; constraint; dynamic unstructured environment uncertainty 机械臂已经广泛应用于工业自动化领域,但大笛卡尔空间,后者将误差直接定义在二维图像空间 多数情况下,机械臂是在静态结构化环境下作业,即 IBVS对相机标定和建模误差有着较好的鲁棒 机械臂的作业过程是固定不变的,机械臂只需要重性局部稳定性和收敛性切.然而,BVS却经常会遇 复运行预先离线编制好的程序即可完成预定作业任到全局收敛性问题,尤其当目标初始位姿和期望位 务.在未来智能工厂中,需要机械臂能够在动态姿相差较大时,可能会导致视觉伺服失败.此外 变化的非结构环境下完成复杂作业任务,要求机械当图像特征在相机视野之外也会导致伺服任务失 臂具有智能感知外部复杂环境、自主规划作业路径败.当IⅤS不能对机械臂和相机有效控制时,可能 以及安全作业的能力 会因为机械臂与工作空间中的障碍物发生碰撞而导 视觉传感器作为非接触式外部传感器,可以感致机械臂无法执行预定操作.因为在大多数机械臂 知机械臂在定位和跟踪任务中环境的动态变化2.应用中都存在着目标的初始和期望位姿相差较大和 在视觉伺服中,通常将当前特征和期望特征之间的多重环境约束,所以融合路径规划技术的IBVS策 误差定义为反馈函数{,通过视觉传感器反馈信略可以改善视觉伺服过程的鲁棒性. 息实时引导机械臂运动,使这个误差趋向于零 视觉伺服路径规划的主要思想是在特定动态非 根据误差函数的定义,现有的视觉伺服方法主要结构环境约束下规划和生成可执行的图像轨迹,然 可以分为基于位置的视觉伺服( Position-Based visua后驱动机械臂沿着规划的轨迹完成作业任务9 Servoing,PBⅤS)和基于图像的视觉伺服( Image-Based 本文首先介绍存在于动态非结构环境视觉伺服 Visual servoing,IBVS)两大类,前者将误差定义在三维路径规划中的两类重要约束,即相机/图像约束和机 械臂/物理约束;其次,总结视觉伺服路径规划方法 收稿日期:2017-11-28 作者简介:任秉银(1966—),男,教授,博士生导师 的研究进展,并分析各种路径规划方法存在的不足 通信作者:任秉银, denby@ hit. edu.en 最后,对未来的研究方向进行展望
第 ５０ 卷 第 １ 期 ２ ０ １ ８ 年 １ 月 哈 尔 滨 工 业 大 学 学 报 ＪＯＵＲＮＡＬ ＯＦ ＨＡＲＢＩＮ ＩＮＳＴＩＴＵＴＥ ＯＦ ＴＥＣＨＮＯＬＯＧＹ Ｖｏｌ ５０ Ｎｏ １ Ｊａｎ． ２０１８ ＤＯＩ：１０．１１９１８ ／ ｊ．ｉｓｓｎ．０３６７⁃６２３４． ２０１７１１１４３ 机械臂视觉伺服路径规划研究进展 任秉银１ ， 魏 坤１ ， 吴卓琦２ （１．哈尔滨工业大学 机电工程学院， 哈尔滨 １５０００１； ２．上海交通大学 机械与动力工程学院， 上海 ２００２４０） 摘 要： 视觉伺服控制是机械臂完成各种复杂作业任务的有效手段，而机械臂在动态非结构环境下自主作业的路径规划方法 是视觉伺服控制领域的难点和关键． 分析了动态非结构环境下视觉伺服路径规划中存在的两类约束及其处理方法，介绍并评 述了国内外在机械臂视觉伺服控制中路径规划方面的相关研究进展，讨论并分析了不同路径规划方法在收敛性和稳定性等 方面存在的不足，对未来的研究方向进行了展望． 关键词： 机械臂；视觉伺服；路径规划；约束；动态非结构环境；不确定性 中图分类号： ＴＰ３９１ 文献标志码： Ａ 文章编号： ０３６７－６２３４（２０１８）０１－０００１－１０ Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｏｆ ｐａｔｈ ｐｌａｎｎｉｎｇ ｆｏｒ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｏｆ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ＲＥＮ Ｂｉｎｇｙｉｎ １ ， ＷＥＩ Ｋｕｎ １ ， ＷＵ Ｚｈｕｏｑｉ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｈａｒｂｉｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ， Ｈａｒｂｉｎ １５０００１， Ｃｈｉｎａ； ２．Ｓｃｈｏｏｌ ｏｆ Ｍｅｃｈａｎｉｃａｌ ａｎｄ Ｐｏｗｅｒ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｓｈａｎｇｈａｉ Ｊｉａｏｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈａｎｇｈａｉ ２００２４０， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ： Ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｃｏｎｔｒｏｌ ｉｓ ａｎ ｅｆｆｅｃｔｉｖｅ ｍｅａｎｓ ｆｏｒ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ｔｏ ｃｏｍｐｌｅｔｅ ｃｏｍｐｌｅｘ ｔａｓｋｓ ａｎｄ ｔｈｅ ｐａｔｈ ｐｌａｎｎｉｎｇ ｍｅｔｈｏｄ ｏｆ ｔｈｅ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ａｕｔｏｎｏｍｏｕｓ ｏｐｅｒａｔｉｏｎ ｉｎ ｄｙｎａｍｉｃ ｕｎｓｔｒｕｃｔｕｒｅｄ ｅｎｖｉｒｏｎｍｅｎｔ ｉｓ ｔｈｅ ｄｉｆｆｉｃｕｌｔｙ ａｎｄ ｋｅｙ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｃｏｎｔｒｏｌ． Ｔｗｏ ｔｙｐｅｓ ｏｆ ｃｏｎｓｔｒａｉｎｔｓ ｔｈａｔ ｅｘｉｓｔ ｉｎ ｔｈｅ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｐａｔｈ ｐｌａｎｎｉｎｇ ｉｎ ｄｙｎａｍｉｃ ｕｎｓｔｒｕｃｔｕｒｅｄ ｅｎｖｉｒｏｎｍｅｎｔ ａｎｄ ｔｈｅ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄｓ ｏｆ ｃｏｎｓｔｒａｉｎｔｓ ａｒｅ ａｎａｌｙｚｅｄ． Ｔｈｅ ｒｅｌｅｖａｎｔ ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓｅｓ ｏｆ ｐａｔｈ ｐｌａｎｎｉｎｇ ｉｎ ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ ｃｏｎｔｒｏｌ ｏｆ ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ ａｔ ｈｏｍｅ ａｎｄ ａｂｒｏａｄ ａｒｅ ｒｅｖｉｅｗｅｄ， ａｎｄ ｔｈｅ ｄｅｆｉｃｉｅｎｃｉｅｓ ｉｎ ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ ｓｔａｂｉｌｉｔｙ ｏｆ ｄｉｆｆｅｒｅｎｔ ｍｅｔｈｏｄｓ ｏｆ ｐａｔｈ ｐｌａｎｎｉｎｇ ａｒｅ ａｌｓｏ ａｎａｌｙｚｅｄ． Ｔｈｅ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ｉｓ ｐｒｏｓｐｅｃｔｅｄ ｂａｓｅｄ ｏｎ ｃｕｒｒｅｎｔ ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ． Ｋｅｙｗｏｒｄｓ： ｒｏｂｏｔｉｃ ｍａｎｉｐｕｌａｔｏｒ； ｖｉｓｕａｌ ｓｅｒｖｏｉｎｇ； ｐａｔｈ ｐｌａｎｎｉｎｇ； ｃｏｎｓｔｒａｉｎｔ； ｄｙｎａｍｉｃ ｕｎｓｔｒｕｃｔｕｒｅｄ ｅｎｖｉｒｏｎｍｅｎｔ； ｕｎｃｅｒｔａｉｎｔｙ 收稿日期： ２０１７－１１－２８ 作者简介： 任秉银（１９６６—），男，教授，博士生导师． 通信作者： 任秉银，ｒｅｎｂｙ＠ ｈｉｔ．ｅｄｕ．ｃｎ． 机械臂已经广泛应用于工业自动化领域，但大 多数情况下，机械臂是在静态结构化环境下作业，即 机械臂的作业过程是固定不变的，机械臂只需要重 复运行预先离线编制好的程序即可完成预定作业任 务［１］ ． 在未来智能工厂中，需要机械臂能够在动态 变化的非结构环境下完成复杂作业任务，要求机械 臂具有智能感知外部复杂环境、自主规划作业路径 以及安全作业的能力． 视觉传感器作为非接触式外部传感器，可以感 知机械臂在定位和跟踪任务中环境的动态变化［２］ ． 在视觉伺服中，通常将当前特征和期望特征之间的 误差定义为反馈函数［３－４］ ，通过视觉传感器反馈信 息实时引导机械臂运动，使这个误差趋向于零． 根据误差函数的定义，现有的视觉伺服方法主要 可以分为基于位置的视觉伺服（Ｐｏｓｉｔｉｏｎ⁃Ｂａｓｅｄ Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ， ＰＢＶＳ）和基于图像的视觉伺服（Ｉｍａｇｅ⁃Ｂａｓｅｄ Ｖｉｓｕａｌ Ｓｅｒｖｏｉｎｇ， ＩＢＶＳ）两大类，前者将误差定义在三维 笛卡尔空间，后者将误差直接定义在二维图像空间［５－６］ ． ＩＢＶＳ 对相机标定和建模误差有着较好的鲁棒 性、局部稳定性和收敛性［７］ ． 然而，ＩＢＶＳ 却经常会遇 到全局收敛性问题，尤其当目标初始位姿和期望位 姿相差较大时，可能会导致视觉伺服失败［８］ ． 此外， 当图像特征在相机视野之外也会导致伺服任务失 败． 当 ＩＢＶＳ 不能对机械臂和相机有效控制时，可能 会因为机械臂与工作空间中的障碍物发生碰撞而导 致机械臂无法执行预定操作． 因为在大多数机械臂 应用中都存在着目标的初始和期望位姿相差较大和 多重环境约束，所以融合路径规划技术的 ＩＢＶＳ 策 略可以改善视觉伺服过程的鲁棒性． 视觉伺服路径规划的主要思想是在特定动态非 结构环境约束下规划和生成可执行的图像轨迹，然 后驱动机械臂沿着规划的轨迹完成作业任务［９］ ． 本文首先介绍存在于动态非结构环境视觉伺服 路径规划中的两类重要约束，即相机／ 图像约束和机 械臂／ 物理约束；其次，总结视觉伺服路径规划方法 的研究进展，并分析各种路径规划方法存在的不足； 最后，对未来的研究方向进行展望．
哈尔滨工业大学学报 第50卷 1路径规划中存在的约束 工作空间机械臂和物理障碍物的限制.这些约束包 括:1)机械臂运动学,例如关节限制和机械臂雅可 1998年,法国国家信息与自动化研究所比奇异;2)机械臂动力学;3)与障碍物发生碰撞或 (INRA)的 Chaumette对基于位置的视觉伺服和者自身碰撞;4)由障碍物和机械臂本体引起的遮挡 基于图像的视觉伺服问题进行了研究,讨论了约束或者目标自身遮挡 条件下的PBⅤS和IBⅤS可能存在的稳定性和收敛 过去几十年来,大量科技人员投入到规划可行 性问题,并将这些约束主要分为两大类:(1)相机/路径的研究中,以避免机械臂运动学或者动力学约 图像约束;(2)机械臂/物理约束. 束以及各种各样复杂环境中的物理障碍和自身碰 1.1相机/图像约束 撞121.有些路径规划方法在需要保证目标可见的 相机/图像约束主要是因为视觉系统感知限制,或应用中同时也考虑了遮挡约束-1 者因为“在图像空间中特征的变化率”与“由包含图像1.3约束的处理方法 特征的雅可比矩阵所定义的相机在笛卡尔空间中的移 自从 Chaumette l阐述了经典的视觉伺服中存 动速度”之间的相互关系.这些约束分为:相机视场限在收敛性和稳定性问题后,大量研究工作集中在如 制,图像局部最小化,图像雅可比奇异 何将相机/图像约束、机械臂/物理约束这两大类约 1.1.1相机视场限制 束集成在视觉伺服控制环中 任何相机的视场都是有限的,所获得的图像通 研究人员提出了解耦控制方法0,即相机 常是有限的矩形区域.如果三维物体在相机的视场部分自由度以IBVS方式控制,其余自由度用PBⅤS 内,则其特征投影到相机图像平面是可见的.尽管方式控制,充分利用了各自的优势,从而避免了以上 IBVS控制直接定义在图像平面上,但是当核心特征提及的一部分约束.但每种解耦方法在考虑前述约 在相机中的初始位姿与期望位姿相差很大时,容易束时都有各自的优缺点美国伊利诺伊大学的Gans 造成特征不在相机视场内 等2则用BⅤS详细比较了以上解耦方法的性能和 1.1.2图像局部最小化 效率.受混合系统理论的启发,一些研究人员提出 IBVS中的图像局部最小化是由于不可实现的了由不同视觉伺服控制器组成的混合策略和切换规 图像运动,造成的结果是相机速度为零,但图像误差则2-3,在需要时可切换相应控制器.切换策略增 并不能收敛到零.一般来说,不考虑相机与目标强了经典视觉伺服的稳定性区域,同时可以在不稳 在初始及期望的相对位置直接判断是否会出现图像定的控制器之间切换,提高总体系统的稳定性 最小化是很困难的,导致在视觉伺服任务中反复耗 针对在视觉伺服过程中目标特征可能不在相机 费大量时间搜索图像中的局部最小化.但对于视野内的问题,南开大学刘玺提出了一种移动机 PBVS,因为任务函数定义在笛卡尔空间,所以不存器人自适应主动视觉伺服方法.中国农业大学张春 在图像局部最小化问题 龙{2设计了具有圆柱面相机运动空间的主动视觉 1.1.3图像雅可比奇异 系统,研究了基于粒子群优化算法(PSO)的主动视 当岀现图像雅可比奇异时,图像特征在图像空觉伺服最佳取景方位搜索策略,仿真实现了果树点 间的运动不能驱动机械臂实现相应运动.云空间的主动视觉最佳取景方位搜索.南京航空航 Chaumette8分析了当图像特征矢量由3个共线点天大学刘玉月等2分析了基于视觉伺服的手部跟 组成或者3个点位于以相机光轴为轴线的圆柱面踪技术,并针对 Stewart机器人的动力学模型进行了 时,图像雅可比会出现奇异.虽然使用多于3个非仿真实验,结果表明该方法能够利用主动视觉解决 共面点可以避免奇异,但是图像雅可比仍然可能出手部跟踪运动过程中的自遮挡问题,能够完成手部 现奇异.例如,当视觉伺服任务中相机只绕其光轴跟踪的任务.南开大学李保全等针对单目视觉非 旋转180°时,不论使用多少个特征点定义任务函完整移动机器人系统,提出了一种基于主动视觉选 数,都会导致雅可比奇异. Chaumette也论证了使择策略的视觉伺服镇定控制方法,从而使目标特征 用线特征代替点特征有助于避免奇异,然而,却不能处于相机的视野内 完全消除图像空间的奇异.1997年,美国宾夕法尼 上述每一种解耦或者混合策略以及主动视觉策 亚州立大学的 Sharma等则提出了运动感知力的略都只是解决了其中一部分约束问题.在视觉伺服 概念,并将其作为接近图像奇异的衡量标准 控制环中,融合相机/图像约束和机械臂/物理约束 1.2机械臂/物理约束 (这两类约束在动态非结构环境中确实同时存在) 视觉伺服控制环中相机的运动不可避免地受到是非常具有挑战性的.因此,在视觉伺服控制中融
１ 路径规划中存在的约束 １９９８ 年， 法 国 国 家 信 息 与 自 动 化 研 究 所 （ＩＮＲＩＡ） 的 Ｃｈａｕｍｅｔｔｅ ［８］对基于位置的视觉伺服和 基于图像的视觉伺服问题进行了研究，讨论了约束 条件下的 ＰＢＶＳ 和 ＩＢＶＳ 可能存在的稳定性和收敛 性问题，并将这些约束主要分为两大类：（１） 相机／ 图像约束；（２）机械臂／ 物理约束． １．１ 相机／ 图像约束 相机／ 图像约束主要是因为视觉系统感知限制，或 者因为“在图像空间中特征的变化率”与“由包含图像 特征的雅可比矩阵所定义的相机在笛卡尔空间中的移 动速度”之间的相互关系． 这些约束分为：相机视场限 制，图像局部最小化，图像雅可比奇异． １．１．１ 相机视场限制 任何相机的视场都是有限的，所获得的图像通 常是有限的矩形区域． 如果三维物体在相机的视场 内，则其特征投影到相机图像平面是可见的． 尽管 ＩＢＶＳ 控制直接定义在图像平面上，但是当核心特征 在相机中的初始位姿与期望位姿相差很大时，容易 造成特征不在相机视场内． １．１．２ 图像局部最小化 ＩＢＶＳ 中的图像局部最小化是由于不可实现的 图像运动，造成的结果是相机速度为零，但图像误差 并不能收敛到零［１０］ ． 一般来说，不考虑相机与目标 在初始及期望的相对位置直接判断是否会出现图像 最小化是很困难的，导致在视觉伺服任务中反复耗 费大量时间搜索图像中的局部最小化． 但对于 ＰＢＶＳ，因为任务函数定义在笛卡尔空间，所以不存 在图像局部最小化问题． １．１．３ 图像雅可比奇异 当出现图像雅可比奇异时，图像特征在图像空 间 的 运 动 不 能 驱 动 机 械 臂 实 现 相 应 运 动． Ｃｈａｕｍｅｔｔｅ ［８］分析了当图像特征矢量由 ３ 个共线点 组成或者 ３ 个点位于以相机光轴为轴线的圆柱面 时，图像雅可比会出现奇异． 虽然使用多于 ３ 个非 共面点可以避免奇异，但是图像雅可比仍然可能出 现奇异． 例如，当视觉伺服任务中相机只绕其光轴 旋转 １８０°时，不论使用多少个特征点定义任务函 数，都会导致雅可比奇异． Ｃｈａｕｍｅｔｔｅ ［８］ 也论证了使 用线特征代替点特征有助于避免奇异，然而，却不能 完全消除图像空间的奇异． １９９７ 年，美国宾夕法尼 亚州立大学的 Ｓｈａｒｍａ 等［１１］则提出了运动感知力的 概念，并将其作为接近图像奇异的衡量标准． １．２ 机械臂／ 物理约束 视觉伺服控制环中相机的运动不可避免地受到 工作空间机械臂和物理障碍物的限制． 这些约束包 括：１）机械臂运动学，例如关节限制和机械臂雅可 比奇异；２）机械臂动力学；３）与障碍物发生碰撞或 者自身碰撞；４）由障碍物和机械臂本体引起的遮挡 或者目标自身遮挡． 过去几十年来，大量科技人员投入到规划可行 路径的研究中，以避免机械臂运动学或者动力学约 束以及各种各样复杂环境中的物理障碍和自身碰 撞［１２－１３］ ． 有些路径规划方法在需要保证目标可见的 应用中同时也考虑了遮挡约束［１４－１５］ ． １．３ 约束的处理方法 自从 Ｃｈａｕｍｅｔｔｅ ［８］ 阐述了经典的视觉伺服中存 在收敛性和稳定性问题后，大量研究工作集中在如 何将相机／ 图像约束、机械臂／ 物理约束这两大类约 束集成在视觉伺服控制环中． 研究人员提出了解耦控制方法［１６－２０］ ，即相机一 部分自由度以 ＩＢＶＳ 方式控制，其余自由度用 ＰＢＶＳ 方式控制，充分利用了各自的优势，从而避免了以上 提及的一部分约束． 但每种解耦方法在考虑前述约 束时都有各自的优缺点． 美国伊利诺伊大学的 Ｇａｎｓ 等［２１］则用 ＩＢＶＳ 详细比较了以上解耦方法的性能和 效率． 受混合系统理论的启发，一些研究人员提出 了由不同视觉伺服控制器组成的混合策略和切换规 则［２２－２５］ ，在需要时可切换相应控制器． 切换策略增 强了经典视觉伺服的稳定性区域，同时可以在不稳 定的控制器之间切换，提高总体系统的稳定性． 针对在视觉伺服过程中目标特征可能不在相机 视野内的问题，南开大学刘玺［２６］ 提出了一种移动机 器人自适应主动视觉伺服方法． 中国农业大学张春 龙［２７］设计了具有圆柱面相机运动空间的主动视觉 系统，研究了基于粒子群优化算法（ＰＳＯ）的主动视 觉伺服最佳取景方位搜索策略，仿真实现了果树点 云空间的主动视觉最佳取景方位搜索． 南京航空航 天大学刘玉月等［２８］ 分析了基于视觉伺服的手部跟 踪技术，并针对 Ｓｔｅｗａｒｔ 机器人的动力学模型进行了 仿真实验，结果表明该方法能够利用主动视觉解决 手部跟踪运动过程中的自遮挡问题，能够完成手部 跟踪的任务． 南开大学李保全等［２９］针对单目视觉非 完整移动机器人系统，提出了一种基于主动视觉选 择策略的视觉伺服镇定控制方法，从而使目标特征 处于相机的视野内． 上述每一种解耦或者混合策略以及主动视觉策 略都只是解决了其中一部分约束问题． 在视觉伺服 控制环中，融合相机／ 图像约束和机械臂／ 物理约束 （这两类约束在动态非结构环境中确实同时存在） 是非常具有挑战性的． 因此，在视觉伺服控制中融 ·２· 哈 尔 滨 工 业 大 学 学 报 第 ５０ 卷
第1期 任秉银,等:机械臂视觉伺服路径规划研究进展 3 合路径规划以解决上述约束问题是非常必要的 2视觉伺服路径规划 视觉伺服路径规划的主要思想是在考虑上述所 Goal gripper 有约束条件下规划和生成可行的图像轨迹,然后以 IBⅤsS驱动机械臂沿着规划的轨迹进行作业0.通 过将较大的初始误差离散化,使得在每个伺服周期 中的误差足够小,从而能够充分地利用IBVS出色 的局部稳定性与鲁棒性5 根据路径规划方法特点和所做的假设,与视觉 伺服相结合的路径规划方法可以分为以下5类:1) 图1虚拟手爪上的点沿直线平移 图像空间路径规划;2)基于优化的路径规划;3)基 Fig.1 Points on the virtual gl ipper moving along a straight line[ 35) 于势场法的路径规划;4)全局路径规划;5)不确定2.12射影单应性 性下视觉伺服路径规划. 法国国家信息与自动化研究所一直致力于图像 2.1图像空间路径规划 空间路径规划方面研究工作.为了避免计算可行相 图像空间路径规划技术旨在初始图像和期望图机路径依赖于相机标定和目标模型,1993年,该研 像之间插入一条路径而不需要任何相机标定或者目究所的 faugeras使用初始图像和期望图像建立 标模型.这种方法的难点在于规划的图像空间路径射影几何关系,由于定义在射影空间,相机在欧几里 可能不会对应唯一的相机路径.所以,学者们又研德空间的位移可以部分参数化,而不需要显式重建 究了规划图像路径对应无标定环境中可执行的相机欧几里德空间分量.射影单应性矩阵可以被应用在 路径.其中,对极几何、射影单应性和射影不变性等路径规划方法中,它体现了同一场景不同视野之间 射影几何知识被应用于图像空间路径规划中. 的关系,可以从两幅图像中的点、线、面和轮廓等特 2.1.1对极几何 征估计得到3-3 1995年,日本大阪大学 Hosoda等基于定义 2003年,NRIA的 Mezouar等又提出一种在 在由机械臂末端的立体相机(眼在手上配置)获得初始图像和期望图像之间插入共线矩阵来获得封闭 图像中的对极几何约束,直接在图像空间中设计视的共线路径的无标定路径规划方法,使用IVs跟 觉伺服轨迹生成器,然后利用基于雅可比估计器的踪求导后的图像特征轨迹.然而,这种方法在存在 无标定视觉伺服控制器跟踪规划好的图像轨迹,从视野约束时却不能保证收敛到期望位置.法国巴黎 而实现了在不需要任何系统或者相机标定等先验知第六大学 Schramm等则在上述研究基础上引入 识的前提下,保证机械臂末端执行器能够在未知环了可见性约束来扩展这种方法,通过引导目标上任 境中避开障碍物 意选择的参考点在图像中沿着直线运动,从而保证 2003年,澳州国立大学 Hartley等通过给定参考点始终处于相机视野内由此带来的问题是 同一场景的多个视角,也采用对极几何研究了无标相机不再沿着直线运动,并且其他特征也可能会不 定视觉伺服问题.在没有目标物体的任何三维信息在相机视野内,所以设计了深度模块,通过控制相机 的情况下,韩国先进科技学院Pak和 chung提出沿着光轴后退来保证无论何时一个特征到达相机视 了基于眼在手外的立体视觉抓取场景中的无标定图野边界时,其它特征都实时可见 像空间路径规划方法,在初始图像和期望图像的射 一些研究人员采用分解欧几里德单应性矩阵的 影空间中利用对极几何沿着一条直线生成机械臂手方法来规划图像路径,从而生成可执行的相机路径 爪的一系列中间视图,这些中间视图组成期望的图而不需要笛卡尔空间相机路径的重建.例如,拉彭 像轨迹,然后利用法国国家信息与自动化研究所兰塔科技大学Kyk等4提出一种基于单应性矩阵 (INRA)的Espa等提出的BVS方法控制机械部分位姿估计的最短路径规划方法,该方法直接沿 臂沿着图像轨迹运动,机械臂跟随轨迹的同时,手爪着单应性矩阵分解得到的方向移动手眼相机到达工 可以在三维工作空间走直线,整个运动过程中手爪作空间的期望位姿,同时保证位于目标物体中心虚 的特征点始终处在相机视野内,如图1所示,可以看拟点的可见性佛罗伦萨大学Aota等提出一个 岀末端执行器手抓虚拟点始终沿着直线运动,而未类似的基于单应性分解的方法,选择螺旋线路径代 逃离相机视野 替直线路径作为参考路径来表示相机从初始位姿到
合路径规划以解决上述约束问题是非常必要的． ２ 视觉伺服路径规划 视觉伺服路径规划的主要思想是在考虑上述所 有约束条件下规划和生成可行的图像轨迹，然后以 ＩＢＶＳ 驱动机械臂沿着规划的轨迹进行作业［３０］ ． 通 过将较大的初始误差离散化，使得在每个伺服周期 中的误差足够小，从而能够充分地利用 ＩＢＶＳ 出色 的局部稳定性与鲁棒性［３１］ ． 根据路径规划方法特点和所做的假设，与视觉 伺服相结合的路径规划方法可以分为以下 ５ 类：１） 图像空间路径规划；２）基于优化的路径规划；３） 基 于势场法的路径规划；４）全局路径规划；５） 不确定 性下视觉伺服路径规划． ２．１ 图像空间路径规划 图像空间路径规划技术旨在初始图像和期望图 像之间插入一条路径而不需要任何相机标定或者目 标模型． 这种方法的难点在于规划的图像空间路径 可能不会对应唯一的相机路径． 所以，学者们又研 究了规划图像路径对应无标定环境中可执行的相机 路径． 其中，对极几何、射影单应性和射影不变性等 射影几何知识被应用于图像空间路径规划中． ２．１．１ 对极几何 １９９５ 年，日本大阪大学 Ｈｏｓｏｄａ 等［３２］ 基于定义 在由机械臂末端的立体相机（眼在手上配置） 获得 图像中的对极几何约束，直接在图像空间中设计视 觉伺服轨迹生成器，然后利用基于雅可比估计器的 无标定视觉伺服控制器跟踪规划好的图像轨迹，从 而实现了在不需要任何系统或者相机标定等先验知 识的前提下，保证机械臂末端执行器能够在未知环 境中避开障碍物． ２００３ 年，澳州国立大学 Ｈａｒｔｌｅｙ 等［３３］ 通过给定 同一场景的多个视角，也采用对极几何研究了无标 定视觉伺服问题． 在没有目标物体的任何三维信息 的情况下，韩国先进科技学院 Ｐａｒｋ 和 Ｃｈｕｎｇ ［３４］提出 了基于眼在手外的立体视觉抓取场景中的无标定图 像空间路径规划方法，在初始图像和期望图像的射 影空间中利用对极几何沿着一条直线生成机械臂手 爪的一系列中间视图，这些中间视图组成期望的图 像轨迹，然后利用法国国家信息与自动化研究所 （ＩＮＲＩＡ）的 Ｅｓｐｉａｕ 等［３５］提出的 ＩＢＶＳ 方法控制机械 臂沿着图像轨迹运动，机械臂跟随轨迹的同时，手爪 可以在三维工作空间走直线，整个运动过程中手爪 的特征点始终处在相机视野内，如图 １ 所示，可以看 出末端执行器手抓虚拟点始终沿着直线运动，而未 逃离相机视野． I12 I12 I1 G1 Gk* Gk* G1 * GRk GRk kthvirtual gripper Initialgripper Goalgripper I11 k* k k 2 1 2 1 图 １ 虚拟手爪上的点沿直线平移［３５］ Ｆｉｇ．１ Ｐｏｉｎｔｓ ｏｎ ｔｈｅ ｖｉｒｔｕａｌ ｇｒｉｐｐｅｒ ｍｏｖｉｎｇ ａｌｏｎｇ ａ ｓｔｒａｉｇｈｔ ｌｉｎｅ ［３５］ ２．１．２ 射影单应性 法国国家信息与自动化研究所一直致力于图像 空间路径规划方面研究工作． 为了避免计算可行相 机路径依赖于相机标定和目标模型，１９９３ 年，该研 究所的 Ｆａｕｇｅｒａｓ ［３６］ 使用初始图像和期望图像建立 射影几何关系，由于定义在射影空间，相机在欧几里 德空间的位移可以部分参数化，而不需要显式重建 欧几里德空间分量． 射影单应性矩阵可以被应用在 路径规划方法中，它体现了同一场景不同视野之间 的关系，可以从两幅图像中的点、线、面和轮廓等特 征估计得到［３７－３８］ ． ２００３ 年，ＩＮＲＩＡ 的 Ｍｅｚｏｕａｒ 等［３９］ 又提出一种在 初始图像和期望图像之间插入共线矩阵来获得封闭 的共线路径的无标定路径规划方法，使用 ＩＢＶＳ 跟 踪求导后的图像特征轨迹． 然而，这种方法在存在 视野约束时却不能保证收敛到期望位置． 法国巴黎 第六大学 Ｓｃｈｒａｍｍ 等［４０］ 则在上述研究基础上引入 了可见性约束来扩展这种方法，通过引导目标上任 意选择的参考点在图像中沿着直线运动，从而保证 参考点始终处于相机视野内． 由此带来的问题是， 相机不再沿着直线运动，并且其他特征也可能会不 在相机视野内，所以设计了深度模块，通过控制相机 沿着光轴后退来保证无论何时一个特征到达相机视 野边界时，其它特征都实时可见． 一些研究人员采用分解欧几里德单应性矩阵的 方法来规划图像路径，从而生成可执行的相机路径 而不需要笛卡尔空间相机路径的重建． 例如，拉彭 兰塔科技大学 Ｋｙｒｋｉ 等［４１］提出一种基于单应性矩阵 部分位姿估计的最短路径规划方法，该方法直接沿 着单应性矩阵分解得到的方向移动手眼相机到达工 作空间的期望位姿，同时保证位于目标物体中心虚 拟点的可见性． 佛罗伦萨大学 Ａｌｌｏｔｔａ 等［４２］提出一个 类似的基于单应性分解的方法，选择螺旋线路径代 替直线路径作为参考路径来表示相机从初始位姿到 第 １ 期 任秉银， 等： 机械臂视觉伺服路径规划研究进展 ·３·
哈尔滨工业大学学报 第50卷 期望位姿的平移运动.威斯康星大学麦迪逊分校求解器解决优化问题,从而通过最小化已知权重的 Borgstadt等使用特殊的单应性矩阵分解为一个动能函数和来获得最优的图像路径,但是该方法只 已知模型的平面目标,从初始图像到期望图像之间能应用在二维和三维环境下的移动机器人 插入一条路径.由于目标模型已知,利用三维重建 为了解决基于优化的视觉伺服路径规划方法中 将插值好的期望路径转换到相机可执行的不与工作存在的问题,也有研究者引进各种参数化相机路径 空间边界碰撞的路径 的方法.2007年,意大利锡耶纳大学 Chesi等{利 21.3射影不变性 用多项式系数参数化相机路径,通过线性插值得到 2001年,法国雷恩大学 Malise4提出一个通过相机的平移路径,再通过凯利旋转表示法径向参数 射影变换定义在不变空间中的基于图像的路径规划化相机的旋转路径,使图像中的单一路径离图像边 方法.射影不变性的基本思想是构建一个相对相机界的距离很容易由多项式的根计算得到.因此,优 内参数不变的任务函数,只依赖于相机的位置相对化问题等价转化为在所有参数化路径中最大化图像 观测目标和它的3D结构.这使得在不变空间生成边界距离.在跟随规划好的图像路径时,假如相机 的特征矢量路径独立于相机内参数,同时对应相机没有标定误差,相机将会在工作空间跟随一条直线 在工作空间的路径是一条直线.此外,视觉系统安而事实上,标定误差是必然存在的,相机则不会走直 装电机驱动伸缩平台可以保证特征的可见性 线而是沿着不同的曲线移动,曲线离规划的直线的 综上所述,直接在图像空间路径规划的主要优距离也会随着标定误差的增大而变大 势在于无需考虑相机标定和目标模型;但是,由于在 Chesi等提出一种以最小化图像面积、轨迹 图像空间规划路径,所以这些方法不能很好解决复长度和曲率为优化目标,同时考虑相机视野、工作空 杂视觉伺服场景中的机械臂/物理约束. 间和关节限制约束的路径规划方法.设计了多项式 22基于优化的路径规划 参数化所有连接相机初始位姿和期望位姿的路径 在视觉伺服任务中,可能同时存在许多不同的相机位姿则是通过图像测量和目标模型的三维重建 相机路径,研究人员总是设法规划出优化的机器人获得.此外,设计的非凸型优化方法导致了多个可 路径.优化技术旨在从成本函数(图像边界距离,路行区域,并且每个区域存在多个局部最优解.因此 径长度和能量消耗等)中找到一条优化的路径 在所有可行区域中找到全局最优解是非常困难的 Mezouar等以最小能量和最小加速度为优化 Chesil4还通过齐次形式参数化从初始位姿到期望 目标在图像空间规划相机路径,在初始和期望图像之位姿的路径.利用合适的正则齐次形式建立约束模 间插入中间图像,该方法保证了收敛性,却没有考虑型,通过求解凸优化的线性矩阵不等式 可见性约束.因此,图像特征可能会不在相机视野内.( Linear MatrixInequalities,LMI)获得了合理可执行 1997年,美国宾夕法尼亚州立大学 Sharma的路径,从而使得期望的性能最优:包括特征离图像 等提出了基于感知控制流形( Perceptual Control边界的距离、相机离障碍物的距离以及规划的路径 Manifold,pPCM)的眼在手外的路径规划框架,PCM尽可能成直线 定义了机械臂关节空间和目标物体图像空间组成的 2007年,伊利诺伊大学香槟分校 bhattacharya 内积空间PCM被认为是从机械臂构型到可见图像等针对差分驱动机器人( Differential Driving 特征矢量的一种映射,可以将相机视野约束和机械 Robot,DDR)利用最优控制理论设计图像轨迹,使 臂关节限制以及障碍物映射到PCM可解空间;但其位于相机视野之内并满足路标的可见性,再将图 是,考虑到约束的数量和机械臂的自由度,这种映射形轨迹映射到笛卡尔空间,生成由直线和T型曲线 相当耗时.所以又提出各种优化准则(比如最小速构成的最短路径,图2给出了生成的T型最短路径 度、最小拦截时间和最少机械臂运动),在一系列可同时保证了可见性约束 行的PCM中找到最优路径.优化后的PCM方法结 西班牙萨拉戈萨大学Lope- Nicolas等设计 合全局场景的视觉伺服可以用在拦截一个轨迹已知了基于单应性矩阵元素的收敛性的切换视觉伺服控 的运动物体,而固定相机则可以同时观察到机械臂制器来跟踪这些最短路径.法国图卢兹大学 Havet 末端执行器和运动目标 等在杂乱障碍物环境下为DDR设计了完备的运 2002年,美国罗文大学 Zhang等提出的视觉动规划器将最优曲线段作为运动基元设计局部最 运动规划方法用一系列等式和不等式描述机器人沿优路径,从而满足障碍物和可见性约束下DDR路径 着视场边界的运动约束,可以为移动机器人满足可是可执行的.但是,由于障碍物被假定为透明的,所 见性约束下规划出最优的路径.利用拉格朗日数值以忽略了障碍物引起的遮挡问题.意大利比萨大学
期望位姿的平移运动． 威斯康星大学麦迪逊分校 Ｂｏｒｇｓｔａｄｔ 等［４３］ 使用特殊的单应性矩阵分解为一个 已知模型的平面目标，从初始图像到期望图像之间 插入一条路径． 由于目标模型已知，利用三维重建 将插值好的期望路径转换到相机可执行的不与工作 空间边界碰撞的路径． ２．１．３ 射影不变性 ２００１ 年，法国雷恩大学 Ｍａｌｉｓ ［４４］ 提出一个通过 射影变换定义在不变空间中的基于图像的路径规划 方法． 射影不变性的基本思想是构建一个相对相机 内参数不变的任务函数，只依赖于相机的位置相对 观测目标和它的 ３Ｄ 结构． 这使得在不变空间生成 的特征矢量路径独立于相机内参数，同时对应相机 在工作空间的路径是一条直线． 此外，视觉系统安 装电机驱动伸缩平台可以保证特征的可见性． 综上所述，直接在图像空间路径规划的主要优 势在于无需考虑相机标定和目标模型；但是，由于在 图像空间规划路径，所以这些方法不能很好解决复 杂视觉伺服场景中的机械臂／ 物理约束． ２．２ 基于优化的路径规划 在视觉伺服任务中，可能同时存在许多不同的 相机路径，研究人员总是设法规划出优化的机器人 路径． 优化技术旨在从成本函数（图像边界距离，路 径长度和能量消耗等）中找到一条优化的路径． Ｍｅｚｏｕａｒ 等［３９］以最小能量和最小加速度为优化 目标在图像空间规划相机路径，在初始和期望图像之 间插入中间图像，该方法保证了收敛性，却没有考虑 可见性约束． 因此，图像特征可能会不在相机视野内． １９９７ 年， 美 国 宾 夕 法 尼 亚 州 立 大 学 Ｓｈａｒｍａ 等［４５］提出了基于感知控制流形（ Ｐｅｒｃｅｐｔｕａｌ Ｃｏｎｔｒｏｌ Ｍａｎｉｆｏｌｄ， ＰＣＭ）的眼在手外的路径规划框架，ＰＣＭ 定义了机械臂关节空间和目标物体图像空间组成的 内积空间． ＰＣＭ 被认为是从机械臂构型到可见图像 特征矢量的一种映射，可以将相机视野约束和机械 臂关节限制以及障碍物映射到 ＰＣＭ 可解空间；但 是，考虑到约束的数量和机械臂的自由度，这种映射 相当耗时． 所以又提出各种优化准则（比如最小速 度、最小拦截时间和最少机械臂运动），在一系列可 行的 ＰＣＭ 中找到最优路径． 优化后的 ＰＣＭ 方法结 合全局场景的视觉伺服可以用在拦截一个轨迹已知 的运动物体，而固定相机则可以同时观察到机械臂 末端执行器和运动目标． ２００２ 年，美国罗文大学 Ｚｈａｎｇ 等［４６］提出的视觉 运动规划方法用一系列等式和不等式描述机器人沿 着视场边界的运动约束，可以为移动机器人满足可 见性约束下规划出最优的路径． 利用拉格朗日数值 求解器解决优化问题，从而通过最小化已知权重的 动能函数和来获得最优的图像路径，但是该方法只 能应用在二维和三维环境下的移动机器人． 为了解决基于优化的视觉伺服路径规划方法中 存在的问题，也有研究者引进各种参数化相机路径 的方法． ２００７ 年，意大利锡耶纳大学 Ｃｈｅｓｉ 等［４７］ 利 用多项式系数参数化相机路径，通过线性插值得到 相机的平移路径，再通过凯利旋转表示法径向参数 化相机的旋转路径，使图像中的单一路径离图像边 界的距离很容易由多项式的根计算得到． 因此，优 化问题等价转化为在所有参数化路径中最大化图像 边界距离． 在跟随规划好的图像路径时，假如相机 没有标定误差，相机将会在工作空间跟随一条直线． 而事实上，标定误差是必然存在的，相机则不会走直 线而是沿着不同的曲线移动，曲线离规划的直线的 距离也会随着标定误差的增大而变大． Ｃｈｅｓｉ 等［４８］ 提出一种以最小化图像面积、轨迹 长度和曲率为优化目标，同时考虑相机视野、工作空 间和关节限制约束的路径规划方法． 设计了多项式 参数化所有连接相机初始位姿和期望位姿的路径， 相机位姿则是通过图像测量和目标模型的三维重建 获得． 此外，设计的非凸型优化方法导致了多个可 行区域，并且每个区域存在多个局部最优解． 因此， 在所有可行区域中找到全局最优解是非常困难的． Ｃｈｅｓｉ ［４９］还通过齐次形式参数化从初始位姿到期望 位姿的路径． 利用合适的正则齐次形式建立约束模 型， 通 过 求 解 凸 优 化 的 线 性 矩 阵 不 等 式 （ＬｉｎｅａｒＭａｔｒｉｘＩｎｅｑｕａｌｉｔｉｅｓ， ＬＭＩ） 获得了合理可执行 的路径，从而使得期望的性能最优：包括特征离图像 边界的距离、相机离障碍物的距离以及规划的路径 尽可能成直线． ２００７ 年，伊利诺伊大学香槟分校 Ｂｈａｔｔａｃｈａｒｙａ 等［５０］ 针 对 差 分 驱 动 机 器 人 （ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｄｒｉｖｉｎｇ Ｒｏｂｏｔ， ＤＤＲ） 利用最优控制理论设计图像轨迹，使 其位于相机视野之内并满足路标的可见性，再将图 形轨迹映射到笛卡尔空间，生成由直线和 Ｔ 型曲线 构成的最短路径，图 ２ 给出了生成的 Ｔ 型最短路径， 同时保证了可见性约束． 西班牙萨拉戈萨大学 Ｌｏｐｅｚ－Ｎｉｃｏｌａｓ 等［５１］ 设计 了基于单应性矩阵元素的收敛性的切换视觉伺服控 制器来跟踪这些最短路径． 法国图卢兹大学 Ｈａｙｅｔ 等［５２］在杂乱障碍物环境下为 ＤＤＲ 设计了完备的运 动规划器，将最优曲线段作为运动基元设计局部最 优路径，从而满足障碍物和可见性约束下 ＤＤＲ 路径 是可执行的． 但是，由于障碍物被假定为透明的，所 以忽略了障碍物引起的遮挡问题． 意大利比萨大学 ·４· 哈 尔 滨 工 业 大 学 学 报 第 ５０ 卷
任秉银,等:机械臂视觉伺服路径规划研究进展 Salaris等则将 Bhattacharya等研究的图像空 Mezouar和 Chalmette研究了基于势场法的 间中获得的最优曲线进行了扩展,以便利用IBVS手眼机械臂图像视觉伺服控制,考虑了相机视野和 控制器可以直接在图像空间执行,实现了通过李雅机械臂关节限制两种约束(如图3所示),分别给出 普诺夫函数( Lyapunov Function)使得图像中沿着这人工势场随着关节角度和图像视野的变化关系.为 些最优路径运动的反馈控制.然而,对于DDR,所有了获得合理的机械臂轨迹,首先在工作空间规划机 最短路径的完整特性和它们的解析描述仍没有得到械臂运动,然后投影到图像空间.定义在工作空间 完全解决 的吸引势场将机械臂拉向最终期望位姿,考虑到以 上约束,排斥势场定义在图像空间和关节空间驱使 Q 图像轨迹远离图像边界和避免关节限制.所以,作 用在机械臂总的合力是吸引势能和排斥势能沿负梯 度方向计算得到各自分力的权值之和.图像轨迹将 会沿着机械臂合力方向生成,然后随着时间离散化 之后,最终可以用IBⅤS方法跟踪这些图像轨迹.以 上策略可以应用在已知或者未知模型的目标,针对 后者情形,利用欧几里德重建可以获得工作空间的 相机路径,沿着特征轨迹的当前期望的图像特征来 更新图像雅可比,可以自动避免图像局部最小化 图2生成的最短路径 Fig 2 Generated T-type shortest path (50 加拿大康考迪亚大学 Keshmiri等提出了基 于优化预定义的轨迹规划方法,通过最小化图像特 征误差函数获得轨迹参数,利用深度估计算法为目 标轨迹规划提供深度信息,再利用视觉控制器补偿 期望特征匹配时产生的误差,从而生成了满足系统 始末条件的轨迹,该规划方法的优势在于将位置规 (a)关节约束排斥势场 划和姿态规划解耦,同时获得了末端执行器的速度 旋量 2017年,西安航空学院马翔宇等通过非线 性优化算法对其最短路径进行优化设计,计算其最 短路径下各关节对应的旋转角度和移动距离,并对 其稳定性进行了分析 尽管以上基于优化的路径规划方法考虑了实际 问题的复杂性并生成了最优路径,但是这些方法仍 或多或少局限于简单场景和系统.引入机械臂/物 (b)视野约束排斥势场 图3人工势场随着两种约束的变化关系 理约束很大程度上增加了优化问题的复杂性,因此, 在以上优化框架中考虑上述约束也大幅度增加了时1432 ariation of artificial potential field with two kinds of 间的复杂度 基于势场法的路径规划方法在添加实际物理约 23基于势场法的路径规划 束(如避障、遮挡)则总势场非常有可能陷入局部最 人工势场法在机械臂路径规划领域中被认为是小化.为了避免吸引力与排斥力之和引起的局部最 种很有前途的快速局部避障策略,可以为机械臂小化,1985年,加拿大滑铁卢大学 Kirkpatrick等{ 在约束环境下规划出实时安全的运动路径,主要利用模拟退火的方法调节初始温度和冷却速率来保 思路是构建人工势能场,“吸引势能之和”吸引机械证收敛到全局最小化.提出的规划框架采用了两种 臂朝向期望位置,“排斥势能之和”使机械臂远离各不同轨迹生成策略:方法一是相对静止的目标坐标 种约束(例如障碍物和机械臂关节限制),最终机械系规划末端执行器轨迹;方法二则是相对当前末端 臂将沿着势场负梯度方向到达目标位置 执行器坐标系规划目标轨迹.前者生成的相机路径
Ｓａｌａｒｉｓ 等［５３］ 则将 Ｂｈａｔｔａｃｈａｒｙａ 等［５０］ 研究的图像空 间中获得的最优曲线进行了扩展，以便利用 ＩＢＶＳ 控制器可以直接在图像空间执行，实现了通过李雅 普诺夫函数（Ｌｙａｐｕｎｏｖ Ｆｕｎｃｔｉｏｎ）使得图像中沿着这 些最优路径运动的反馈控制． 然而，对于 ＤＤＲ，所有 最短路径的完整特性和它们的解析描述仍没有得到 完全解决． O Q Q Q P Q Q Ⅰ Ⅱ Ⅲ’ Ⅳ T1P T2P T1Q Ⅱ’ Q Ⅰ’ T2 U T1U Ⅲ T2P Q T1P T2Q Q Ⅴ 图 ２ 生成的最短路径［５０］ Ｆｉｇ．２ Ｇｅｎｅｒａｔｅｄ Ｔ － ｔｙｐｅ ｓｈｏｒｔｅｓｔ ｐａｔｈ ［５０］ 加拿大康考迪亚大学 Ｋｅｓｈｍｉｒｉ 等［５４］ 提出了基 于优化预定义的轨迹规划方法，通过最小化图像特 征误差函数获得轨迹参数，利用深度估计算法为目 标轨迹规划提供深度信息，再利用视觉控制器补偿 期望特征匹配时产生的误差，从而生成了满足系统 始末条件的轨迹，该规划方法的优势在于将位置规 划和姿态规划解耦，同时获得了末端执行器的速度 旋量． ２０１７ 年，西安航空学院马翔宇等［５５］ 通过非线 性优化算法对其最短路径进行优化设计，计算其最 短路径下各关节对应的旋转角度和移动距离，并对 其稳定性进行了分析． 尽管以上基于优化的路径规划方法考虑了实际 问题的复杂性并生成了最优路径，但是这些方法仍 或多或少局限于简单场景和系统． 引入机械臂／ 物 理约束很大程度上增加了优化问题的复杂性，因此， 在以上优化框架中考虑上述约束也大幅度增加了时 间的复杂度． ２．３ 基于势场法的路径规划 人工势场法在机械臂路径规划领域中被认为是 一种很有前途的快速局部避障策略，可以为机械臂 在约束环境下规划出实时安全的运动路径［５６］ ，主要 思路是构建人工势能场，“吸引势能之和”吸引机械 臂朝向期望位置，“排斥势能之和”使机械臂远离各 种约束（例如障碍物和机械臂关节限制），最终机械 臂将沿着势场负梯度方向到达目标位置［５７］ ． Ｍｅｚｏｕａｒ 和 Ｃｈａｕｍｅｔｔｅ ［３０］ 研究了基于势场法的 手眼机械臂图像视觉伺服控制，考虑了相机视野和 机械臂关节限制两种约束（如图 ３ 所示），分别给出 人工势场随着关节角度和图像视野的变化关系． 为 了获得合理的机械臂轨迹，首先在工作空间规划机 械臂运动，然后投影到图像空间． 定义在工作空间 的吸引势场将机械臂拉向最终期望位姿，考虑到以 上约束，排斥势场定义在图像空间和关节空间驱使 图像轨迹远离图像边界和避免关节限制． 所以，作 用在机械臂总的合力是吸引势能和排斥势能沿负梯 度方向计算得到各自分力的权值之和． 图像轨迹将 会沿着机械臂合力方向生成，然后随着时间离散化 之后，最终可以用 ＩＢＶＳ 方法跟踪这些图像轨迹． 以 上策略可以应用在已知或者未知模型的目标，针对 后者情形，利用欧几里德重建可以获得工作空间的 相机路径，沿着特征轨迹的当前期望的图像特征来 更新图像雅可比，可以自动避免图像局部最小化． vq lj lj q lj min qlj qmax qmax qj min （ａ） 关节约束排斥势场 Vr um Vm UM VM （ｂ） 视野约束排斥势场 图 ３ 人工势场随着两种约束的变化关系［３０］ Ｆｉｇ． ３ Ｖａｒｉａｔｉｏｎ ｏｆ ａｒｔｉｆｉｃｉａｌ ｐｏｔｅｎｔｉａｌ ｆｉｅｌｄ ｗｉｔｈ ｔｗｏ ｋｉｎｄｓ ｏｆ ｃｏｎｓｔｒａｉｎｔｓ ［３０］ 基于势场法的路径规划方法在添加实际物理约 束（如避障、遮挡）则总势场非常有可能陷入局部最 小化． 为了避免吸引力与排斥力之和引起的局部最 小化，１９８５ 年，加拿大滑铁卢大学 Ｋｉｒｋｐａｔｒｉｃｋ 等［５８］ 利用模拟退火的方法调节初始温度和冷却速率来保 证收敛到全局最小化． 提出的规划框架采用了两种 不同轨迹生成策略：方法一是相对静止的目标坐标 系规划末端执行器轨迹；方法二则是相对当前末端 执行器坐标系规划目标轨迹． 前者生成的相机路径 第 １ 期 任秉银， 等： 机械臂视觉伺服路径规划研究进展 ·５·