《工程科学学报》：校庆专刊：协作机器人智能控制与人机交互研究综述（北京科技大学）

《工程科学学报》录用稿，htps:/doi.org/10.13374/i,issn2095-9389.2021.08.31.001©北京科技大学2020 工程科学学报DO: 协作机器人智能控制与人机交互研究综述 黄海丰12)，刘培森12，李擎四，于欣波2)，贺威12) 1)北京科技大学自动化学院，北京1000832)北京科技大学人工智能研究院，北京100083 ☒通信作者，E-mail:liging@ies.ustb.edu.cm 摘要协作机器人是一类能够在共享空间中与人类交互或在人类附近安全工作的新型工匙机翳人由于其轻质、安 全的特点，在柔性制造、社会服务、医疗健康、防灾抗疫等多个领域展现出了良好的应用箭禄，受到工业界和学术界 的广泛关注，成为当前机器人领域的研究热点之一。协作机器人需要具备良好的检制性能确保与人交互的安全性， 集成多种传感器感知外部环境并应用智能控制理论与方法来确保高效的协作行为本文主要介绍了国内外几款常见 的协作机器人，机器人基于感知信息的控制、高精度跟踪控制、交互控制等智能控制方法， 并围绕机器人与人执行协 作任务的高效性，对机器人的人类意图估计和技能学习方法进行了讨论。最终对协作机器人未来的发展方向进行了 展望。 关键词协作机器人：智能控制：人机交互：机器人技能学习：人类意图估计 分类号TP242.6 A review of research on intelligent control and human-robot interaction for collaborative robots HUANG Hai-feng,LIU Pei-sen Lf Qing YU Xin-bo,HE Wei2) 1)School of Automation and Electrical ing,University of Science and Technology Beijing,Beijing 100083,China Institute of Artificial Intelligence.University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail liqing stb.edu.cn ABSTRACT The aggravating trend of aging population brings impacts on industrial production and social services.Robots are expected to be able to work not only in highly structured manufacturing environments but also in human-inhabited environments,therefpre,they need to have more sophisticated cognitive abilities.They have to be able to operate safely and efficiently in unstructured,populated environments,as well as to achieve high-level collaboration and communication with humans.Collaborative robots also referred to as Cobots,are a new class of industrial robots that can interact with humans in shared spaces or work safely in the vicinity of humans.Collaborative robots are generally light weighted,multiple-degree-of- freedom and edge rounded,besides,integrated multiple sensors and set limitations of speed and force to ensure the safety of behavior.Collaborative robots have shown good application prospects in many fields,such as flexible manufacturing,social services,medical care,disaster prevention,anti-epidemic,et al.They have received wide attention from industry and academia Collaborative robots require the integration of multimodal sensory information and intelligent control methods to ensure efficient collaborative behavior.Human-robot collaboration (HRC)studies key issues attached to how to achieve safe 收稿日期：2021-08-31

工程科学学报 DOI: 协作机器人智能控制与人机交互研究综述 黄海丰 1,2)，刘培森 1,2)，李擎 1)，于欣波 2)，贺 威 1,2) 1) 北京科技大学自动化学院，北京 100083 2) 北京科技大学人工智能研究院，北京 100083  通信作者，E-mail: liqing@ies.ustb.edu.cn 摘 要 协作机器人是一类能够在共享空间中与人类交互或在人类附近安全工作的新型工业机器人，由于其轻质、安 全的特点，在柔性制造、社会服务、医疗健康、防灾抗疫等多个领域展现出了良好的应用前景，受到工业界和学术界 的广泛关注，成为当前机器人领域的研究热点之一。协作机器人需要具备良好的控制性能确保与人交互的安全性， 集成多种传感器感知外部环境并应用智能控制理论与方法来确保高效的协作行为。本文主要介绍了国内外几款常见 的协作机器人，机器人基于感知信息的控制、高精度跟踪控制、交互控制等智能控制方法，并围绕机器人与人执行协 作任务的高效性，对机器人的人类意图估计和技能学习方法进行了讨论。最终对协作机器人未来的发展方向进行了 展望。 关键词 协作机器人；智能控制；人机交互；机器人技能学习；人类意图估计 分类号 TP242.6 A review of research on intelligent control and human-robot interaction for collaborative robots HUANG Hai-feng1,2) , LIU Pei-sen1,2) , LI Qing1), YU Xin-bo2) , HE Wei1,2) 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China  Corresponding author, E-mail: liqing@ies.ustb.edu.cn ABSTRACT The aggravating trend of aging population brings impacts on industrial production and social services. Robots are expected to be able to work not only in highly structured manufacturing environments but also in human-inhabited environments, therefore, they need to have more sophisticated cognitive abilities. They have to be able to operate safely and efficiently in unstructured, populated environments, as well as to achieve high-level collaboration and communication with humans. Collaborative robots also referred to as Cobots, are a new class of industrial robots that can interact with humans in shared spaces or work safely in the vicinity of humans. Collaborative robots are generally light weighted, multiple-degree-of￾freedom and edge rounded, besides, integrated multiple sensors and set limitations of speed and force to ensure the safety of behavior. Collaborative robots have shown good application prospects in many fields, such as flexible manufacturing, social services, medical care, disaster prevention, anti-epidemic, et al. They have received wide attention from industry and academia. Collaborative robots require the integration of multimodal sensory information and intelligent control methods to ensure efficient collaborative behavior. Human-robot collaboration (HRC) studies key issues attached to how to achieve safe _________________________________________ 收稿日期：2021-08-31 《工程科学学报》录用稿，https://doi.org/10.13374/j.issn2095-9389.2021.08.31.001 ©北京科技大学 2020 录用稿件，非最终出版稿

and efficient collaboration between Cobots and humans involving robotics,cognitive sciences,machine learning,artificial intelligence,philosophy,etc.HRC has been included in the key support research programs of Smart Mamfactring 2025 and the Development Plan of New Generation Artificial Intelligence,which recently has become an important research direction in the field of intelligent robotics with a wide range of applications.This paper introduces several domestic and foreign collaborative robots,and intelligent control methods of collaborative robots including control methods base on perception information,high accuracy tracking control methods and interaction control methods.It also discusses human intention estimation and robot skill learning methods for efficient human-robot collaboration.Finally,the future directions of collaborative robots are prospected. KEY WORDS collaborative robot;intelligent control;human-robot interaction;robot skill learning;human intention estimation 1引 近年来，协作机器人在高端制造、航空航天、医疗健康、社会服务等各个领域逐渐得到了应用和 发展。在我国，人机协作已列入《智能制造2025》和《新一代人工智能发展规划》重点支持研究计划， 并成为当前智能机器人领域的重要发展方向21。 国际机器人联合会定义了四种类型的人机协作：(1)共同存在：人和机器人存在协作，但工作空 间相互隔离开：(2)顺序协作：人和协作机器人共享工作空间的一部分或全部，但不同时在零件或机 器上作业：(3)共同作业：协作机器人和人同时在同可分秀件操作；(4)响应协作：协作机器人实时 响应人的动作实现协作。当前人机协作的主要形式杨然侵滔在协作机器人和人共享工作空间，独立 地或顺序地完成任务，实现共同存在或顺序协促。响应协作以人的运动行为为中心，使协作机器人 主动协作人类完成种类复杂的操作任务，是当人机协作领域的研究重点和未来的发展趋势。响应 协作对协作机器人与人的共融性提出了较高的要求，为此，近年来围绕协作机器人的智能控制方法 与人机协作技术展开了广泛的研究。 本文围绕上述主题，对近年来协作机器人、协作机器人智能控制方法、人机协作技术的研究展开 介绍。首先介绍主要常见协作机器人的基本情况：其次介绍协作机器人智能控制方法，包括视觉伺 服控制、多模态融合控制、高精度跟踪控制、交互力控制等：然后介绍人机协作关键技术，包括人类 意图估计和机器人技能学技术 最后讨论协作机器人的发展方向。 2协作机器人介绍 针对传统工业机器人存在体型庞大、运行调试复杂、生产缺乏柔性的问题，并且出于安全考虑需 要与人隔离李作空间，限制了机器人在高端制造和服务行业的应用。因此，协作机器人应运而生， 协作机器人通常使用轻质材料并对速度和力进行了限制，具备良好的安全性，可以与人类在共享空 间协同工作。协作机器人通常为6/7自由度(Degrees of Freedom,DoF)的串联型机器人，得益于协 作机器人部署灵活、操作简单、设计安全的特点，在智能制造、快递物流、家庭服务、医疗健康等领域 具备良好的应用前景。 近年来国内外的各大厂商开始陆续推出自己的协作机器人产品。优傲(Universal Robots,UR) 公司在2008年推出的UR5是首款具有协作概念的商用机器人，并在随后更新迭代了UR3、UR10以 轻质、与人交互安全与精度较高的特点，在高端制造业得到了广泛应用，近年来UR公司又推出了 控制精度更好，与人交互更安全的ε系列机器人。KUKA、FANUC等知名工业机器人公司也推出了 多款协作机器人，KINOVA公司的Jaco2、Gen3机器人在扶残助老、家庭服务中得到了良好的应用

and efficient collaboration between Cobots and humans involving robotics, cognitive sciences, machine learning, artificial intelligence, philosophy, etc. HRC has been included in the key support research programs of Smart Manufacturing 2025 and the Development Plan of New Generation Artificial Intelligence, which recently has become an important research direction in the field of intelligent robotics with a wide range of applications. This paper introduces several domestic and foreign collaborative robots, and intelligent control methods of collaborative robots including control methods base on perception information, high accuracy tracking control methods and interaction control methods. It also discusses human intention estimation and robot skill learning methods for efficient human-robot collaboration. Finally, the future directions of collaborative robots are prospected. KEY WORDS collaborative robot; intelligent control; human-robot interaction; robot skill learning; human intention estimation 1 引言 近年来，协作机器人在高端制造、航空航天、医疗健康、社会服务等各个领域逐渐得到了应用和 发展。在我国，人机协作已列入《智能制造 2025》和《新一代人工智能发展规划》重点支持研究计划， 并成为当前智能机器人领域的重要发展方向[1][2][3]。 国际机器人联合会定义了四种类型的人机协作：(1)共同存在：人和机器人存在协作，但工作空 间相互隔离开；(2)顺序协作：人和协作机器人共享工作空间的一部分或全部，但不同时在零件或机 器上作业；(3)共同作业：协作机器人和人同时在同一零件上操作；(4)响应协作：协作机器人实时 响应人的动作实现协作。当前人机协作的主要形式仍然停留在协作机器人和人共享工作空间，独立 地或顺序地完成任务，实现共同存在或顺序协作。响应协作以人的运动行为为中心，使协作机器人 主动协作人类完成种类复杂的操作任务，是当下人机协作领域的研究重点和未来的发展趋势。响应 协作对协作机器人与人的共融性提出了较高的要求，为此，近年来围绕协作机器人的智能控制方法 与人机协作技术展开了广泛的研究。 本文围绕上述主题，对近年来协作机器人、协作机器人智能控制方法、人机协作技术的研究展开 介绍。首先介绍主要常见协作机器人的基本情况；其次介绍协作机器人智能控制方法，包括视觉伺 服控制、多模态融合控制、高精度跟踪控制、交互力控制等；然后介绍人机协作关键技术，包括人类 意图估计和机器人技能学习技术；最后讨论协作机器人的发展方向。 2 协作机器人介绍 针对传统工业机器人存在体型庞大、运行调试复杂、生产缺乏柔性的问题，并且出于安全考虑需 要与人隔离开工作空间，限制了机器人在高端制造和服务行业的应用。因此，协作机器人应运而生 ， 协作机器人通常使用轻质材料并对速度和力进行了限制，具备良好的安全性，可以与 人类在共享空 间协同工作。协作机器人通常为 6/7 自由度（Degrees of Freedom, DoF）的串联型机器人，得益于协 作机器人部署灵活、操作简单、设计安全的特点，在智能制造、快递物流、家庭服务、医疗健康等领域 具备良好的应用前景。 近年来国内外的各大厂商开始陆续推出自己的协作机器人产品。优傲（Universal Robots, UR） 公司在 2008 年推出的 UR5 是首款具有协作概念的商用机器人，并在随后更新迭代了 UR3、UR10 以 轻质、与人交互安全与精度较高的特点，在高端制造业得到了广泛应用，近年来 UR 公司又推出了 控制精度更好，与人交互更安全的 e 系列机器人。KUKA、FANUC 等知名工业机器人公司也推出了 多款协作机器人，KINOVA 公司的 Jaco2、Gen3 机器人在扶残助老、家庭服务中得到了良好的应用， 录用稿件，非最终出版稿

Franka Emika推出的Panda协作机械臂在关节空间采用了全状态反馈控制，可以在复杂环境下实现 精确碰撞检测，在安全协作方面性能优越。 近年来在国家相关政策的大力支持下，国内协作机器人理论与应用得到了良好的发展，国内市 场上也涌现出大批国产协作机器人。沈阳新松(SIASUN)于2015年推出了七轴协作机器人，支持 拖动示教、碰撞检测、视觉识别等功能，在工作空间紧凑、精度要求高的生产线中得到了有效的使用。 近年珞石公司(ROKAE)推出了新一代xMate系列七自由度柔性协作机器人，具有高灵敏力感知， 支持拖动示教、精准力控，在高端制造和辅助医疗行业具有良好的应用前景。艾利特(ELTE ROBOT)公司发布了全新的CS系列协作机器人，提供了可视化的交互界面的模块化的编程方式。 节卡(JAKA)公司推出了AIl-in-one系列共融协作机器人，深度融合了视觉信息。Elephant Robotics 发布了世界上最小的6轴机器人手臂yCobot,具有良好的可用性和安全性，而且噪音低。 表1、表2中分别列出了国外、国内厂家的几款协作机器人主要产品。协作机器人目前已经在多 个领域展现出良好的应用前景，受到国内外学者的广泛关注，相信未来会有更多协作机器人出现， 应用在各种工业生产、生活服务中。 表1几收外的作机器人 Table 1 Introduction of collaborative robots from foreign manufacturers Model Manufacturers UR5 Universal Single-arm,6DoF,Repea 04 ty accuracy 40.1mm,Payload 5kg Robots URSe Universal Single-arm.6DoF.Repeatability accuraey Imm.Payload 5kg,Force control sensor integrated LBR iiwa Single-arm,7DoF,Repeatabildy a 40.1mm,Payload 7kg.Torque sensor integrated CR-35iA FANUC Single-arm,6DoR.Repeatability accuracy 40.08mm.Payload35kg, Jaco2 6Dof KINOVA Single-arm,6DoF. eight 5.2Kg.Payload 1.3Kg.Joystick operation Gen3 KINOVA Single-arm,DoF:Net weight 8.2Kg,Payload 4Kg Panda Franka Emika Single-arm.7DoF,Repeatability aecuracy 40.1mm,Payload 3kg.Accurate collision detection 表2九航内作机隔人 Table 2 Introduction of collaborative robots from domestic manufacturers Model Manufacturers Features SCR5 SIASUN Single-arm.7DoF,Repeatability accuracy 40.02mm,Payload 5kg AUBO i5 AUBO Single-arm.6DoF,Repeatability accuracy 40.02mm.Payload 5kg xMate7 ROKAE e-arm,7DoF,Repeatability accuracy0.03mm,Payload7kg.Sensitive force perception CS66 ELITE ROBOT Single-arm.6DoF.Repeatability accuracy #0.03mm.Payload 7kg, AI3 JAKA Single-arm.6DoF,Repeatability accuracy 40.02mm.Payload 3kg,Vision integrated myCobot Elephant Robotics Single-arm,6DoF,Repeatability accuracy 40.03mm,Payload 250g,Net weight 850g 3协作机器人智能控 3.1视觉同服控制 视觉伺服挖制有效地拓展了协作机器人的应用领域。在协作机器人上安装摄像头，以实现机器 人对目标的感知，进一步对目标特征信息进行处理，得到视觉反馈，并利用反馈信息对机器人进行 实时控制，以实现精确的跟踪或定位，完成相应的工作。根据反馈信息的不同，机器人视觉伺服可 分为基于位置的视觉伺服(3D视觉伺服)、基于图像的视觉伺服(2D视觉伺服)等。视觉伺服控制 在机器人抓取任务中得到了重要的应用。基于位置的视觉伺服利用摄像机参数建立图像信息，从而 得到机器人当前位姿与目标位姿之间的映射关系，把计算出的映射关系指令反馈给机器人关节控制 器，最后实现机器人运动4lso。随着Kinect等高性能深度相机的出现，有文献7提出使用深度摄像 机获取目标点云，然后通过提取快速点特征直方图描述子结合奇异值分解算法来估计目标位姿。基 于图像的视觉伺服通过提取图像中的特征点，通过雅可比矩阵建立机器人的运动与图像特征点的运 动的动态控制模型，并基于该控制模型得到控制指令。方勇纯等提出了一种基于二维三焦点张量的

Franka Emika 推出的 Panda 协作机械臂在关节空间采用了全状态反馈控制，可以在复杂环境下实现 精确碰撞检测，在安全协作方面性能优越。 近年来在国家相关政策的大力支持下，国内协作机器人理论与应用得到了良好的发展，国内市 场上也涌现出大批国产协作机器人。沈阳新松（SIASUN）于 2015 年推出了七轴协作机器人，支持 拖动示教、碰撞检测、视觉识别等功能，在工作空间紧凑、精度要求高的生产线中得到了有效的使用。 近年珞石公司（ROKAE）推出了新一代 xMate 系列七自由度柔性协作机器人，具有高灵敏力感知， 支持拖动示教、精准力控，在高端制造和辅助医疗行业具有良好的应用前景。艾利特（ELITE ROBOT）公司发布了全新的 CS 系列协作机器人，提供了可视化的交互界面的模块化的编程方式。 节卡（JAKA）公司推出了 All-in-one 系列共融协作机器人，深度融合了视觉信息。Elephant Robotics 发布了世界上最小的 6 轴机器人手臂 myCobot，具有良好的可用性和安全性，而且噪音低。 表 1、表 2 中分别列出了国外、国内厂家的几款协作机器人主要产品。协作机器人目前已经在多 个领域展现出良好的应用前景，受到国内外学者的广泛关注，相信未来会有更多协作机器人出现， 应用在各种工业生产、生活服务中。 表 1 几款国外协作机器人 Table 1 Introduction of collaborative robots from foreign manufacturers Model Manufacturers Features UR5 Universal Robots Single-arm，6DoF，Repeatability accuracy ±0.1mm，Payload 5kg UR5e Universal Robots Single-arm，6DoF，Repeatability accuracy ±0.1mm，Payload 5kg，Force control sensor integrated LBR iiwa KUKA Single-arm，7DoF，Repeatability accuracy ±0.1mm，Payload 7kg，Torque sensor integrated CR-35iA FANUC Single-arm，6DoF，Repeatability accuracy ±0.08mm，Payload35kg， Jaco2 6Dof KINOVA Single-arm，6DoF，Net weight 5.2Kg，Payload 1.3Kg，Joystick operation Gen3 KINOVA Single-arm，7DoF，Net weight 8.2Kg，Payload 4Kg Panda Franka Emika Single-arm，7DoF，Repeatability accuracy ±0.1mm，Payload 3kg，Accurate collision detection 表 2 几款国内协作机器人 Table 2 Introduction of collaborative robots from domestic manufacturers Model Manufacturers Features SCR5 SIASUN Single-arm，7DoF，Repeatability accuracy ±0.02mm，Payload 5kg AUBO i5 AUBO Single-arm，6DoF，Repeatability accuracy ±0.02mm，Payload 5kg xMate7 ROKAE Single-arm，7DoF，Repeatability accuracy ±0.03mm，Payload7kg，Sensitive force perception CS66 ELITE ROBOT Single-arm，6DoF，Repeatability accuracy ±0.03mm，Payload 7kg， AI 3 JAKA Single-arm，6DoF，Repeatability accuracy ±0.02mm，Payload 3kg，Vision integrated myCobot Elephant Robotics Single-arm，6DoF，Repeatability accuracy ±0.03mm，Payload 250g，Net weight 850g 3 协作机器人智能控制 3.1 视觉伺服控制 视觉伺服控制有效地拓展了协作机器人的应用领域。在协作机器人上安装摄像头，以实现机器 人对目标的感知，进一步对目标特征信息进行处理，得到视觉反馈，并利用反馈信息对机器人进行 实时控制，以实现精确的跟踪或定位，完成相应的工作。根据反馈信息的不同，机器人视觉伺服可 分为基于位置的视觉伺服（3D 视觉伺服）、基于图像的视觉伺服（2D 视觉伺服）等。视觉伺服控制 在机器人抓取任务中得到了重要的应用。基于位置的视觉伺服利用摄像机参数建立图像信息，从而 得到机器人当前位姿与目标位姿之间的映射关系，把计算出的映射关系指令反馈给机器人关节控制 器，最后实现机器人运动[4][5][6]。随着 Kinect 等高性能深度相机的出现，有文献[7]提出使用深度摄像 机获取目标点云，然后通过提取快速点特征直方图描述子结合奇异值分解算法来估计目标位姿。基 于图像的视觉伺服通过提取图像中的特征点，通过雅可比矩阵建立机器人的运动与图像特征点的运 动的动态控制模型，并基于该控制模型得到控制指令。方勇纯等提出了一种基于二维三焦点张量的 录用稿件，非最终出版稿

视觉伺服镇定控制方法，在图像特征识别方面体现出了更强的鲁棒性。李智军等开发了一种基于 图像的视觉伺服控制策略，可以避免同源算法和基于基本矩阵的算法的模糊性和退化问题。张雪 波等提出了一种新型的基于图像输出反馈的机器人自适应视觉伺服方法，在速度估计的准确性、跟 踪精度和鲁棒性等方面具有优越性o。Malis等提出的2.5D视觉伺服策略，成功地将图像信号与从 图像中提取的位置/姿态信号相结合，并使用它们生成用于反馈的合成误差信号，增强了系统的稳 定性山。文献Error:Reference source not found提出了一种新2.5D视觉伺服方法，用于抓取无纹理的 平面零件，使用混合视觉特征，将图像矩与笛卡尔空间中的三维旋转结合控制机器人的运动。 3.2多横志融合控制 协作机器人在执行协作任务时，通常需要多种传感器模态的信息输入，协作机器人进行感知模 态信息融合，尤其是视觉和触觉，对提升协作机器人操作的柔顺性和安全性具有显著意义，国内外 很多学者针对多模态融合控制展开了研究。 Prats等通过融合视觉、触觉信息提出了基于感知信息的机器人控制框架并没站完成了滑动门 开关任务：机器人通过视觉信息可以定位到门把手位置，并通过触觉反馈信息调整视觉误差，实现 最终位置匹配凶。Ilonen等采用目标对称约束将视、触觉信息互补融合，通过状态估计实现三维重建 。文献[15]将视觉-触觉传感器搭载于协作机器人系统并提出了基于图形与外力反馈的导航和操作 任务集成表示方法。文献[16]提出使用视觉-触觉融合的物体三维重建方法，解决了仅用视觉产生的 物体三维重建过程中的遮挡等问题。在获取全面、准确的信息后进行运动预测与意图辨识，以加强人 机协作中机械臂的主动性。JL等提出利用视觉和触觉传感器进衔数据采集，并用深度神经网络 (Deep Neural Network,DNN)进行滑觉检测，服务于机器人实现稳定抓取m。孙富春等u剧提出了一个 用于机器人材料感知的视觉-触觉跨模式学习框架，在终身学匀的背景下解决视觉-触觉跨模态学习 的问题，利于逐步提高机器人跨模态材料感知的能令献[19提出了一种基于视觉和力传感信息 融合的框架，用于人-机器人协作任务，使机器人能够往劫跟随人类伙伴减小控制难度，并在不使 用力传感器的情况下，设计了一个力观测器来估订人体的力，并通过最小化估计的力来获得人体的 运动意图。 3.3高精度踪控制 提升协作机器人的鲁棒性和可靠性成为协作机器人应用和普及的关键难题，针对这一问题国内 外学者开展了协作机器人高精度跟踪控制中的关键问题研究。协作机器人的高精度控制主要面临两 方面的难题：其一是约束问题：约束是指控制系统的输入和状态满足一定的约束条件，它取决于实 际物理器件限制、系统运行性能要求以及安全要求：其二是不确定性问题，协作机器人通常采用柔 性关节作为驱动结构，柔性关能够实现柔顺操作与碰撞保护，但柔性关节的引入会加大上层运动 控制的复杂性，实际情况在的因素会使柔性关节机器人出现模型不确定和受到未知扰动的情况， 此时基于模型的非线性控制策略将失效。 (1)机器人输入约束控制 输入约束是在实际工程应用中很重要的一个约束条件，包含有输入饱和、回滞、输入死区等。 在实际应佣扬景中，考虑到物理约束和安全性问题，机器人执行机构通常存在输出功率上限， 即存在输入饱和问题，从机器人系统的安全性与稳定性触发，考虑控制器设计输入饱和非线性尤为 重要，已经有国内外学者对此问题展开了大量研究。针对输入饱和通常有两种处理方式：一种是通 过调节给定的输入信号解决输入饱和2 o Reference orce foud:另一种是通过构造辅助系统，基于辅助 系统对跟踪误差进行修正，进而处理输入饱和问题2I24 Error:Reference source not found。 协作机器人系统是典型的复杂非线性系统，本体与执行器之间存在能量转换会引起时滞现象。 文献[25]提出了时滞影响的数学模型。基于此，在文献[27]中，作者设计了一类鲁棒控制器，采用李 雅普诺夫-克拉索夫斯基泛函(Lyapunov-Krasovskii Function,,LKF)解决了时滞问题。文献[28]针对含时 滞的协作机器人系统设计了一类速度观测器，同样采用LKF来处理未知时滞问题。李鸿一等2通过 利用有限时间稳定性理论、障碍李雅普诺夫函数(Barrier Lyapunov Function,BLF)和自适应反步法

视觉伺服镇定控制方法，在图像特征识别方面体现出了更强的鲁棒性[8]。李智军等开发了一种基于 图像的视觉伺服控制策略，可以避免同源算法和基于基本矩阵的算法的模糊性和退化问题[9]。张雪 波等提出了一种新型的基于图像输出反馈的机器人自适应视觉伺服方法，在速度估计的准确性、跟 踪精度和鲁棒性等方面具有优越性[10]。Malis 等提出的 2.5D 视觉伺服策略，成功地将图像信号与从 图像中提取的位置/姿态信号相结合，并使用它们生成用于反馈的合成误差信号，增强了系统的稳 定性[11]。文献 Error: Reference source not found 提出了一种新 2.5D 视觉伺服方法，用于抓取无纹理的 平面零件，使用混合视觉特征，将图像矩与笛卡尔空间中的三维旋转结合控制机器人的运动。 3.2 多模态融合控制 协作机器人在执行协作任务时，通常需要多种传感器模态的信息输入，协作机器人进行感知模 态信息融合，尤其是视觉和触觉，对提升协作机器人操作的柔顺性和安全性具有显著意义，国内外 很多学者针对多模态融合控制展开了研究。 Prats 等通过融合视觉、触觉信息提出了基于感知信息的机器人控制框架，并设计完成了滑动门 开关任务：机器人通过视觉信息可以定位到门把手位置，并通过触觉反馈信息调整视觉误差，实现 最终位置匹配[12]。Ilonen 等釆用目标对称约束将视、触觉信息互补融合，通过状态估计实现三维重建 [14]。文献[15]将视觉-触觉传感器搭载于协作机器人系统并提出了基于图形与外力反馈的导航和操作 任务集成表示方法。文献[16]提出使用视觉-触觉融合的物体三维重建方法，解决了仅用视觉产生的 物体三维重建过程中的遮挡等问题。在获取全面、准确的信息后进行运动预测与意图辨识，以加强人 机协作中机械臂的主动性。J Li 等提出利用视觉和触觉传感器进行数据采集，并用深度神经网络 (Deep Neural Network, DNN)进行滑觉检测，服务于机器人实现稳定抓取[17]。孙富春等[18]提出了一个 用于机器人材料感知的视觉-触觉跨模式学习框架，在终身学习的背景下解决视觉-触觉跨模态学习 的问题，利于逐步提高机器人跨模态材料感知的能力。文献[19]提出了一种基于视觉和力传感信息 融合的框架，用于人-机器人协作任务，使机器人能够主动跟随人类伙伴减小控制难度，并在不使 用力传感器的情况下，设计了一个力观测器来估计人体的力，并通过最小化估计的力来获得人体的 运动意图。 3.3 高精度跟踪控制 提升协作机器人的鲁棒性和可靠性成为协作机器人应用和普及的关键难题，针对这一问题国内 外学者开展了协作机器人高精度跟踪控制中的关键问题研究。协作机器人的高精度控制主要面临两 方面的难题：其一是约束问题：约束是指控制系统的输入和状态满足一定的约束条件，它取决于实 际物理器件限制、系统运行性能要求以及安全要求；其二是不确定性问题，协作机器人通常采用柔 性关节作为驱动结构，柔性关节能够实现柔顺操作与碰撞保护，但柔性关节的引入会加大上层运动 控制的复杂性，实际情况存在的因素会使柔性关节机器人出现模型不确定和受到未知扰动的情况， 此时基于模型的非线性控制策略将失效。 （1） 机器人输入约束控制 输入约束是在实际工程应用中很重要的一个约束条件，包含有输入饱和、回滞、输入死区等。 在实际应用场景中，考虑到物理约束和安全性问题，机器人执行机构通常存在输出功率上限， 即存在输入饱和问题，从机器人系统的安全性与稳定性触发，考虑控制器设计输入饱和非线性尤为 重要，已经有国内外学者对此问题展开了大量研究。针对输入饱和通常有两种处理方式：一种是通 过调节给定的输入信号解决输入饱和[20]Error: Reference source not found；另一种是通过构造辅助系统，基于辅助 系统对跟踪误差进行修正，进而处理输入饱和问题[21][22][24][25]Error: Reference source not found。 协作机器人系统是典型的复杂非线性系统，本体与执行器之间存在能量转换会引起时滞现象。 文献[25]提出了时滞影响的数学模型。基于此，在文献[27]中，作者设计了一类鲁棒控制器，采用李 雅普诺夫-克拉索夫斯基泛函(Lyapunov-Krasovskii Function, LKF)解决了时滞问题。文献[28]针对含时 滞的协作机器人系统设计了一类速度观测器，同样采用 LKF 来处理未知时滞问题。李鸿一等[29]通过 利用有限时间稳定性理论、障碍李雅普诺夫函数（Barrier Lyapunov Function, BLF）和自适应反步法， 录用稿件，非最终出版稿

提出了一种新型的自适应跟踪控制策略，解决了有死区的非线性系统的有限时间控制问题。 (2) 机器人输出约束控制 出于机器人系统安全性考虑，约束条件下通常需要对机器人位置、速度、加速度等状态设限。用 于多关节协作机器人的常见的解决约束问题的方法主要有两种： 一种是基于函数变换的方法，即采用一类非线性函数将受限的系统直接转换为等效的不受限的 系统，再针对不受限的系统进行控制设计。Z.Zhang等Bol研究了一类带输出约束的不确定非线性系 统的跟踪问题，通过设计非线性状态转换器，进一步给出了一类鲁棒控制器，实现了控制目标。文 献31]采基于非线性函数变换的方法研究了输出约束下的柔性关节机器人控制问题，基于该方法， 许多学者通过结合自适应控制、神经网络控制等不同控制技术，解决了一类严格反馈系统的约束跟 踪控制问题32334I3。 另一种是基于BLF的控制方法。通过设计合控制器解决具有时变输出约束的一类非线性系统控 制问题，通过保证BLF在闭环系统中保持有界实现目标变量始终不超出预设范围，c©KP等提出 在控制设计中采用障碍李雅普诺夫函数，在不违反约束条件的情况下实现了渐进跟踪。文献[37刀通 过使用反步法和神经网络构建了一种新型的自适应控制策略，其中一种新颖的积分障碍李雅普诺夫 函数被用来克服违反全状态约束的问题。文献[38]考虑了具有全状态约束的机器人关节空间控制系 统，利用BLF保证系统状态满足约束条件，并利用神经网络估计系统中的不确定项，实现了全状 态约束下多关节机器人的关节空间轨迹跟踪控制。刘屿等基于偏微分方程，引入了非对称障碍李雅 普诺夫函数来处理非对称约束，提出了新的干扰观测器，以减弱边界午扰的影响。 (3)不确定系统控制 由于机器人系统和实际环境存在多种不确定因款精确的机器人动力学模型难以获取，会引起 模型完全未知、模型不匹配、基于模型的非线性控制策悠体适用于实际机器人系统等问题，针对如上 问题，文献[40]提出使一类使用最小二乘法估计机器父朱知动力学参数的方法。另一类重要的解决 动力学模型不确定性的方法是利用机器人系统的输入输出数据采用神经网络估计未知的模型参数。 神经网络可以用于解决机器人系统的模型不确定性。文献[42]将径向基函数(Radial Basis Function.,RBF)作为神经网络(Neural Network,.NN)隐含层激活函数，通过RBF神经网络估计动 力学模型不确定项，结合反步法和李雅普诺夫稳定性理论，获得神经网络权重的自适应律，基于系 统输入输出数据构造神经网络结构实现跟踪误差的半全局最终一致有界。文献[43]结合反向传播 算法，对机器人系统参数进行调整，使用动态系统神经网络估计了机器人动力学模型中的不确定 项。文献[44]利用自适应神经网络估计双臂机器人闭链动力学模型中的非线性不确定项，进一步提 高了双臂机器人协调控制位置精度。文献45]将自适应神经网络与阻抗控制结合，提出了一种基于 神经网络的自适应阴抗控制策略，在控制器作用下使交互力满足理想阻抗模型。丁亮[46]等提出了 一 种基于部分强化学为神经网络(Partial Reinforcement Learning Leural Letwork,PRLNN)的跟踪算 法，解决轮式移动机器人跟踪控制的时变超前角问题。文献[47刀中神经网络被用来估计和补偿系留 空间机器人动态模型中的不确定性，并设计了一个自适应鲁棒控制器来克服空间系绳的影响并跟踪 阻抗控制器产生的期望位置。文献48]提出使用阻抗学习的自适应模糊神经网络控制，用于受制于 未知的系统动学、状态约束影响的机器人系统，使之表现出对未知环境的顺应性。赵志甲等[49]提 出一种基于神经网络的滑模控制方法，可以用于参数不确定的机器人系统，并解决了传统滑模控制 方法中控制输入的振颤和高速切换问题。 出此之外，还有多种方法被用于解决系统不确定性问题。文献[50]中，不确定性和干扰估计器 (Uncertaintly and Disturbance Estimator,UDE)被用来在只知道部分信息的情况下对系统模型进行 近似，所提出的可变阻抗控制可以帮助机器人完成与未知环境的交互任务，并提高系统的整体性能。 文献针对不确定非线性系统提出了一个基于多项式参考轨迹的简单线性滑膜面，使轨迹跟踪误差 在有限时间内收敛为零。孙健等考虑具有未知干扰的非线性系统的事件触发跟踪控制问题。在控制 器更新中考虑了事件触发机制，这在实践中减少了通信量，降低了控制器更新的频率。孙长银等5

提出了一种新型的自适应跟踪控制策略，解决了有死区的非线性系统的有限时间控制问题。 （2） 机器人输出约束控制 出于机器人系统安全性考虑，约束条件下通常需要对机器人位置、速度、加速度等状态设限。用 于多关节协作机器人的常见的解决约束问题的方法主要有两种： 一种是基于函数变换的方法，即采用一类非线性函数将受限的系统直接转换为等效的不受限的 系统，再针对不受限的系统进行控制设计。Z. Zhang 等[30]研究了一类带输出约束的不确定非线性系 统的跟踪问题，通过设计非线性状态转换器，进一步给出了一类鲁棒控制器，实现了控制目标。文 献[31]采基于非线性函数变换的方法研究了输出约束下的柔性关节机器人控制问题，基于该方法， 许多学者通过结合自适应控制、神经网络控制等不同控制技术，解决了一类严格反馈系统的约束跟 踪控制问题[32][33][34][35]。 另一种是基于 BLF 的控制方法。通过设计合控制器解决具有时变输出约束的一类非线性系统控 制问题，通过保证 BLF 在闭环系统中保持有界实现目标变量始终不超出预设范围。Tee K P 等[36]提出 在控制设计中采用障碍李雅普诺夫函数，在不违反约束条件的情况下实现了渐进跟踪。文献[37]通 过使用反步法和神经网络构建了一种新型的自适应控制策略，其中一种新颖的积分障碍李雅普诺夫 函数被用来克服违反全状态约束的问题。文献[38]考虑了具有全状态约束的机器人关节空间控制系 统，利用 BLF 保证系统状态满足约束条件，并利用神经网络估计系统中的不确定项，实现了全状 态约束下多关节机器人的关节空间轨迹跟踪控制。刘屿等基于偏微分方程，引入了非对称障碍李雅 普诺夫函数来处理非对称约束，提出了新的干扰观测器，以减弱边界干扰的影响[39]。 （3） 不确定系统控制 由于机器人系统和实际环境存在多种不确定因素，精确的机器人动力学模型难以获取，会引起 模型完全未知、模型不匹配、基于模型的非线性控制策略不适用于实际机器人系统等问题，针对如上 问题，文献[40]提出使一类使用最小二乘法估计机器人未知动力学参数的方法。另一类重要的解决 动力学模型不确定性的方法是利用机器人系统的输入输出数据采用神经网络估计未知的模型参数。 神经网络可以用于解决机器人系统的模型不确定性[41]。文献[42]将径向基函数（Radial Basis Function, RBF）作为神经网络（Neural Network, NN）隐含层激活函数，通过 RBF 神经网络估计动 力学模型不确定项，结合反步法和李雅普诺夫稳定性理论，获得神经网络权重的自适应律，基于系 统输入输出数据构造神经网络结构，实现跟踪误差的半全局最终一致有界。文献[43]结合反向传播 算法，对机器人系统参数进行了调整，使用动态系统神经网络估计了机器人动力学模型中的不确定 项。文献[44]利用自适应神经网络估计双臂机器人闭链动力学模型中的非线性不确定项，进一步提 高了双臂机器人协调控制位置精度。文献[45]将自适应神经网络与阻抗控制结合，提出了一种基于 神经网络的自适应阻抗控制策略，在控制器作用下使交互力满足理想阻抗模型。丁亮[46]等提出了 一种基于部分强化学习神经网络（Partial Reinforcement Learning Leural Letwork, PRLNN）的跟踪算 法，解决轮式移动机器人跟踪控制的时变超前角问题。文献[47]中神经网络被用来估计和补偿系留 空间机器人动态模型中的不确定性，并设计了一个自适应鲁棒控制器来克服空间系绳的影响并跟踪 阻抗控制器产生的期望位置。文献[48]提出使用阻抗学习的自适应模糊神经网络控制，用于受制于 未知的系统动力学、状态约束影响的机器人系统，使之表现出对未知环境的顺应性。赵志甲等[49]提 出一种基于神经网络的滑模控制方法，可以用于参数不确定的机器人系统，并解决了传统滑模控制 方法中控制输入的振颤和高速切换问题。 出此之外，还有多种方法被用于解决系统不确定性问题。文献[50]中，不确定性和干扰估计器 （Uncertaintly and Disturbance Estimator, UDE）被用来在只知道部分信息的情况下对系统模型进行 近似，所提出的可变阻抗控制可以帮助机器人完成与未知环境的交互任务，并提高系统的整体性能 。 文献[51]针对不确定非线性系统提出了一个基于多项式参考轨迹的简单线性滑膜面，使轨迹跟踪误差 在有限时间内收敛为零。孙健等[52]考虑具有未知干扰的非线性系统的事件触发跟踪控制问题。在控制 器更新中考虑了事件触发机制，这在实践中减少了通信量，降低了控制器更新的频率。孙长银等[53] 录用稿件，非最终出版稿