第15卷第3期 智能系统学报 Vol.15 No.3 2020年5月 CAAI Transactions on Intelligent Systems May 2020 D0L:10.11992/tis.201809031 微装配机器人：关键技术、发展与应用 黄心汉 (华中科技大学人工智能与自动化学院，湖北武汉430074) 摘要：微装配机器人是机器人研究和应用领域的一个重要方向和热点，有重要理论意义和应用前景。本文对 微装配机器人的关键技术进行了详细介绍，包括微操作系统的基本概念、微装配机器人的工作原理、尺度效 应、多尺度交叉、微夹持器技术、显微视觉与显微视觉伺服等。对国内外微装配机器人研究和发展现状进行了 综述，最后对微装配机器人的应用范围和发展前景进行了展望。 关键词：微装配机器人；微机电系统；尺度效应；多尺度交叉；显微视觉；视觉伺服；图像雅可比矩阵；微夹持器 中图分类号：TP242文献标志码：A文章编号：1673-4785(2020)03-0413-12 中文引用格式：黄心汉.微装配机器人：关键技术、发展与应用.智能系统学报，2020,15(3)：413-424. 英文引用格式：HUANG Xinhan..Microassembly robot::key technology,.development,,and applicationsJ.CAAI transactions on in- telligent systems,2020,15(3):413-424. Microassembly robot:key technology,development,and applications HUANG Xinhan (School of Artificial Intelligence and Automation,Huanzhong University of Science and Technology.Wuhan 430074,China) Abstract:Research on microassembly robot is an important field in robotic research;the research has important theoret- ical significance and numerous applications prospects.In this study,key technological aspects of microassembly robot, such as the basic concept of micro-operating system,working principle of microassembly robot,scale effect,multi-scale crossover,micro-gripper technology,microscopic vision,and micro-vision servo,are presented and analyzed in detail. Furthermore,the research and development of microassembly robot at home and abroad are discussed and reviewed.Fi- nally,the application scope and developmental prospects of microassembly robots are examined. Keywords:microassembly robot;micro-electro-mechanical system;scale effect;multi-scale crossover,microscopic vis- ion;visual servo;image Jacobian matrix;micro gripper 1959年12月，在美国召开的物理学年会期 近年来国内外机器人研究的两个崭新亮点。 间，著名美国物理学家，1965年诺贝尔物理奖得 20世纪80年代末期，微机械电子学的突破性 主Feynman'首次提出了微型制造技术，标志着 进展使得科学家可以利用微加工和微封装技术将 微操作概念的诞生。20世纪中后期以来，微操作 微驱动器、微传感器、微执行器以及信号处理、控 系统的研究一直作为机器人技术的一个热门研究 制、通信、电源等集成于一体，成为一个完备的机 分支，具有广阔的应用前景和深远的研究价值。 电一体化的微机电系统(micro electro mechanical 近几十年来，物理学、材料学以及光学等现 system,MEMS),整个系统的物理尺寸也缩小到毫 代科学技术取得的进展，使得机器人帮助人类探 米甚至微米级。借助MEMS技术，机械从一个最 究微观世界的奥秘成为可能。作为机器人技术和 初的宏观概念进入微观范畴，这也使得机器人微 微纳米技术结合的产物，微型机器人(micro ro- 型化和微操作成为可能。 bot)和微操作机器人(micromanipulation robot)是 微型机器人指的是微小机构尺寸的机器人系 统，如能进入人体脏器管道检查与治疗的微型医 收稿日期：2018-09-15. 基金项目：国家自然科学基金项目(60275013,60873032). 疗机器人、用于石油天然气等细小工业管道进行 通信作者：黄心汉.E-mail:xhhuang@mail.hust.edu.cn. 检测和修复的微型管道机器人以及可以进行战场
DOI: 10.11992/tis.201809031 微装配机器人：关键技术、发展与应用 黄心汉 （华中科技大学 人工智能与自动化学院，湖北 武汉 430074） 摘 要：微装配机器人是机器人研究和应用领域的一个重要方向和热点，有重要理论意义和应用前景。本文对 微装配机器人的关键技术进行了详细介绍，包括微操作系统的基本概念、微装配机器人的工作原理、尺度效 应、多尺度交叉、微夹持器技术、显微视觉与显微视觉伺服等。对国内外微装配机器人研究和发展现状进行了 综述，最后对微装配机器人的应用范围和发展前景进行了展望。 关键词：微装配机器人；微机电系统；尺度效应；多尺度交叉；显微视觉；视觉伺服；图像雅可比矩阵；微夹持器 中图分类号：TP242 文献标志码：A 文章编号：1673−4785(2020)03−0413−12 中文引用格式：黄心汉. 微装配机器人：关键技术、发展与应用 [J]. 智能系统学报, 2020, 15(3): 413–424. 英文引用格式：HUANG Xinhan. Microassembly robot: key technology, development, and applications[J]. CAAI transactions on intelligent systems, 2020, 15(3): 413–424. Microassembly robot: key technology, development, and applications HUANG Xinhan (School of Artificial Intelligence and Automation, Huanzhong University of Science and Technology, Wuhan 430074, China) Abstract: Research on microassembly robot is an important field in robotic research; the research has important theoretical significance and numerous applications prospects. In this study, key technological aspects of microassembly robot, such as the basic concept of micro-operating system, working principle of microassembly robot, scale effect, multi-scale crossover, micro-gripper technology, microscopic vision, and micro-vision servo, are presented and analyzed in detail. Furthermore, the research and development of microassembly robot at home and abroad are discussed and reviewed. Finally, the application scope and developmental prospects of microassembly robots are examined. Keywords: microassembly robot; micro-electro-mechanical system; scale effect; multi-scale crossover; microscopic vision; visual servo; image Jacobian matrix; micro gripper 1959 年 12 月，在美国召开的物理学年会期 间，著名美国物理学家，1965 年诺贝尔物理奖得 主 Feynman[1] 首次提出了微型制造技术，标志着 微操作概念的诞生。20 世纪中后期以来，微操作 系统的研究一直作为机器人技术的一个热门研究 分支，具有广阔的应用前景和深远的研究价值。 近几十年来，物理学、材料学以及光学等现 代科学技术取得的进展，使得机器人帮助人类探 究微观世界的奥秘成为可能。作为机器人技术和 微纳米技术结合的产物，微型机器人 (micro robot) 和微操作机器人 (micromanipulation robot) 是 近年来国内外机器人研究的两个崭新亮点。 20 世纪 80 年代末期，微机械电子学的突破性 进展使得科学家可以利用微加工和微封装技术将 微驱动器、微传感器、微执行器以及信号处理、控 制、通信、电源等集成于一体，成为一个完备的机 电一体化的微机电系统 (micro electro mechanical system，MEMS)，整个系统的物理尺寸也缩小到毫 米甚至微米级。借助 MEMS 技术，机械从一个最 初的宏观概念进入微观范畴，这也使得机器人微 型化和微操作成为可能。 微型机器人指的是微小机构尺寸的机器人系 统，如能进入人体脏器管道检查与治疗的微型医 疗机器人、用于石油天然气等细小工业管道进行 检测和修复的微型管道机器人以及可以进行战场 收稿日期：2018−09−15. 基金项目：国家自然科学基金项目 (60275013，60873032). 通信作者：黄心汉. E-mail：xhhuang@mail.hust.edu.cn. 第 15 卷第 3 期 智 能 系 统 学 报 Vol.15 No.3 2020 年 5 月 CAAI Transactions on Intelligent Systems May 2020
·414· 智能系统学报 第15卷 侦察的微型飞行器、微型潜艇和机器昆虫等。 界的机器人控制策略不再适用，因此有必要根据 微操作机器人与微型机器人相比，它拥有较 微器件操作的自身特点与规律，研究合适的微装 大的几何尺寸，但能在一个较小的工作空间（如 配机器人系统结构和控制方法，来保证微装配作 厘米尺度)实现系统精度达微米、亚微米甚至纳 业的可靠性与有效性，提高微装配的自动化水平。 米级的精密操作和装配作业。 1.1尺度效应 在现代生物工程中，直径为10~150um的细 对于传统的机器人宏观装配，在操作手抓取 胞操作是一项关键技术。典型的细胞作业形式包 移动-释放操作对象的过程中，物体的重力起主 括细胞的捕获、切割、分离、融合，细胞内器官 导作用。但当物体尺寸小于1mm或物体质量小 (核、染色体、基因)的转移、重组、拉伸、固定，转 于106kg时，随着物体半径的减小和质量的减 基因注射，细胞壁穿刺，细胞群体操纵等，其操作 轻，与物体表面积相关的黏附力（如范德华力、静 尺度均在微米甚至纳米级。以往这些操作都是由 电力和表面张力)的影响会大于重力、惯性力等 实验人员在显微镜下借助特殊的微操作工具完 体积力，此时微器件的表面效应将取代体积效应 成，其作业难度大，人员需要经过专门培训才能 占支配地位（图1），这就是所谓的“尺度效应” 熟练掌握，而且操作成功与否易受人为因素影 (scale effect)。尺度效应使得在微装配过程中微 响，效率低、操作精度无法得到保证。利用微操 器件抓取相对容易而释放却比较困难，同时还给 作机器人代替人工操作是显微细胞作业的发展趋 微器件操作增加了众多不确定性因素。目前我们 势，它将机器人控制、微驱动技术、计算机视觉与 对微观世界的内部物理机制还不完全了解，而诸 生物医学工程中的微操作需求相结合，是光、机、 如温度、湿度等环境因素对于微器件装配的客观 电、计算机一体化的综合系统。微操作机器人的 影响也无法给出定量化的描述。因此如何设计可 发展大大提高了显微细胞作业的自动化水平，保 靠的微操作工具（末端执行器）、合理的系统结构 证了操作精度和稳定性，并使得显微操作简单 和有效的控制策略是微装配机器人研究面临的 化，从而在生物医学研究中得到广泛应用。 3个主要问题。 微机电系统具有体积小、质量轻、功耗低、可 10 靠性高、功能强大、易于批量生产等优点，因此被 世界各国广泛认定为影响未来科技发展的战略高 新技术。已经商用的MEMS产品包括大家熟知 10- 的3D打印、喷墨打印头和汽车安全气囊加速度 计等。随着MEMS研究的持续深入，利用单片集 N/t 10-0 重力 成工艺加工的MEMS器件难以满足功能多样化 范德华力 的需求，即便能够实现也是结构复杂、成本昂 静电力 表面张力 贵。通过微器件装配技术可以将不同材料、不同 10 1 100 1000 工艺加工的MEMS器件组合成能够完成特定功 物体半径m 能的微型系统（例如微小型药物泵、微传感器、光 图1微操作尺度效应 传输器件等)，因此微装配技术已成为当今MEMS Fig.1 Scale effect of micromanipulation 研究的核心基础技术，而微装配机器人正是代替 1.2 多尺度交叉 人工实施精密微器件装配的有效工具)。微装 随着微装配技术的发展，其操作对象的数量 配机器人技术使得在微尺度上进行批量化的MEMS 不断增加，作业内容也日趋复杂。其中一个突出 器件自动装配成为可能，大大促进了微纳米科学 特点表现为微装配任务的多尺度交叉(multi-scale 的发展与应用。 crossover),即装配任务会同时涉及宏尺度(mac 1 微装配机器人的工作原理与关键 roscale)、中间尺度(mesoscale)和微尺度(micro- 技术 scale)。通常，我们把1um~l00um称为微尺度， 100um~1mm称为中间尺度，而大于1mm称为 微装配（微操作）并非宏观装配在操作尺度上 宏尺度。微装配的尺度特征包含器件外形尺寸和 的简单缩小，由于微器件在装配过程中所表现出 操作目标（操作精度）两个要素。如果装配对象 来的尺度效应、表面效应、隧道效应等已超出了 具有微尺度或中间尺度的外形尺寸，则意味着操 宏观装配中所涉及的物理规律范畴，一些宏观世 作目标尺度只可能会更小，把这类操作称为微
侦察的微型飞行器、微型潜艇和机器昆虫等。 微操作机器人与微型机器人相比，它拥有较 大的几何尺寸，但能在一个较小的工作空间 (如 厘米尺度) 实现系统精度达微米、亚微米甚至纳 米级的精密操作和装配作业。 在现代生物工程中，直径为 10~150 μm 的细 胞操作是一项关键技术。典型的细胞作业形式包 括细胞的捕获、切割、分离、融合，细胞内器官 (核、染色体、基因) 的转移、重组、拉伸、固定，转 基因注射，细胞壁穿刺，细胞群体操纵等，其操作 尺度均在微米甚至纳米级。以往这些操作都是由 实验人员在显微镜下借助特殊的微操作工具完 成，其作业难度大，人员需要经过专门培训才能 熟练掌握，而且操作成功与否易受人为因素影 响，效率低、操作精度无法得到保证。利用微操 作机器人代替人工操作是显微细胞作业的发展趋 势，它将机器人控制、微驱动技术、计算机视觉与 生物医学工程中的微操作需求相结合，是光、机、 电、计算机一体化的综合系统。微操作机器人的 发展大大提高了显微细胞作业的自动化水平，保 证了操作精度和稳定性，并使得显微操作简单 化，从而在生物医学研究中得到广泛应用。 微机电系统具有体积小、质量轻、功耗低、可 靠性高、功能强大、易于批量生产等优点，因此被 世界各国广泛认定为影响未来科技发展的战略高 新技术。已经商用的 MEMS 产品包括大家熟知 的 3D 打印、喷墨打印头和汽车安全气囊加速度 计等。随着 MEMS 研究的持续深入，利用单片集 成工艺加工的 MEMS 器件难以满足功能多样化 的需求，即便能够实现也是结构复杂、成本昂 贵。通过微器件装配技术可以将不同材料、不同 工艺加工的 MEMS 器件组合成能够完成特定功 能的微型系统 (例如微小型药物泵、微传感器、光 传输器件等)，因此微装配技术已成为当今 MEMS 研究的核心基础技术，而微装配机器人正是代替 人工实施精密微器件装配的有效工具[2-3]。微装 配机器人技术使得在微尺度上进行批量化的 MEMS 器件自动装配成为可能，大大促进了微纳米科学 的发展与应用。 1 微装配机器人的工作原理与关键 技术 微装配 (微操作) 并非宏观装配在操作尺度上 的简单缩小，由于微器件在装配过程中所表现出 来的尺度效应、表面效应、隧道效应等已超出了 宏观装配中所涉及的物理规律范畴，一些宏观世 界的机器人控制策略不再适用，因此有必要根据 微器件操作的自身特点与规律，研究合适的微装 配机器人系统结构和控制方法，来保证微装配作 业的可靠性与有效性，提高微装配的自动化水平。 1.1 尺度效应 对于传统的机器人宏观装配，在操作手抓取− 移动−释放操作对象的过程中，物体的重力起主 导作用。但当物体尺寸小于 1 mm 或物体质量小 于 10−6 kg 时，随着物体半径的减小和质量的减 轻，与物体表面积相关的黏附力 (如范德华力、静 电力和表面张力) 的影响会大于重力、惯性力等 体积力，此时微器件的表面效应将取代体积效应 占支配地位 (图 1)，这就是所谓的“尺度效应” (scale effect)。尺度效应使得在微装配过程中微 器件抓取相对容易而释放却比较困难，同时还给 微器件操作增加了众多不确定性因素。目前我们 对微观世界的内部物理机制还不完全了解，而诸 如温度、湿度等环境因素对于微器件装配的客观 影响也无法给出定量化的描述。因此如何设计可 靠的微操作工具 (末端执行器)、合理的系统结构 和有效的控制策略是微装配机器人研究面临的 3 个主要问题。 重力 范德华力 静电力 表面张力 物体半径/μm 力/N 0 10 100 1 000 10−5 100 10−10 10−15 图 1 微操作尺度效应 Fig. 1 Scale effect of micromanipulation 1.2 多尺度交叉 随着微装配技术的发展，其操作对象的数量 不断增加，作业内容也日趋复杂。其中一个突出 特点表现为微装配任务的多尺度交叉 (multi-scale crossover)[4] ，即装配任务会同时涉及宏尺度 (macroscale)、中间尺度 (mesoscale) 和微尺度 (microscale)。通常，我们把 1 μm~100 μm 称为微尺度， 100 μm~1 mm 称为中间尺度，而大于 1 mm 称为 宏尺度。微装配的尺度特征包含器件外形尺寸和 操作目标 (操作精度) 两个要素[5]。如果装配对象 具有微尺度或中间尺度的外形尺寸，则意味着操 作目标尺度只可能会更小，把这类操作称为微− ·414· 智 能 系 统 学 报 第 15 卷
第3期 黄心汉：微装配机器人：关键技术、发展与应用 ·415· 微装配；如果装配对象具有宏尺度外形尺寸，但 线圈体积较大，难以实现微型化。 是要求微尺度或中间尺度的操作精度，把这类操 3)形状记忆合金微夹持器：形状记忆合金 作称为宏-微装配。随着微纳米科学技术的发 (SMA)功能材料具有两种不同的金属相，在不同 展，针对宏-微操作对象的微装配技术研究愈发 温度范围内可以稳定存在。根据SMA的形状记 显示出它的必要性。如惯性约束聚变(inertia con- 忆特性，通过对其进行加热、冷却产生形变，完成 straint fusion,.ICF)实验中的微靶装配就是一类典 夹钳的开合动作，实现对物体的夹持与放置。SMA 型的宏-微装配问题（图2）向，IC℉微靶装配同时涉 微夹持器的优点在于变形率大，但是它冷却时反 及3种外形尺度的靶零件，其装配精度要求达到 应较慢，造成释放不及时，而且疲劳寿命较短。 微米级，这给微装配机器人的结构设计与系统控 4)压电式微夹持器：压电陶瓷是一种应用 制提出了很大的挑战。 较为普遍的微夹持器驱动元件，压电式微夹持器 大致可分为直线型（伸缩型）和弯曲型两类。直 线型微夹持器利用压电陶瓷驱动力大、输出位移 小的特点，通过机械放大机构产生输出位移，实 现夹钳末端的开合动作。弯曲型微夹持器采用压 电陶瓷双晶片构成双悬臂梁结构，在驱动电压的 作用下悬臂梁自由端产生形变位移，构成开合动 作实现夹取与放置操作。两种方式都可在压电元 件上贴附应变片检测微夹持力。图3为日本名古 屋大学研制的集成微力感知的直线型压电微夹持 图2ICF靶装配 器山，图4为华中科技大学智能与控制工程研究 Fig.2 ICF target assembly 所研制的弯曲型压电陶瓷双晶片微夹持器凶。 1.3微夹持器 微装配的核心在于针对微尺度效应研究合适 的微驱动和微夹取技术来克服黏着力等各种微观 因素，实现对微器件的精密定位和有效夹取与释 放。微夹持器是微装配机器人系统重要组成部 分，作为微装配机器人的末端执行器，其主要功 能是实现对微小对象（零件）进行拾取、运送和释 放操作，并可完成一定的装配动作。由于操作对 象的材质、形状和几何尺寸的不同，需要研制不 同类型的微夹持器来满足对不同类型操作对象的 图3直线型压电陶瓷微夹持器 可靠操作。微夹持器技术是微操作机械手实现微 Fig.3 Linear piezoelectric ceramic micro gripper 零件夹取和姿态调整的重要保证和关键技术。微 夹持器应具有质量轻和体积小等特点，同时还需 有合适的夹持力和夹取范围。根据采用的驱动方 式不同微夹持器可以分为真空吸附式微夹持器、 静电式微夹持器、压电式微夹持器、电磁式微夹 持器、形状记忆合金微夹持器等，分别介绍如下。 1)静电式微夹持器：利用电荷产生的吸引 力或排斥力，实现对微粒物体的吸附和释放作用 设计的一种微夹持器。作为表面力的一种，由于 图4弯曲型压电双晶片微夹持器 对材料的性质、表面积的大小和环境温度与湿度 Fig.4 Bending piezoelectric bimorph micro gripper 的要求很高，应用相对较少。 5)真空吸附微夹持器：除静电式微夹持器 2)电磁式微夹持器：利用电磁力驱动末端 外，还有一种真空吸附式微夹持器，它利用真空 手指完成夹持动作，可以获得较大的钳口开合位 吸附原理产生正、负气压，实现对微物体的吸取 移，动作响应快、无磨损、承载能力大。但是电磁 与放置操作，是一种应用广泛的夹持器316。真
微装配；如果装配对象具有宏尺度外形尺寸，但 是要求微尺度或中间尺度的操作精度，把这类操 作称为宏−微装配。随着微纳米科学技术的发 展，针对宏−微操作对象的微装配技术研究愈发 显示出它的必要性。如惯性约束聚变 (inertia constraint fusion, ICF) 实验中的微靶装配就是一类典 型的宏−微装配问题 (图 2) [6] ，ICF 微靶装配同时涉 及 3 种外形尺度的靶零件，其装配精度要求达到 微米级，这给微装配机器人的结构设计与系统控 制提出了很大的挑战。 图 2 ICF 靶装配 Fig. 2 ICF target assembly 1.3 微夹持器 微装配的核心在于针对微尺度效应研究合适 的微驱动和微夹取技术来克服黏着力等各种微观 因素，实现对微器件的精密定位和有效夹取与释 放。微夹持器是微装配机器人系统重要组成部 分，作为微装配机器人的末端执行器，其主要功 能是实现对微小对象 (零件) 进行拾取、运送和释 放操作，并可完成一定的装配动作。由于操作对 象的材质、形状和几何尺寸的不同，需要研制不 同类型的微夹持器来满足对不同类型操作对象的 可靠操作。微夹持器技术是微操作机械手实现微 零件夹取和姿态调整的重要保证和关键技术。微 夹持器应具有质量轻和体积小等特点，同时还需 有合适的夹持力和夹取范围。根据采用的驱动方 式不同微夹持器可以分为真空吸附式微夹持器、 静电式微夹持器、压电式微夹持器、电磁式微夹 持器、形状记忆合金微夹持器等，分别介绍如下。 1) 静电式微夹持器[7] ：利用电荷产生的吸引 力或排斥力，实现对微粒物体的吸附和释放作用 设计的一种微夹持器。作为表面力的一种，由于 对材料的性质、表面积的大小和环境温度与湿度 的要求很高，应用相对较少。 2) 电磁式微夹持器[8] ：利用电磁力驱动末端 手指完成夹持动作，可以获得较大的钳口开合位 移，动作响应快、无磨损、承载能力大。但是电磁 线圈体积较大，难以实现微型化。 3) 形状记忆合金微夹持器[9] ：形状记忆合金 (SMA) 功能材料具有两种不同的金属相，在不同 温度范围内可以稳定存在。根据 SMA 的形状记 忆特性，通过对其进行加热、冷却产生形变，完成 夹钳的开合动作，实现对物体的夹持与放置。SMA 微夹持器的优点在于变形率大，但是它冷却时反 应较慢，造成释放不及时，而且疲劳寿命较短。 4) 压电式微夹持器[10] ：压电陶瓷是一种应用 较为普遍的微夹持器驱动元件，压电式微夹持器 大致可分为直线型 (伸缩型) 和弯曲型两类。直 线型微夹持器利用压电陶瓷驱动力大、输出位移 小的特点，通过机械放大机构产生输出位移，实 现夹钳末端的开合动作。弯曲型微夹持器采用压 电陶瓷双晶片构成双悬臂梁结构，在驱动电压的 作用下悬臂梁自由端产生形变位移，构成开合动 作实现夹取与放置操作。两种方式都可在压电元 件上贴附应变片检测微夹持力。图 3 为日本名古 屋大学研制的集成微力感知的直线型压电微夹持 器 [11] ，图 4 为华中科技大学智能与控制工程研究 所研制的弯曲型压电陶瓷双晶片微夹持器[12]。 图 3 直线型压电陶瓷微夹持器 Fig. 3 Linear piezoelectric ceramic micro gripper 图 4 弯曲型压电双晶片微夹持器 Fig. 4 Bending piezoelectric bimorph micro gripper 5) 真空吸附微夹持器：除静电式微夹持器 外，还有一种真空吸附式微夹持器，它利用真空 吸附原理产生正、负气压，实现对微物体的吸取 与放置操作，是一种应用广泛的夹持器[13-16]。真 第 3 期 黄心汉：微装配机器人：关键技术、发展与应用 ·415·
·416· 智能系统学报 第15卷 空吸附式微夹持器对于被操作物体的形状、材质 机械手进行大范围运动，依据显微视觉信息控制 和大小等都有着严格的要求，主要适用于一些易 机械手进行精密微作业。上述控制同样采用动 碎、表面光滑、质量较轻的物体。图5为华中科 look-and-move PBVS(position based visual ser- 技大学智能与控制工程研究所研制的真空吸附微 voing)伺服结构，但是其控制效果依赖于事先标 夹持器实物图7。 定的离线结果，而且无法在线完成实时图像信息 处理，视觉伺服实时性较差。 Fatikow等利用显微视觉伺服实现了基于 MINIMAN微移动机器人的微装配工作站自动控 制。他同样采用了多路视觉信息，由全局视觉引 导机器人宏观尺度运动：在微尺度下采用光学显 微镜进行观测，采用BVS伺服结构，由模糊逻辑 神经网络完成图像特征空间到机器人运动空间的 非线型映射：采用激光测距器提取深度信息，避 免了BVS中图像深度计算的问题。 图5真空吸附微夹持器 美国Lawrence Berkeley国家实验室利用显微 Fig.5 Vacuum adsorption micro gripper 视觉伺服技术实现了光学显微镜下DNA生物细 1.4显微视觉伺服 胞的解剖操作和高电压电子显微镜下品体结构信 显微视觉伺服(microscopic visual servo,MVS) 息的动态获取2。系统采用基于网络的并行分布 是目前微装配机器人的主要控制方法。除了一般 式计算环境，控制流程包括目标识别、特征跟踪 视觉伺服系统所要面临的问题之外，由于显微光 伺服控制和自动聚焦等4个子线程，利用Kal- 学成像不同于普通宏观视觉，其景深较浅、视野 man滤波技术对微目标运动进行预测。但其特征 范围有限，这给显微图像特征提取和视觉伺服控 跟踪速度仅为4Hz,不利于实现实时高速显微视 制律的设计增加了新的难点。近年来国内外很多 觉伺服。 研究机构对微装配机器人显微视觉伺服控制开展 Feddema和Simon2首先对微装配图像的显 了广泛而深入的研究。 微光学成像模型进行了分析，利用Fourier算子对 Sato等7在1995年的ICRA会议论文中论述 散焦模糊图像的性质进行描述，并由此生成CAD 了利用显微视觉伺服控制微操作的必要性，并在 模拟图像，当机械手深度运动偏离聚焦平面时， 电子扫描显微镜(scannig electron microscope, 根据模拟图像提取视觉伺服特征。通过散焦圆斑 SEM)下成功完成基于视觉伺服的微刻蚀实验（刻 半径估计深度信息，并利用梯度算子进行聚焦评 蚀线宽3μm、长15um)。之后为了弥补单一显微 价。采用动态IBVS(image based visual servoing)结 视觉观测范围和观测精度的不足，Koyano等1阁提 构控制四自由度微操作机械手实现了LIGA微齿 出了“Concentrated Visual Fieldi"的视觉结构，它 轮的装配，装配精度可达lum。Ferreira等21利 融合了电子扫描显微镜和光学显微镜两路视觉信 用显微视觉伺服实现了Pick-and-Place的力/位移 息，其中SEM放大倍数范围为15~200000倍，最 控制，并融合虚拟现实技术进行混合控制，提高 大分辨率为4.5nm,光学显微镜的放大倍数为 了微装配的可靠性与有效性。 400倍。 美国明尼苏达大学B.J.Nelson教授领导的高 瑞士联邦技术学院的研究人员在他们研制的 级机器人实验室在显微视觉伺服方面做了很多出 纳米级微操作机器人上进行了显微视觉伺服研 色的研究工作，其中Vikramaditya等2s在1997年 究192川。系统由光学显微镜反馈操作信息，根据 的ICRA会议论文中介绍了基于光学显微镜和主 模板匹配结果提取显微图像特征并使用Kalman 动视觉技术的微装配视觉控制，推导了图像雅可 滤波器对提取结果进行预测，采用动态Iook-and- 比矩阵模型，利用Sum-of-Squares-Differences光流 move的PBVS视觉伺服结构控制5自由度微机 法提取显微图像特征，并设计了视觉伺服最优控 器人进行操作定位。遗憾的是其文献中并没有给 制器。其后，Zhou等2利用T-Sai两步法对光学 出对应的视觉伺服控制结果。 显微视觉成像模型进行精确标定，并融合BVS Sulzman等2-2)融合多路视觉信息进行显微 显微视觉伺服和微力检测反馈，实现了9N的压 视觉伺服，其中由两个全局宏观视觉引导微操作 力控制和2nN的接触力控制0。Ralis等B采用
空吸附式微夹持器对于被操作物体的形状、材质 和大小等都有着严格的要求，主要适用于一些易 碎、表面光滑、质量较轻的物体。图 5 为华中科 技大学智能与控制工程研究所研制的真空吸附微 夹持器实物图[17]。 图 5 真空吸附微夹持器 Fig. 5 Vacuum adsorption micro gripper 1.4 显微视觉伺服 显微视觉伺服 (microscopic visual servo，MVS) 是目前微装配机器人的主要控制方法。除了一般 视觉伺服系统所要面临的问题之外，由于显微光 学成像不同于普通宏观视觉，其景深较浅、视野 范围有限，这给显微图像特征提取和视觉伺服控 制律的设计增加了新的难点。近年来国内外很多 研究机构对微装配机器人显微视觉伺服控制开展 了广泛而深入的研究。 Sato 等 [17] 在 1995 年的 ICRA 会议论文中论述 了利用显微视觉伺服控制微操作的必要性，并在 电子扫描显微镜 (scannig electron microscope， SEM) 下成功完成基于视觉伺服的微刻蚀实验 (刻 蚀线宽 3 μm、长 15 μm)。之后为了弥补单一显微 视觉观测范围和观测精度的不足，Koyano 等 [18] 提 出了“Concentrated Visual Field”的视觉结构，它 融合了电子扫描显微镜和光学显微镜两路视觉信 息，其中 SEM 放大倍数范围为 15～200 000 倍，最 大分辨率为 4.5 nm，光学显微镜的放大倍数为 400 倍。 瑞士联邦技术学院的研究人员在他们研制的 纳米级微操作机器人上进行了显微视觉伺服研 究 [19-21]。系统由光学显微镜反馈操作信息，根据 模板匹配结果提取显微图像特征并使用 Kalman 滤波器对提取结果进行预测，采用动态 look-andmove 的 PBVS 视觉伺服结构控制 5 自由度微机 器人进行操作定位。遗憾的是其文献中并没有给 出对应的视觉伺服控制结果。 Sulzman 等 [22-23] 融合多路视觉信息进行显微 视觉伺服，其中由两个全局宏观视觉引导微操作 机械手进行大范围运动，依据显微视觉信息控制 机械手进行精密微作业。上述控制同样采用动 态 look-and-move 的 PBVS(position based visual servoing) 伺服结构，但是其控制效果依赖于事先标 定的离线结果，而且无法在线完成实时图像信息 处理，视觉伺服实时性较差。 Fatikow 等 [24] 利用显微视觉伺服实现了基于 MINIMAN 微移动机器人的微装配工作站自动控 制。他同样采用了多路视觉信息，由全局视觉引 导机器人宏观尺度运动；在微尺度下采用光学显 微镜进行观测，采用 IBVS 伺服结构，由模糊逻辑 神经网络完成图像特征空间到机器人运动空间的 非线型映射；采用激光测距器提取深度信息，避 免了 IBVS 中图像深度计算的问题。 美国 Lawrence Berkeley 国家实验室利用显微 视觉伺服技术实现了光学显微镜下 DNA 生物细 胞的解剖操作和高电压电子显微镜下晶体结构信 息的动态获取[25]。系统采用基于网络的并行分布 式计算环境，控制流程包括目标识别、特征跟踪、 伺服控制和自动聚焦等 4 个子线程，利用 Kalman 滤波技术对微目标运动进行预测。但其特征 跟踪速度仅为 4 Hz，不利于实现实时高速显微视 觉伺服。 Feddema 和 Simon[26] 首先对微装配图像的显 微光学成像模型进行了分析，利用 Fourier 算子对 散焦模糊图像的性质进行描述，并由此生成 CAD 模拟图像，当机械手深度运动偏离聚焦平面时， 根据模拟图像提取视觉伺服特征。通过散焦圆斑 半径估计深度信息，并利用梯度算子进行聚焦评 价。采用动态 IBVS(image based visual servoing) 结 构控制四自由度微操作机械手实现了 LIGA 微齿 轮的装配，装配精度可达 1 μm。Ferreira 等 [27] 利 用显微视觉伺服实现了 Pick-and-Place 的力/位移 控制，并融合虚拟现实技术进行混合控制，提高 了微装配的可靠性与有效性。 美国明尼苏达大学 B. J. Nelson 教授领导的高 级机器人实验室在显微视觉伺服方面做了很多出 色的研究工作，其中 Vikramaditya 等 [28] 在 1997 年 的 ICRA 会议论文中介绍了基于光学显微镜和主 动视觉技术的微装配视觉控制，推导了图像雅可 比矩阵模型，利用 Sum-of-Squares-Differences 光流 法提取显微图像特征，并设计了视觉伺服最优控 制器。其后，Zhou 等 [29] 利用 T-Sai 两步法对光学 显微视觉成像模型进行精确标定，并融合 IBVS 显微视觉伺服和微力检测反馈，实现了 9 nN 的压 力控制和 2 nN 的接触力控制[30]。Ralis 等 [31] 采用 ·416· 智 能 系 统 学 报 第 15 卷
第3期 黄心汉：微装配机器人：关键技术、发展与应用 ·417· 粗-精两级视觉伺服策略进行MEMS器件的微定 外，融合多源视觉信息或者其他类型的传感方法 位控制，由手眼宏观视觉实现粗定位，显微视觉 (如激光等)，也是深度信息提取的一条有效途径。 完成微定位。利用Depth-from-Defocus技术提取 2)显微图像雅可比矩阵是实现微装配IBVS 深度信息，实验证明系统Y方向重复定位精度 控制的基础。针对装配过程中出现的一些未知性 达2um,Z方向重复定位精度为10um。 和不确定性因素，利用几何光学关系推导的静态 Mukundakrishnan等B讨论了微装配显微视 雅可比模型进行伺服控制难以满足动态微装配任 觉伺服中图像特征的选取原则，其设计的新特征 务的精度要求。因此有必要研究面向微装配的无 对于微操作散焦深度变化具有一定的鲁棒性，有 标定显微视觉伺服技术，通过建立自适应估计机 利于实现微器件Pick-and-Place操作的视觉控 制对雅可比模型进行在线辨识，提高显微视觉伺 制。Yang等B)提出面向微器件装配的显微视觉 服在未知动态环境下的鲁棒性。 系统设计原则，对显微光学成像性质进行了详细 3)针对显微视觉景深浅、视野小的特点，集 的分析，之后又提出了一种基于小波变换的自动 成多光路视觉信息可以实现对微装配过程多角 聚焦深度算法，融合聚焦深度估计和微力检测 度、多尺度、多分辨率的混合检测与控制。不仅 实现了微操作机械手对微器件的自动定位B。 如此，视觉信息与力觉信息的融合也可改善微夹 Yesin等B61采用多路显微视觉信息，实现了 持器的夹持能力。因此，多源信息（包括同质和 基于CAD模型的微器件6DOF跟踪与位姿估 异质)的融合被证明是提高微装配系统视觉伺服 计。Greminger等B7-3]针对悬臂梁结构的压电微 性能的有效手段，同时也是解决宏-微装配矛盾 夹持器运用显微视觉信息实现了微夹持力的测量 的可行方法。 与控制，其检测精度可达±3.1mN。 4)实时性是显微视觉伺服系统所要考虑的重 此外，国内的一些高校如北京航空航天大学例 要问题。视觉计算时延通常来自于两个方面：图 哈尔滨工业大学1、南京航空航天大学、华中 像特征提取与雅可比矩阵辨识。有针对性的研究 科技大学2]等也开展了显微视觉伺服技术的研 机械手运动图像的检测方法，在保障跟踪性能的 究，在控制结构与算法、融合力/视觉的微装配柔 同时要减少特征计算时间；对机械手运动建立轨 顺控制方面取得了一定的研究成果。 迹预测机制，利用预测量对视觉伺服时延进行补偿。 综合近年来国内外的研究进展，现阶段大多 2微装配机器人研究现状 数显微视觉伺服系统采用的是动态look-and- move的IBVS伺服结构（图6）。 微装配机器人一般由以下几个部分组成： 参考显 1)高倍数、高分辨率的显微视觉系统：2)两个自 微图像 特征 由度以上的高精度、大范围运动的作业平台及辅 显微视觉 关节控 功率放 微操作 + 控制器 制器 大器 机械手 助设备；3)能够改变操作对象位姿的多自由度微 操作机械手；4)适于微小物体操作的不同类型微 显微图像 图像特征 关节传 实际特征 雅可比矩 滤波与预 夹持器。在一些文献中将上述系统称为微操作机 感器 阵辨识 测 器人。如果要细分，微操作(micromanipulation) 和微装配(microassembly)的区别如下： 显微图像特征计算显微视觉信息获取 微操作通常是指在微尺度公差范围内，对微 图6BVS显微视觉伺服结构 尺度或者中间尺度特征的单一目标实施位置与姿 Fig.6 IBVS microvision servo structure 态控制的操作，如细胞穿刺和切割、外科手术等。 其研究重点和难点主要集中在以下几个方面： 微装配则是在微尺度公差范围内，对微尺度 1)如何计算目标深度是BVS的一个关键问 或者中间尺度特征的多目标实施装配作业，是对 题。由于显微视觉的景深较小，机械手成像清晰 目标空间和物理关系的控制，通常需要多机械手 的深度范围十分有限，这进一步增加了BVS显 协同操作才能完成装配作业，如微器件和微靶装 微视觉伺服中提取深度信息的难度。深度信息涉 配等。 及显微视觉系统的物理光学和几何光学特性，可 显然，微装配不仅要具备微操作的功能，同时 以根据实际的微装配环境有针对性地采取聚焦深 要完成更为复杂的装配作业，是微操作系统中最 度估计(depth from focus,DFF)或者散焦深度估 为复杂的工作模式。 计(depth from defocus,DFD)方法进行计算。此 从20世纪80年代末开始，美国、日本、欧洲
粗−精两级视觉伺服策略进行 MEMS 器件的微定 位控制，由手眼宏观视觉实现粗定位，显微视觉 完成微定位。利用 Depth-from-Defocus 技术提取 深度信息，实验证明系统 XY 方向重复定位精度 达 2 μm，Z 方向重复定位精度为 10 μm。 Mukundakrishnan 等 [32] 讨论了微装配显微视 觉伺服中图像特征的选取原则，其设计的新特征 对于微操作散焦深度变化具有一定的鲁棒性，有 利于实现微器件 Pick-and-Place 操作的视觉控 制。Yang 等 [33] 提出面向微器件装配的显微视觉 系统设计原则，对显微光学成像性质进行了详细 的分析，之后又提出了一种基于小波变换的自动 聚焦深度算法[34] ，融合聚焦深度估计和微力检测 实现了微操作机械手对微器件的自动定位[35]。 ±3.1 Yesin 等 [36] 采用多路显微视觉信息，实现了 基于 CAD 模型的微器件 6DOF 跟踪与位姿估 计。Greminger 等 [37-38] 针对悬臂梁结构的压电微 夹持器运用显微视觉信息实现了微夹持力的测量 与控制，其检测精度可达 mN。 此外，国内的一些高校如北京航空航天大学[39] 、 哈尔滨工业大学[40] 、南京航空航天大学[41] 、华中 科技大学[42] 等也开展了显微视觉伺服技术的研 究，在控制结构与算法、融合力/视觉的微装配柔 顺控制方面取得了一定的研究成果。 综合近年来国内外的研究进展，现阶段大多 数显微视觉伺服系统采用的是动态 look-andmove 的 IBVS 伺服结构 (图 6)。 显微视觉 控制器 显微图像特征计算 显微视觉信息获取 显微图像 雅可比矩 阵辨识 图像特征 滤波与预 测 关节控 制器 关节传 感器 功率放 大器 微操作 机械手 参考显 微图像 特征 实际特征 + − ^ ^ fd f J f 图 6 IBVS 显微视觉伺服结构 Fig. 6 IBVS microvision servo structure 其研究重点和难点主要集中在以下几个方面： 1) 如何计算目标深度是 IBVS 的一个关键问 题。由于显微视觉的景深较小，机械手成像清晰 的深度范围十分有限，这进一步增加了 IBVS 显 微视觉伺服中提取深度信息的难度。深度信息涉 及显微视觉系统的物理光学和几何光学特性，可 以根据实际的微装配环境有针对性地采取聚焦深 度估计 (depth from focus，DFF) 或者散焦深度估 计 (depth from defocus，DFD) 方法进行计算。此 外，融合多源视觉信息或者其他类型的传感方法 (如激光等)，也是深度信息提取的一条有效途径。 2) 显微图像雅可比矩阵是实现微装配 IBVS 控制的基础。针对装配过程中出现的一些未知性 和不确定性因素，利用几何光学关系推导的静态 雅可比模型进行伺服控制难以满足动态微装配任 务的精度要求。因此有必要研究面向微装配的无 标定显微视觉伺服技术，通过建立自适应估计机 制对雅可比模型进行在线辨识，提高显微视觉伺 服在未知动态环境下的鲁棒性。 3) 针对显微视觉景深浅、视野小的特点，集 成多光路视觉信息可以实现对微装配过程多角 度、多尺度、多分辨率的混合检测与控制。不仅 如此，视觉信息与力觉信息的融合也可改善微夹 持器的夹持能力。因此，多源信息 (包括同质和 异质) 的融合被证明是提高微装配系统视觉伺服 性能的有效手段，同时也是解决宏−微装配矛盾 的可行方法。 4) 实时性是显微视觉伺服系统所要考虑的重 要问题。视觉计算时延通常来自于两个方面：图 像特征提取与雅可比矩阵辨识。有针对性的研究 机械手运动图像的检测方法，在保障跟踪性能的 同时要减少特征计算时间；对机械手运动建立轨 迹预测机制，利用预测量对视觉伺服时延进行补偿。 2 微装配机器人研究现状 微装配机器人一般由以下几个部分组成[43] ： 1) 高倍数、高分辨率的显微视觉系统；2) 两个自 由度以上的高精度、大范围运动的作业平台及辅 助设备；3) 能够改变操作对象位姿的多自由度微 操作机械手；4) 适于微小物体操作的不同类型微 夹持器。在一些文献中将上述系统称为微操作机 器人。如果要细分，微操作 (micromanipulation) 和微装配 (microassembly) 的区别如下[44] ： 微操作通常是指在微尺度公差范围内，对微 尺度或者中间尺度特征的单一目标实施位置与姿 态控制的操作，如细胞穿刺和切割、外科手术等。 微装配则是在微尺度公差范围内，对微尺度 或者中间尺度特征的多目标实施装配作业，是对 目标空间和物理关系的控制，通常需要多机械手 协同操作才能完成装配作业，如微器件和微靶装 配等。 显然，微装配不仅要具备微操作的功能，同时 要完成更为复杂的装配作业，是微操作系统中最 为复杂的工作模式。 从 20 世纪 80 年代末开始，美国、日本、欧洲 第 3 期 黄心汉：微装配机器人：关键技术、发展与应用 ·417·