工程科学学报.第41卷.第12期：1512-1519.2019年12月 Chinese Journal of Engineering,Vol.41,No.12:1512-1519,December 2019 D0L:10.13374/.issn2095-9389.2019.03.08.001,http://journals.ustb.edu.cn 仿生扑翼飞行器的视觉感知系统研究进展 付强2)，陈向阳)，郑子亮)，李擎12)，贺 威1,2)✉ 1)北京科技大学自动化学院，北京1000832)北京科技大学人工智能研究院，北京100083 ☒通信作者，E-mail:wehe@ieee.org 摘要仿生扑翼飞行器是一类模仿鸟及昆虫通过机翼主动运动产生升力和推力的飞行器.因具有飞行效率高，机动性强、 隐蔽性好等优点，扑翼飞行器近年来受到越来越多的关注和研究.小型扑翼飞行器由于其精巧的结构和可操作性，能够适应 更复杂的环境，但也限制了其飞行负载能力和电池续航时间.在许多场景中，高质量和高功耗的传感器不再适用于扑翼飞行 器.自然界生物得到的信息绝大多数是通过视觉途径获取的.视觉作为一个获取信息的有效途径，在扑翼飞行器的应用中有 着不可替代的作用.视觉传感器具有质量轻、功耗低、图像信息丰富等优点，因此非常适合于搭载在扑翼飞行器上.随着微 电子、图像处理等技术的不断发展，以扑翼飞行器为平台的视觉感知系统也取得了重要进展.本文首先介绍了国内外几款有 代表性的扑翼飞行器的视觉感知系统，分为机载视觉感知系统和外部视觉感知系统两类：然后简述了三个系统关键技术即图像 消抖技术、目标检测与识别技术、目标跟踪技术的发展现状，进而总结发现扑冀飞行器的视觉感知系统研究目前还处于起步 阶段：最后指出图像消抖、机载实时处理、目标检测与识别、三维重建等可以作为扑翼飞行器视觉感知系统的未来研究方向 关键词扑翼飞行器：视觉感知：图像消抖：目标检测：目标跟踪 分类号TP242.6 Research progress on visual perception system of bionic flapping-wing aerial vehicles FU Qiang.CHEN Xiang-yang,ZHENG Zi-liang,LI Qing2 HE Wei2 1)School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:weihe@ieee.org ABSTRACT The bionic flapping-wing aerial vehicle(FWAV)is a kind of aerial vehicle that imitates birds and insects and generates lift and thrust forces using active wing movement Given its advantages,such as high flight efficiency,strong maneuverability,and good imperceptibility,FWAVs have attracted considerable attention from researchers in recent years.Given its compact structure and easy operation,the small FWAV can adapt itself to complex environments.However,some restrictions are also imposed on its onboard load capacity and battery endurance time.That is,sensors with large weight and high power consumption are no longer suitable for FWAVs in many scenarios.To the best of our knowledge,most of the information obtained by organisms from nature is acquired through vision. As an efficient way to obtain information,vision plays an irreplaceable role in the application of FWAVs.Vision sensors have many advantages,such as light weight,low power consumption,and rich image information.Therefore,these sensors are suitable for FWAVs. With the development of microelectronics and image processing technologies,visual perception systems of the FWAV have also made important progress.First,this study introduces the visual perception system of several representative FWAVs at home and abroad,which can be classified into two categories,ie.,onboard and off-board visual perception systems.Then,this study briefly reviews three key technologies of the visual perception system of FWAVs,namely,image stabilization,object detection and recognition,and object tracking technologies.As a result,research on the visual perception system of FWAVs is still at the initial stage.Finally,this study 收稿日期：2019-03-08 基金项目：国家重点研发计划资助项目(2017YFB1300102):国家自然科学基金青年基金资助项目(61803025)
仿生扑翼飞行器的视觉感知系统研究进展 付 强1,2)，陈向阳1)，郑子亮1)，李 擎1,2)，贺 威1,2) 苣 1) 北京科技大学自动化学院，北京 100083 2) 北京科技大学人工智能研究院，北京 100083 苣通信作者，E-mail: weihe@ieee.org 摘 要 仿生扑翼飞行器是一类模仿鸟及昆虫通过机翼主动运动产生升力和推力的飞行器. 因具有飞行效率高，机动性强、 隐蔽性好等优点，扑翼飞行器近年来受到越来越多的关注和研究. 小型扑翼飞行器由于其精巧的结构和可操作性，能够适应 更复杂的环境，但也限制了其飞行负载能力和电池续航时间. 在许多场景中，高质量和高功耗的传感器不再适用于扑翼飞行 器. 自然界生物得到的信息绝大多数是通过视觉途径获取的. 视觉作为一个获取信息的有效途径，在扑翼飞行器的应用中有 着不可替代的作用. 视觉传感器具有质量轻、功耗低、图像信息丰富等优点，因此非常适合于搭载在扑翼飞行器上. 随着微 电子、图像处理等技术的不断发展，以扑翼飞行器为平台的视觉感知系统也取得了重要进展. 本文首先介绍了国内外几款有 代表性的扑翼飞行器的视觉感知系统，分为机载视觉感知系统和外部视觉感知系统两类；然后简述了三个系统关键技术即图像 消抖技术、目标检测与识别技术、目标跟踪技术的发展现状，进而总结发现扑翼飞行器的视觉感知系统研究目前还处于起步 阶段；最后指出图像消抖、机载实时处理、目标检测与识别、三维重建等可以作为扑翼飞行器视觉感知系统的未来研究方向. 关键词 扑翼飞行器；视觉感知；图像消抖；目标检测；目标跟踪 分类号 TP242.6 Research progress on visual perception system of bionic flapping-wing aerial vehicles FU Qiang1,2) ，CHEN Xiang-yang1) ，ZHENG Zi-liang1) ，LI Qing1,2) ，HE Wei1,2) 苣 1) School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 苣 Corresponding author, E-mail: weihe@ieee.org ABSTRACT The bionic flapping-wing aerial vehicle (FWAV) is a kind of aerial vehicle that imitates birds and insects and generates lift and thrust forces using active wing movement. Given its advantages, such as high flight efficiency, strong maneuverability, and good imperceptibility, FWAVs have attracted considerable attention from researchers in recent years. Given its compact structure and easy operation, the small FWAV can adapt itself to complex environments. However, some restrictions are also imposed on its onboard load capacity and battery endurance time. That is, sensors with large weight and high power consumption are no longer suitable for FWAVs in many scenarios. To the best of our knowledge, most of the information obtained by organisms from nature is acquired through vision. As an efficient way to obtain information, vision plays an irreplaceable role in the application of FWAVs. Vision sensors have many advantages, such as light weight, low power consumption, and rich image information. Therefore, these sensors are suitable for FWAVs. With the development of microelectronics and image processing technologies, visual perception systems of the FWAV have also made important progress. First, this study introduces the visual perception system of several representative FWAVs at home and abroad, which can be classified into two categories, i.e., onboard and off-board visual perception systems. Then, this study briefly reviews three key technologies of the visual perception system of FWAVs, namely, image stabilization, object detection and recognition, and object tracking technologies. As a result, research on the visual perception system of FWAVs is still at the initial stage. Finally, this study 收稿日期: 2019−03−08 基金项目: 国家重点研发计划资助项目（2017YFB1300102）；国家自然科学基金青年基金资助项目（61803025） 工程科学学报，第 41 卷，第 12 期：1512−1519，2019 年 12 月 Chinese Journal of Engineering, Vol. 41, No. 12: 1512−1519, December 2019 DOI：10.13374/j.issn2095-9389.2019.03.08.001; http://journals.ustb.edu.cn
付强等：仿生扑翼飞行器的视觉感知系统研究进展 ·1513· provides the future research directions of the visual perception system of FWAVs,such as image stabilization,onboard real-time processing,object detection and recognition,and three-dimensional reconstruction. KEY WORDS flapping-wing aerial vehicle;visual perception;image stabilization;object detection:object tracking 扑翼飞行器具有仿生的外形，早期在军事侦 察领域受到一定的关注，具有非常大的军事价值四 在工业界、政府和军队的不断推动下，扑翼飞行器 经历了一段快速发展的时期.相比于旋翼飞行器 和固定翼飞行器，扑翼飞行器具有较高的飞行效 率四，而且扑翼飞行器飞行时的噪音相比于另外两 者而言几乎可以忽略不计，其仿生的外形在执行 图1DeFyⅡ扑翼飞行器及立体视觉感知系统 侦察任务时也具有得天独厚的优势.在旋翼飞行 Fig.1 DelFly II flapping-wing aerial vehicle and stereo visual 器和固定翼飞行器大放异彩的今天，扑翼飞行器 perception system 也在朝着相似的方向不断发展，即智能化.视觉是 合并为一个，由来自左右摄像头的图像线交替组成 实现智能化不可缺少的手段，相较于其他传感器 在72s的飞行实验中，DeFyⅡ多次成功地避 而言，视觉传感器能够获取的信息非常丰富.因 开了室内办公空间7.3×8.2m2的墙壁.相比于单目 此，为扑翼飞行器装上一双“眼睛”是扑翼飞行器 视觉解决方案有了相当大的改进，甚至可以对低 能够跃上新的发展阶段不可缺少的一环， 纹理白墙进行合理的障碍物检测.实验清楚地展 由于飞行机制相较于其他无人飞行器有所不 示了立体视觉用于扑翼飞行器自主避障的潜力 同，扑翼飞行器可以做到很小的尺寸，同时在室内 结合现有的速度和高度控制方法，该系统使 飞行的能力允许扑翼飞行器执行人类不能做的任 扑翼飞行器完全自主控制成为可能.但是该扑翼 务.对于一些较为危险的地方，例如即将倒塌的建 机续航时间较短，且该视觉感知系统成像质量很 筑物，扑翼飞行器可以充分利用其灵活的飞行方 差，测量距离仅为4m,误差达到了30cm,只能应 式进行侦察，也可以对敌方的领土进行侦察.但是 用于简单的避障任务中，不能胜任较为复杂的任 由于扑翼飞行器的尺寸较小，载荷量较低，难以搭 务，这需要在未来的研究中继续改进 载较为先进的传感器以及应对计算量较大的视觉 1.1.2X翼型扑翼机 信息处理，进而导致采用视觉传感器较难完成预 韩国首尔大学的Seungwan Ryu等人改装了一 定的任务.然而，一些学者另辟蹊径，通过其他途 款已经商用的X翼型扑翼机（如图2所示），为其 径成功实现了一些视觉任务 配备了轻量级的第一人称主视角(first person view, 本文组织结构如下：第1部分列举了目前较为 FPV)摄像头.这款扑翼飞行器能够实现基本的目 典型的扑翼飞行器视觉感知系统的基本概况、原 标跟踪功能.Seungwan Ryu等人为其构建了一个 理以及其优缺点；第2部分介绍了视觉感知系统 控制和视觉算法集成的系统，该系统的地面站部 中的关键技术；第3部分归纳总结了扑翼飞行器 分（如图3所示）由视频转换单元、运动捕捉系统 视觉感知系统现阶段的不足及未来的发展方向； 和地面控制系统(ground control system,GCS)组成. 第4部分为论文的总结 (al (b) 1扑翼飞行器视觉感知系统的概况 1.1机载视觉感知系统 1.1.1 DelFlyII 荷兰代尔夫特理工大学的DelFly,包含一 个机载立体视觉感知系统（如图1所示）.该系统 包括两个以30Hz同步运行的采用互补金属氧化 物半导体(complementary metal oxide semiconductor, 图2修改过的X翼扑翼机的实验平台.()原始模型：(b)修改模型 CMOS)图像传感器的摄像头（分辨率为720×240像 Fig.2 Experimental platform of modified X-wing FWAV:(a)original 素).由于系统只有一个发射器，两个摄像头的视频流 model;(b)modified model
provides the future research directions of the visual perception system of FWAVs, such as image stabilization, onboard real-time processing, object detection and recognition, and three-dimensional reconstruction. KEY WORDS flapping-wing aerial vehicle；visual perception；image stabilization；object detection；object tracking 扑翼飞行器具有仿生的外形，早期在军事侦 察领域受到一定的关注，具有非常大的军事价值[1] . 在工业界、政府和军队的不断推动下，扑翼飞行器 经历了一段快速发展的时期. 相比于旋翼飞行器 和固定翼飞行器，扑翼飞行器具有较高的飞行效 率[2] ，而且扑翼飞行器飞行时的噪音相比于另外两 者而言几乎可以忽略不计，其仿生的外形在执行 侦察任务时也具有得天独厚的优势. 在旋翼飞行 器和固定翼飞行器大放异彩的今天，扑翼飞行器 也在朝着相似的方向不断发展，即智能化. 视觉是 实现智能化不可缺少的手段，相较于其他传感器 而言，视觉传感器能够获取的信息非常丰富. 因 此，为扑翼飞行器装上一双“眼睛”是扑翼飞行器 能够跃上新的发展阶段不可缺少的一环. 由于飞行机制相较于其他无人飞行器有所不 同，扑翼飞行器可以做到很小的尺寸，同时在室内 飞行的能力允许扑翼飞行器执行人类不能做的任 务. 对于一些较为危险的地方，例如即将倒塌的建 筑物，扑翼飞行器可以充分利用其灵活的飞行方 式进行侦察，也可以对敌方的领土进行侦察. 但是 由于扑翼飞行器的尺寸较小，载荷量较低，难以搭 载较为先进的传感器以及应对计算量较大的视觉 信息处理，进而导致采用视觉传感器较难完成预 定的任务. 然而，一些学者另辟蹊径，通过其他途 径成功实现了一些视觉任务. 本文组织结构如下：第 1 部分列举了目前较为 典型的扑翼飞行器视觉感知系统的基本概况、原 理以及其优缺点；第 2 部分介绍了视觉感知系统 中的关键技术；第 3 部分归纳总结了扑翼飞行器 视觉感知系统现阶段的不足及未来的发展方向； 第 4 部分为论文的总结. 1 扑翼飞行器视觉感知系统的概况 1.1 机载视觉感知系统 1.1.1 DelFlyII 荷兰代尔夫特理工大学的 DelFly II[3] ，包含一 个机载立体视觉感知系统（如图 1 所示）. 该系统 包括两个以 30 Hz 同步运行的采用互补金属氧化 物半导体（complementary metal oxide semiconductor, CMOS）图像传感器的摄像头（分辨率为 720×240 像 素）. 由于系统只有一个发射器，两个摄像头的视频流 合并为一个，由来自左右摄像头的图像线交替组成[4] . 在 72 s 的飞行实验中，DelFly II 多次成功地避 开了室内办公空间 7.3×8.2 m2 的墙壁. 相比于单目 视觉解决方案有了相当大的改进，甚至可以对低 纹理白墙进行合理的障碍物检测. 实验清楚地展 示了立体视觉用于扑翼飞行器自主避障的潜力. 结合现有的速度和高度控制方法，该系统使 扑翼飞行器完全自主控制成为可能. 但是该扑翼 机续航时间较短，且该视觉感知系统成像质量很 差，测量距离仅为 4 m，误差达到了 30 cm，只能应 用于简单的避障任务中，不能胜任较为复杂的任 务，这需要在未来的研究中继续改进. 1.1.2 X 翼型扑翼机 韩国首尔大学的 Seungwan Ryu 等人改装了一 款已经商用的 X 翼型扑翼机[5] （如图 2 所示），为其 配备了轻量级的第一人称主视角（first person view, FPV）摄像头. 这款扑翼飞行器能够实现基本的目 标跟踪功能. Seungwan Ryu 等人为其构建了一个 控制和视觉算法集成的系统，该系统的地面站部 分（如图 3 所示）由视频转换单元、运动捕捉系统 和地面控制系统（ground control system, GCS）组成. 图 1 DelFly II 扑翼飞行器及立体视觉感知系统 Fig.1 DelFly II flapping-wing aerial vehicle and stereo visual perception system (a) (b) 图 2 修改过的 X 翼扑翼机的实验平台. (a) 原始模型 ；(b) 修改模型 Fig.2 Experimental platform of modified X-wing FWAV： （a） original model； （b） modified model 付 强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1513 ·
.1514 工程科学学报，第41卷，第12期 示)仿照狐蝠的外形，并以技术手段模拟了它独特 的飞行模式门.通过一个外置运动捕捉系统， BionicFlyingFox能够在特定空间内进行半自主飞 封算机 行.这套运动捕捉系统主要由两台红外相机组成， 如图5所示.通过与运动捕捉系统相互配合， 图3X翼扑翼飞行器与地面站的集成架构 BionicFlyingFox的整个飞行过程都能够被实时捕 Fig.3 Integration architecture of the X-wing FWAV platform with 捉.主机会对BinoicFlyingFox的运动路径进行实 ground station 时计算，预先确定下一时刻的飞行轨迹.主机能对 该视觉感知系统有很多优点.首先，可以通过 算法进行学习，同时这套算法也能通过自主学习 与地面站的通信实时查看飞行器拍摄的图像.其 被不断改进.通过运动捕捉系统，BionicFlyingFox 次，将复杂的图像处理移至地面站进行.此外，将 可在飞行中不断地优化飞行轨迹，更精准地沿着 视觉检测算法应用到FPV摄像头拍摄的图像上来 既定轨迹进行绕圈飞行 检测静态目标.实验结果也验证了这套视觉感知 系统的目标检测和跟踪功能达到了令人满意的性能 但是它使用的轻量级第一人称主视角摄像头依然 存在成像质量较差的问题，同时其使用的图传系 统传输距离较短难以实现远距离的目标跟踪.此 外，对动态目标检测功能的缺失使其实用性不高 1.1.3 Dove 国内西北工业大学宋笔锋教授团队研发了一 款名为Dove的扑翼飞行器（如图4所示）.Dove 图5 BinoicFlyingFox与外部红外相机系统 机载摄像头使用OV7725感光器，可以将现场稳定 Fig.5 BionicFlyingFox and off-board infrared camera system 的彩色视频传输到4km以外的地面站 BinoicFlyingFox具有十分优秀的飞行能力， 且BinoicFlyingFox的外观与自然界的孤蝠十分相 数据链路天线 似，具有良好的仿生性.然而BinoicFlyingFox使用 的红外相机场景信息还原性较差，由于没有机载 摄像头，视觉应用的场景较为单一图 扑翼机械结构 一舵机 1.2.2 H2Bird 数据链接 飞控系统 美国加州大学伯克利分校Julian等人开发了 空速计 摄像头 一款名为H2Bird的扑翼飞行器9（如图6所示）， GPS天线 电池 针对该扑翼机开发了一个地面站，H2Bird的板载 图4Dove的结构图 控制器携带一个采用视频图形阵列(video graphics Fig.4 Structure of Dove array,VGA)接口的摄像头.在常规飞行中，H2Bird Dove的视觉感知系统是由一个微型彩色摄像 的平均地面速度为1.2ms,飞行时间约为10min 机和图像处理单元相结合的数字数据链子系统组 成.数字数据链子系统用于执行可靠的数字通信， 以此来传输远程控制命令、遥测数据以及视频流 数据.经过实验验证，Dove已经具备了一定的执 行视觉任务的能力，不仅飞行时长长达30min,视 频传输距离也达到了4km以上.但Dove的视觉 感知系统的功能目前还仅限于航拍，功能还较为 单一，仍有广阔的发展空间. 1.2外部视觉感知系统 1.2.1 BinoicFlyingFox 图6H2Bird扑翼机 德国Festo公司的BinoicFlyingFox(如图5所 Fig.6 H2Bird ornithopter MAV
该视觉感知系统有很多优点. 首先，可以通过 与地面站的通信实时查看飞行器拍摄的图像. 其 次，将复杂的图像处理移至地面站进行. 此外，将 视觉检测算法应用到 FPV 摄像头拍摄的图像上来 检测静态目标. 实验结果也验证了这套视觉感知 系统的目标检测和跟踪功能达到了令人满意的性能. 但是它使用的轻量级第一人称主视角摄像头依然 存在成像质量较差的问题，同时其使用的图传系 统传输距离较短难以实现远距离的目标跟踪. 此 外，对动态目标检测功能的缺失使其实用性不高. 1.1.3 Dove 国内西北工业大学宋笔锋教授团队研发了一 款名为 Dove 的扑翼飞行器[6] （如图 4 所示）. Dove 机载摄像头使用 OV7725 感光器，可以将现场稳定 的彩色视频传输到 4 km 以外的地面站. Dove 的视觉感知系统是由一个微型彩色摄像 机和图像处理单元相结合的数字数据链子系统组 成. 数字数据链子系统用于执行可靠的数字通信， 以此来传输远程控制命令、遥测数据以及视频流 数据. 经过实验验证，Dove 已经具备了一定的执 行视觉任务的能力，不仅飞行时长长达 30 min，视 频传输距离也达到了 4 km 以上. 但 Dove 的视觉 感知系统的功能目前还仅限于航拍，功能还较为 单一，仍有广阔的发展空间. 1.2 外部视觉感知系统 1.2.1 BinoicFlyingFox 德 国 Festo 公 司 的 BinoicFlyingFox（ 如 图 5 所 示）仿照狐蝠的外形，并以技术手段模拟了它独特 的飞行模式 [7] . 通过一个外置运动捕捉系统 ， BionicFlyingFox 能够在特定空间内进行半自主飞 行. 这套运动捕捉系统主要由两台红外相机组成， 如 图 5 所 示 . 通过与运动捕捉系统相互配合 ， BionicFlyingFox 的整个飞行过程都能够被实时捕 捉. 主机会对 BinoicFlyingFox 的运动路径进行实 时计算，预先确定下一时刻的飞行轨迹. 主机能对 算法进行学习，同时这套算法也能通过自主学习 被不断改进. 通过运动捕捉系统，BionicFlyingFox 可在飞行中不断地优化飞行轨迹，更精准地沿着 既定轨迹进行绕圈飞行. BinoicFlyingFox 具有十分优秀的飞行能力 ， 且 BinoicFlyingFox 的外观与自然界的狐蝠十分相 似，具有良好的仿生性. 然而 BinoicFlyingFox 使用 的红外相机场景信息还原性较差，由于没有机载 摄像头，视觉应用的场景较为单一[8] . 1.2.2 H2Bird 美国加州大学伯克利分校 Julian 等人开发了 一款名为 H2Bird 的扑翼飞行器[9] （如图 6 所示）， 针对该扑翼机开发了一个地面站. H2Bird 的板载 控制器携带一个采用视频图形阵列（video graphics array，VGA）接口的摄像头. 在常规飞行中，H2Bird 的平均地面速度为 1.2 m·s−1，飞行时间约为 10 min. 致动器 电机 电池 遥控接收器 扑翼机 FPV摄像头 发射器 电池 视觉模块 + 地面站 接收器 视频转换器 视频转换单元 计算机 Ardunio板 电机驱动 遥控发射器 Vicon系统 地面控制系统 图 3 X 翼扑翼飞行器与地面站的集成架构 Fig.3 Integration architecture of the X-wing FWAV platform with ground station 扑翼机械结构 GPS天线 电池 摄像头 飞控系统 数据链接 数据链路天线 舵机 空速计 图 4 Dove 的结构图 Fig.4 Structure of Dove 图 5 BinoicFlyingFox 与外部红外相机系统 Fig.5 BionicFlyingFox and off-board infrared camera system 图 6 H2Bird 扑翼机 Fig.6 H2Bird ornithopter MAV · 1514 · 工程科学学报，第 41 卷，第 12 期
付强等：仿生扑冀飞行器的视觉感知系统研究进展 1515 地面站使用基于粒子滤波的运动跟踪算法© 配合机载的采用视频图形阵列接口的摄像头及地 面摄像头对H2Bird进行简单的二维姿态估计.整 个协作系统如图7所示.在实际飞行实验中，H2Bird 与地面站配合实现了飞跃窗口等动作，并使用计 算机视觉技术成功完成了目标搜索任务，为扑翼 飞行器提供航向估计 相机框架位置 指向 致动器 目标 错误 「开始 微控 摄像头 指向 无线电 计算 单元 飞行动力 估计指向 图8哈佛仿昆虫飞行器 气压计 地面站 姿态 H2bird 信息 Fig.8 Insect-scale flapping-wing aerial vehicle by Harvard 图7H2Bird的协同控制系统 无线收发器 Vicon摄像头 Fig.7 Cooperative control system of H2Bird Julian为整个协作系统开发了一个动力学模型 来确定真实系统的模型参数，并使用狭窄通道飞行 FWAV 用户 实验来验证了这个模型.该模型准确地预测了 高速相机 H2Bird的飞行路径，使其成功飞过了狭窄的通道 监控计算机系统 这种建模方法可用于以低计算成本预测协作系统的 性能，即使缺乏关于扑翼飞行器完整的姿态信息，此 模型也可用于确定何时开始控制具有较高的成功概 图9仿昆虫飞行器的Vicon运动捕捉系统 率.但是这种控制系统的实用性还有待进一步提高 Fig.9 Vicon motion capture system of insect-scale flapping-wing aerial vehicle 1.2.3哈佛仿昆虫飞行器 哈佛微机器人实验室Rosen等研发了一种新 飞行器的推力产生、空气动力学特性和飞行性能 型仿昆虫扑翼微型飞行器（如图8所示）.这款 等方面具有非常大的价值.另一方面，目前面向扑 扑翼飞行器的重量仅为3.2g,翼展为l6cm.Rosen 翼飞行器的建模研究还处于起步阶段，这套运动 等利用Vicon搭建了一套视觉运动捕捉系统（如 捕捉系统对扑翼飞行器建模领域具有重要的意义) 图9所示)，扑翼飞行器在十个ViconT系列摄像 从上面的描述和表1可以看出，目前以扑翼飞 机的运动捕捉区域中飞行.在实验中，扑翼飞行器 行器为平台的视觉感知系统功能还相对单一，对 能够进行一系列稳定飞行.飞行的数据被Vicon 于在旋翼和固定翼飞行器平台上应用较为成熟的 系统、高速摄像机和机载传感器同时捕获2) 目标跟踪、导航定位等实用性较高的视觉功能，扑 这套基于视觉的运动捕捉系统，在研究扑翼 翼飞行器仍未大规模使用. 表1视觉感知系统对比 Table 1 Comparison of visual perception systems 系统平台 制作单位 种类 摄像头数量 消抖跟踪 DelFly II Delft 机载 双目 有 无 X翼扑翼机 首尔大学 机载+外部 单目+地面Vicon系统 无 有 Dove 西北工业大学 机载 单目 有 无 BinoicFlyingFox Festo 外部 双红外镜头 无 无 H2Bird UC Berkeley 外部 单目 无 在 仿昆虫飞行器 哈佛大学 外部 10个Vicon摄像头 无 无 2系统关键技术 运转，不可避免地会有一定程度的振动.尤其是扑 2.1图像消抖技术 翼飞行器采用扑动翅膀来产生升力的飞行机制， 无人机在飞行过程中，由于驱动结构的高速 会产生十分强烈的振动.这就造成了机载摄像头
地面站使用基于粒子滤波的运动跟踪算法[10] 配合机载的采用视频图形阵列接口的摄像头及地 面摄像头对 H2Bird 进行简单的二维姿态估计. 整 个协作系统如图 7 所示. 在实际飞行实验中，H2Bird 与地面站配合实现了飞跃窗口等动作，并使用计 算机视觉技术成功完成了目标搜索任务，为扑翼 飞行器提供航向估计. Julian 为整个协作系统开发了一个动力学模型 来确定真实系统的模型参数，并使用狭窄通道飞行 实验来验证了这个模型. 该模型准确地预测了 H2Bird 的飞行路径，使其成功飞过了狭窄的通道. 这种建模方法可用于以低计算成本预测协作系统的 性能，即使缺乏关于扑翼飞行器完整的姿态信息，此 模型也可用于确定何时开始控制具有较高的成功概 率. 但是这种控制系统的实用性还有待进一步提高. 1.2.3 哈佛仿昆虫飞行器 哈佛微机器人实验室 Rosen 等研发了一种新 型仿昆虫扑翼微型飞行器[11] （如图 8 所示）. 这款 扑翼飞行器的重量仅为 3.2 g，翼展为 16 cm. Rosen 等利用 Vicon 搭建了一套视觉运动捕捉系统（如 图 9 所示），扑翼飞行器在十个 Vicon T 系列摄像 机的运动捕捉区域中飞行. 在实验中，扑翼飞行器 能够进行一系列稳定飞行. 飞行的数据被 Vicon 系统、高速摄像机和机载传感器同时捕获[12] . 这套基于视觉的运动捕捉系统，在研究扑翼 飞行器的推力产生、空气动力学特性和飞行性能 等方面具有非常大的价值. 另一方面，目前面向扑 翼飞行器的建模研究还处于起步阶段，这套运动 捕捉系统对扑翼飞行器建模领域具有重要的意义[13] . 从上面的描述和表 1 可以看出，目前以扑翼飞 行器为平台的视觉感知系统功能还相对单一，对 于在旋翼和固定翼飞行器平台上应用较为成熟的 目标跟踪、导航定位等实用性较高的视觉功能，扑 翼飞行器仍未大规模使用. 2 系统关键技术 2.1 图像消抖技术 无人机在飞行过程中，由于驱动结构的高速 运转，不可避免地会有一定程度的振动. 尤其是扑 翼飞行器采用扑动翅膀来产生升力的飞行机制， 会产生十分强烈的振动. 这就造成了机载摄像头 摄像头 开始 计算 相机框架位置 地面站 无线电 微控制 单元 指向 错误 估计指向 致动器 输入 气压计 H2bird 目标 指向 姿态 信息 飞行动力 图 7 H2Bird 的协同控制系统 Fig.7 Cooperative control system of H2Bird 图 8 哈佛仿昆虫飞行器 Fig.8 Insect-scale flapping-wing aerial vehicle by Harvard Vicon摄像头 FWAV 无线收发器 发射台 高速相机 监控计算机系统 用户 图 9 仿昆虫飞行器的 Vicon 运动捕捉系统 Fig.9 Vicon motion capture system of insect-scale flapping-wing aerial vehicle 表 1 视觉感知系统对比 Table 1 Comparison of visual perception systems 系统平台 制作单位 种类 摄像头数量 消抖 跟踪 DelFly II Delft 机载 双目 有 无 X翼扑翼机 首尔大学 机载+外部 单目+地面Vicon系统 无 有 Dove 西北工业大学 机载 单目 有 无 BinoicFlyingFox Festo 外部 双红外镜头 无 无 H2Bird UC Berkeley 外部 单目 无 无 仿昆虫飞行器 哈佛大学 外部 10个Vicon摄像头 无 无 付 强等： 仿生扑翼飞行器的视觉感知系统研究进展 · 1515 ·
1516 工程科学学报，第41卷，第12期 拍摄出来的视频会有抖动，想要获得清晰稳定 题，消抖算法在完成航拍及其它任务中起着至关 的航拍图像，消抖是其中重要的一环，目前采用云 重要的作用 台消抖和图像算法消抖已经成为主流的手段 无人机在飞行过程中，如果向某一角度倾斜 时，陀螺仪捕捉到这个变化后会利用算法加强倾 斜角度方向的动力，通过补偿使无人机恢复平衡) 无人机机载云台正是利用了类似的原理6一般 无人机云台都能满足相机活动的三个自由度：绕 X、Y、Z轴旋转，每个轴心内都安装有电机或者舵 图11Dove的机载摄像头捕获的图像 机.如图10所示为国内生产的一款微型机载云 Fig.11 Image captured by the onboard camera of Dove 台，重量只有30g左右.当无人机倾斜时，控制系 统会配合陀螺仪给相应的云台舵机发出信息以加 扑翼机要获得清晰的航拍图像，消抖是迫切 强反方向的动力刃，防止相机跟着无人机“倾斜”， 需要解决的问题.对于扑翼机突然变化飞行动作， 从而避免相机剧烈抖动 硬件消抖主要能够对机载相机拍摄图像起着缓冲 的作用，保证相机的平缓拍摄.后期算法的消抖， 主要是对飞行器自身规律的飞行动作进行图像的 消抖处理2]通过硬件上缓解相机的抖动和图像 后期算法的消抖处理，有望得到理想的航拍图像. 2.2目标检测与识别技术 当下旋翼飞行器和固定翼飞行器的快速发 展，使无人机对地面目标检测和识别技术成为研 图10微型机载云台 究的热点网，传统的基于图像特征的视觉检测算 Fig.10 Miniature onboard pan-tilt 法由于其速度快的优点，在无人机领域应用较多 随着人工智能的兴起，计算机视觉得到了极大的 电子稳像算法的过程就是通过对系统捕捉到 发展，涌现出了许多优秀的目标检测算法，基于 的视频进行运动补偿1，之后输出补偿过的视频 深度学习的目标检测算法也逐渐在无人机领域应 通过这种补偿方法，能够在一定程度上消除抖动例 用开来 视频图像消抖的方法一般是通过相邻两帧图像的 目前的目标检测与识别技术在旋翼和固定翼 信息计算出一个全局运动参数，之后对全局运动 飞行器平台应用较多.例如，亚利桑那大学Minaeian 参数进行滤波操作来达到消除抖动的效果.如何 团队提出了一种新的基于视觉的目标检测和定位 通过相邻两帧的信息得到全局运动参数是视频消 系统，充分利用了无人机和无人车协同作战的能 抖的关键20 力27.澳大利亚新南威尔士大学Lin等设计了一 目前针对旋翼和固定翼飞行器已经有很多成 种新的视觉感知系统，将目标的边缘信息用于线 熟的消抖算法.例如，西班牙加泰罗尼亚理工大学 段检测，特征点映射和聚类，然后将级联滤波方案 Aguilar与Angulo提出了一种新的视频稳定方法， 应用于目标识别对于扑翼飞行器，目标检测与 可以实时使用而不会产生错误的运动，采用几何 识别技术应用较少.加州大学伯克利分校Baek等 变换和拒绝异常值的组合来获得帧间运动估计川 利用小型X翼扑翼机及摄像头实现了扑翼飞行器 新加坡国立大学Lim等设计了一个适用于无人机 自主飞向指定目标的功能，.利用机载视觉传感 全局运动的模型并提出了一种新的稳像算法，以 器等检测目标的位置信息，同时利用机载处理器 解决无人机的实时视频稳定问题.如今面向扑 实现对扑翼飞行器的控制.Baek等利用卡尔曼滤 翼飞行器的消抖算法较少，国内西北工业大学为 波方法和摄像头开发了一种航位推算算法，即使 其Dove扑翼飞行器设计了一款图像消抖软件，可 目标信息暂时丢失，也能够使扑翼飞行器飞向目 以在地面站计算机上实时运行，进行图像的消抖 标.实验结果显示，飞向目标的28cm翼展扑翼飞 处理.机载摄像头拍摄的图像清晰可辨（如图1山 行器能降落在离目标0.5m半径范围内，成功率超 所示)，消除了扑动飞行引起的大部分图像抖动问 过85%
拍摄出来的视频会有抖动[14] . 想要获得清晰稳定 的航拍图像，消抖是其中重要的一环. 目前采用云 台消抖和图像算法消抖已经成为主流的手段. 无人机在飞行过程中，如果向某一角度倾斜 时，陀螺仪捕捉到这个变化后会利用算法加强倾 斜角度方向的动力，通过补偿使无人机恢复平衡[15] . 无人机机载云台正是利用了类似的原理[16] . 一般 无人机云台都能满足相机活动的三个自由度：绕 X、Y、Z 轴旋转，每个轴心内都安装有电机或者舵 机. 如图 10 所示为国内生产的一款微型机载云 台，重量只有 30 g 左右. 当无人机倾斜时，控制系 统会配合陀螺仪给相应的云台舵机发出信息以加 强反方向的动力[17] ，防止相机跟着无人机“倾斜”， 从而避免相机剧烈抖动. 电子稳像算法的过程就是通过对系统捕捉到 的视频进行运动补偿[18] ，之后输出补偿过的视频. 通过这种补偿方法，能够在一定程度上消除抖动[19] . 视频图像消抖的方法一般是通过相邻两帧图像的 信息计算出一个全局运动参数，之后对全局运动 参数进行滤波操作来达到消除抖动的效果. 如何 通过相邻两帧的信息得到全局运动参数是视频消 抖的关键[20] . 目前针对旋翼和固定翼飞行器已经有很多成 熟的消抖算法. 例如，西班牙加泰罗尼亚理工大学 Aguilar 与 Angulo 提出了一种新的视频稳定方法， 可以实时使用而不会产生错误的运动，采用几何 变换和拒绝异常值的组合来获得帧间运动估计[21] . 新加坡国立大学 Lim 等设计了一个适用于无人机 全局运动的模型并提出了一种新的稳像算法，以 解决无人机的实时视频稳定问题[22] . 如今面向扑 翼飞行器的消抖算法较少，国内西北工业大学为 其 Dove 扑翼飞行器设计了一款图像消抖软件，可 以在地面站计算机上实时运行[6] ，进行图像的消抖 处理. 机载摄像头拍摄的图像清晰可辨（如图 11 所示），消除了扑动飞行引起的大部分图像抖动问 题，消抖算法在完成航拍及其它任务中起着至关 重要的作用. 扑翼机要获得清晰的航拍图像，消抖是迫切 需要解决的问题. 对于扑翼机突然变化飞行动作， 硬件消抖主要能够对机载相机拍摄图像起着缓冲 的作用，保证相机的平缓拍摄. 后期算法的消抖， 主要是对飞行器自身规律的飞行动作进行图像的 消抖处理[23] . 通过硬件上缓解相机的抖动和图像 后期算法的消抖处理，有望得到理想的航拍图像. 2.2 目标检测与识别技术 当下旋翼飞行器和固定翼飞行器的快速发 展，使无人机对地面目标检测和识别技术成为研 究的热点[24] . 传统的基于图像特征的视觉检测算 法由于其速度快的优点，在无人机领域应用较多. 随着人工智能的兴起，计算机视觉得到了极大的 发展，涌现出了许多优秀的目标检测算法[25] ，基于 深度学习的目标检测算法也逐渐在无人机领域应 用开来[26] . 目前的目标检测与识别技术在旋翼和固定翼 飞行器平台应用较多. 例如，亚利桑那大学 Minaeian 团队提出了一种新的基于视觉的目标检测和定位 系统，充分利用了无人机和无人车协同作战的能 力[27] . 澳大利亚新南威尔士大学 Lin 等设计了一 种新的视觉感知系统，将目标的边缘信息用于线 段检测，特征点映射和聚类，然后将级联滤波方案 应用于目标识别[28] . 对于扑翼飞行器，目标检测与 识别技术应用较少. 加州大学伯克利分校 Baek 等 利用小型 X 翼扑翼机及摄像头实现了扑翼飞行器 自主飞向指定目标的功能[29] . 利用机载视觉传感 器等检测目标的位置信息，同时利用机载处理器 实现对扑翼飞行器的控制. Baek 等利用卡尔曼滤 波方法和摄像头开发了一种航位推算算法，即使 目标信息暂时丢失，也能够使扑翼飞行器飞向目 标. 实验结果显示，飞向目标的 28 cm 翼展扑翼飞 行器能降落在离目标 0.5 m 半径范围内，成功率超 过 85%. 图 10 微型机载云台 Fig.10 Miniature onboard pan–tilt (a) (b) 图 11 Dove 的机载摄像头捕获的图像 Fig.11 Image captured by the onboard camera of Dove · 1516 · 工程科学学报，第 41 卷，第 12 期