第13卷第1期 智能系统学报 Vol.13 No.I 2018年2月 CAAI Transactions on Intelligent Systems Feb.2018 D0:10.11992/tis.201609029 网络出版地址：http:/kns.cnki.net/cms/detail/23.1538.TP.20170626.1728.002.html 深度学习在无人驾驶汽车领域应用的研究进展 王科俊，赵彦东，邢向磊 (哈尔滨工程大学自动化学院，黑龙江哈尔滨150001) 摘要：首先阐述了汽车界对无人驾驶的定义，然后详细分析了国内外无人驾驶汽车的发展历史以及各车企和互联 网公司的研究现状。通过详细分析无人驾驶汽车工作原理、体系架构设计以及具体实现方法，简单说明了目前无人 驾驶汽车遇到的关键问题和难题，同时重点描述了目前深度学习在图像处理方面的突破性进展以及在无人驾驶汽车 领域的应用实践，最后对无人驾驶的未来发展做了展望。 关键词：无人驾驶：图像处理；深度学习：卷积神经网络：计算机视觉 中图分类号：TP18 文献标志码：A文章编号：1673-4785(2018)01-0055-15 中文引用格式：王科俊，赵彦东，邢向磊.深度学习在无人驾驶汽车领域应用的研究进展.智能系统学报，2018,13(1)：55-69. 英文引用格式：VANG Kejun,ZHAO Yandong,.XING Xianglei.Deep learning in driverless vehiclesJ.CAAI transactions on in- telligent systems,2018,13(1):55-69. Deep learning in driverless vehicles WANG Kejun,ZHAO Yandong,XING Xianglei (School of Automation,Harbin Engineering University,Harbin 150001,China) Abstract:In this paper,we first define the unmanned vehicle and analyze the current technology and key problems of driverless vehicles.Then,we discuss the principles and architectural design of driverless cars and identify their key prob- lems.Lastly,we describe the development of deep learning with respect to image processing,discuss the application of deep learning to driverless vehicles,and consider the future of driverless vehicles. Keywords:driverless vehicles;image processing;deep learning,convolutional Neural Networks;computer Vision 互联网技术的迅猛发展给汽车工业带来了革命 驾驶的车辆还没有正式批量生产销售，但已经有相 性的变化，高精度地图的进步与普及使得车辆实时 当一部分实验车型可以通过环境感知实现高度自主 精准定位成为可能，与此同时，智能驾驶技术的广 驾驶行为，如起步、加速、制动、车道线跟踪、换道、 泛应用使汽车驾驶变得更简单更智能。互联网、高 避撞、停车等。表1给出了NHTSA(national high- 精度地图与智能驾驶技术相结合，共同推动了无人 way traffic safety administration)对无人驾驶的定 驾驶汽车技术的发展。 义，它将无人驾驶分为5个等级，分别是高级辅助 1无人驾驶汽车发展现状 驾驶(advanced driver assistance systems)、特定功能 辅助、组合功能辅助、高度自动驾驶以及完全无人 近年来，随着市场对汽车主动安全和智能化需 驾驶。如表1所示，目前大部分车型都还停留在组 求的不断提高，无人驾驶巨大的社会和经济价值越 合功能辅助阶段(Level2级)，要实现完全无人驾驶 发凸显，越来越多的企业与科研机构积极参与并推 动无人驾驶领域的发展。目前，能够实现完全无人 车的量产化，还有很长一段路要走。 11国外无人驾驶汽车发展现状 收稿日期：2016-09-29.网络出版日期：2017-06-26. 基金项目：国家自然科学基金面上项目(61573114,61703119)：黑 20世纪70年代初，许多发达国家（如美国、英 龙江省自然料学基金面上项目F2015033,QC2017070): 中央高校基本科研基金项目(H正UCFJ170404). 国、德国等)开始研究无人驾驶汽车，经过长时间的 通信作者：邢向磊.E-mail:xingxl@hrbeu.edu.cn 发展，无人驾驶汽车在可行性和实用化方面都取得
DOI: 10.11992/tis.201609029 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.TP.20170626.1728.002.html 深度学习在无人驾驶汽车领域应用的研究进展 王科俊，赵彦东，邢向磊 （哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001） 摘 要：首先阐述了汽车界对无人驾驶的定义，然后详细分析了国内外无人驾驶汽车的发展历史以及各车企和互联 网公司的研究现状。通过详细分析无人驾驶汽车工作原理、体系架构设计以及具体实现方法，简单说明了目前无人 驾驶汽车遇到的关键问题和难题，同时重点描述了目前深度学习在图像处理方面的突破性进展以及在无人驾驶汽车 领域的应用实践，最后对无人驾驶的未来发展做了展望。 关键词：无人驾驶；图像处理；深度学习；卷积神经网络；计算机视觉 中图分类号：TP18 文献标志码：A 文章编号：1673−4785(2018)01−0055−15 中文引用格式：王科俊, 赵彦东, 邢向磊. 深度学习在无人驾驶汽车领域应用的研究进展[J]. 智能系统学报, 2018, 13(1): 55–69. 英文引用格式：WANG Kejun, ZHAO Yandong, XING Xianglei. Deep learning in driverless vehicles[J]. CAAI transactions on intelligent systems, 2018, 13(1): 55–69. Deep learning in driverless vehicles WANG Kejun，ZHAO Yandong，XING Xianglei (School of Automation, Harbin Engineering University, Harbin 150001, China) Abstract: In this paper, we first define the unmanned vehicle and analyze the current technology and key problems of driverless vehicles.Then, we discuss the principles and architectural design of driverless cars and identify their key problems. Lastly, we describe the development of deep learning with respect to image processing, discuss the application of deep learning to driverless vehicles, and consider the future of driverless vehicles. Keywords: driverless vehicles; image processing; deep learning; convolutional Neural Networks; computer Vision 互联网技术的迅猛发展给汽车工业带来了革命 性的变化，高精度地图的进步与普及使得车辆实时 精准定位成为可能，与此同时，智能驾驶技术的广 泛应用使汽车驾驶变得更简单更智能。互联网、高 精度地图与智能驾驶技术相结合，共同推动了无人 驾驶汽车技术的发展。 1 无人驾驶汽车发展现状 近年来，随着市场对汽车主动安全和智能化需 求的不断提高，无人驾驶巨大的社会和经济价值越 发凸显，越来越多的企业与科研机构积极参与并推 动无人驾驶领域的发展。目前，能够实现完全无人 驾驶的车辆还没有正式批量生产销售，但已经有相 当一部分实验车型可以通过环境感知实现高度自主 驾驶行为，如起步、加速、制动、车道线跟踪、换道、 避撞、停车等。表 1 给出了 NHTSA (national highway traffic safety administration) 对无人驾驶的定 义 [1] ，它将无人驾驶分为 5 个等级，分别是高级辅助 驾驶 (advanced driver assistance systems)、特定功能 辅助、组合功能辅助、高度自动驾驶以及完全无人 驾驶。如表 1 所示，目前大部分车型都还停留在组 合功能辅助阶段 (Level 2 级)，要实现完全无人驾驶 车的量产化，还有很长一段路要走。 1.1 国外无人驾驶汽车发展现状 20 世纪 70 年代初，许多发达国家 (如美国、英 国、德国等) 开始研究无人驾驶汽车，经过长时间的 发展，无人驾驶汽车在可行性和实用化方面都取得 收稿日期：2016−09−29. 网络出版日期：2017−06−26. 基金项目：国家自然科学基金面上项目 (61573114, 61703119)；黑 龙江省自然科学基金面上项目 (F2015033, QC2017070)； 中央高校基本科研基金项目 (HEUCFJ170404). 通信作者：邢向磊. E-mail: xingxl@hrbeu.edu.cn. 第 13 卷第 1 期 智 能 系 统 学 报 Vol.13 No.1 2018 年 2 月 CAAI Transactions on Intelligent Systems Feb. 2018
·56 智能系统学报 第13卷 了突破性的进展。1995年，美国卡纳基梅隆大学 人汽车，经过沙漠、隧道、泥泞的河床以及崎岖陡峭 研制的无人驾驶汽车Navllab-V,完成了横穿美国东 的山道最终获得成功。近年来由于谷歌、特斯拉 西部的无人驾驶实验。2005年，在美国国防部组 奔驰、宝马等纷纷加入无人驾驶汽车的研究，无人 织的“大挑战”比赛中，由美国斯坦福大学改造的无 驾驶技术有了突飞猛进的发展。 表1 NHTSA对无人驾驶的定义 Table 1 NHTSA definition of driverless 等级 定义 功能举例 推出车型 Level 0 高级辅助驾驶(ADAS) 车道偏离、前后碰撞提醒 广泛应用于中低端车型 Level 1 特定功能辅助 定速巡航(ACC)、自动紧急刹车(AEB)等 中高端车型 Level 2 组合功能辅助 自动车道保持、自动泊车、指令超车等 Tesla7.0版本后、Volvo XC90 Level3 高度自动驾驶 大部分时间自动驾驶，司机随时接管汽车 SQ5 Level 4 完全无人驾驶 由机器接管人的驾驶行为 Google 作为当前无人驾驶的领跑者，Google X实验室 助驾驶功能，该功能获得了众多试驾者的一致好 从2007年初就开始筹备无人驾驶汽车的各项研究 评。据2016年5月份的数据，特斯拉旗下的电动汽 工作，并于2010年正式宣布相关工作的进展。2012年 车已通过Autopilot自驾功能累计行驶大约1.6×108 5月，美国内华达州的机动车驾驶管理处为谷歌的 km。虽然目前特斯拉的Autopilot技术仅被美国国 无人驾驶汽车颁发了美国首例自动驾驶汽车的路测 家公路交通安全管理局(NHTSA)认定为Level2阶 许可。2015年6月，2辆谷歌无人驾驶原型车开 段，但是作为迄今为止量产车型中自动驾驶系统应 始上路测试，如图1所示。为了完成对车子在X,Y, 用最成功的企业，特斯拉向我们展示了在某些特定 Z这3个方向上的数据测量（加速度等），谷歌公司 路况下，汽车已经基本实现自动驾驶。 在汽车底部安装了一个动力系统，利用GPS技术对 在2013年9月奔驰汽车公司宣布他们生产的 过往的其他车辆位置进行确认，最后利用智能算法 S级轿车完成了从德国曼海姆到达普福尔茨海姆的 对车辆下一步的行动进行预测。截至2016年8月， 自动驾驶，这段自动驾驶的总长度为100km。 谷歌共有58辆无人驾驶汽车，这些车在加州、内华 2015年1月，在国际消费电子展(CES)上奔驰发布 达州、德州、山景城、菲尼克斯和奥斯汀等允许自动 旗下FOl5 Luxury in Motion自动驾驶概念级豪华轿 驾驶汽车路测的地区进行实际路测，据Google发布 车，在美国旧金山通过路试。 的自动驾驶项目月报显示，截至2016年8月30日， 2006年，宝马公司开始在赛道上尝试对汽车的 累计行驶距离已经超过约2.9×106km,平均每周 自动驾驶进行测试，其中包括自动启动和停车等。 1.51.7万英里6-。 2011年，宝马公司的无人汽车首次在德国进行路 试，测试它对其他汽车进行自动躲避障碍等功能。 宝马汽车公司在2014年5月公布了研发的辅助驾 驶系统Urban Roads:BAN research'”。该辅助驾驶 系统可以提供异常预警和驾驶线路的选择，还可以 调整发动机的动力配置。2014年7月，百度公司和 宝马公司合作进行了无人驾驶车的研发和制造。其 中，数据分析和技术服务由百度负责，硬件设计和 制造由宝马承担。此系统的城市路况和高速公路路 况的测试工作于2015年底成功完成。2016年7月 图1 Google无人驾驶汽车 1日晚，宝马、英特尔及Mobileyel联合举行发布会， Fig.1 Google self-driving car 宣布三方合作，协同开发无人驾驶电动车Next,同 紧随其后的特斯拉ModelS系列汽车，其“Auto 时声明宝马将于2021年与两家合作伙伴共同推出 pilot'技术近年来已经取得重大突破，为了让车子能 无人驾驶汽车。 够实时地感知外部环境，该公司还在车身上安装了 据英国汽车杂志Autocar报道，全新一代奥迪 一些设备，比如摄像头、雷达等，无人汽车主要利用 A8将于2017年上市，奥迪A8如图2所示。该车 传感器反馈的信息来实现自动并道、自动停车等辅 率先采用全自动无人驾驶系统TrafficJam Assist
了突破性的进展[2]。1995 年，美国卡纳基梅隆大学 研制的无人驾驶汽车 Navllab-V，完成了横穿美国东 西部的无人驾驶实验[3]。2005 年，在美国国防部组 织的“大挑战”比赛中，由美国斯坦福大学改造的无 人汽车，经过沙漠、隧道、泥泞的河床以及崎岖陡峭 的山道最终获得成功[4]。近年来由于谷歌、特斯拉、 奔驰、宝马等纷纷加入无人驾驶汽车的研究，无人 驾驶技术有了突飞猛进的发展。 表 1 NHTSA 对无人驾驶的定义 Table 1 NHTSA definition of driverless 等级 定义 功能举例 推出车型 Level 0 高级辅助驾驶(ADAS) 车道偏离、前后碰撞提醒 广泛应用于中低端车型 Level 1 特定功能辅助 定速巡航(ACC)、自动紧急刹车(AEB)等 中高端车型 Level 2 组合功能辅助 自动车道保持、自动泊车、指令超车等 Tesla 7.0 版本后、Volvo XC90 Level 3 高度自动驾驶 大部分时间自动驾驶，司机随时接管汽车 SQ5 Level 4 完全无人驾驶 由机器接管人的驾驶行为 Google 作为当前无人驾驶的领跑者，Google X 实验室 从 2007 年初就开始筹备无人驾驶汽车的各项研究 工作，并于 2010 年正式宣布相关工作的进展。2012 年 5 月，美国内华达州的机动车驾驶管理处为谷歌的 无人驾驶汽车颁发了美国首例自动驾驶汽车的路测 许可[5]。2015 年 6 月，2 辆谷歌无人驾驶原型车开 始上路测试，如图 1 所示。为了完成对车子在 X，Y， Z 这 3 个方向上的数据测量（加速度等），谷歌公司 在汽车底部安装了一个动力系统，利用 GPS 技术对 过往的其他车辆位置进行确认，最后利用智能算法 对车辆下一步的行动进行预测。截至 2016 年 8 月， 谷歌共有 58 辆无人驾驶汽车，这些车在加州、内华 达州、德州、山景城、菲尼克斯和奥斯汀等允许自动 驾驶汽车路测的地区进行实际路测，据 Google 发布 的自动驾驶项目月报显示，截至 2016 年 8 月 30 日， 累计行驶距离已经超过约 2.9×106 km，平均每周 1.5~1.7 万英里[6-11]。 图 1 Google 无人驾驶汽车 Fig. 1 Google self-driving car 紧随其后的特斯拉 ModelS 系列汽车，其“Autopilot”技术近年来已经取得重大突破，为了让车子能 够实时地感知外部环境，该公司还在车身上安装了 一些设备，比如摄像头、雷达等，无人汽车主要利用 传感器反馈的信息来实现自动并道、自动停车等辅 助驾驶功能，该功能获得了众多试驾者的一致好 评。据 2016 年 5 月份的数据，特斯拉旗下的电动汽 车已通过 Autopilot 自驾功能累计行驶大约 1.6×108 km。虽然目前特斯拉的 Autopilot技术仅被美国国 家公路交通安全管理局 (NHTSA)认定为 Level 2 阶 段，但是作为迄今为止量产车型中自动驾驶系统应 用最成功的企业，特斯拉向我们展示了在某些特定 路况下，汽车已经基本实现自动驾驶[12]。 在 2013 年 9 月奔驰汽车公司宣布他们生产的 S 级轿车完成了从德国曼海姆到达普福尔茨海姆的 自动驾驶，这段自动驾驶的总长度为 100 km。 2015 年 1 月，在国际消费电子展 (CES) 上奔驰发布 旗下 F015 Luxury in Motion 自动驾驶概念级豪华轿 车，在美国旧金山通过路试[13]。 2006 年，宝马公司开始在赛道上尝试对汽车的 自动驾驶进行测试，其中包括自动启动和停车等。 2011 年，宝马公司的无人汽车首次在德国进行路 试，测试它对其他汽车进行自动躲避障碍等功能。 宝马汽车公司在 2014 年 5 月公布了研发的辅助驾 驶系统 “Urban Roads：BAN research”。该辅助驾驶 系统可以提供异常预警和驾驶线路的选择，还可以 调整发动机的动力配置。2014 年 7 月，百度公司和 宝马公司合作进行了无人驾驶车的研发和制造。其 中，数据分析和技术服务由百度负责，硬件设计和 制造由宝马承担。此系统的城市路况和高速公路路 况的测试工作于 2015 年底成功完成。2016 年 7 月 1 日晚，宝马、英特尔及 Mobileye联合举行发布会， 宣布三方合作，协同开发无人驾驶电动车 iNext，同 时声明宝马将于 2021 年与两家合作伙伴共同推出 无人驾驶汽车[14]。 据英国汽车杂志 Autocar 报道，全新一代奥迪 A8 将于 2017 年上市，奥迪 A8 如图 2 所示。该车 率先采用全自动无人驾驶系统“TrafficJam Assist”， ·56· 智 能 系 统 学 报 第 13 卷
第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·57· 该系统能够在无需任何人类干涉的情况下自动控制 算方面的公司Pivotal Software.,总共费用高达83亿 汽车，以速度80kmh运行s1。 美元，其目的在于增强自己在自动驾驶中的云计算 能力。2016年7月，福特与麻省理工学院发起了 项关于机器学习和自动驾驶系统的研究计划，该计 划旨在解决车辆碰撞问题以及改进自主路线规 划四。 博世公司作为全球汽车零件供应和技术的巨 头，早在2011年开始就对无人驾驶进行研究，同时 持续在加州帕洛阿尔帕托技术中心进行自动驾驶测 试。博世在2015年的CES展会上，展示了该公司 最新的辅助驾驶系统，并在JEEEP的切诺基车型上 图2奥迪无人驾驶汽车 进行了实际演示。该辅助系统由4个模块组成：摄 Fig.2 Audiautonomous vehicle 像头、雷达、智能预刹车以及距离传感器。这些模 丰田于2015年对自动驾驶项目拨款10亿美 块可以帮助驾驶人员更好地处理各种紧急事件提高 元，同时与斯坦福、MT和密歇根大学合作，特别值 车辆的安全性能。2016年4月和6月，博世分别在 得一提的是，丰田是目前自动驾驶专利最多的车 北京国际车展和位于美国密歇根州Flat Rock的试 企，拥有1400多项专利技术7。 验场地上展示了最新产品，其中包括驾驶员辅助系 2013年9月，日产公司取得了对研发的自动驾 统、第六代超声波雷达和互联汽车等232 驶汽车进行公路测试的资格牌照，并于2015年 2016年5月25日，Uber宣布获得丰田公司的 10月起进行搭载了Piloted Drive1.0自动驾驶系统 战略投资，丰田除了帮Uber开拓现有的车辆租赁业 的Leaf(聆风)电动车的原型车测试工作，测试地，点 务外，双方还计划在无人驾驶研发方面进行合作。 为日本首都圈。为了能够获得周围360°的全方位 2016年8月19日Uber宣布与沃尔沃合作，预计 信息，该车配备的240个传感器，包括12个摄像 2021年推出无人驾驶出租车，原型车于当月起在匹 头，5个雷达，4个激光扫描仪及超声波传感器。 兹堡上路测试2 2016年7月，日产于总部横滨发布了第5代Ser- Delphi(德尔福)汽车于2015年3月完成了大 ena车型，该车型配有最新的自动驾驶系统ProPI- 约5600km的无人驾驶测试。该无人驾驶汽车是 L0T,能够满足在单向车道中自动行驶的需求。 根据奥迪SQ5改装而成的。2016年8月23日， 2014年4月，本田公司在5条指定公路上进行 Delphi Automotive和Mobileye宣布，将合作开发一 了辅助驾驶系统的测试，并在2014年9月在美国底 款符合SAE(美国汽车工程协会)规定的4级自动驾 特律召开的智能交通系统大会上进行了展示发布， 驶全套解决方案，该方案为端对端、可量产、高性能 该系统能够进行自动转向、变道及超车的操作。 和安全操作的全自动驾驶解决方案（市场上首个一 20l6年5月，本田在GoMentum Station测试基地对 站式45级自动驾驶解决方案)2m。 第二代无人驾驶版讴歌RLX测试车开展了实地测 2015年，Drive.ai公司从斯坦福大学人工智能 试工作。 实验室分出来。该公司的核心成员都具有丰富的深 美国大众汽车公司的无人驾驶技术研发始于参 度学习研究背景，因此公司利用深度学习算法解决 加DARPA(美国国防部高级研究计划局)无人驾驶 了车辆的自动驾驶问题。2016年4月底，该公司获 汽车挑战赛。与美国斯坦福大学合作改装的大众途 得了美国加利福尼亚州测试无人驾驶汽车的许可。 锐(Touareg)TDIR5在2005年的越野赛中取得了 2016年8月25日，NuTonomy公司利用NASA+ 第一名的成绩；2007年参加的城市赛中车型为帕萨 MT技术，让无人驾驶出租车（见图3）在新加坡率 特运动款(Passat SportWagen),取得了第二名的成 绩。2015年10月，大众汽车与美国内华达大学合 先完成试运营载客。该公司的无人驾驶出租车装 作进行了无人驾驶测试，测试地点为美国亚利桑那 有6套激光雷达检测系统，同时仪表盘上还有两个 州的诺加莱斯(Nogales)和墨西哥首都墨西哥城之 摄像头，用来扫描障碍和检测红绿灯变化。NuTonomy 间，测试距离长达2400km,创造了墨西哥境内完成 使用激光雷达数据能提供更准确的定位，不仅能检 的最长测试距离的无人驾驶纪录2刘 测道路上的物体，还能检测出汽车周围的静态物 福特公司的无人驾驶团队于2015年成立，该团 体。为了更好地发展无人驾驶汽车的经济价值，该 队由在公司工作近30年的资深专家Randy Visin- 公司还开发调配和指挥无人驾驶出租车的云计算软 tainer担任负责人。福特公司在20l6年入股了云计 件，指挥无人驾驶出租车队四
该系统能够在无需任何人类干涉的情况下自动控制 汽车，以速度 80 km/h 运行[15-16]。 图 2 奥迪无人驾驶汽车 Fig. 2 Audiautonomous vehicle 丰田于 2015 年对自动驾驶项目拨款 10 亿美 元，同时与斯坦福、MIT 和密歇根大学合作，特别值 得一提的是，丰田是目前自动驾驶专利最多的车 企，拥有 1 400 多项专利技术[17]。 2013 年 9 月，日产公司取得了对研发的自动驾 驶汽车进行公路测试的资格牌照，并于 2015 年 10 月起进行搭载了 Piloted Drive 1.0 自动驾驶系统 的 Leaf（聆风）电动车的原型车测试工作，测试地点 为日本首都圈。为了能够获得周围 360°的全方位 信息，该车配备的 240 个传感器，包括 12 个摄像 头，5 个雷达，4 个激光扫描仪及超声波传感器。 2016 年 7 月，日产于总部横滨发布了第 5 代 Serena 车型，该车型配有最新的自动驾驶系统 ProPILOT，能够满足在单向车道中自动行驶的需求[18]。 2014 年 4 月，本田公司在 5 条指定公路上进行 了辅助驾驶系统的测试，并在 2014 年 9 月在美国底 特律召开的智能交通系统大会上进行了展示发布， 该系统能够进行自动转向、变道及超车的操作。 2016 年 5 月，本田在 GoMentum Station 测试基地对 第二代无人驾驶版讴歌 RLX 测试车开展了实地测 试工作。 美国大众汽车公司的无人驾驶技术研发始于参 加 DARPA（美国国防部高级研究计划局）无人驾驶 汽车挑战赛。与美国斯坦福大学合作改装的大众途 锐（Touareg）TDI R5 在 2005 年的越野赛中取得了 第一名的成绩；2007 年参加的城市赛中车型为帕萨 特运动款（Passat SportWagen），取得了第二名的成 绩。2015 年 10 月，大众汽车与美国内华达大学合 作进行了无人驾驶测试，测试地点为美国亚利桑那 州的诺加莱斯（Nogales）和墨西哥首都墨西哥城之 间，测试距离长达 2400 km，创造了墨西哥境内完成 的最长测试距离的无人驾驶纪录[19-21]。 福特公司的无人驾驶团队于 2015 年成立，该团 队由在公司工作近 30 年的资深专家 Randy Visintainer 担任负责人。福特公司在 2016 年入股了云计 算方面的公司 Pivotal Software，总共费用高达 83 亿 美元，其目的在于增强自己在自动驾驶中的云计算 能力。2016 年 7 月，福特与麻省理工学院发起了一 项关于机器学习和自动驾驶系统的研究计划，该计 划旨在解决车辆碰撞问题以及改进自主路线规 划 [22]。 博世公司作为全球汽车零件供应和技术的巨 头，早在 2011 年开始就对无人驾驶进行研究，同时 持续在加州帕洛阿尔帕托技术中心进行自动驾驶测 试。博世在 2015 年的 CES 展会上，展示了该公司 最新的辅助驾驶系统，并在 JEEEP 的切诺基车型上 进行了实际演示。该辅助系统由 4 个模块组成：摄 像头、雷达、智能预刹车以及距离传感器。这些模 块可以帮助驾驶人员更好地处理各种紧急事件提高 车辆的安全性能。2016 年 4 月和 6 月，博世分别在 北京国际车展和位于美国密歇根州 Flat Rock 的试 验场地上展示了最新产品，其中包括驾驶员辅助系 统、第六代超声波雷达和互联汽车等[23-25]。 2016 年 5 月 25 日，Uber 宣布获得丰田公司的 战略投资，丰田除了帮 Uber 开拓现有的车辆租赁业 务外，双方还计划在无人驾驶研发方面进行合作。 2016 年 8 月 19 日 Uber 宣布与沃尔沃合作，预计 2021 年推出无人驾驶出租车，原型车于当月起在匹 兹堡上路测试[26]。 Delphi（德尔福）汽车于 2015 年 3 月完成了大 约 5 600 km 的无人驾驶测试。该无人驾驶汽车是 根据奥迪 SQ5 改装而成的。2016 年 8 月 23 日， Delphi Automotive 和 Mobileye 宣布，将合作开发一 款符合 SAE(美国汽车工程协会) 规定的 4 级自动驾 驶全套解决方案，该方案为端对端、可量产、高性能 和安全操作的全自动驾驶解决方案 (市场上首个一 站式 4/5 级自动驾驶解决方案) [27]。 2015 年，Drive.ai 公司从斯坦福大学人工智能 实验室分出来。该公司的核心成员都具有丰富的深 度学习研究背景，因此公司利用深度学习算法解决 了车辆的自动驾驶问题。2016 年 4 月底，该公司获 得了美国加利福尼亚州测试无人驾驶汽车的许可[28]。 2016 年 8 月 25 日，NuTonomy 公司利用 NASA+ MIT 技术，让无人驾驶出租车 (见图 3) 在新加坡率 先完成试运营载客。该公司的无人驾驶出租车装 有 6 套激光雷达检测系统，同时仪表盘上还有两个 摄像头，用来扫描障碍和检测红绿灯变化。NuTonomy 使用激光雷达数据能提供更准确的定位，不仅能检 测道路上的物体，还能检测出汽车周围的静态物 体。为了更好地发展无人驾驶汽车的经济价值，该 公司还开发调配和指挥无人驾驶出租车的云计算软 件，指挥无人驾驶出租车队[29]。 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·57·
·58 智能系统学报 第13卷 队有清华大学、国防科技大学等，这些团队与一汽集 团、上汽集团等国内知名车企已相互合作，共同研 发使用感更好、性能更加稳定的无人驾驶车辆3 2009年与2015年中国无人驾驶车辆差异对比如图5 所示。 nuTonomy 图3 NuTonomy无人驾驶汽车 Fig.3 NuTonomy driverless car 1.2国内无人驾驶汽车发展现状 无人驾驶技术在国内的发展较晚，1992年国防 (a)2009年参赛的自动驾驶车辆 科技大学成功研制出中国第一辆红旗系列无人驾驶 汽车301；经过一系列的努力和研制，直到2011年 7月14日，首次在高速上实现长沙到武汉约286km 的全程无人驾驶实验，成为了首个中国自主研制的 无人驾驶车辆，突破了在复杂交通状况下的自主驾 驶的新纪录，这次成功标志着中国无人驾驶技术在 复杂环境识别、智能行为决策和控制等方面的技术 突破，达到世界先进水平创。 2005年，首辆城市无人驾驶汽车在上海交通大 b)2015年参赛的自动驾驶车辆 学研制成功2。从2009年开始，在国家自然科学 图52009年与2015年的无人车 基金委“视听觉信息的认知计算”重大研究计划支 Fig.5 Driverless cars in 2009 and 2015 持下，分别在西安、鄂尔多斯、赤峰、常熟等地举 由图5可以看出，2009年参赛无人车辆是经过 办了七届“中国智能车未来挑战赛（见图4）”。该比 简单的外置传感器和控制器改装的，而2015年参赛 赛是现有的国内外唯一面向无人驾驶的赛事，极大 的部分无人车辆是内置传感器与车载相结合车载， 地推动了中国无人驾驶车辆的研究工作。 这些参赛车辆都是研究团队与车企之间的合作结果。 近年来，国内T企业和各大自主车企也开始将 FC205,常熟 研究方向投入到无人驾驶领域。2013年，百度深度 学习研究院主导研发无人驾驶汽车项目。2014年， Challenge 百度成立了车联网事业部，陆续推出CarLife、My Car、CoDriver等产品。20l5年底，百度深度学习研 C2014.常热 究院与宝马合作，在北京五环上展示全自动驾驶原 型车。2016年，百度与乌镇旅游举行战略签约仪式， 宣布将在该景区实现Level44的无人驾驶（见图6）B 品告时 百度与福特在2016年8月达成共识，为了降低 无人驾驶汽车激光雷达的生产成本，两公司共同投 资激光雷达厂商Velodyne。2016年9月1日，在百 度世界大会上，李彦宏与NVIDIA创始人黄仁勋宣 布合作，共同创建自动驾驶云平台，并向中国乃至 全球的汽车制造商开放。与此同时，百度高级副总 图42009一2015年中国智能车未来挑战赛 裁、自动驾驶事业部负责人王劲表示成立NHTSA Fig.4 Future challenge 2009-2015 Level3等级自动驾驶技术的L3事业部36，与此同 由于技术有限，在前几届比赛中参赛的无人汽 时，美国加州机动车辆管理局(Department of Motor 车需要较多的人为干预。随着科技的不断进步，自 Vehicles)已向百度美国(Baidu USA)发放第l5张 2013年之后，参赛的无人车辆可以在真实交通环境 自动驾驶汽车上路测试牌照。目前获得DMV发放 中完成驾驶任务。目前研发无人驾驶汽车的知名团 自动驾驶汽车路测牌照的公司如表2所示
图 3 NuTonomy 无人驾驶汽车 Fig. 3 NuTonomy driverless car 1.2 国内无人驾驶汽车发展现状 无人驾驶技术在国内的发展较晚，1992 年国防 科技大学成功研制出中国第一辆红旗系列无人驾驶 汽车[30] ；经过一系列的努力和研制，直到 2011 年 7 月 14 日，首次在高速上实现长沙到武汉约 286 km 的全程无人驾驶实验，成为了首个中国自主研制的 无人驾驶车辆，突破了在复杂交通状况下的自主驾 驶的新纪录，这次成功标志着中国无人驾驶技术在 复杂环境识别、智能行为决策和控制等方面的技术 突破，达到世界先进水平[31]。 2005 年，首辆城市无人驾驶汽车在上海交通大 学研制成功[32]。从 2009 年开始，在国家自然科学 基金委“视听觉信息的认知计算”重大研究计划支 持下，分别在西安、鄂尔多斯、赤峰、常熟等地举 办了七届“中国智能车未来挑战赛 (见图 4)”。该比 赛是现有的国内外唯一面向无人驾驶的赛事，极大 地推动了中国无人驾驶车辆的研究工作[33]。 FC’2011, 䘮ᅀๆ FC’2010, 西安 FC’2015, 常熟 FC’2014, 常熟 FC’2012, 赤峰 FC’2013, 常熟 FC’2009, 西安 图 4 2009—2015 年中国智能车未来挑战赛 Fig. 4 Future challenge 2009—2015 由于技术有限，在前几届比赛中参赛的无人汽 车需要较多的人为干预。随着科技的不断进步，自 2013 年之后，参赛的无人车辆可以在真实交通环境 中完成驾驶任务。目前研发无人驾驶汽车的知名团 队有清华大学、国防科技大学等，这些团队与一汽集 团、上汽集团等国内知名车企已相互合作，共同研 发使用感更好、性能更加稳定的无人驾驶车辆[34]。 2009 年与 2015 年中国无人驾驶车辆差异对比如图 5 所示。 (a) 2009Ꭰ࣮䊇⮰㜖ߔ侪侢䒒䒲 (b) 2015Ꭰ࣮䊇⮰㜖ߔ侪侢䒒䒲 图 5 2009 年与 2015 年的无人车 Fig. 5 Driverless cars in 2009 and 2015 由图 5 可以看出，2009 年参赛无人车辆是经过 简单的外置传感器和控制器改装的，而 2015 年参赛 的部分无人车辆是内置传感器与车载相结合车载， 这些参赛车辆都是研究团队与车企之间的合作结果。 近年来，国内 IT 企业和各大自主车企也开始将 研究方向投入到无人驾驶领域。2013 年，百度深度 学习研究院主导研发无人驾驶汽车项目。2014 年， 百度成立了车联网事业部，陆续推出 CarLife、MyCar、CoDriver 等产品。2015 年底，百度深度学习研 究院与宝马合作，在北京五环上展示全自动驾驶原 型车。2016 年，百度与乌镇旅游举行战略签约仪式， 宣布将在该景区实现 Level4 的无人驾驶（见图 6） [35]。 百度与福特在 2016 年 8 月达成共识，为了降低 无人驾驶汽车激光雷达的生产成本，两公司共同投 资激光雷达厂商 Velodyne。2016 年 9 月 1 日，在百 度世界大会上，李彦宏与 NVIDIA 创始人黄仁勋宣 布合作，共同创建自动驾驶云平台，并向中国乃至 全球的汽车制造商开放。与此同时，百度高级副总 裁、自动驾驶事业部负责人王劲表示成立 NHTSA Level 3 等级自动驾驶技术的 L3 事业部[36] ，与此同 时，美国加州机动车辆管理局 (Department of Motor Vehicles) 已向百度美国 (Baidu USA) 发放第 15 张 自动驾驶汽车上路测试牌照。目前获得 DMV 发放 自动驾驶汽车路测牌照的公司如表 2 所示。 ·58· 智 能 系 统 学 报 第 13 卷
第1期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·59· 2016年9月1日京东集团对外宣布，由其自主 研发的中国首辆无人配送车已经进人道路测试阶 段，10月份即将开始试运营，2017年有望进行大规 模商用。最近，乐视宣布在多处开展无人驾驶汽 车研发工作，滴滴CTO张博宣布将无人车作为重大 战略布局，并很快实现无人车上路。综上所述，尽 管国内车企和各大T公司进人无人驾驶领域较晚， 但是随着越来越多的企业和单位积极投入到其中， 中国智能汽车发展迅速，已接近国际先进水平。 2无人驾驶汽车产业化瓶颈 图6百度无人驾驶汽车 Fig.6 Baidu self-driving car 目前，无人驾驶汽车产业化的瓶颈问题主要有 表2截至2016年8月29日获得DMV发放自动驾驶汽车 两点：1)如何更高效快速实现多传感器信息融合； 路测牌照的公司 2)在保证自动驾驶性能的前提下如何最大限度降 Table 2 Entities to which the DMV has issued autonom- 低设备成本。 ous vehicle testing permits as of august 29,2016 2.1更高效快速实现多传感器信息融合 汽车公司 研发人员当前面临的最棘手的难题是如何提高 美国大众汽车集团 梅赛德斯-奔驰 汽车的视觉能力，目前所研发的计算机视觉系统还 谷歌 德尔福汽车 非常的低端和原始，如何赋予计算机系统接近甚至 特斯拉汽车 博世 达到人类的视觉能力是一项非常巨大的挑战。无人 日产 GM Cruise LLC 驾驶汽车需要随时注意周边车辆和行人，而且能够 宝马 本田 实时检测到周围的车道、地面上的画线，认识交通 福特 Zoox 标识、交通灯的含义，应对风霜雨露以及强光、弱光 Drive ai人工智能公司 法拉利 等一系列复杂的环境因素的影响。此外，由于某些 百度美国LLC 原因无法“看清”道路标志甚至在一些根本没有道路 2013年9月，上汽集团与中国航天科工三院在 标志的环境时，为了实现完全无人驾驶，目前唯一 上海宣布签署合作协议，开始实施无人驾驶计划： 可行的办法是通过多传感器实现信息融合进行决 不久之后，奇瑞宣布与武汉大学合作开发无人驾驶 策，综合利用各类传感器的优势从而达到理想的效 汽车，北京现代则选择与军事交通学院展开合作。 果，如图8所示。例如，毫米波雷达适用于近程、高 2015年宇通汽车公司研发了一辆无人驾驶公交车， 分辨力的目标监视和目标截获，由于其较强的穿透 实现从郑州到开封城际快速路的演示m。同年，在 能力，可以用于视觉系统捕获车道线、交通灯颜色 江苏常熟成功举办的“中国智能车未来挑战赛”上， 等信息。但是其视觉系统不足之处在于，其测距能 由军事交通学院代表队研制的“军交猛狮号”获得第 力没有激光雷达准确。因此将激光雷达、毫米波雷 一名。2016年4月13日，长安汽车公司生产的无 达与视觉传感器相融合，可以有效解决单独使用的 人驾驶汽车（见图7）从重庆出发，途经西安、郑州、 不足之处，在进行物体检测的同时，也可以进行空 石家庄抵达北京，穿越了大巴山、秦岭、终南山，跨 间测距和图像识别。 过了华北平原、黄河，行程近2000km。这是我国 自动驾驶汽车是如何 丁作的？ GPS接收器：从卫星 首次无人驾驶汽车超长距离行驶实测3.2016年 上获得汽车的位置 藏光雷达：通过旋转 结合内部传感器获得 7月6日，北汽集团新技术研究院与盘锦市大洼区 数扫借餐挂得田围 准确位置 环境精确的三维地 人民政府签署无人驾驶汽车的战略合作协议，共同 后方雷达 开发无人驾驶体验项目0。 动的目标 2电 车轮编码器：来控 制车速 中心电脑：使用能够 作出所有驾驶决定的 雷达：与的车保持固 算法来控制汽车 长安 足的和离 一个简单的来控制是 (a)百度无人驾驶汽车(b)长安无人驾驶汽车 否使用辅助驾驶的结 图7百度无人驾驶汽车与长安无人驾驶汽车 图8无人驾驶实现示意 Fig.7 Baidu self-driving car and Changan automobile Fig.8 Interpretation of unmanned vehicle
图 6 百度无人驾驶汽车 Fig. 6 Baidu self-driving car 表 2 截至 2016 年 8 月 29 日获得 DMV 发放自动驾驶汽车 路测牌照的公司 Table 2 Entities to which the DMV has issued autonomous vehicle testing permits as of august 29, 2016 汽车公司 美国大众汽车集团 梅赛德斯-奔驰 谷歌 德尔福汽车 特斯拉汽车 博世 日产 GM Cruise LLC 宝马 本田 福特 Zoox Drive ai人工智能公司 法拉利 百度美国LLC 2013 年 9 月，上汽集团与中国航天科工三院在 上海宣布签署合作协议，开始实施无人驾驶计划； 不久之后，奇瑞宣布与武汉大学合作开发无人驾驶 汽车，北京现代则选择与军事交通学院展开合作。 2015 年宇通汽车公司研发了一辆无人驾驶公交车， 实现从郑州到开封城际快速路的演示[37]。同年，在 江苏常熟成功举办的“中国智能车未来挑战赛”上， 由军事交通学院代表队研制的“军交猛狮号”获得第 一名[38]。2016 年 4 月 13 日，长安汽车公司生产的无 人驾驶汽车（见图 7）从重庆出发，途经西安、郑州、 石家庄抵达北京，穿越了大巴山、秦岭、终南山，跨 过了华北平原、黄河，行程近 2 000 km。这是我国 首次无人驾驶汽车超长距离行驶实测[39]。2016 年 7 月 6 日，北汽集团新技术研究院与盘锦市大洼区 人民政府签署无人驾驶汽车的战略合作协议，共同 开发无人驾驶体验项目[40]。 ⮪Ꮢ 䪫Ⴕ (a) ⮪ᏒᬌϦ侪侢↩䒒 (b) 䪫ႵᬌϦ侪侢↩䒒 图 7 百度无人驾驶汽车与长安无人驾驶汽车 Fig. 7 Baidu self-driving car and Changan automobile 2016 年 9 月 1 日京东集团对外宣布，由其自主 研发的中国首辆无人配送车已经进入道路测试阶 段，10 月份即将开始试运营，2017 年有望进行大规 模商用[41]。最近，乐视宣布在多处开展无人驾驶汽 车研发工作，滴滴 CTO 张博宣布将无人车作为重大 战略布局，并很快实现无人车上路[42]。综上所述，尽 管国内车企和各大 IT 公司进入无人驾驶领域较晚， 但是随着越来越多的企业和单位积极投入到其中， 中国智能汽车发展迅速，已接近国际先进水平。 2 无人驾驶汽车产业化瓶颈 目前，无人驾驶汽车产业化的瓶颈问题主要有 两点：1) 如何更高效快速实现多传感器信息融合； 2) 在保证自动驾驶性能的前提下如何最大限度降 低设备成本。 2.1 更高效快速实现多传感器信息融合 研发人员当前面临的最棘手的难题是如何提高 汽车的视觉能力，目前所研发的计算机视觉系统还 非常的低端和原始，如何赋予计算机系统接近甚至 达到人类的视觉能力是一项非常巨大的挑战。无人 驾驶汽车需要随时注意周边车辆和行人，而且能够 实时检测到周围的车道、地面上的画线，认识交通 标识、交通灯的含义，应对风霜雨露以及强光、弱光 等一系列复杂的环境因素的影响。此外，由于某些 原因无法“看清”道路标志甚至在一些根本没有道路 标志的环境时，为了实现完全无人驾驶，目前唯一 可行的办法是通过多传感器实现信息融合进行决 策，综合利用各类传感器的优势从而达到理想的效 果，如图 8 所示。例如，毫米波雷达适用于近程、高 分辨力的目标监视和目标截获，由于其较强的穿透 能力，可以用于视觉系统捕获车道线、交通灯颜色 等信息。但是其视觉系统不足之处在于，其测距能 力没有激光雷达准确。因此将激光雷达、毫米波雷 达与视觉传感器相融合，可以有效解决单独使用的 不足之处，在进行物体检测的同时，也可以进行空 间测距和图像识别。 㜖ߔ侪侢↩䒒᭛ຮҁ ҈⮰喢 ⓬اٴ䰣䓪喝䕆䓳䒘 ⓬اٴភஔ㣣ᓃঔఠ ⣛ද⮰̵㐠 ప ऺ䰣䓪 GPSᣑᩢஔ喝Ϻᭋ ̶㣣ᓃ↩䒒⮰ѹ㒚喏 ㏿ऴڱ䘔ьᙋஔ㣣ᓃ ۲ѹ㒚 䒒䒚㑂ⴭஔ喝Ბᣓ 䒒䕋ݢ ͙ᓯ⩡㘽喝ҫ⩔㘩๋ ⮰۟ᝬᰵ侪侢ܦ҈ ッ∁Ბᣓݢ↩䒒 ̬͖ガࢁᲑ⮰ᣓݢ᭛ ॒ҫ⩔䒱ߕ侪侢⮰㏿ Ჰ ᥰ喝Ბᷬ≷ϐ䕆 ԍण▛Бࣶ䕿䌛̶⼧ Ⱊᴳ⮰ߔ 䰣䓪喝̺ݹ䒒ԉᠭద ⮰䌉⻧ 图 8 无人驾驶实现示意 Fig. 8 Interpretation of unmanned vehicle 第 1 期 王科俊，等：深度学习在无人驾驶汽车领域应用的研究进展 ·59·