基于时空长短期记忆网络的机场航班延误预测 李娟,曾维理*,刘丹丹,羊钊,丛玮2 a.南京航空航天大学民航学院,江苏南京211106:b.飞友科技有限公司,江苏南京211106) 瘸要:准确预测杋场航班延误情况,对于全面协调空管、机场、航空公司的运行 至关重要。目前,长短期记忆(LSTM)神经网络在各领域得到广泛应用,特别是 在预测方面,精度明显高于传统的机器学习预测方法。本文将深度学习方法进行推 广和应用到机场航班延误预测,提岀一种时空LSTM神经网络航班延误预测方 通过考虑关联杋场在时间和空间的相关性,将所有关联杋场的到达延误和岀发延误 作为特征变量,能充分从高维特征变量中捕获延误传播内在杋理,从而提高延误预 测的精度。以美国2015年至2018年主要机场延误数据作为实验数据,实验结果表 明,在不同时长预测精度上,本文方法在预测精度上均优于目前主流延误预测方法。 关键词 延误预测;深度学习;LSIM网络;时空变量 Spatial-Temporal Long Short-term Memory Networks for Airport Flight Delay Prediction Li Juan, Zeng Wei-li, Liu Dan-dan, Yang Zhao, Cong Wei (1. College of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing, 211106: 2. Variflight Technology Company Abstract: Accurately predicting airport flight delays is important for overall comprehensive coordination of airports, airlines and air traffic management. However, due to the complexity of the impact on flight delays, the existing mainstream methods have lower prediction accuracy Inspired by the method of traffic flow prediction based on deep learning, a method based on deep lstM for flight delay prediction is proposed. Different from the existing mainstream methods, this paper firstly applies the Spatial-Temporal Long Short-term Memory Networks (LSTM) to flight delay prediction, and considers the correlation of time and space of associated airports, and features the arrival delay and departure delay of all associated airports. The algorithm can totally obtain information from high-dimensional data Based on the delay data of the major airports in the United States from 2015 to 2018 as experimental data. Experimental Results demonstrated that the airport delay prediction method is superior to the current mainstream delay prediction method in predicting accuracy in different time length prediction key words: delay prediction; deep learning, LSTM Network; spatial-temporal variable 基金项目:中央高校基本科研业务费资助(NoNS2018044)和国家自然科学基金(No.51608268) 通讯作者:曾维理( zwlnuaaanuaaedu cn)
基于时空长短期记忆网络的机场航班延误预测 李娟,曾维理*,刘丹丹,羊钊，丛玮 2 （a. 南京航空航天大学民航学院，江苏 南京 211106； b. 飞友科技有限公司，江苏 南京 211106） 摘 要： 准确预测机场航班延误情况，对于全面协调空管、机场、航空公司的运行 至关重要。目前，长短期记忆（LSTM）神经网络在各领域得到广泛应用，特别是 在预测方面，精度明显高于传统的机器学习预测方法。本文将深度学习方法进行推 广和应用到机场航班延误预测，提出一种时空 LSTM 神经网络航班延误预测方法。 通过考虑关联机场在时间和空间的相关性，将所有关联机场的到达延误和出发延误 作为特征变量，能充分从高维特征变量中捕获延误传播内在机理，从而提高延误预 测的精度。以美国 2015 年至 2018 年主要机场延误数据作为实验数据，实验结果表 明，在不同时长预测精度上，本文方法在预测精度上均优于目前主流延误预测方法。 关键词： 延误预测; 深度学习; LSTM 网络；时空变量 Spatial-Temporal Long Short-term Memory Networks for Airport Flight Delay Prediction Li Juan, Zeng Wei-li, Liu Dan-dan,Yang Zhao1 ,Cong Wei2 (1. College of Civil Aviation, Nanjing University of Aeronautics and Astronautics, Nanjing, 211106；2. Variflight Technology Company） Abstract: Accurately predicting airport flight delays is important for overall comprehensive coordination of airports, airlines and air traffic management. However, due to the complexity of the impact on flight delays, the existing mainstream methods have lower prediction accuracy. Inspired by the method of traffic flow prediction based on deep learning, a method based on deep LSTM for flight delay prediction is proposed. Different from the existing mainstream methods, this paper firstly applies the Spatial-Temporal Long Short-term Memory Networks (LSTM) to flight delay prediction, and considers the correlation of time and space of associated airports, and features the arrival delay and departure delay of all associated airports .The algorithm can totally obtain information from high-dimensional data. Based on the delay data of the major airports in the United States from 2015 to 2018 as experimental data. Experimental Results demonstrated that the airport delay prediction method is superior to the current mainstream delay prediction method in predicting accuracy in different time length prediction. key words: delay prediction; deep learning; LSTM Network; spatial-temporal variable 基金项目：中央高校基本科研业务费资助（No.NS2018044）和国家自然科学基金（No.51608268） 通讯作者：曾维理(zwlnuaa@nuaa.edu.cn)
、引言 近年来,航空运输业迅速发展,空中交通流量逐年增加,导致机场容量在现有的运行 状况下逐渐饱和,航班延误频繁发生,并且影响航班延误的因素多且复杂,诸如天气,管 制等诸多不可控因素都会严重影响航班的正常运行,导致航班延误。据FAA网站提供的数 据,2018年1月至11月份公布的全美航班总数6916597班,延误2383720班,占34.4%。 2017年全国客运航班平均延误时间24分钟,而在2016年这一数据为16分钟。航班延误 已经成为影响机场和航空公司运行、空中交通管制以及旅客正常出行的重大问题。因此, 对航班延误做出精准预测具有重要意义,不仅可以提高机场以及航空公司的运行效率,减 少航班延误造成的损失,还可以为旅客带来良好的飞行体验,同时能够减少空中交通事 故、确保飞行安全。 在航班延误预测方面,可以从微观和宏观的角度,将研究对象可以分为两类:一类是 预测单架飞机的延误,另一类是对机场某个时间段的平均延误进行预测。在 机延误预测方面,Choi将航班延误和成本联系起来,提出了基于成本计算和监督机器学习 算法预测单个航班延误的模型。 Demir和 Demir利用机场传感器采集到的数据和航班信息 建立了一种基于人工神经网络的飞机起飞延误估计的机器学习模型四。程华等对比已有的 贝叶斯网络及朴素贝叶斯。 Chung等人提出了基于级联神经网络的预测方法,将航班起飞 延误预测作为航班到达延误预测的输入,根据预期的航班到达延误,可以确定缓冲时间 同时还可以使用动态后备机组策略确定预备机组人员数量,有利于提高航班稳定性和节约 成本。吴仁彪等人针对航班延误预测数据量大、特征提取困难而传统算法处理能力有限 的问题,提出一种基于双通道卷积神经网络的航班延误预测模型。同时,提出一种基于 Spark并融合气象数据的并行化航班延误预测模型。该模型完成了航班数据和气象数据的 融合,从而在单个航班数据后加入不同小时的气象数据,采用并行化方式进行随机森林的特 征划分和树的生成,可快速进行航班延误预测。 针对机场平均延误预测方面, Rebollo and balakrishnan运用随机森林算法预测某一 特定ω对(或机场)在未来2至24小时内的离港延误,提出了基于网络的航班延误预测模型 口。Zhu和应用支持向量回归模型来预测机场延误,将与延误相关因素如天气条件、机 场容量以及机场性能等作为模型输入,以小时延误为输出进行训练,通过对北京首都国际 机场运行数据的研究验证了基于SVR延误预测模型的有效性。何洋等人基于支持向量机回 归方法建立航班延误预测模型处理繁忙机场的进离港延误航班数量和延误时间难以预测的 问题明。 Belcastro等人主要研究了由于天气状况导致的航班到达延误,采用并行算法分析 和挖掘了航班信息和天气观测数据,验证了预测超过给定阈值的延误时具有很高的准确性
一、引言 近年来，航空运输业迅速发展，空中交通流量逐年增加，导致机场容量在现有的运行 状况下逐渐饱和，航班延误频繁发生，并且影响航班延误的因素多且复杂，诸如天气，管 制等诸多不可控因素都会严重影响航班的正常运行，导致航班延误。据 FAA 网站提供的数 据，2018 年 1 月至 11 月份公布的全美航班总数 6916597 班，延误 2383720 班，占 34.4%。 2017 年全国客运航班平均延误时间 24 分钟，而在 2016 年这一数据为 16 分钟。航班延误 已经成为影响机场和航空公司运行、空中交通管制以及旅客正常出行的重大问题。因此， 对航班延误做出精准预测具有重要意义，不仅可以提高机场以及航空公司的运行效率，减 少航班延误造成的损失，还可以为旅客带来良好的飞行体验，同时能够减少空中交通事 故、确保飞行安全。 在航班延误预测方面，可以从微观和宏观的角度，将研究对象可以分为两类：一类是 预测单架飞机的延误[1-6]，另一类是对机场某个时间段的平均延误进行预测[2-8] 。在单架飞 机延误预测方面，Choi 将航班延误和成本联系起来，提出了基于成本计算和监督机器学习 算法预测单个航班延误的模型[1] 。Demir 和 Demir 利用机场传感器采集到的数据和航班信息 建立了一种基于人工神经网络的飞机起飞延误估计的机器学习模型[2] 。程华等对比已有的 贝叶斯网络及朴素贝叶斯[3] 。Chung 等人提出了基于级联神经网络的预测方法，将航班起飞 延误预测作为航班到达延误预测的输入，根据预期的航班到达延误，可以确定缓冲时间， 同时还可以使用动态后备机组策略确定预备机组人员数量，有利于提高航班稳定性和节约 成本[4] 。吴仁彪等人针对航班延误预测数据量大、特征提取困难而传统算法处理能力有限 的问题，提出一种基于双通道卷积神经网络的航班延误预测模型[5] 。同时，提出一种基于 Spark 并融合气象数据的并行化航班延误预测模型。该模型完成了航班数据和气象数据的 融合,从而在单个航班数据后加入不同小时的气象数据，采用并行化方式进行随机森林的特 征划分和树的生成,可快速进行航班延误预测[6] 。 针对机场平均延误预测方面， Rebollo and Balakrishnan运用随机森林算法预测某一 特定OD对（或机场）在未来2至24小时内的离港延误，提出了基于网络的航班延误预测模型 [7] 。Zhu 和Hu 应用支持向量回归模型来预测机场延误，将与延误相关因素如天气条件、机 场容量以及机场性能等作为模型输入，以小时延误为输出进行训练，通过对北京首都国际 机场运行数据的研究验证了基于SVR延误预测模型的有效性[8] 。何洋等人基于支持向量机回 归方法建立航班延误预测模型处理繁忙机场的进离港延误航班数量和延误时间难以预测的 问题[9] 。Belcastro等人主要研究了由于天气状况导致的航班到达延误，采用并行算法分析 和挖掘了航班信息和天气观测数据，验证了预测超过给定阈值的延误时具有很高的准确性
陈海燕等人将航班运行实时数据动态加入延误预测过程中,以预测连续进港航班的降 落延误为例,对航班之间的延误传递过程进行分析,建立相应的状态空间模型;给出动态数 据驱动的航班延误预测框架及预测过程,该方法能获得较高的预测准确度和良好的预测稳 定性 总的来说,目前航班延误预测的研究方法主要分为两类:一类是分类预测,如对延误 与否或延误程度的定性预测,可采用贝叶斯网络、C4.5决策树分类方法以及双通道卷积神 经网络等方法:另一类是回归预测,如对某一时间段的延误架次或延误时间的定量预测, 可通过时间序列、支持向量机以及随机森林等方法进行预测。但目前主流方法在表征延误 内在特性方面能力较弱,导致预测精度还不尽人意,并且在泛化性能方面较差 深度学习方法在各领域的成功应用,特别是长短期记忆(LSTM: Long short-term memory)神经网络对时间序列数据具有较强的表征能力,在预测精度上明显优于传统机器 学习方法田。本文将LSIM神经网络推广应用到航班延误预测,提出一种时空LSTM航班延 误预测模型,提高航班延误预测精度。本文方法主要两个方面的创新点:(a)由于航班延 误在机场内和机场之间进行传播,通过利用相关系数法对影响机场延误的时空特征进行分 析,构建时间特征变量和空间特征变量(b)首次将LSTM神经网络推广和应用到机场航班 延误预测中,构建一种时空LSTM神经网络模型,从而可以更好地表征机场时空关联信息 通过实际数据集对模型进行验证,证明时空LSIM神经网络模型对于延误预测方面优于主流 方法。 二、数据源及预处理 本文实验数据来源于美国FA的ASPM数据库(ww.faa.gov),获取了2015年1月至 2018年11月美国77主要关联机场的航班延误相关数据,共计2462336条数据,每条数据 包含机场信息、日期、时间、离港飞机数量、到港飞机数量、小时离港平均延误、小时到 港平均延误、离港延误率、到港延误率等属性。图1为208年η7个主要机场的航班延误 分布图,其中红色圆形面积表示延误航班的数量,面积越大延误的数量越多。从图中可以 看出,平均延误在50分钟以上的机场有3个,延误在20分钟以下的机场有7个,大部分 机场延误在30到40分钟之间。延误排名前三的机场分别是ANC(安克雷奇国际机场) MIA(迈阿密国际机场)以及ORD(奥黑尔国际机场) 通过对原始数据进行质量分析发现,数据中含有一定的空值、异常值、重复数据和缺失 数据,分别占数据的8%、7.6%、2.3%和8.3%,共计占总数据的26.2%。这些异常数据将会对 模型建立和延误预测带来较大的干扰。为保证数据的正确性和有效性,避免数据不稳定对预 测效果造成影响,根据质量分析的结果,对数据进行预处理。经过数据预处理后,整理出77
[10] 。陈海燕等人将航班运行实时数据动态加入延误预测过程中，以预测连续进港航班的降 落延误为例,对航班之间的延误传递过程进行分析,建立相应的状态空间模型；给出动态数 据驱动的航班延误预测框架及预测过程，该方法能获得较高的预测准确度和良好的预测稳 定性[11] 。 总的来说，目前航班延误预测的研究方法主要分为两类：一类是分类预测，如对延误 与否或延误程度的定性预测，可采用贝叶斯网络、C4.5决策树分类方法以及双通道卷积神 经网络等方法；另一类是回归预测，如对某一时间段的延误架次或延误时间的定量预测， 可通过时间序列、支持向量机以及随机森林等方法进行预测。但目前主流方法在表征延误 内在特性方面能力较弱，导致预测精度还不尽人意，并且在泛化性能方面较差。 深度学习方法在各领域的成功应用，特别是长短期记忆(LSTM: Long Short-term memory)神经网络对时间序列数据具有较强的表征能力，在预测精度上明显优于传统机器 学习方法[12-14] 。本文将LSTM神经网络推广应用到航班延误预测，提出一种时空LSTM航班延 误预测模型，提高航班延误预测精度。本文方法主要两个方面的创新点：（a）由于航班延 误在机场内和机场之间进行传播，通过利用相关系数法对影响机场延误的时空特征进行分 析，构建时间特征变量和空间特征变量（b）首次将LSTM神经网络推广和应用到机场航班 延误预测中，构建一种时空LSTM神经网络模型，从而可以更好地表征机场时空关联信息。 通过实际数据集对模型进行验证，证明时空LSTM神经网络模型对于延误预测方面优于主流 方法。 二、数据源及预处理 本文实验数据来源于美国 FAA 的 ASPM 数据库（www.faa.gov），获取了 2015 年 1 月至 2018 年 11 月美国 77 主要关联机场的航班延误相关数据，共计 2462336 条数据，每条数据 包含机场信息、日期、时间、离港飞机数量、到港飞机数量、小时离港平均延误、小时到 港平均延误、离港延误率、到港延误率等属性。图 1 为 2018 年 77 个主要机场的航班延误 分布图，其中红色圆形面积表示延误航班的数量，面积越大延误的数量越多。从图中可以 看出，平均延误在 50 分钟以上的机场有 3 个，延误在 20 分钟以下的机场有 7 个，大部分 机场延误在 30 到 40 分钟之间。延误排名前三的机场分别是 ANC（安克雷奇国际机场）， MIA（迈阿密国际机场）以及 ORD(奥黑尔国际机场)。 通过对原始数据进行质量分析发现，数据中含有一定的空值、异常值、重复数据和缺失 数据，分别占数据的8%、7.6%、2.3%和8.3%，共计占总数据的26.2%。这些异常数据将会对 模型建立和延误预测带来较大的干扰。为保证数据的正确性和有效性，避免数据不稳定对预 测效果造成影响，根据质量分析的结果，对数据进行预处理。经过数据预处理后，整理出77
个主要机场的延误数据,共计2431156条数据 图1机场延误分布图 三、时空特征变量 如何来构建表征延误特征的变量,对延误预测精度至关重要,本节将根据机场延误的 时空相关性来构建表征机场延误的特征变量。 般来说,在同一个机场中,前一时刻的航班延误会影响到后一时刻航班正常起飞, 导致航班延误在整个机场中传播,会导致每天不同时间点延误程度不一样。此外,由于周 至周日每天航班量会有所差别,航班越多,机场延误程度概率会更高。因此利用星期属 性可以在一定程度上表征延误程度。同样,由于天气情况是影响延误最重要的因素,而每 个机场之间天气差别比较大,利用月份作为延误特征属性,可以表征天气对延误的影响。 根据各机场历史延误程度,将美国77个主要机场分为高延误机场、中等延误机场和低延误 机场。通过对三类机场分别进行统计分析,发现三类机场在时间周期上存在类似的分布特 性。图2(a)给出了三类在一天中每个小时的平均延误情况,每个小时的延误会有一定波动 性,其中低延误机场的延误水平较低,波动性较弱。从图2(b)可以看出,星期一至星期天, 每天的平均延误程度不一样,最长可延误80分钟左右,同理,低延误机场的表征能力较 弱。从图2(c)可以看出,对于高等延误机场,延误水平每月有很强的波动性且平均延误时 间较髙;对于中等延误机场,延误水平随着时间变量无较大波动且平均延误时间中等:而低 延误机场整体延误水平极低。综上所述,能够发现延误水平与时间类型有较强的关联性 小时属性可以表征一天中不同时间点的延误波动特性,反映航班延误的机场内部延误分布 特性。同样,星期可以反映航班量的多少,月份可以反映天气情况,从而可以间接表征航 班延误程度。因此,本文将小时、星期和月份三个属性作为时间特征变量 机场延误除了和时间有相关性外,延误在机场之间也会相互传播,比如机场的航班离 港会受到目的地机场延误情况的影响,当目的地机场出现恶劣天气时,通常会出现机场大 面积延误,从而会影响到关联机场的航班离港,导致关联机场出发航班出现延误。从图
个主要机场的延误数据，共计2431156条数据。 图1 机场延误分布图 三、时空特征变量 如何来构建表征延误特征的变量，对延误预测精度至关重要，本节将根据机场延误的 时空相关性来构建表征机场延误的特征变量。 一般来说，在同一个机场中，前一时刻的航班延误会影响到后一时刻航班正常起飞， 导致航班延误在整个机场中传播，会导致每天不同时间点延误程度不一样。此外，由于周 一至周日每天航班量会有所差别，航班越多，机场延误程度概率会更高。因此利用星期属 性可以在一定程度上表征延误程度。同样，由于天气情况是影响延误最重要的因素，而每 个机场之间天气差别比较大，利用月份作为延误特征属性，可以表征天气对延误的影响。 根据各机场历史延误程度，将美国77个主要机场分为高延误机场、中等延误机场和低延误 机场。通过对三类机场分别进行统计分析，发现三类机场在时间周期上存在类似的分布特 性。图2(a)给出了三类在一天中每个小时的平均延误情况，每个小时的延误会有一定波动 性,其中低延误机场的延误水平较低，波动性较弱。从图2(b)可以看出，星期一至星期天， 每天的平均延误程度不一样，最长可延误80分钟左右，同理，低延误机场的表征能力较 弱。从图2(c)可以看出，对于高等延误机场，延误水平每月有很强的波动性且平均延误时 间较高;对于中等延误机场，延误水平随着时间变量无较大波动且平均延误时间中等；而低 延误机场整体延误水平极低。综上所述，能够发现延误水平与时间类型有较强的关联性。 小时属性可以表征一天中不同时间点的延误波动特性，反映航班延误的机场内部延误分布 特性。同样，星期可以反映航班量的多少，月份可以反映天气情况，从而可以间接表征航 班延误程度。因此，本文将小时、星期和月份三个属性作为时间特征变量。 机场延误除了和时间有相关性外，延误在机场之间也会相互传播，比如机场的航班离 港会受到目的地机场延误情况的影响，当目的地机场出现恶劣天气时，通常会出现机场大 面积延误，从而会影响到关联机场的航班离港，导致关联机场出发航班出现延误。从图
2(d)可知,机场的出发延误和到达延误有较强的相关性,具有同步增长的趋势。同时, 个机场的航班延误情况与其所在的航线网络以及连接的始发到达机场的延误水平有着较大 的关联,相关联的机场航班延误情况会相互波及,关联的机场越多,航班越繁忙,造成延 误的可能性越大。依据η7个机场的平均延误水平,高延误机场均位于美国较为繁华的城 市。根据以上分析,为了预测某个机场的延误,除了以该机场的出发延误和到达延误作为 特征变量外,将关联机场的出发延误和到达延误作为特征属性。此外,本文还将国家空域 状态作为延误特征属性,利用聚类分析法对2015年1月至2018年1月数据进行挖掘,将整个 空域系统的延误状态分为6类。 一高误机场一一中等误机场 低误机 高运机场一普一中等识机场一低延试机场 0113456789101112131415161712192021222 母小时 高误误机场一中等机晒一低误机暗 10—出发延误—到达延误一 0300 一金 图2机场延误趋势图.(a)小时延误分布图,(b)星期延误分布图,(c)月延误分布图,(d)不同 机场离港和到港延误情况 四、时空LSTM预测模型 LSTM神经网络由 Hochreiter和 Schmidhuber在1997年提出,是RN网络的一种变形,通 过对RN神经网络隐藏层的设计做了改进,有效克服了梯度消失问题。目前已经被广泛应用 于机器翻译、语音识别等自然语言处理领域,特别是在地面交通预测方面,预测性能 优于传统的时间序列模型方法四。 与城市交通流预测具有类似的特性,对某个机场未来某个时间段的平均延误进行预 测,本文提出将LSIM神经网络推广和应用到机场航班延误预测,并结合第三部分所构建的 机场延误时空特征变量,构建一种时空LSIM网络航班延误预测模型。时空LSTM网络结构如 图3所示,利用横坐标表示时间变量,可以表征延误在时间上的传播特性,而纵坐标表示
2(d)可知，机场的出发延误和到达延误有较强的相关性，具有同步增长的趋势。同时，一 个机场的航班延误情况与其所在的航线网络以及连接的始发到达机场的延误水平有着较大 的关联，相关联的机场航班延误情况会相互波及，关联的机场越多，航班越繁忙，造成延 误的可能性越大。依据77个机场的平均延误水平，高延误机场均位于美国较为繁华的城 市。根据以上分析，为了预测某个机场的延误，除了以该机场的出发延误和到达延误作为 特征变量外，将关联机场的出发延误和到达延误作为特征属性。此外，本文还将国家空域 状态作为延误特征属性，利用聚类分析法对2015年1月至2018年11月数据进行挖掘，将整个 空域系统的延误状态分为6类。 (a) (b) (c) (d) 图2 机场延误趋势图.(a)小时延误分布图,(b)星期延误分布图,(c)月延误分布图,(d)不同 机场离港和到港延误情况 四、时空 LSTM 预测模型 LSTM 神经网络由Hochreiter和Schmidhuber在1997年提出，是RNN网络的一种变形，通 过对RNN神经网络隐藏层的设计做了改进，有效克服了梯度消失问题。目前已经被广泛应用 于机器翻译、语音识别等自然语言处理领域[15-22] ，特别是在地面交通预测方面，预测性能 优于传统的时间序列模型方法[23-30] 。 与城市交通流预测具有类似的特性，对某个机场未来某个时间段的平均延误进行预 测，本文提出将LSTM神经网络推广和应用到机场航班延误预测，并结合第三部分所构建的 机场延误时空特征变量，构建一种时空LSTM网络航班延误预测模型。时空LSTM网络结构如 图3所示，利用横坐标表示时间变量，可以表征延误在时间上的传播特性，而纵坐标表示