【机器学习】基于三支决策的序列数据代价敏感分类算法.pdf

第14卷第6期智能系统学报 Vol.14 No.6 2019年11月 CAAI Transactions on Intelligent Systems Nov.2019 D0:10.11992/tis.201905049 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20190830.1438.004.html 基于三支决策的序列数据代价敏感分类算法刘牧雷，徐菲菲 (上海电力学院计算机科学与技术学院，上海200090)】摘要：代价敏感分类区别于一般分类方法，更关注高代价类别的分类准确性而容忍全局分类的准确性。三支决策作为一种代价敏感分类问题的解决思路，缺乏对序列数据的支持。结合LSTM模型处理序列数据的能力，提出一种使用三支决策(3WD)改进的序列数据分类方法。方法经过LSTM网络对原数据进行粗分类；对分类结果进行整体代价评估：最终，对高风险分类进行延迟或拒绝处理。方法在4个数据集上进行了测试，并进行了2组对比实验。实验结果表明：本文方法在不改变LSTM模型的情况下，对LSTM模型的分类结果进行了代价区分。关键词：代价敏感：三支决策；长短期记忆网络；序列数据分类；分类算法；高代价类别：代价评估中图分类号：TP181文献标志码：A文章编号：1673-4785(2019)06-1255-07 中文引用格式：刘牧雷，徐菲菲.基于三支决策的序列数据代价敏感分类算法.智能系统学报，2019,14(6)：1255-1261. 英文引用格式：LIU Mulei,,XU Feifei..A sequence data,cost-sensitive classification algorithm based on three-way decisionsJ. CAAI transactions on intelligent systems,2019,14(6):1255-1261. A sequence data,cost-sensitive classification algorithm based on three-way decisions LIU Mulei,XU Feifei (School of Computer Science and Technology,Shanghai University of Electric Power,Shanghai 200090,China) Abstract:Cost-sensitive classification is different from the general classification method,which pays more attention to the classification accuracy of high-cost categories,but tolerates the accuracy of global classification.Three-way de- cisions are a solution to a cost-sensitive classification problem and lack support for sequence data.Combined with the ability of the LSTM model in sequence data processing,a method for classifying sequence data a using three-way de- cision method (3WD)is proposed.First,a general classification of the original data was done through the LSTM net- work;second,an overall cost estimate was performed on the classification result of step one;finally,the high-risk result was delayed or rejected.Methods were tested on four data sets and two sets of comparative experiments were per- formed.Experimental results showed that the new method distinguished the classification results of the LSTM model without changing the original structure. Keywords:cost-sensitive;three-way decision;LSTM:sequence data classification;classification algorithm;high-cost categorie;cost estimate 当前，LSTM作为深度学习的一种处理序列方式来使分类器获得对某一类代价敏感类别更高数据最为流行的解决方案，拥有着较传统方案更的关注从而实现减少整体的代价。但是这种方加实用性强且准确率高的特点②。但是，基于深法的缺点如前文所述。为了训练对高代价分类敏度学习的代价敏感决策仍未得到主流的研究关感的模型，筛选出的数据集将会面临严重的数据注。当前的研究重点多集中于如何更高效的获得不平衡问题。而无论是填充或者再平衡的方式，精确的整体准确率。在有关于深度学习的代价敏都会使原数据集的结构改变。其次，无论是对感分类或决策问题上，当前的算法常见解决方案数据集的预处理还是对运行参数或者模型结构的多集中于通过对数据的预处理和运行参数调整的调整，都与具体问题相关性较大”。对于不同的具体问题，数据清洗和参数调整或模型调整的优收稿日期：2019-05-26.网络出版日期：2019-08-30 通信作者：徐菲菲.E-mail:xufeifeil983@hotmail.com 劣与模型设计者的经验与对问题的了解有着较大

DOI: 10.11992/tis.201905049 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20190830.1438.004.html 基于三支决策的序列数据代价敏感分类算法刘牧雷，徐菲菲（上海电力学院计算机科学与技术学院，上海 200090）摘要：代价敏感分类区别于一般分类方法，更关注高代价类别的分类准确性而容忍全局分类的准确性。三支决策作为一种代价敏感分类问题的解决思路，缺乏对序列数据的支持。结合 LSTM 模型处理序列数据的能力，提出一种使用三支决策 (3WD) 改进的序列数据分类方法。方法经过 LSTM 网络对原数据进行粗分类；对分类结果进行整体代价评估；最终，对高风险分类进行延迟或拒绝处理。方法在 4 个数据集上进行了测试，并进行了 2 组对比实验。实验结果表明：本文方法在不改变 LSTM 模型的情况下，对 LSTM 模型的分类结果进行了代价区分。关键词：代价敏感；三支决策；长短期记忆网络；序列数据分类；分类算法；高代价类别；代价评估中图分类号：TP181 文献标志码：A 文章编号：1673−4785(2019)06−1255−07 中文引用格式：刘牧雷, 徐菲菲. 基于三支决策的序列数据代价敏感分类算法 [J]. 智能系统学报, 2019, 14(6): 1255–1261. 英文引用格式：LIU Mulei, XU Feifei. A sequence data, cost-sensitive classification algorithm based on three-way decisions[J]. CAAI transactions on intelligent systems, 2019, 14(6): 1255–1261. A sequence data, cost-sensitive classification algorithm based on three-way decisions LIU Mulei，XU Feifei (School of Computer Science and Technology, Shanghai University of Electric Power, Shanghai 200090, China) Abstract: Cost-sensitive classification is different from the general classification method, which pays more attention to the classification accuracy of high-cost categories, but tolerates the accuracy of global classification. Three-way decisions are a solution to a cost-sensitive classification problem and lack support for sequence data. Combined with the ability of the LSTM model in sequence data processing, a method for classifying sequence data a using three-way decision method (3WD) is proposed. First, a general classification of the original data was done through the LSTM network; second, an overall cost estimate was performed on the classification result of step one; finally, the high-risk result was delayed or rejected. Methods were tested on four data sets and two sets of comparative experiments were performed. Experimental results showed that the new method distinguished the classification results of the LSTM model without changing the original structure. Keywords: cost-sensitive; three-way decision; LSTM; sequence data classification; classification algorithm; high-cost categorie; cost estimate 当前，LSTM 作为深度学习的一种处理序列数据最为流行的解决方案，拥有着较传统方案更加实用性强且准确率高的特点[1-2]。但是，基于深度学习的代价敏感决策仍未得到主流的研究关注。当前的研究重点多集中于如何更高效的获得精确的整体准确率。在有关于深度学习的代价敏感分类或决策问题上，当前的算法常见解决方案多集中于通过对数据的预处理和运行参数调整的方式来使分类器获得对某一类代价敏感类别更高的关注从而实现减少整体的代价[3]。但是这种方法的缺点如前文所述。为了训练对高代价分类敏感的模型，筛选出的数据集将会面临严重的数据不平衡问题。而无论是填充或者再平衡的方式，都会使原数据集的结构改变[4]。其次，无论是对数据集的预处理还是对运行参数或者模型结构的调整，都与具体问题相关性较大[5-7]。对于不同的具体问题，数据清洗和参数调整或模型调整的优劣与模型设计者的经验与对问题的了解有着较大收稿日期：2019−05−26. 网络出版日期：2019−08−30. 通信作者：徐菲菲. E-mail：xufeifei1983@hotmail.com. 第 14 卷第 6 期智能系统学报 Vol.14 No.6 2019 年 11 月 CAAI Transactions on Intelligent Systems Nov. 2019

·1256· 智能系统学报第14卷的关系。并且，对于不同的问题，相同的解决方在决策粗糙集公式化描述中，X是全集U的案并不能保证稳定的表现。在不同的数据集之子集，状态集合可以表示为2={X,X,X和X 间，相同的数据清洗和参数调整所带来的模型上分别表示属于X和不属于X。为了方便，子集和的改变影响是不同的。子集的状态都使用X来表示。状态X对应的动基于此，本文提出的将三支决策运用于深度作集合为A={PB,N,其中P、B、N分别表示3 学习模型能够一定程度上解决上述问题。1)三支种判定动作，即x∈POS(X)、x∈BND(X)、x∈NEG(X)。决策算法的理论基础为粗糙集理论，以分类置信三支决策的损失函数由各个动作带来的损失决定。度为基础判断决策或分类代价。从算法逻辑的角如表1所示，其中p、BP、p表示当x属于X 度，三支决策算法要求更高的全局分类的准确性时采取动作P、B、N产生的损失，w、BN、w表而不是对单独高代价类的分类，此特点使得三支示当对象属于X时采取动作P、B、N时产生的损失。决策算法与更高的更广泛的分类算法优点相结合，在前置分类器不用做出改动或者调整的情况表1三支决策的损失函数 Table 1 Loss function of 3WD 下降低决策的风险。2)三支决策算法倾向于判断单独决策。因此，新改进的算法将避免在正常预动作女 -X 处理的前提下，将避免因平衡特殊分类类别而造 App N 成的数据重新扩展或裁剪，从而进一步影响数据 B ABP ABN 平衡问题。综上，结合三支决策的LSTM模型可 ANP ANN 以在原先的深度模型的基础上，进一步增强模型根据最小风险决策规则：在代价敏感问题上的表现。 P)当P,(W[x≥a时，x∈POS(X: 1相关工作 B)当B<P,(X[x)<a时，x∈BND(X): N)当P,(X[x)≤B时，x∈NEG(X): 1.1三支决策其中三支决策⑧是Y.Y.Yao由概率粗糙集理论提 APN-ABN Q= (1) 出的一种新决策思想。相较于传统的“是，否”二 (APN-ABN)+(ABP-APP) 支决策而言，三支决策提出了一种不同但是更合 B= ABN -ANN (☑BN-NN)+(Np-p) (2) 理的决策思想，即当对象当前提供的信息不足以支撑决策时，采用延迟决策，等待更多信息来完且成最终决策。所以，三支决策可以规避分类信息 0≤B<a≤1 (3) 不足时盲目决策造成的风险。 1.2长短时记忆网络三支决策在进行分类决策前，需对样本进行 LSTM是由Hoehreiterhe与Schmiduhber于域的划分。划分的原理基于粗糙集理论。按照粗 1997年提出后经过大量的改进，目前被广泛应用网，糙集的定义，根据元素x是否属于概念A,x与A 成为目前处理序列与时序问题上的热门方案。将分为3种关系：x∈A,x∈A,x∈BND(A)。由此， LSTM是由一般的RNN改进而来。LSTM与一般考虑一般分类问题，将元素x是否符合概念A作的RNN的主要区别是在LSTM中的神经元不再为分类标准，将可能会得到x∈BND(A),即元素x 是由单纯的神经元组成而是由4个功能不同的门属于概念A的边界域。由此，可得知决策粗糙集来共同作用。其中包括了输入门、输出门、状态在代价敏感分类问题上的整体思路。门，以及遗忘门。具体的结构如图1所示。 tanh (X 中图1LSTM网络结构 Fig.1 LSTM network structure

的关系。并且，对于不同的问题，相同的解决方案并不能保证稳定的表现。在不同的数据集之间，相同的数据清洗和参数调整所带来的模型上的改变影响是不同的。基于此，本文提出的将三支决策运用于深度学习模型能够一定程度上解决上述问题。1) 三支决策算法的理论基础为粗糙集理论，以分类置信度为基础判断决策或分类代价。从算法逻辑的角度，三支决策算法要求更高的全局分类的准确性而不是对单独高代价类的分类，此特点使得三支决策算法与更高的更广泛的分类算法优点相结合，在前置分类器不用做出改动或者调整的情况下降低决策的风险。2) 三支决策算法倾向于判断单独决策。因此，新改进的算法将避免在正常预处理的前提下，将避免因平衡特殊分类类别而造成的数据重新扩展或裁剪，从而进一步影响数据平衡问题。综上，结合三支决策的 LSTM 模型可以在原先的深度模型的基础上，进一步增强模型在代价敏感问题上的表现。 1 相关工作 1.1 三支决策三支决策[8] 是 Y.Y.Yao 由概率粗糙集理论提出的一种新决策思想。相较于传统的“是，否”二支决策而言，三支决策提出了一种不同但是更合理的决策思想，即当对象当前提供的信息不足以支撑决策时，采用延迟决策，等待更多信息来完成最终决策。所以，三支决策可以规避分类信息不足时盲目决策造成的风险。 x A x A x ∈ A x ∈ ¬A x ∈ BND(A) x A x ∈ BND(A) x A 三支决策在进行分类决策前，需对样本进行域的划分。划分的原理基于粗糙集理论。按照粗糙集的定义，根据元素是否属于概念，与将分为 3 种关系： , , 。由此，考虑一般分类问题，将元素是否符合概念作为分类标准，将可能会得到，即元素属于概念的边界域。由此，可得知决策粗糙集在代价敏感分类问题上的整体思路。 X U Ω = {X,¬X} X ¬X X X X X ∧ = {P,B,N} P、B、N x ∈ POS(X) x ∈ BND(X) x ∈ NEG(X) λPP、λBP、λNP x X P、B、N λPN、λBN、λNN ¬X P、B、N 在决策粗糙集公式化描述中，是全集的子集，状态集合可以表示为，和分别表示属于和不属于。为了方便，子集和子集的状态都使用来表示。状态对应的动作集合为，其中分别表示 3 种判定动作，即、、。三支决策的损失函数由各个动作带来的损失决定。如表 1 所示，其中表示当属于时采取动作产生的损失，表示当对象属于时采取动作时产生的损失。表 1 三支决策的损失函数 Table 1 Loss function of 3WD 动作 X ¬X P λPP λPN B λBP λBN N λNP λNN 根据最小风险决策规则： (P) 当 Pr (X|[x]) ⩾ α 时，x ∈ POS(X); (B) 当 β < Pr (X|[x]) < α 时，x ∈ BND(X); (N) 当 Pr (X|[x]) ⩽ β 时，x ∈ NEG(X); 其中 α = λPN −λBN (λPN −λBN)+(λBP −λPP) (1) β = λBN −λNN (λBN −λNN)+(λNP −λNP) (2) 且 0 ⩽ β < α ⩽ 1 (3) 1.2 长短时记忆网络 LSTM 是由 Hoehreiterhe 与 Schmiduhber 于 1997 年提出后经过大量的改进，目前被广泛应用[9] ，成为目前处理序列与时序问题上的热门方案。 LSTM 是由一般的 RNN 改进而来。LSTM 与一般的 RNN 的主要区别是在 LSTM 中的神经元不再是由单纯的神经元组成而是由 4 个功能不同的门来共同作用。其中包括了输入门、输出门、状态门，以及遗忘门。具体的结构如图 1 所示。 × × × × × × × × × + + + ht−1 xt−1 xt xt+1 h ht+1 t tanh σ tanh σ σ tanh σ σ σ σ tanh tanh σ σ tanh 图 1 LSTM 网络结构 Fig. 1 LSTM network structure ·1256· 智能系统学报第 14 卷

第6期刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1257· LSTM的独特结构是为了使其能够解决长期错误分类的代价；P(x)表示算法将x划分至类别依赖问题而专门设计的。不同于RNN网络， j的概率；c(亿，》表示将i分类划分至j所产生的 LSTM的重复结构是由更加复杂的3个门相互连代价。接而成。包括遗忘门、输人门与输出门。对于每个类别i,L(x,)表示x所有可能的划式(4)(9)描述了细胞内各个门的处理流程。分结果的代价的概率和。故由式(10)知，当分类 f=(W[h-1,x:]+b) (4) 代价最小时，其分类结果P(x)不一定取到最大 i=r(W[h-1,+b) (5) 值。即为了得到更小的分类代价，可能会放弃最 C,tanh(Wc.[h-1.x]+bc) (6) 大的分类结果。 C:=f-C-+iC (7) 在如何使算法获得倾向性的问题上，有两种 o=c(W。·[h-1,x]+bo) (8) 经典算法：1)通过预处理，使算法对某些结果具 h =o-tanh (C) (9) 式(4)描述了遗忘门决定了当细胞更新时细有敏感性，此方法称为rescaling;2)希望通过以胞状态会丢弃什么信息。该门会读取h-1和x, 代价为基准修改不同分类在算法中的成员可能输出在[0，)之间的数值与原先细胞状态C-1相性，从而产生不同的倾向性。此方法称为rewei-- 结合。其中，1表示完全保留，0表示完全遗忘。 ghted。其中，h-1表示上一个细胞的输出，x表示当前细 2基于LSTM的三支决策分类算法胞的输入，c表示sigmod函数。式(5)描述输入门决定了让多少新的信息基于三支决策的LSTM算法在原有的加入到细胞状态中。第一步，细胞输入x与细胞 LSTM基础上，增加了三支决策步骤，对前端分类的上个输出h,-1会通过sigmod元来决定更新的器给出的预测结果做出接受、拒绝、延迟3种不内容。同的方案，算法流程如图2所示。式(6)描述了更新内容C。与式（⑤）同时，同样的输入会通过一个tanh元，生成备用的更新内容C。前瓷分类器式(7)描述了更新内容C,。将式(5)与式延迟 (6两部分结果相乘，将细胞状态由C-1更新至C。最终输出数据由式(8)的输出与当前细胞状拒绝态的一部分共同决定输出的最终值，如式(9)描述。以上为LSTM模型的基本工作流。图2基于LSTM的三支决策算法流程 Fig.2 Flow of 3WD based on LSTM 1.3代价敏感分类一般的，对于分类算法的研究的核心与重点算法包括两部分：1)前置分类器，用于初步为如何取得更高的分类准确率，但事实上，只要分类：2)三支决策，考虑决策风险，通过算法的判有误差存在，分类过程总会产生代价。而代价敏断降低决策风险。感分类就是关注如何使分类过程中产生的代价最 2.1前置分类器小。根据问题的难易程度，代价敏感问题常被分前置分类器的作用主要体现在前置分类器的为二分类与多分类问题。对于二分类问题，目前分类精度最终决定了整体上的分类效果。此后的大部分的代价敏感分类多是从非代价敏感分类算三支决策对前置分类器的分类结果做出评判，决法加以转化得到的。定接受、拒绝、或者延迟推断。对于LSTM分类结合上述，可将代价敏感分类等价于一个优器，主要用来解决分类和时序问题预测。输出包化问题：将实例使用分类算法A划分至类别1时，括预测结果C和预测的分类概率p。分类概率p 使损失函数L(x,)达到最小o: 用于下一步中三支决策算法来判断是否采纳分类 Lx.=∑PUc6, (10) 结果。 2.2三支决策式中：x表示一个实例；L(,)表示x的类别为i时三支决策对前置分类器给出的结果进行分

LSTM 的独特结构是为了使其能够解决长期依赖问题而专门设计的。不同于 RNN 网络， LSTM 的重复结构是由更加复杂的 3 个门相互连接而成。包括遗忘门、输入门与输出门。式 (4)~(9) 描述了细胞内各个门的处理流程。 ft = σ ( Wf ·[ht−1, xt]+bf ) (4) it = σ(Wi ·[ht−1, xt]+bi) (5) Cet = tanh(WC ·[ht−1 , xt]+bC) (6) Ct = ft ·Ct−1 +it ·Cet (7) ot = σ(Wo ·[ht−1, xt]+bo) (8) ht = ot ·tanh(Ct) (9) ht−1 xt [0,1] Ct−1 ht−1 xt σ 式 (4) 描述了遗忘门决定了当细胞更新时细胞状态会丢弃什么信息。该门会读取和，输出在之间的数值与原先细胞状态相结合。其中，1 表示完全保留，0 表示完全遗忘。其中，表示上一个细胞的输出，表示当前细胞的输入，表示 sigmod 函数。 xt ht−1 式 (5) 描述输入门决定了让多少新的信息加入到细胞状态中。第一步，细胞输入与细胞的上个输出会通过 sigmod 元来决定更新的内容。 Cet Cet 式 (6) 描述了更新内容。与式 (5) 同时，同样的输入会通过一个 tanh 元，生成备用的更新内容。 Ct Ct−1 Ct 式 (7) 描述了更新内容。将式 (5) 与式 (6) 两部分结果相乘，将细胞状态由更新至。最终输出数据由式 (8) 的输出与当前细胞状态的一部分共同决定输出的最终值，如式 (9) 描述。以上为 LSTM 模型的基本工作流。 1.3 代价敏感分类一般的，对于分类算法的研究的核心与重点为如何取得更高的分类准确率，但事实上，只要有误差存在，分类过程总会产生代价。而代价敏感分类就是关注如何使分类过程中产生的代价最小。根据问题的难易程度，代价敏感问题常被分为二分类与多分类问题。对于二分类问题，目前大部分的代价敏感分类多是从非代价敏感分类算法加以转化得到的。 A I L(x,i) 结合上述，可将代价敏感分类等价于一个优化问题: 将实例使用分类算法划分至类别时，使损失函数达到最小[10] ： L(x,i) = ∑ j P(j|x) c (i, j) (10) 式中：x 表示一个实例； L(x,i) 表示 x 的类别为 i 时 P(j|x) x j c (i, j) i j 错误分类的代价；表示算法将划分至类别的概率；表示将分类划分至所产生的代价。 i L(x,i) x P(j|x) 对于每个类别，表示所有可能的划分结果的代价的概率和。故由式 (10) 知，当分类代价最小时，其分类结果不一定取到最大值。即为了得到更小的分类代价，可能会放弃最大的分类结果。在如何使算法获得倾向性的问题上，有两种经典算法：1) 通过预处理，使算法对某些结果具有敏感性，此方法称为 rescaling[11] ；2) 希望通过以代价为基准修改不同分类在算法中的成员可能性，从而产生不同的倾向性。此方法称为 reweighted[12]。 2 基于 LSTM 的三支决策分类算法基于三支决策的 LST M 算法在原有的 LSTM 基础上，增加了三支决策步骤，对前端分类器给出的预测结果做出接受、拒绝、延迟 3 种不同的方案，算法流程如图 2 所示。分类三支决策结果前置分类器延迟拒绝接受图 2 基于 LSTM 的三支决策算法流程 Fig. 2 Flow of 3WD based on LSTM 算法包括两部分：1) 前置分类器，用于初步分类；2) 三支决策，考虑决策风险，通过算法的判断降低决策风险。 2.1 前置分类器 C p p 前置分类器的作用主要体现在前置分类器的分类精度最终决定了整体上的分类效果。此后的三支决策对前置分类器的分类结果做出评判，决定接受、拒绝、或者延迟推断。对于 LSTM 分类器，主要用来解决分类和时序问题预测。输出包括预测结果和预测的分类概率。分类概率用于下一步中三支决策算法来判断是否采纳分类结果。 2.2 三支决策三支决策对前置分类器给出的结果进行分第 6 期刘牧雷，等：基于三支决策的序列数据代价敏感分类算法 ·1257·

·1258· 智能系统学报第14卷析。根据式(1)(3)，可以得出相应的判断代价O。数据集均为分类任务。将根据前置分类器的分类结果X,与由对应 PM2.5数据集来自于UCI数据库，该数据集的损失函数A计算出的代价，由判断规则(PI)、记录了从2010年1月1日至2014年12月31日 (Bl)、ND判断，给出相应的决策建议。北京市的空气质量指数和气象数据。数据集为时 (PIi)FPr(Xu)≥a,THEN 1,∈POS(X) 间序列数据，特征为连续特征，任务可作为分类 (Bli)IF B:Pr(Xlu)<ai,THEN u;E BND(X) (Ni)FPr(XW)≤B,THEN:∈NEG(X) 或回归任务。数据一共43824条记录，特征共 2.3算法概述 13个，部分数据缺失。结合上述分析，本文提出基于LSTM与三支数据集中包括了时间，当日的温度、湿度、气决策的代价敏感分类算法，算法描述如下：压、风向、累计风速、累计降雨/降雪量、PM2.5指 BEGIN: 数共13个数据。其中的PM2.5指数为当日 1)输入f,t:分类特征，分类表 PM2.5值，为连续实数。当预测PM2.5值时，问题 2)1=由LSTM模型预测或分类数据t 为回归问题。若以判断PM2.5区间作为空气质量 3) 输入v:代价函数表判断时，问题为分类问题。本例中，将原数据集 4) 计算边界a,B 中的PM2.5均分为4个区间，从小到大分别标记 5) FOR样本iN: 为[优，良，一般，差]4类。根据前n-:的气象数计算分类概率p 据，预测tm的空气质量。 IFp:≥a: 图3表示了原数据集中，PM2.5与气象数据 i∈pos 的关系。图4表示了两段分类结果的分布信息。 ELSE IF a>pi≥B: iEbnd ELSE: ie neg 6)d=计算整体代价 )Fd>目标值d': GOTO 2 1000 END 500 3实验与结果 20 实验在自建实验平台中运行。实验平台包括4台服务器，每台服务器均使用相同的配置。 20 每台服务器有6个CPU,主频2.5GHz,运行内存 10000 20000 30000 40000 16GB。时间/d 测试数据集来自UCI开放数据集中的Beijing 图3原始数据集中的特征分布 PM2.5 Data Set International airline passengerso Fig.3 Frequency of features in this dataset 20 101520 25 30 10152025 30 天数/d 天数/d (a)2010-06 (b)2011-06

析。根据式 (1)~(3)，可以得出相应的判断代价 Ø。 X λ 将根据前置分类器的分类结果，与由对应的损失函数计算出的代价，由判断规则 (Pli)、 (Bli)、(Nli) 判断，给出相应的决策建议。 (Pli)IF Pr(X|ui) ⩾ αi , THEN ui ∈ POS(X) (Bli) IF βi < Pr(X|ui) < αi , THEN ui ∈ BND(X) (Nli) IF Pr(X|ui) ⩽ βi , THEN ui ∈ NEG(X) 2.3 算法概述结合上述分析，本文提出基于 LSTM 与三支决策的代价敏感分类算法，算法描述如下： BEGIN： 1) 输入 f ，t : 分类特征，分类表 t ′ 2) = 由 LSTM 模型预测或分类数据 t 3) 输入 v : 代价函数表 4) 计算边界 α，β i t ′ 5) FOR 样本 IN : 计算分类概率 pi IF : pi ⩾ α i ∈ pos ELSE IF : α > pi ⩾ β i ∈ bnd ELSE: i ∈ neg 6) d = 计算整体代价 d > d ′ 7) IF 目标值 : GOTO 2 END 3 实验与结果实验在自建实验平台中运行。实验平台包括 4 台服务器，每台服务器均使用相同的配置。每台服务器有 6 个 CPU，主频 2.5 GHz，运行内存 16 GB。测试数据集来自 UCI 开放数据集中的 Beijing PM2.5 Data Set 与 International airline passengers。数据集均为分类任务。 PM2.5 数据集来自于 UCI 数据库，该数据集记录了从 2010 年 1 月 1 日至 2014 年 12 月 31 日北京市的空气质量指数和气象数据。数据集为时间序列数据，特征为连续特征，任务可作为分类或回归任务。数据一共 43 824 条记录，特征共 13 个，部分数据缺失。 tn−i tn 数据集中包括了时间，当日的温度、湿度、气压、风向、累计风速、累计降雨/降雪量、PM2.5 指数共 1 3 个数据。其中的 PM2. 5 指数为当日 PM2.5 值，为连续实数。当预测 PM2.5 值时，问题为回归问题。若以判断 PM2.5 区间作为空气质量判断时，问题为分类问题。本例中，将原数据集中的 PM2.5 均分为 4 个区间，从小到大分别标记为 [ 优，良，一般，差 ]4 类。根据前的气象数据，预测的空气质量。图 3 表示了原数据集中，PM2.5 与气象数据的关系。图 4 表示了两段分类结果的分布信息。 0 10 000 20 000 30 000 40 000 时间/d 1 000 0 25 25 1 025 1 000 500 20 20 0 0 0 风速/ (m·s−1 ) 降雪量/ mm 降雨量/ mm −25 0 0 排放量/ (ug·m−3 ) 湿度/ °C 温度/ °C 气压/ hPa 图 3 原始数据集中的特征分布 Fig. 3 Frequency of features in this dataset 20 15 10 5 0 5 10 15 20 25 30 时刻天数/d 20 15 10 5 0 5 10 15 20 25 30 时刻天数/d (a) 2010-06 (b) 2011-06 ·1258· 智能系统学报第 14 卷