工程科学学报 Chinese Journal of Engineering 基于数控机床设备故障领域的命名实体识别 王欢朱文球吴岳忠何频捷万烂军 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan,ZHU Wen-qiu.WU Yue-zhong.HE Pin-jie,WAN Lan-jun 引用本文： 王欢，朱文球，吴岳忠，何频捷，万烂军.基于数控机床设备故障领域的命名实体识别工程科学学报，2020,42(4)：476- 482.doi10.13374j.issn2095-9389.2019.09.17.002 WANG Huan,ZHU Wen-qiu,WU Yue-zhong.HE Pin-jie,WAN Lan-jun.Named entity recognition based on equipment and fault field of CNC machine tools[J].Chinese Journal of Engineering,2020,42(4):476-482.doi:10.13374/j.issn2095- 9389.2019.09.17.002 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2019.09.17.002 您可能感兴趣的其他文章 Articles you may be interested in 基于BiLSTM的公共安全事件触发词识别 Public security event trigger identification based on Bidirectional LSTM 工程科学学报.2019,41(9外：1201htps:/doi.org/10.13374.issn2095-9389.2019.09.012 基于领域词典与CRF双层标注的中文电子病历实体识别 Clinical named entity recognition from Chinese electronic medical records using a double-layer annotation model combining a domain dictionary with CRF 工程科学学报.2020,42(4)：469 https:/loi.org10.13374.issn2095-9389.2019.09.04.004 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报.2018,408：989htps:doi.org10.13374j.issn2095-9389.2018.08.013 基于文本语料的涉恐事件实体属性抽取 Entity and attribute extraction of terrorism event based on text corpus 工程科学学报.2020,42(4：500 https:1doi.org10.13374j.issn2095-9389.2019.09.13.003 基于多域流形的行星齿轮箱局部故障识别 Localized fault identification of planetary gearboxes based on multiple-domain manifold 工程科学学报.2017,395：769 https:/doi.org10.13374.issn2095-9389.2017.05.016
基于数控机床设备故障领域的命名实体识别 王欢 朱文球 吴岳忠 何频捷 万烂军 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan, ZHU Wen-qiu, WU Yue-zhong, HE Pin-jie, WAN Lan-jun 引用本文: 王欢, 朱文球, 吴岳忠, 何频捷, 万烂军. 基于数控机床设备故障领域的命名实体识别[J]. 工程科学学报, 2020, 42(4): 476- 482. doi: 10.13374/j.issn2095-9389.2019.09.17.002 WANG Huan, ZHU Wen-qiu, WU Yue-zhong, HE Pin-jie, WAN Lan-jun. Named entity recognition based on equipment and fault field of CNC machine tools[J]. Chinese Journal of Engineering, 2020, 42(4): 476-482. doi: 10.13374/j.issn2095- 9389.2019.09.17.002 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.09.17.002 您可能感兴趣的其他文章 Articles you may be interested in 基于BiLSTM的公共安全事件触发词识别 Public security event trigger identification based on Bidirectional LSTM 工程科学学报. 2019, 41(9): 1201 https://doi.org/10.13374/j.issn2095-9389.2019.09.012 基于领域词典与CRF双层标注的中文电子病历实体识别 Clinical named entity recognition from Chinese electronic medical records using a double-layer annotation model combining a domain dictionary with CRF 工程科学学报. 2020, 42(4): 469 https://doi.org/10.13374/j.issn2095-9389.2019.09.04.004 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报. 2018, 40(8): 989 https://doi.org/10.13374/j.issn2095-9389.2018.08.013 基于文本语料的涉恐事件实体属性抽取 Entity and attribute extraction of terrorism event based on text corpus 工程科学学报. 2020, 42(4): 500 https://doi.org/10.13374/j.issn2095-9389.2019.09.13.003 基于多域流形的行星齿轮箱局部故障识别 Localized fault identification of planetary gearboxes based on multiple-domain manifold 工程科学学报. 2017, 39(5): 769 https://doi.org/10.13374/j.issn2095-9389.2017.05.016
工程科学学报.第42卷.第4期：476-482.2020年4月 Chinese Journal of Engineering,Vol.42,No.4:476-482,April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.17.002;http://cje.ustb.edu.cn 基于数控机床设备故障领域的命名实体识别 王欢2)，朱文球2)，吴岳忠12)四，何频捷2)，万烂军1,2) 1)湖南工业大学计算机学院.株洲4120082)湖南省智能信息感知及处理技术重点实验室，株洲412008 ☒通信作者，E-mail:yuezhong..wu@163.com 摘要为了给数控机床故障的精准诊断提供保障，延长数控机床使用周期，以数控机床历史维修记录为研究对象，对数控 机床设备故障领域的命名实体识别进行了研究.在分析历史维修记录中的故障描述特点后，提出了一种基于双向长短期记 忆网络(Bidirectional long short-term memory,.BLSTM)与具有回路的条件随机场(Conditional random field with loop,L-CRF)相 结合的命名实体识别方法.首先，对输入语句进行分词和标注，使用Word2vec中的Skip-gram模型对标注语料进行预训练， 将其生成的字向量通过词嵌入层转化为字向量序列：然后，将字向量序列输入BLSTM学习长期依赖信息；最后将句子表达 输入L-CF获取全局最优序列.实验结果表明，该方法明显优于其他命名实体识别方法，为数控机床设备的智能检修与实时 诊断任务打下了坚实的基础. 关键词数控机床：设备故障：双向长短期记忆网络：具有回路的条件随机场：命名实体识别 分类号TP391.1 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan 2).ZHU Wen-qiu2).WU Yue-zhong2.HE Pin-jie2.WAN Lan-jun 2) 1)School of Computer,Hunan University of Technology,Zhuzhou 412008,China 2)Hunan Key Laboratory of Intelligent Information Perception and Processing Technology,Zhuzhou 412008,China Corresponding author,E-mail:yuezhong wu@163.com ABSTRACT With the advent of intelligent manufacturing and big data,the Made in China 2025 Initiative and Industry 4.0 have been paying increasing attention to automation and intelligent industrial equipment.In the background of the present times,the complexity and intelligence of computer numerical control(CNC)machine tools have been continuously improved,and the types and descriptions of CNC machine tools'faults have increased,presenting serious challenges to equipment maintenance and diagnosis of CNC machine tools.In order to provide guarantee for accurate fault diagnosis of CNC machine tools,and to prolong the service life of CNC machine tools,it is necessary to improve the performance of named entity recognition system.Accordingly,the named entity recognition in the equipment and faults field of CNC machine tools were studied,taking the historical examinations and repair records of CNC machine tools as the research object.After analyzing the characteristics of fault description in the historical examinations and repair records,a named entity recognition method was proposed based on the combination of bidirectional long short-term memory (BLSTM)and conditional random field with loop (L-CRF).The first step is to input a sentence and segment and label the input sentence.The annotation corpus is combined with the pre-trained generated word vector by using Skip-gram model in Word2vec,and the word vector is converted into a word vector sequence through the word embedding layer.In the second step,the word vector sequence is integrated into the BLSTM layer to learn long term dependency information.The final step is to input the sentence expression into the L-CRF layer 收稿日期：2019-09-17 基金项目：国家重点研发计划资助项目(2018Y℉B1700200):国家自然科学基金青年科学基金资助项目(61702177)：湖南省教育厅开放平台 创新基金资助项目(17K029:智能信息感知及处理技术湖南省重点实验室开放课题资助项目(2017K℉07)：湖南省重点领域研发计划课题 资助项目(2019GK2133):湖南省教有厅科学研究优秀青年资助项目(19B147)
基于数控机床设备故障领域的命名实体识别 王 欢1,2)，朱文球1,2)，吴岳忠1,2) 苣，何频捷1,2)，万烂军1,2) 1) 湖南工业大学计算机学院，株洲 412008 2) 湖南省智能信息感知及处理技术重点实验室，株洲 412008 苣通信作者，E-mail: yuezhong.wu@163.com 摘 要 为了给数控机床故障的精准诊断提供保障，延长数控机床使用周期，以数控机床历史维修记录为研究对象，对数控 机床设备故障领域的命名实体识别进行了研究. 在分析历史维修记录中的故障描述特点后，提出了一种基于双向长短期记 忆网络（Bidirectional long short-term memory, BLSTM）与具有回路的条件随机场（Conditional random field with loop, L-CRF）相 结合的命名实体识别方法. 首先，对输入语句进行分词和标注，使用 Word2vec 中的 Skip-gram 模型对标注语料进行预训练， 将其生成的字向量通过词嵌入层转化为字向量序列；然后，将字向量序列输入 BLSTM 学习长期依赖信息；最后将句子表达 输入 L-CRF 获取全局最优序列. 实验结果表明，该方法明显优于其他命名实体识别方法，为数控机床设备的智能检修与实时 诊断任务打下了坚实的基础. 关键词 数控机床；设备故障；双向长短期记忆网络；具有回路的条件随机场；命名实体识别 分类号 TP391.1 Named entity recognition based on equipment and fault field of CNC machine tools WANG Huan1,2) ，ZHU Wen-qiu1,2) ，WU Yue-zhong1,2) 苣 ，HE Pin-jie1,2) ，WAN Lan-jun1,2) 1) School of Computer, Hunan University of Technology, Zhuzhou 412008, China 2) Hunan Key Laboratory of Intelligent Information Perception and Processing Technology, Zhuzhou 412008, China 苣 Corresponding author, E-mail: yuezhong.wu@163.com ABSTRACT With the advent of intelligent manufacturing and big data, the Made in China 2025 Initiative and Industry 4.0 have been paying increasing attention to automation and intelligent industrial equipment. In the background of the present times, the complexity and intelligence of computer numerical control (CNC) machine tools have been continuously improved, and the types and descriptions of CNC machine tools ’ faults have increased, presenting serious challenges to equipment maintenance and diagnosis of CNC machine tools. In order to provide guarantee for accurate fault diagnosis of CNC machine tools, and to prolong the service life of CNC machine tools, it is necessary to improve the performance of named entity recognition system. Accordingly, the named entity recognition in the equipment and faults field of CNC machine tools were studied, taking the historical examinations and repair records of CNC machine tools as the research object. After analyzing the characteristics of fault description in the historical examinations and repair records, a named entity recognition method was proposed based on the combination of bidirectional long short-term memory (BLSTM) and conditional random field with loop (L-CRF). The first step is to input a sentence and segment and label the input sentence. The annotation corpus is combined with the pre-trained generated word vector by using Skip-gram model in Word2vec, and the word vector is converted into a word vector sequence through the word embedding layer. In the second step, the word vector sequence is integrated into the BLSTM layer to learn long term dependency information. The final step is to input the sentence expression into the L-CRF layer 收稿日期: 2019−09−17 基金项目: 国家重点研发计划资助项目 (2018YFB1700200)；国家自然科学基金青年科学基金资助项目 (61702177)；湖南省教育厅开放平台 创新基金资助项目 (17K029)；智能信息感知及处理技术湖南省重点实验室开放课题资助项目（2017KF07）；湖南省重点领域研发计划课题 资助项目 (2019GK2133)；湖南省教育厅科学研究优秀青年资助项目（19B147） 工程科学学报，第 42 卷，第 4 期：476−482，2020 年 4 月 Chinese Journal of Engineering, Vol. 42, No. 4: 476−482, April 2020 https://doi.org/10.13374/j.issn2095-9389.2019.09.17.002; http://cje.ustb.edu.cn
王欢等：基于数控机床设备故障领域的命名实体识别 477 to obtain the global optimal sequence.The experimental results show that the method is superior to other named entity recognition methods,which lays a solid foundation for the intelligent maintenance and the real-time diagnostic tasks of CNC machine tools KEY WORDS computer numerical control machine tools;equipment failure;bidirectional long short-term memory;conditional random field with loop;named entity recognition 随着智能制造的快速发展和云计算-]时代 息而无法获取上文信息.Graves与Schmidhuber 的到来，“互联网+工业”成为了学者研究的重点， 构建了BLSTM模块，可以在输入的方向获得长时 工业设备智能化对数控机床设备的检修与诊断提 的上下文信息.杨红梅等2I提出了BLSTM-CRF 出了严峻挑战.数控机床设备智能检修与实时诊 命名实体识别模型，使标签结果更为合理.Lin等) 断是保障数控机床设备安全、稳定、经济运行的 提出了多通道BILSTM-CRF模型在社交媒体中的 重要手段，是实现数控机床智能制造的关键.数控 新兴命名实体识别方法.Bharadwaj等在BILSTM- 机床设备智能检修与实时诊断是通过整合海量、 CRF模型上加入了音韵特征和attention机制，对有 多源、异构的设备检修大数据，利用自然语言处 效的字符关注度更高；L等啊针对包装专业领域 理、语义匹配、知识图谱构建等技术对工业设备 语料匮乏的特点，提出了一个多层神经网络模型 故障现象进行全面诊断，实现设备检修、诊断的智 进行包装领域的命名实体识别，该模型可以自动 能化管理；数控机床设备故障命名实体的识别作 学习分布式单词特征和部分语音特征，实现 为图谱识别、自然语言处理、语义匹配等复杂任 NER包装产品技术；易士翔等（针对公共安全事 务的基础工作，对数控机床设备智能检修与实时 件的触发词识别任务提出BLSTM与前向神经网 诊断起着至关重要的作用.为了提高命名实体识 络相结合的模型，在突发事件语料库上取得了较 别系统的性能，为数控机床故障精准诊断提供保 好的识别效果 障，延长数控机床的使用周期，本文对数控机床设 尽管通用领域深度学习的命名实体识别方法 备故障领域的命名实体识别方法展开了研究，通 取得了较好的成果，但在数控机床领域中依然存 过提高命名实体识别效果为后续数控机床智能检 在不足.陈秋瑗等提出了一种基于紧密度的命 修和故障诊断工作打下了坚实的基础，进而防止 名实体识别，使用逻辑回归方法来计算相邻字串 意外故障带来的毁灭性事故和经济损失 之间的紧密程度，提高了机械领域新词的准确率 浅层机器学习和深度学习)是通用领域的两 在数控机床领域，学者对数控机床设备故障实体 种常用方法.浅层机器学习方法包括隐马尔可夫 识别的研究较少，现有的研究主要针对数控机床 模型、最大嫡模型和条件随机场(Conditional 特定部件存在的故障8-判：数控机床的历史维修 random fields,CRF)等.俞鸿魁等在双层隐马尔 记录是由工作人员撰写的描述数控机床异常的信 可夫模型上进行实体识别，将不同的命名实体的 息，该记录包括设备名称、故障描述、故障原因以 识别结果融合到同一个理论模型中，提高了F值； 及处理过程，这些都是数控机床的重要数据，自动 何炎祥等图提出CRF+特定规则模型，提高了召回 抽取这些信息能够更加高效、精准的收集案例支 率，改善了对实体识别的效果；王路路等例针对维 持智能检修问答系统，而历史维修记录的重复利 吾尔命名实体提出了半监督学习方法，减少了对 用主要受数据结构化程度的影响，因而对数据进 人工特征提取的依赖 行命名实体识别至关重要 近年来，命名实体的研究热点已从传统的机 目前数控机床故障领域的实体识别存在以下 器学习方法转移到深度学习方法.与传统的机器 几个难点2：第一，没有基于数控机床领域的语料 学习方法相比，深度学习速度更快、泛化性更强， 库：第二，没有数控机床故障领域的命名实体标注 并且可以让计算机自主学习得到模式特征，将其 语料；第三，数控机床故障描述过于口语化，同一 融入实验模型从而减少对人工特征的依赖，因此 故障存在多种不同的描述.针对以上难点本文提 使用深度学习进行命名实体识别的识别性能更 出了一种基于双向长短期记忆网络与具有回路的 好.Hochreiter与Schmidhubert提出了一种通过门限 条件随机场相结合的命名实体识别方法BLSTM- 机制对历史信息进行过滤的LSTM,解决了循环网 L-CRF,首先使用Word2vec2对数据集进行预训 络中的梯度消失问题，但是LSTM只能获取下文信 练获取字向量，字向量通过词嵌入层得到字向量
to obtain the global optimal sequence. The experimental results show that the method is superior to other named entity recognition methods, which lays a solid foundation for the intelligent maintenance and the real-time diagnostic tasks of CNC machine tools. KEY WORDS computer numerical control machine tools； equipment failure； bidirectional long short-term memory； conditional random field with loop；named entity recognition 随着智能制造的快速发展和云计算[1−2] 时代 的到来，“互联网+工业”成为了学者研究的重点， 工业设备智能化对数控机床设备的检修与诊断提 出了严峻挑战. 数控机床设备智能检修与实时诊 断是保障数控机床设备安全、稳定、经济运行的 重要手段，是实现数控机床智能制造的关键. 数控 机床设备智能检修与实时诊断是通过整合海量、 多源、异构的设备检修大数据，利用自然语言处 理、语义匹配、知识图谱构建等技术对工业设备 故障现象进行全面诊断，实现设备检修、诊断的智 能化管理；数控机床设备故障命名实体的识别作 为图谱识别、自然语言处理、语义匹配等复杂任 务的基础工作，对数控机床设备智能检修与实时 诊断起着至关重要的作用. 为了提高命名实体识 别系统的性能，为数控机床故障精准诊断提供保 障，延长数控机床的使用周期，本文对数控机床设 备故障领域的命名实体识别方法展开了研究，通 过提高命名实体识别效果为后续数控机床智能检 修和故障诊断工作打下了坚实的基础，进而防止 意外故障带来的毁灭性事故和经济损失. 浅层机器学习和深度学习[3] 是通用领域的两 种常用方法. 浅层机器学习方法包括隐马尔可夫 模型[4]、最大熵模型[5] 和条件随机场[6] （Conditional random fields, CRF）等. 俞鸿魁等[7] 在双层隐马尔 可夫模型上进行实体识别，将不同的命名实体的 识别结果融合到同一个理论模型中，提高了 F 值； 何炎祥等[8] 提出 CRF+特定规则模型，提高了召回 率，改善了对实体识别的效果；王路路等[9] 针对维 吾尔命名实体提出了半监督学习方法，减少了对 人工特征提取的依赖. 近年来，命名实体的研究热点已从传统的机 器学习方法转移到深度学习方法. 与传统的机器 学习方法相比，深度学习速度更快、泛化性更强， 并且可以让计算机自主学习得到模式特征，将其 融入实验模型从而减少对人工特征的依赖，因此 使用深度学习进行命名实体识别的识别性能更 好. Hochreiter 与Schmidhuber[10] 提出了一种通过门限 机制对历史信息进行过滤的 LSTM，解决了循环网 络中的梯度消失问题，但是 LSTM 只能获取下文信 息而无法获取上文信息. Graves 与 Schmidhuber[11] 构建了 BLSTM 模块，可以在输入的方向获得长时 的上下文信息. 杨红梅等[12] 提出了 BLSTM-CRF 命名实体识别模型，使标签结果更为合理. Lin 等[13] 提出了多通道 BILSTM-CRF 模型在社交媒体中的 新兴命名实体识别方法. Bharadwaj 等[14] 在BILSTMCRF 模型上加入了音韵特征和 attention机制，对有 效的字符关注度更高；Li 等[15] 针对包装专业领域 语料匮乏的特点，提出了一个多层神经网络模型 进行包装领域的命名实体识别，该模型可以自动 学 习 分 布 式 单 词 特 征 和 部 分 语 音 特 征 ， 实 现 NER 包装产品技术；易士翔等[16] 针对公共安全事 件的触发词识别任务提出 BLSTM 与前向神经网 络相结合的模型，在突发事件语料库上取得了较 好的识别效果. 尽管通用领域深度学习的命名实体识别方法 取得了较好的成果，但在数控机床领域中依然存 在不足. 陈秋瑗等[17] 提出了一种基于紧密度的命 名实体识别，使用逻辑回归方法来计算相邻字串 之间的紧密程度，提高了机械领域新词的准确率. 在数控机床领域，学者对数控机床设备故障实体 识别的研究较少，现有的研究主要针对数控机床 特定部件存在的故障[18−19] ；数控机床的历史维修 记录是由工作人员撰写的描述数控机床异常的信 息，该记录包括设备名称、故障描述、故障原因以 及处理过程，这些都是数控机床的重要数据，自动 抽取这些信息能够更加高效、精准的收集案例支 持智能检修问答系统，而历史维修记录的重复利 用主要受数据结构化程度的影响，因而对数据进 行命名实体识别至关重要. 目前数控机床故障领域的实体识别存在以下 几个难点[20] ：第一，没有基于数控机床领域的语料 库；第二，没有数控机床故障领域的命名实体标注 语料；第三，数控机床故障描述过于口语化，同一 故障存在多种不同的描述. 针对以上难点本文提 出了一种基于双向长短期记忆网络与具有回路的 条件随机场相结合的命名实体识别方法 BLSTML-CRF，首先使用 Word2vec[21] 对数据集进行预训 练获取字向量，字向量通过词嵌入层得到字向量 王 欢等： 基于数控机床设备故障领域的命名实体识别 · 477 ·
478 工程科学学报，第42卷，第4期 序列，然后将字向量序列输人BLSTM层，经过 向的LSTM与后向的LSTM拼接而成.BLSTM对 BLSTM层处理捕获每个字对应的每个标签的分 每个句子分别采用正向和反向计算，运用向量拼 数，最后将得到的标签分数输入L-CRF层，并通 接将得到的两种结果进行向量拼接从而获得最后 过L-CRF层获得全局最优序列.与BLSTM-CRF 的隐层表示.BLSTM结构如图1所示 相比，采用具有回路的CRF,约束性更好、识别效 中 果更佳. STM LSTM LSTM 1命名实体识别模型 LSTM LSTM LSTM 1.1 BLSTM模块 h- h, 长短时记忆网络（Long-short term memory, 图1 BLSTM模型结构 LSTM)是一种改进后的循环网络.与传统循环网 Fig.1 BLSTM model structure 络相比，LSTM多了一个用来储存长距离信息的单 元状态，解决了梯度过长而产生的梯度弥散问题； 1.2L-CRF模块 LSTM重复模块构造不同，包含了四个交互层并以 条件随机场是Lafferty等2四提出的一种新的 一种十分特别的形式进行交互；LSTM中特殊设计 概率图模型，该模型能从训练集数据中学习约束， 的门结构使得模型能够决定丢弃信息、确定更新 从而获得了全局最优序列，同时解决了最大嫡模 细胞、更新细胞状态.LSTM的单元结构中内部参 型中存在的标注偏置问题 数可表达为： 线性链结构的CRF是最常见的CRF,它根据 i=r(W·h-1+W:x+b) 不同应用模式下CRF中的变量关系描绘出不同的 fi=c(Wr.h-1+Wr.x:+be) 图形.例如，可以选择树状条件随机场1描绘具 o=r(W。·hr-l+W。x+bo) (1) 有阶层关系的变量.针对数控机床历史维修记录 C=f*Cr-l+i,*tanh(We·h,-l+Wc·x,+bc) 中同一故障存在多种描述的特点，本文采用L h;=0,*tanh(C:) CRF2架构来获取最优序列，与传统的CRF相比， LSTM有四个输入和一个输出，输入处都经过 L-CRF能够获取过去及未来时间点的信息，使得 激活函数，sigmoid和tanh是LSTM的两个激励函 到的序列准确率更高，L-CRF架构如图2所示. 数，激活函数c使用的是sigmoid函数，值在0到 1之间，用以模拟门打开、关闭的效果.、、分 别表示时刻输人门、忘记门、输出门的输出，C表 示t时刻状态向量；W为连接两层的权重矩阵，W、 W、W。分别表示输入门、忘记门、输出门的权重 图2L-CRF架构图 矩阵，W表示细胞状态下对于输入x的权重矩阵； Fig.2 L-CRF architecture diagram b为偏置向量，b、br、b。、be分别表示隐藏层的输 该架构图中，输入值与输出值过去与未来的 入门、忘记门、输出门及细胞状态的偏置向量； 时间点包含在相互影响的关系中，因而形成具体 x为时刻输人层的输人向量，h、h-分别为t时 回路的图形架构.为了能按照标准方法来推导模 刻、t-时刻的输出，其最终结果是一个高维实向 型，按照构建联合树的步骤来检视图形，根据图2 量.LSTM的实验包括三步，首先，通过忘记门决 建构了一个联合树，通过对各时间点的联合树进 定丢弃信息：然后，通过输入门确定更新的信息； 行组合得到与L-CRF架构对应的联合树，如图3 最后，采用sigmoid函数得到细胞状态的输出，将输 所示，图中圆节点代表团结点而方形节点代表分 出结果与tanh相乘最终确定输出的信息 割结点 LSTM仅获取了文本的过去的信息，但对数控 将图形模型所代表的联合概率分布拆解成： 机床设备故障命名实体识别任务而言，设备故障 PA(Y.H)= Πcece(he) 描述的前后几个词对预测结果都有很大的影响， ☐er4,(a,s nh+1a1e4 (2) 获取上下文信息对数控机床设备故障的命名实体 识别任务有很大的帮助.为了获取上下文信息，本 0y,》1+1)μ(h+1y1+1） 文采用了双向LSTM(BLSTM)结构，BLSTM由前 定义H为输入序列，Y为一个联合树所有接口的
序列 ，然后将字向量序列输入 BLSTM 层 ，经过 BLSTM 层处理捕获每个字对应的每个标签的分 数，最后将得到的标签分数输入 L-CRF 层，并通 过 L-CRF 层获得全局最优序列. 与 BLSTM-CRF 相比，采用具有回路的 CRF，约束性更好、识别效 果更佳. 1 命名实体识别模型 1.1 BLSTM 模块 长 短 时 记 忆 网 络 （ Long-short term memory, LSTM）是一种改进后的循环网络. 与传统循环网 络相比，LSTM 多了一个用来储存长距离信息的单 元状态，解决了梯度过长而产生的梯度弥散问题； LSTM 重复模块构造不同，包含了四个交互层并以 一种十分特别的形式进行交互；LSTM 中特殊设计 的门结构使得模型能够决定丢弃信息、确定更新 细胞、更新细胞状态. LSTM 的单元结构中内部参 数可表达为： it=σ(Wi · ht−1+Wi · xt+bi) ft= σ(Wf · ht−1+Wf · xt+bf) ot= σ(Wo · ht−1+Wo · xt+bo) Ct=ft∗Ct−1+it∗tanh(Wc · ht−1+Wc · xt+bc) ht=ot∗tanh(Ct) （1） sigmoid tan h σ sigmoid it ft ot t Ct t W Wi Wf Wo Wc xt b bi bf bo bc xt t ht ht−1 t t−1 sigmoid tan h LSTM 有四个输入和一个输出，输入处都经过 激活函数， 和 是 LSTM 的两个激励函 数 ，激活函数 使用的是 函数 ，值 在 0 到 1 之间，用以模拟门打开、关闭的效果. 、 、 分 别表示 时刻输入门、忘记门、输出门的输出， 表 示 时刻状态向量； 为连接两层的权重矩阵， 、 、 分别表示输入门、忘记门、输出门的权重 矩阵， 表示细胞状态下对于输入 的权重矩阵； 为偏置向量， 、 、 、 分别表示隐藏层的输 入门、忘记门、输出门及细胞状态的偏置向量； 为 时刻输入层的输入向量 ， 、 分别为 时 刻、 时刻的输出，其最终结果是一个高维实向 量. LSTM 的实验包括三步，首先，通过忘记门决 定丢弃信息；然后，通过输入门确定更新的信息； 最后，采用 函数得到细胞状态的输出，将输 出结果与 相乘最终确定输出的信息. LSTM 仅获取了文本的过去的信息，但对数控 机床设备故障命名实体识别任务而言，设备故障 描述的前后几个词对预测结果都有很大的影响， 获取上下文信息对数控机床设备故障的命名实体 识别任务有很大的帮助. 为了获取上下文信息，本 文采用了双向 LSTM（BLSTM）结构，BLSTM 由前 向的 LSTM 与后向的 LSTM 拼接而成. BLSTM 对 每个句子分别采用正向和反向计算，运用向量拼 接将得到的两种结果进行向量拼接从而获得最后 的隐层表示. BLSTM 结构如图 1 所示. 1.2 L-CRF 模块 条件随机场是 Lafferty 等[22] 提出的一种新的 概率图模型，该模型能从训练集数据中学习约束， 从而获得了全局最优序列，同时解决了最大熵模 型中存在的标注偏置问题. 线性链结构的 CRF 是最常见的 CRF，它根据 不同应用模式下 CRF 中的变量关系描绘出不同的 图形. 例如，可以选择树状条件随机场[23] 描绘具 有阶层关系的变量. 针对数控机床历史维修记录 中同一故障存在多种描述的特点，本文采用 LCRF[24] 架构来获取最优序列，与传统的 CRF 相比， L-CRF 能够获取过去及未来时间点的信息，使得 到的序列准确率更高，L-CRF 架构如图 2 所示. 该架构图中，输入值与输出值过去与未来的 时间点包含在相互影响的关系中，因而形成具体 回路的图形架构. 为了能按照标准方法来推导模 型，按照构建联合树的步骤来检视图形，根据图 2 建构了一个联合树，通过对各时间点的联合树进 行组合得到与 L-CRF 架构对应的联合树，如图 3 所示，图中圆节点代表团结点而方形节点代表分 割结点. 将图形模型所代表的联合概率分布拆解成： PA(Y, H) = ∏ c∈C µc(hc) ∏ y∈Y [µy(hy)]d(y)−1 = ∏N−1 t=1 µ(ht , yt , yt+1)µ(ht+1, yt , yt+1) µ(yt , yt+1)µ(ht+1, yt+1) （2） 定义 H 为输入序列， Y 为一个联合树所有接口的 LSTM LSTM LSTM LSTM LSTM LSTM xt+1 ht−1 xt−1 xt ht−1 ht ht ht+1 ht+1 图 1 BLSTM 模型结构 Fig.1 BLSTM model structure y1 h1 yt−1 ht−1 yt ht yN hN 图 2 L-CRF 架构图 Fig.2 L-CRF architecture diagram · 478 · 工程科学学报，第 42 卷，第 4 期
王欢等：基于数控机床设备故障领域的命名实体识别 479 h 表示设备实体首字，“L-Dev”表示设备实体非首字 部分，“B-Fau”表示故障实体首字，“I-Fau”表示故 图3L-CRF架构所形成的联合树 Fig.3 Joint tree formed by L-CRF architecture 障实体非首字部分，“O”表示非实体部分，因此定 义标签集合为(B-Fau、I-Fau、B-Dev、I-Dev、O) 集合，N为序列的长度；dy)为与接口相邻的子图个 然后使用jieba分词对输入语句进行分词，分词后 数.并且将μ(h,y,y41μ(h+1yy+)、μyy+1)和 进行序列标注，以“发动机中螺钉滑牙”为例进行 (h+1y+1)分别定义为： 序列标注，其中发动机、螺钉是设备，滑牙是故障 u(ht.yt.yt+1)=exp(aT.g(ht.y:)+BT-g(h.y+1)+ 现象，标注后结果如表1所示 yT·fy,y+)μ(h+l,y,y+l)=exp(ag(hr+l,y)+ 表1 句子序列标注方法 Bgh+1y+1)+y·f0y+1)μ0，Jy+1)= Table 1 Sentence sequence labeling method exp(y3·fGy,y+I).μ(hl,ymI)=exp(a3·g(hHl,y1) Sentence Labeling Sentence Labeling Sentence Labeling 令a=(Ck1,2,k3,…,kd,BT=(Bk1,B2,B3,…, 发 B-Dev 的 0 牙 I-Fau Ba,Y=(yk1,Y2,Y3,…,Yd,其中，a、B为观察向量， I-Dev 螺 B-Dev y为特征函数，将式(2)根据时间索引整理为： 机 I-Dev 钉 I-Dev P,团=hA1w+i） (3) 中 0 B-Fau 当计算正规化项Z时，可用以下的方法计算 获得标注语料后使用Word2vec进行预训练获 边界分布P(H: 取字向量，在词嵌入层将其结果转化为字向量序 P团=∑Pa,=∑Ta,hl,4id 列X,作为BLSTM层的输入.时刻序列正向输入 BLSTM中得到的隐层输出为，逆向输入得到的 (4) 隐层输出为，将两者拼接得到的，=[，]包含 定义条件式对数相似度概率为P(YH,)=P历 上下文字向量 a,A将上面所定义的相关项带 通过BLSTM输出的上下文特征信息h,得 入式中，对式子整合后使用观察向量a取代原来的 到有效的输出序列y=心y0y1,y2,…,ym),仅仅通过 α和B,特征函数b取代原来y,将式子改写成： 这样的方法进行分类还存在不足之处，序列标注 P(YH.0)=- .y 问题一般具有较强的依赖关系，每个字的标签序 列存在一定的局限性，例如：标签“B-Dev”作为设 5) F(H,) 备实体的首字部分，后面接的应该是“I-Dev”,而 不应该“I-Fau”.只有BLSTM层是不够的，针对 其中0={，，…，、aT=(a1,2,…,aa、b=(b, 此问题，本文在BLSTM层加上处理标注序列的 b2,…,bid以=(1,2，…，dd)为所求模型参数，c表 L-CRF 示实体类别数，，表示特征函数对应的权值向量， 由于输入值与输出值之间存在过去与未来的 F,表示特征函数，A表示输入与输出向量间不同实 时间点，从而相互影响，为此提出了具有回路的条 体中具有关联性的个数，B表示L-CRF中赋予定义 件随机场(L-CRF),L-CRF序列用来研究句子级别 的特征函数的总数 的序列特征，将BLSTM层的输出结果输入L~ 1.3 BLSTM-L-CRF模型 CRF层，L-CRF层对其结果添加约束，从所有可能 数控机床故障描述存在不同的表达方式，例 的标签序列空间中选出最佳序列路径，获得全局 如：发动机中的螺丝滑牙、发动机中的螺钉滑牙、 最优序列.本文的BLSTM-L-CRF模型架构如图4 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 所示 指同一故障，在命名实体识别中易产生歧义，为了 BLSTM-L-CRF算法流程如下： 解决上述挑战，本文使用BLSTM-L-CRF模型进行 l:epoch←-l 命名实体识别.在实验中，将实体分为设备和实体 2:while epoch num_epoch do 两类，用“Dev”表示设备，“Fau”表示故障.首先根 3 t←-1 据BIO标注法对实体的定义进行标记，即“B-Dev” 4: shuffle train and dev data
N µ(ht , yt , yt+1) µ(ht+1, yt , yt+1) µ(yt , yt+1) µ(ht+1, yt+1) 集合， 为序列的长度；d(y) 为与接口相邻的子图个 数. 并且将 、 、 和 分别定义为： µ(ht , yt , yt+1)=exp(α T 1 · g(ht , yt)+β T 1 · g(ht , yt+1 )+ γ T 1 · f(yt , yt+1))µ(ht+1, yt , yt+1)=exp(α T 2 · g(ht+1 , yt)+ β T 2 · g(ht+1, yt+1 )+γ T 2 · f(yt , yt+1))µ(yt , yt+1)= exp(γ T 3 · f(yt , yt+1)), µ(ht+1, yt+1)=exp(α T 3 · g(ht+1, yt+1)) α T k =(αk1,αk2,αk3,··· ,αkd) β T k =(βk1,βk2,βk3,··· , βkd) γ T k = (γk1,γk2,γk3,··· ,γkd) α β γ 令 ， ， ，其中， 、 为观察向量， 为特征函数，将式（2）根据时间索引整理为： PA(Y, H) = ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) （3） 当计算正规化项 Z 时，可用以下的方法计算 边界分布 P(H)： P(H) = ∑ y P(H,Y) = ∑ y ∏N−1 t=1 ψ(ht , ht+1, yt , yt+1) （4） PA(Y|H, θ) = 1 ∏ P(H) N−1 t=1 ψ(ht , ht+1, yt , yt+1) a α β b γ 定义条件式对数相似度概率为 ，将上面所定义的相关项带 入式中，对式子整合后使用观察向量 取代原来的 和 ，特征函数 取代原来 ，将式子改写成： P(Y|H,θ) = 1 P(H) ∏N−1 t=1 exp(a T · f(y, y ′ )+ ∑ A i=1 b T i · gi(h, y)) = 1 P(H) exp(∑ B k=1 λ T k · Fk(H,Y) ) （5） θ = { λ T 1 ,λ T 2 ,··· ,λ T B } a T = (a1, a2,··· , ad) b T i = (bi1, bi2,··· , bid) λ T k = (λk1,λk2,··· ,λkd) λk Fk A B 其中 、 、 、 为所求模型参数，c 表 示实体类别数， 表示特征函数对应的权值向量， 表示特征函数， 表示输入与输出向量间不同实 体中具有关联性的个数， 表示 L-CRF 中赋予定义 的特征函数的总数. 1.3 BLSTM-L-CRF 模型 数控机床故障描述存在不同的表达方式，例 如：发动机中的螺丝滑牙、发动机中的螺钉滑牙、 发动机中的螺钉滑丝和发动机中的螺丝滑牙都是 指同一故障，在命名实体识别中易产生歧义，为了 解决上述挑战，本文使用 BLSTM-L-CRF 模型进行 命名实体识别. 在实验中，将实体分为设备和实体 两类，用“Dev”表示设备，“Fau”表示故障. 首先根 据 BIO 标注法对实体的定义进行标记，即“B-Dev” 表示设备实体首字，“I-Dev”表示设备实体非首字 部分，“B-Fau”表示故障实体首字，“I-Fau”表示故 障实体非首字部分，“O”表示非实体部分，因此定 义标签集合为 （B-Fau、 I-Fau、 B-Dev、 I-Dev、 O） . 然后使用 jieba 分词对输入语句进行分词，分词后 进行序列标注，以“发动机中螺钉滑牙”为例进行 序列标注，其中发动机、螺钉是设备，滑牙是故障 现象，标注后结果如表 1 所示. X t −→ht ←−ht ht = [ −→ht , ←−ht] 获得标注语料后使用 Word2vec 进行预训练获 取字向量，在词嵌入层将其结果转化为字向量序 列 ，作为 BLSTM 层的输入. 时刻序列正向输入 BLSTM 中得到的隐层输出为 ，逆向输入得到的 隐层输出为 ，将两者拼接得到的 包含 上下文字向量. ht y = (y0, y1, y2,··· , yn) 通过 BLSTM 输出的上下文特征信息 ，得 到有效的输出序列 ，仅仅通过 这样的方法进行分类还存在不足之处，序列标注 问题一般具有较强的依赖关系，每个字的标签序 列存在一定的局限性，例如：标签“B-Dev”作为设 备实体的首字部分，后面接的应该是“I-Dev”，而 不应该“I-Fau”. 只有 BLSTM 层是不够的，针对 此问题，本文在 BLSTM 层加上处理标注序列的 L-CRF. 由于输入值与输出值之间存在过去与未来的 时间点，从而相互影响，为此提出了具有回路的条 件随机场（L-CRF），L-CRF 序列用来研究句子级别 的序列特征 ， 将 BLSTM 层的输出结果输 入 LCRF 层，L-CRF 层对其结果添加约束，从所有可能 的标签序列空间中选出最佳序列路径，获得全局 最优序列. 本文的 BLSTM-L-CRF 模型架构如图 4 所示. BLSTM-L-CRF 算法流程如下： 1: epoch ← 1 2: while epoch < num_epoch do 3: t ← 1 4: shuffle train and dev data 表 1 句子序列标注方法 Table 1 Sentence sequence labeling method Sentence Labeling Sentence Labeling Sentence Labeling 发 B-Dev 的 O 牙 I-Fau 动 I-Dev 螺 B-Dev 机 I-Dev 钉 I-Dev 中 O 滑 B-Fau h1y1y h y1y2 2y1y2 h2y2 hN−1yN−1yN yN−1yN−2 hNyN−1yN 图 3 L-CRF 架构所形成的联合树 Fig.3 Joint tree formed by L-CRF architecture 王 欢等： 基于数控机床设备故障领域的命名实体识别 · 479 ·