工程科学学报.第43卷.第9期：1182-1189.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1182-1189,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.002;http://cje.ustb.edu.cn 基于ALBERT与双向GRU的中医脏腑定位模型 张德政12)，范欣欣1,2，谢永红2)四，蒋彦钊2) 1)北京科技大学计算机与通信工程学院，北京1000832)材料领域知识工程北京市重点实验室，北京100083 ☒通信作者，E-mail:xieyh@ustb.edu.cn 摘要脏腑定位，即明确病变所在的脏腑，是中医脏腑辨证的重要阶段.本文旨在通过神经网络模型搭建中医脏腑定位模 型，输入症状文本信息，输出对应的病变脏腑标签，为实现中医辅助诊疗的脏腑辨证提供支持.将中医的脏腑定位问题建模 为自然语言处理中的多标签文本分类问题，基于中医的医案数据，提出一种基于预训练模型ALBERT和双向门控循环单元 (B-GRU)的脏腑定位模型.对比实验和消融实验的结果表明，本文提出的方法在中医脏腑定位的问题上相比于多层感知机 模型、决策树模型具有更高的准确性，与Word2Vc文本表示方法相比，本文使用的ALBERT预训练模型的文本表示方法有 效提升了模型的准确率.在模型参数上，ALBERT预训练模型相比BERT模型降低了模型参数量，有效减小了模型大小.最 终，本文提出的脏腑定位模型在测试集上F1值达到了0.8013. 关键词多标签文本分类：ALBERT:门控循环单元：脏腑定位：中医 分类号TP391.1 Localization model of traditional Chinese medicine Zang-fu based on ALBERT and Bi- GRU ZHANG De-zheng2,FAN Xin-xin2),XIE Yong-hong2,JIANG Yan-zhao2 1)School of Computer and Communication Engineering.University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,Beijing 100083,China Corresponding author,E-mail:xieyh@ustb.edu.cn ABSTRACT The rapid development of artificial intelligence (Al)has injected new vitality into various industries and provided new ideas for the development of traditional Chinese medicine(TCM).The combination of Al and TCM provides more technical support for TCM auxiliary diagnosis and treatment.In the history of TCM,many methods of syndrome differentiation have been observed,among which the differentiation of Zang-fu organs is one of the important methods.The purpose of this paper is to provide support for the localization of Zang-fu in TCM through AI technology.Localization of Zang-fu organs is a method of determining the location of lesions in such organs and is an important stage in the differentiation of Zang-fu organs in TCM.In this paper,the localization model of TCM Zang-fu organs through the neural network model was established.Through the input of symptom text information,the corresponding Zang-fu label for a lesion could be output to provide support for the realization of Zang-fu syndrome differentiation in TCM-assisted diagnosis and treatment.In this paper,the localization of Zang-fu organs was abstracted as multi-label text classification in natural language processing.Using the medical record data of TCM,a Zang-fu localization model based on pretraining models a lite BERT(ALBERT)and bidirectional gated recurrent unit(Bi-GRU)was proposed.Comparison and ablation experiments finally show that the proposed method is more accurate than multilayer perceptron and the decision tree.Moreover,using an ALBERT pretraining model for text representation effectively improves the accuracy of the localization model.In terms of model parameters,the ALBERT 收稿日期：2021-01-13 基金项目：国家重点研发计划云计算和大数据专项资助项目(2017YFB1002304)
基于 ALBERT 与双向 GRU 的中医脏腑定位模型 张德政1,2)，范欣欣1,2)，谢永红1,2) 苣，蒋彦钊1,2) 1) 北京科技大学计算机与通信工程学院，北京 100083 2) 材料领域知识工程北京市重点实验室，北京 100083 苣通信作者，E-mail: xieyh@ustb.edu.cn 摘 要 脏腑定位，即明确病变所在的脏腑，是中医脏腑辨证的重要阶段. 本文旨在通过神经网络模型搭建中医脏腑定位模 型，输入症状文本信息，输出对应的病变脏腑标签，为实现中医辅助诊疗的脏腑辨证提供支持. 将中医的脏腑定位问题建模 为自然语言处理中的多标签文本分类问题，基于中医的医案数据，提出一种基于预训练模型 ALBERT 和双向门控循环单元 （Bi-GRU）的脏腑定位模型. 对比实验和消融实验的结果表明，本文提出的方法在中医脏腑定位的问题上相比于多层感知机 模型、决策树模型具有更高的准确性，与 Word2Vec 文本表示方法相比，本文使用的 ALBERT 预训练模型的文本表示方法有 效提升了模型的准确率. 在模型参数上，ALBERT 预训练模型相比 BERT 模型降低了模型参数量，有效减小了模型大小. 最 终，本文提出的脏腑定位模型在测试集上 F1 值达到了 0.8013. 关键词 多标签文本分类；ALBERT；门控循环单元；脏腑定位；中医 分类号 TP391.1 Localization model of traditional Chinese medicine Zang-fu based on ALBERT and BiGRU ZHANG De-zheng1,2) ，FAN Xin-xin1,2) ，XIE Yong-hong1,2) 苣 ，JIANG Yan-zhao1,2) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, Beijing 100083, China 苣 Corresponding author, E-mail: xieyh@ustb.edu.cn ABSTRACT The rapid development of artificial intelligence (AI) has injected new vitality into various industries and provided new ideas for the development of traditional Chinese medicine (TCM). The combination of AI and TCM provides more technical support for TCM auxiliary diagnosis and treatment. In the history of TCM, many methods of syndrome differentiation have been observed, among which the differentiation of Zang-fu organs is one of the important methods. The purpose of this paper is to provide support for the localization of Zang-fu in TCM through AI technology. Localization of Zang-fu organs is a method of determining the location of lesions in such organs and is an important stage in the differentiation of Zang-fu organs in TCM. In this paper, the localization model of TCM Zang-fu organs through the neural network model was established. Through the input of symptom text information, the corresponding Zang-fu label for a lesion could be output to provide support for the realization of Zang-fu syndrome differentiation in TCM-assisted diagnosis and treatment. In this paper, the localization of Zang-fu organs was abstracted as multi-label text classification in natural language processing. Using the medical record data of TCM, a Zang-fu localization model based on pretraining models a lite BERT (ALBERT) and bidirectional gated recurrent unit (Bi-GRU) was proposed. Comparison and ablation experiments finally show that the proposed method is more accurate than multilayer perceptron and the decision tree. Moreover, using an ALBERT pretraining model for text representation effectively improves the accuracy of the localization model. In terms of model parameters, the ALBERT 收稿日期: 2021−01−13 基金项目: 国家重点研发计划云计算和大数据专项资助项目（2017YFB1002304） 工程科学学报，第 43 卷，第 9 期：1182−1189，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1182−1189, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.002; http://cje.ustb.edu.cn
张德政等：基于ALBERT与双向GRU的中医脏腑定位模型 ·1183 pretraining model greatly reduces the number of model parameters compared with the BERT model and effectively reduces the model size.Finally,the F1-value of the Zang-fu localization model proposed in this paper reaches 0.8013 on the test set,which provided certain support for the TCM auxiliary diagnosis and treatment. KEY WORDS multi-label text classification:ALBERT:GRU:localization of Zang-fu:traditional Chinese medicine(TCM) 人工智能技术的快速发展为各个行业注入了 提供了新的方法，多标签文本分类即为其中的重 新的活力，也为中医学的发展提供了新的思路.随 要方法.多标签文本分类是指一个样本可以属于 着人工智能与中医的结合，也为中医的辅助诊疗 多个类别（或标签）.比如一条症状同时与“肾”和 提供了更多可能.中医学在历史上形成了多种辨 “肝”两个标签关联，即该症状表现与“肾”和“肝” 证方法，其中脏腑辨证是根据脏腑的生理功能，病 两个脏腑相关.有研究人员从聚类的角度对文本 理表现，对疾病证候进行归纳，借以推究病机，判 进行多标签分类，申超波等图提出了一种基于标 断病变的部位、性质、正邪盛衰情况的一种辨证 签聚类的标签幂集方法，通过改进平衡k-means聚 方法，是辨证体系中的重要组成部分.当某一脏腑 类来发现训练集中潜在的重要标签集合，并用于 发生病变时，反映出的临床症状也各不相同，且依 形成新的训练集进行多标签分类.黄志强例对基 据脏腑辨证特点，一个症状可涉及多个脏腑，所以 于k-means的多标签分类及标签补全算法进行了 本文将中医中的脏腑定位问题抽象为自然语言处 研究 理领域的多标签文本分类问题，将医案数据中的 在基于神经网络对文本特征进行提取表示方 症状类文本信息作为输入，将具体病变脏腑作为 面，研究人员也进行了大量研究.李德玉等提 多标签文本分类问题中的标签. 出一种基于标签特征的卷积神经网络(CNN)情绪 多标签分类方法，使用Word2Vec进行词向量表 1研究现状 示，然后利用标签特征来强化文本情绪和标签之 在中医的辨证推理方面，已经有大量研究人 间的联系，融合入CNN模型对文本情绪进行深层 员进行过相关研究.许强山通过对经典证素辨证 次的表示和多标签分类.Joulin等基于浅层神 体系相关内容的总结，分析经典证素辨证体系存 经网络设计出了文本分类工具FastText..易士翔等2， 在的不足，并基于有向图这种数据结构重新对证 在中文突发事件数据集上验证了双向LSTM模型 素概念进行定义，对证素内容进行分类，并重新对 在文本表征中的有效性.Chen等]在获得文本的 辨证医理模型进行构建.尹丹等回采用领域本体 整体语义(Text feature vector)后，将文本整体语义 七步法构建中医经方知识图谱，并通过Cypher设 输入到一个递归神经网络(RNN)的序列中作为初 计一种模拟人联想思维进行检索的经方知识检索 始值，每一时刻输入是上一时刻的输出，将卷积神 框架.刘超等)基于BP神经网络方法，建立冠状 经网络和递归神经网络进行集成应用，以获得全 动脉临界病变患者证候要素及其常见组合的中医 局和局部文本语义.Yogatama等w针对文本分类 辨证诊断模型.褚娜在中医辨证的现状研究和 问题构建了基于LSTM(Long short-term memory, 相关智能算法的基础上，提出适合于中医辨证的 长短期记忆网络)的生成模型和判别模型.wang 理论方法和系统实施方案.杨开明阿将85例糖尿 提出了中断递归神经网络(DRNN),将位置不变性 病患者结合C4.5决策树算法建立了中医辨证决策 引入RNN中.该网络通过限制RNN中的信息流 树，提取出糖尿病的8种中医证候分类规则.周璐 的距离，将每个时间步长的隐藏状态限制为表示 等将C4.5决策树、随机森林、支持向量机、BP 当前位置附近的单词.Kiml6提出TextCNN,将卷 神经网络算法进行融合，最终得到一种复合结构 积神经网络应用到文本分类任务，利用多个不同 的智能化辨证选方模型.舒鑫等基于神经网络 大小的kernel提取句子中的关键信息，这种方法类 构建了AS气虚证预测模型，并展现出了良好的 似于多窗口大小的-gram,能够更好地捕捉局部 准确率.在此类方法中，尚未充分使用运用文本的 相关性 高层语义信息，可以尝试在此类方法基础上融入 在对多标签文本分类效果的提升过程中，输 高层语义信息进行效果提升 入高质量的文本表征对模型效果有巨大的作用 自然语言处理技术的发展为中医的辨证论治 基于大规模语料库的预训练模型已经成为自然语
pretraining model greatly reduces the number of model parameters compared with the BERT model and effectively reduces the model size. Finally, the F1-value of the Zang-fu localization model proposed in this paper reaches 0.8013 on the test set, which provided certain support for the TCM auxiliary diagnosis and treatment. KEY WORDS multi-label text classification；ALBERT；GRU；localization of Zang-fu；traditional Chinese medicine (TCM) 人工智能技术的快速发展为各个行业注入了 新的活力，也为中医学的发展提供了新的思路. 随 着人工智能与中医的结合，也为中医的辅助诊疗 提供了更多可能. 中医学在历史上形成了多种辨 证方法，其中脏腑辨证是根据脏腑的生理功能，病 理表现，对疾病证候进行归纳，借以推究病机，判 断病变的部位、性质、正邪盛衰情况的一种辨证 方法，是辨证体系中的重要组成部分. 当某一脏腑 发生病变时，反映出的临床症状也各不相同，且依 据脏腑辨证特点，一个症状可涉及多个脏腑，所以 本文将中医中的脏腑定位问题抽象为自然语言处 理领域的多标签文本分类问题，将医案数据中的 症状类文本信息作为输入，将具体病变脏腑作为 多标签文本分类问题中的标签. 1 研究现状 在中医的辨证推理方面，已经有大量研究人 员进行过相关研究. 许强[1] 通过对经典证素辨证 体系相关内容的总结，分析经典证素辨证体系存 在的不足，并基于有向图这种数据结构重新对证 素概念进行定义，对证素内容进行分类，并重新对 辨证医理模型进行构建. 尹丹等[2] 采用领域本体 七步法构建中医经方知识图谱，并通过 Cypher 设 计一种模拟人联想思维进行检索的经方知识检索 框架. 刘超等[3] 基于 BP 神经网络方法，建立冠状 动脉临界病变患者证候要素及其常见组合的中医 辨证诊断模型. 褚娜[4] 在中医辨证的现状研究和 相关智能算法的基础上，提出适合于中医辨证的 理论方法和系统实施方案. 杨开明[5] 将 85 例糖尿 病患者结合 C4.5 决策树算法建立了中医辨证决策 树，提取出糖尿病的 8 种中医证候分类规则. 周璐 等[6] 将 C4.5 决策树、随机森林、支持向量机、BP 神经网络算法进行融合，最终得到一种复合结构 的智能化辨证选方模型. 舒鑫等[7] 基于神经网络 构建了 AIS 气虚证预测模型，并展现出了良好的 准确率. 在此类方法中，尚未充分使用运用文本的 高层语义信息，可以尝试在此类方法基础上融入 高层语义信息进行效果提升. 自然语言处理技术的发展为中医的辨证论治 提供了新的方法，多标签文本分类即为其中的重 要方法. 多标签文本分类是指一个样本可以属于 多个类别（或标签）. 比如一条症状同时与“肾”和 “肝”两个标签关联，即该症状表现与“肾”和“肝” 两个脏腑相关. 有研究人员从聚类的角度对文本 进行多标签分类，申超波等[8] 提出了一种基于标 签聚类的标签幂集方法，通过改进平衡 k-means 聚 类来发现训练集中潜在的重要标签集合，并用于 形成新的训练集进行多标签分类. 黄志强[9] 对基 于 k-means 的多标签分类及标签补全算法进行了 研究. 在基于神经网络对文本特征进行提取表示方 面，研究人员也进行了大量研究. 李德玉等[10] 提 出一种基于标签特征的卷积神经网络（CNN）情绪 多标签分类方法，使用 Word2Vec 进行词向量表 示，然后利用标签特征来强化文本情绪和标签之 间的联系，融合入 CNN 模型对文本情绪进行深层 次的表示和多标签分类. Joulin 等[11] 基于浅层神 经网络设计出了文本分类工具 FastText. 易士翔等[12] 在中文突发事件数据集上验证了双向 LSTM 模型 在文本表征中的有效性. Chen 等[13] 在获得文本的 整体语义 (Text feature vector) 后，将文本整体语义 输入到一个递归神经网络（RNN）的序列中作为初 始值，每一时刻输入是上一时刻的输出，将卷积神 经网络和递归神经网络进行集成应用，以获得全 局和局部文本语义. Yogatama 等[14] 针对文本分类 问题构建了基 于 LSTM（ Long short-term memory， 长短期记忆网络）的生成模型和判别模型. Wang[15] 提出了中断递归神经网络（DRNN），将位置不变性 引入 RNN 中. 该网络通过限制 RNN 中的信息流 的距离，将每个时间步长的隐藏状态限制为表示 当前位置附近的单词. Kim[16] 提出 TextCNN，将卷 积神经网络应用到文本分类任务，利用多个不同 大小的 kernel 提取句子中的关键信息，这种方法类 似于多窗口大小的 n-gram，能够更好地捕捉局部 相关性. 在对多标签文本分类效果的提升过程中，输 入高质量的文本表征对模型效果有巨大的作用. 基于大规模语料库的预训练模型已经成为自然语 张德政等： 基于 ALBERT 与双向 GRU 的中医脏腑定位模型 · 1183 ·
1184 工程科学学报，第43卷，第9期 言处理技术的重要研究方向.这些预训练模型是 输入层将症状文本进行预处理后输入模型中 以庞大的语料库作为基础训练的，因此相较于 预训练层将输入的文本通过ALBERT预训练 onehot、.Word2Vec)、Glovel1s]等文本表征方式，预 语言模型获得文本的向量表征 训练模型具有更好的表征能力，可以更好地适用 Bi-GRU层接收经过ALBERT预训练模型后的 于不同场景下的自然语言处理任务.为了更多地 向量序列，通过Bi-GRU进一步编码获取高层语义 保留句子中词与词之间的内在联系，Google提出 输出层通过以Sigmoid为激活函数的全连接 Transformer编码器模型u咧，在此基础上Google提出 层将各标签对应输出值压缩至0~1之间，并将输 了BERT模型2(Bidirectional encoder representations 出值大于等于设定阈值的所有病位标签输出作为 from transformers),利用了随机遮盖语言模型 最终脏腑定位结果 (Masked LM和预测下一句(Next sentence prediction, 2.2 ALBERT预训练模型 NSP)2种方法分别捕捉词语和句子级别的表示.在 自BERT的成功以来，预训练模型都采用了很 BERT出现后，又相继出现了很多在BERT基础上 大的参数量以取得更好的模型表现.但是模型参 进一步改进和提升的模型，如XLNet!2,RoBERTal2、 数量越来越大也带来了很多问题，比如对算力要求 DistilBERT2]等. 越来越高、模型体积越来越大、模型训练时间越 雷景生和钱叶在公开数据集上进行了实 来越长等.为了解决目前预训练模型参数量过大的 验，验证了使用ERNIE预训练模型进行文本分 问题，Lan等2提出了ALBERT模型，相比于BERT, 类的有效性.本文使用的A lite BERT模型 ALBERT使用了2种能够大幅减少预训练模型参 (ALBERT)2是Google在BERT之后提出一种轻 数量的方法，并提出用语句顺序预测(Sentence 量级BERT,相比于BERT,ALBERT模型采用解绑 order prediction,SOP)任务代替BERT中的NSP任 输入的词向量大小和隐藏层大小关系的方式降低 务.ALBERT是一种轻量级的基于Transformer的 了模型参数量，并实现了模型跨层的参数共享，在 双向编码器表示模型(A lite bidirectional encoder 不损失模型效果的前提下有效缩小了模型大小. representations from transformers).通过对部分语义 2模型及算法描述 单元的随机掩码，使得模型能够学习到完整的语 义表示.ALBERT模型结构如图2所示，其中 2.1模型说明 [E1,E2,…,Em-l,En]为原始文本向量，trm为Transfor-- 本文提出的基于ALBERT和双向门控循环单 mer模型g 元(Bidirectional gated recurrent unit,.Bi-GRU)的多 标签文本分类模型整体结果如图1所示，整个模 型可以分为4个部分：输入层，预训练层，Bi-GRU层 和输出层 trm Heart Kidney Lung trm trm trm trm Sigmoid E E E-1 E GR GRU GRU 图2 ALBERT模型结构 Fig.2 ALBERT model structure GRU -GRU 由图2可以看出，模型的输出包含文本上下文 信息的向量表示，且每个向量[T1,T2,…,Tm-1,Tn都 ALBERT 包含了整个序列的文本信息 在ALBERT中，提出了2种可以减少BERT参 Chest Stuffiness Palpitate 数量的方法：(I)解绑WordPiece词向量大小E和 图1脏腑定位模型结构 隐层大小H,减小参数量：(2)层之间参数共享，即 Fig.1 Zang-fu localization model structure 在模型多个层之间使用相同的参数.第一种方法
言处理技术的重要研究方向. 这些预训练模型是 以庞大的语料库作为基础训练的 ，因此相较于 onehot、Word2Vec[17]、Glove[18] 等文本表征方式，预 训练模型具有更好的表征能力，可以更好地适用 于不同场景下的自然语言处理任务. 为了更多地 保留句子中词与词之间的内在联系，Google 提出 Transformer 编码器模型[19] ，在此基础上 Google 提出 了 BERT 模型[20] （Bidirectional encoder representations from transformers） ， 利 用 了 随 机 遮 盖 语 言 模 型 (Masked LM) 和预测下一句 (Next sentence prediction, NSP) 2 种方法分别捕捉词语和句子级别的表示. 在 BERT 出现后，又相继出现了很多在 BERT 基础上 进一步改进和提升的模型，如 XLNet[21] ，RoBERTa[22]、 DistilBERT[23] 等. 雷景生和钱叶[24] 在公开数据集上进行了实 验，验证了使用 ERNIE 预训练模型进行文本分 类 的 有 效 性 . 本 文 使 用 的 A lite BERT 模 型 （ALBERT） [25] 是 Google 在 BERT 之后提出一种轻 量级 BERT，相比于 BERT，ALBERT 模型采用解绑 输入的词向量大小和隐藏层大小关系的方式降低 了模型参数量，并实现了模型跨层的参数共享，在 不损失模型效果的前提下有效缩小了模型大小. 2 模型及算法描述 2.1 模型说明 本文提出的基于 ALBERT 和双向门控循环单 元 （Bidirectional gated recurrent unit, Bi-GRU）的多 标签文本分类模型整体结果如图 1 所示，整个模 型可以分为 4 个部分：输入层，预训练层，Bi-GRU 层 和输出层. Heart Kidney Lung Sigmoid GRU GRU GRU GRU Chest Stuffiness Palpitate GRU ALBERT GRU ······ ······ 图 1 脏腑定位模型结构 Fig.1 Zang-fu localization model structure 输入层将症状文本进行预处理后输入模型中. 预训练层将输入的文本通过 ALBERT 预训练 语言模型获得文本的向量表征. Bi-GRU 层接收经过 ALBERT 预训练模型后的 向量序列，通过 Bi-GRU 进一步编码获取高层语义. 输出层通过以 Sigmoid 为激活函数的全连接 层将各标签对应输出值压缩至 0～1 之间，并将输 出值大于等于设定阈值的所有病位标签输出作为 最终脏腑定位结果. 2.2 ALBERT 预训练模型 [E1,E2,··· ,En−1,En ] 自 BERT 的成功以来，预训练模型都采用了很 大的参数量以取得更好的模型表现. 但是模型参 数量越来越大也带来了很多问题，比如对算力要求 越来越高、模型体积越来越大、模型训练时间越 来越长等. 为了解决目前预训练模型参数量过大的 问题，Lan 等[25] 提出了 ALBERT 模型，相比于 BERT， ALBERT 使用了 2 种能够大幅减少预训练模型参 数量的方法 ，并提出用语句顺序预测 （ Sentence order prediction, SOP）任务代替 BERT 中的 NSP 任 务. ALBERT 是一种轻量级的基于 Transformer 的 双向编码器表示模型（ A lite bidirectional encoder representations from transformers）. 通过对部分语义 单元的随机掩码，使得模型能够学习到完整的语 义表示 . ALBERT 模型结构如 图 2 所示 ，其中 为原始文本向量，trm 为 Transformer 模型[19] . T1 T2 trm trm E1 E2 trm trm Tn En trm trm Tn−1 En−1 trm trm 图 2 ALBERT 模型结构 Fig.2 ALBERT model structure [T1,T2,··· ,Tn−1,Tn ] 由图 2 可以看出，模型的输出包含文本上下文 信息的向量表示，且每个向量 都 包含了整个序列的文本信息. 在 ALBERT 中，提出了 2 种可以减少 BERT 参 数量的方法：（1）解绑 WordPiece 词向量大小 E 和 隐层大小 H，减小参数量；（2）层之间参数共享，即 在模型多个层之间使用相同的参数. 第一种方法 · 1184 · 工程科学学报，第 43 卷，第 9 期
张德政等：基于ALBERT与双向GRU的中医脏腑定位模型 1185 对词嵌入参数进行了因式分解，将它们分解为两 按照流程，可将图3中的GRU分成4部分：更 个小矩阵.不再将One-hot向量直接映射到大小 新门、重置门、产生新记忆，和产生新隐藏层状态 为H的隐藏空间，而是先将它们映射到一个低维 h,下面将具体说明 词嵌入空间E,再映射到隐藏空间.通过这种分 更新门：用过去的隐藏层状态与当前输入决 解，将词嵌入参数从o(VxH)降低到o(V×E+E×H, 定如何产生新记忆 在隐层大小H远大于E时，会有非常明显的参数 重置门：用过去的隐藏层状态与当前输入决 量减少.第2种方法通过跨层参数共享，有效降低 定要有多少之前的记忆被遗忘 了参数量，并且通过参数共享，提升了模型的鲁棒性 产生新记忆五，：用过去的隐藏层状态与当前输 此外，对于BERT中的NSP任务，ALBERT进 入决定当前产生的新记忆，并用重置门控制过去 行了改进.由于BERT中NSP任务是预测两个句子 的隐藏层状态信息流入新记忆中 在原文本中是否连续出现的二分类任务，其正例为文 产生新隐藏层状态：用更新门从新记忆h,与 章中连续出现的两个句子，负例由两篇文档中各选 之前的隐藏层状态-1中得到新的隐藏层状态. 一句构造而成.由于负例的构造使得模型可能更 上述流程描述，可以得到如下4个公式，其中 多倾向于预测句子主题关系而非句子连续性，这将 包括重置门向量、更新门向量、新记忆和经过门 NSP任务简单化.所以ALBERT提出了句子顺序预 控处理后的新的记忆（新的隐藏层状态，）： 测任务(SOP),即正例选择方式不变，与NSP任务中 r:=(Wr.[hr-1,x]+br) (1) 的正例选择方式相同，负例选择一篇文档中两个连续 z=σ(Wz[h-l,x]+bz) (2) 的句子并将它们顺序交换后构造得到.在NSP和 SOP有效性对比实验中，NSP在解决SOP问题时精 h:=tanh(Wh[r*1x]+bn) (3) 度仅为52%，而SOP在NSP任务上精度为78.9%， h,=(1-z)*h1-1+z1*h, (4) 且SOP任务在几乎所有下游任务中都相比NSP有 式中，，为1时刻的重置门，z表示1时刻的更新门， 提升，基于此证明了SOP相比于NSP的有效性 h,表示t时刻的候选激活状态，h,表示t时刻的激活 经过上述处理，在大规模语料上训练得到的 状态，h-表示(t-1)时刻的隐藏层状态，[W,WW) ALBERT预训练模型可以凭借较少的模型参数表 表示各部分对应的权重系数矩阵，(b,bz,bh)为偏 达丰富的语义信息，有效缩减了模型体积 移向量，c表示sigmoid激活函数，*表示哈达玛积 2.3Bi-GRU层 (Hadamard product).相较于RNN模型，GRU能够 门控循环单元是LSTM的变种，是相比于LSTM 较好地解决梯度消失问题.而与LSTM相比，GRU 网络更简单的循环神经网络2 模型更为简单，需要的参数更少，而且不容易产生 GU网络通过引入门控机制来进行信息的更 过拟合现象 新.在LSTM网络中，输入门和遗忘门是互补关 GRU作为RNN的变种同RNN一样，均具有 系，直接使用两个门比较冗余.GU将输人门与 遗忘性.通常来说，在训练过程中，最后一个状态 和遗忘门合并成更新门(Update gate),并引入了重 所包含的信息是有损失的，而且越靠前，损失越严 置门(Reset gate).同时，GRU也不引入额外的记 重.对于包含很多序列的训练任务而言，获取前后 忆单元，直接在当前状态h,和历史状态h,-之间引 背景信息对增加模型准确度来说有重要意义.因 入线性依赖关系 此，本文通过训练正向学习和反向学习两个GU GRU模型更新方式如图3所示 神经网络，能够把正向和反向学习过程中最后状 态对应的向量进行连接，将连接后得到的向量作 为最后的结果，这个网络就可以利用前后所有信 息.本文中使用的双向GU模型如图4所示 2.4输出层 tanh 依据中医一个症状涉及多个脏腑的特点，该 模型的输出为多标签分类输出而非多分类输出 多标签分类与多分类的区别在于，多标签分类中 图3GRU单元 一个样本可以同时属于多个类别，而多分类中，一 Fig.3 GRU unit 个样本属于且只属于一个类别.如症状“胸闷，气
o(V × H) o(V × E + E × H) 对词嵌入参数进行了因式分解，将它们分解为两 个小矩阵. 不再将 One-hot 向量直接映射到大小 为 H 的隐藏空间，而是先将它们映射到一个低维 词嵌入空间 E，再映射到隐藏空间. 通过这种分 解，将词嵌入参数从 降低到 ， 在隐层大小 H 远大于 E 时，会有非常明显的参数 量减少. 第 2 种方法通过跨层参数共享，有效降低 了参数量，并且通过参数共享，提升了模型的鲁棒性. 此外，对于 BERT 中的 NSP 任务，ALBERT 进 行了改进. 由于 BERT 中 NSP 任务是预测两个句子 在原文本中是否连续出现的二分类任务，其正例为文 章中连续出现的两个句子，负例由两篇文档中各选 一句构造而成. 由于负例的构造使得模型可能更 多倾向于预测句子主题关系而非句子连续性，这将 NSP 任务简单化. 所以 ALBERT 提出了句子顺序预 测任务（SOP），即正例选择方式不变，与 NSP 任务中 的正例选择方式相同，负例选择一篇文档中两个连续 的句子并将它们顺序交换后构造得到. 在 NSP 和 SOP 有效性对比实验中，NSP 在解决 SOP 问题时精 度仅为 52%，而 SOP 在 NSP 任务上精度为 78.9%， 且 SOP 任务在几乎所有下游任务中都相比 NSP 有 提升[25] ，基于此证明了 SOP 相比于 NSP 的有效性. 经过上述处理，在大规模语料上训练得到的 ALBERT 预训练模型可以凭借较少的模型参数表 达丰富的语义信息，有效缩减了模型体积. 2.3 Bi-GRU 层 门控循环单元是 LSTM 的变种，是相比于 LSTM 网络更简单的循环神经网络[26] . ht ht−1 GRU 网络通过引入门控机制来进行信息的更 新. 在 LSTM 网络中，输入门和遗忘门是互补关 系，直接使用两个门比较冗余. GRU 将输入门与 和遗忘门合并成更新门（Update gate），并引入了重 置门（Reset gate）. 同时，GRU 也不引入额外的记 忆单元，直接在当前状态 和历史状态 之间引 入线性依赖关系. GRU 模型更新方式如图 3 所示. ht−1 1− xt rt zt ht ~ ht σ σ tanh 图 3 GRU 单元 Fig.3 GRU unit eht ht 按照流程，可将图 3 中的 GRU 分成 4 部分：更 新门、重置门、产生新记忆 和产生新隐藏层状态 ，下面将具体说明. 更新门：用过去的隐藏层状态与当前输入决 定如何产生新记忆. 重置门：用过去的隐藏层状态与当前输入决 定要有多少之前的记忆被遗忘. 产生新记忆eht：用过去的隐藏层状态与当前输 入决定当前产生的新记忆，并用重置门控制过去 的隐藏层状态信息流入新记忆中. ht eht ht−1 产生新隐藏层状态 ：用更新门从新记忆 与 之前的隐藏层状态 中得到新的隐藏层状态. eht 上述流程描述，可以得到如下 4 个公式，其中 包括重置门向量、更新门向量、新记忆和经过门 控处理后的新的记忆（新的隐藏层状态 ）： rt = σ(Wr ·[hr−1, xt]+ br) （1） zt = σ(Wz ·[ht−1, xt]+ bz) （2） eht = tanh(Wh ·[rt ∗ ht−1, xt]+ bh) （3） ht = (1− zt) ∗ ht−1 + zt ∗eht （4） rt zt eht ht ht−1 (t−1) Wr Wz Wh br bz bh σ 式中， 为 t 时刻的重置门， 表示 t 时刻的更新门， 表示 t 时刻的候选激活状态， 表示 t 时刻的激活 状态， 表示 时刻的隐藏层状态，[ , , ] 表示各部分对应的权重系数矩阵，（ , , ）为偏 移向量， 表示 sigmoid 激活函数，*表示哈达玛积 (Hadamard product). 相较于 RNN 模型，GRU 能够 较好地解决梯度消失问题. 而与 LSTM 相比，GRU 模型更为简单，需要的参数更少，而且不容易产生 过拟合现象. GRU 作为 RNN 的变种同 RNN 一样，均具有 遗忘性. 通常来说，在训练过程中，最后一个状态 所包含的信息是有损失的，而且越靠前，损失越严 重. 对于包含很多序列的训练任务而言，获取前后 背景信息对增加模型准确度来说有重要意义. 因 此，本文通过训练正向学习和反向学习两个 GRU 神经网络，能够把正向和反向学习过程中最后状 态对应的向量进行连接，将连接后得到的向量作 为最后的结果，这个网络就可以利用前后所有信 息. 本文中使用的双向 GRU 模型如图 4 所示. 2.4 输出层 依据中医一个症状涉及多个脏腑的特点，该 模型的输出为多标签分类输出而非多分类输出. 多标签分类与多分类的区别在于，多标签分类中 一个样本可以同时属于多个类别，而多分类中，一 个样本属于且只属于一个类别. 如症状“胸闷，气 张德政等： 基于 ALBERT 与双向 GRU 的中医脏腑定位模型 · 1185 ·
·1186 工程科学学报，第43卷，第9期 样本属于某一类别的概率；y是样本在某一类别下 的真实标签.区别于Softmax交叉嫡损失，Sigmoid CRU CRU CRU 函数使样本属于各类别的概率分布在(0,1)之间. 在训练阶段结束使用模型进行预测推理时， CRU CRU CRU 设定一个阈值，将概率大于阈值的所有标签输出， 作为多标签分类的预测结果.如输入症状“胸闷， T- T T: 气短，头晕，头痛，夜寐不宁，舌暗，苔薄，苔白，苔 图4双向GRU模型示意图 腻，脉弦，脉细，脉沉”后，输出各个标签概率为 Fig.4 Bi-GRU model diagram [0.64240265,0.6062219,0.04209191,,0.17620572] 短，头晕，头痛，夜寐不宁，舌暗，苔薄，苔白，苔腻， 分别对应[心’，肾，‘肺，，脾]，通过网格调 脉弦，脉细，脉沉”同时发生在“心，肾”两个病位， 参的方法，最终设定阈值为0.5，即大于等于0.5均 即同时属于“心”，“肾”两个类别，所以该问题为 为相关病位，在上述例子中，即“心”，“肾”为输入 多标签分类问题 症状的对应病位标签. 基于脏腑定位模型具有多标签分类的特点， 3实验及结果分析 在输出层使用Sigmoid函数作为激活函数预测各 3.1实验数据 个标签的概率，区别于单标签模型常用的Softmax 函数.Sigmoid函数是一类S型曲线函数，为两端 实验数据来源于名老中医医案库，在经过专 饱和函数.可以看成是一个“挤压”函数，把一个实 家指导后共筛选出14821份医案，本文中需要用到 数域的输入“挤压”到(0,1)之间.当输入值在0附 其中的“症状”和“病位”信息.其中“症状”指疾病 近时，Sigmoid函数近似为线性函数；当输入值靠 过程中机体内的一系列机能、代谢和形态结构异 常变化所引起的病人主观上的异常感觉或某些客 近两端时，对输入进行抑制.输人越小，越接近于 观病态改变；“病位”指与表现出的症状相关的部 0,输入越大，越接近于1. 位，即脏腑标签，在这些医案中存在症状信息不 在模型训练过程中，损失函数调整为带有Sigmoid 全、症状文本中存在无意义字符的情况，通过专家 函数的二元交叉熵损失函数，样本损失计算方式 指导和设置相应规则，对症状文本中去噪处理和 如式(5)所示： 筛选后，得到最终有效医案数据.将这些医案中 Loss=1+(y)-In(1) (5) “症状”信息和“病位”信息进行提取，得到本实验 n 中所用到的全部数据，共计12735份.所得数据格 式中，n为类别总数，是模型的输出值，表示预测 式如表1所示 表1脏腑定位数据格式 Table 1 Zang-fu location data format No Symptoms Tag Legs ache,and wake up unable to sleep,along with hemoptysis and a sore throat spleen,kidney,heart 2 The patient had high blood pressure,weakness in the right limb,and pain in the left upper arm liver,kidney 3.2实验参数设置 例的概率 具体实验参数设置如表2所示 F1值：指精确值和召回率的调和均值 3.3评价标准 计算表达式如下： 为了综合考虑模型的性能，本文采用了精确 P= ∑iTP: (6) 率(Precision)、召回率(Recall)、F1值(Fl-Value)作 ∑，TP:+FP 为模型评价指标 R=- ∑：TP: (7) 精确率，P:指在被所有预测为正例中实际为 TP,+FN 正例的概率 (8) 召回率，R:指在所有实际为正例中被预测为正 FI=2P-R P+R
短，头晕，头痛，夜寐不宁，舌暗，苔薄，苔白，苔腻， 脉弦，脉细，脉沉”同时发生在“心，肾”两个病位， 即同时属于“心”，“肾”两个类别，所以该问题为 多标签分类问题. 基于脏腑定位模型具有多标签分类的特点， 在输出层使用 Sigmoid 函数作为激活函数预测各 个标签的概率，区别于单标签模型常用的 Softmax 函数. Sigmoid 函数是一类 S 型曲线函数，为两端 饱和函数. 可以看成是一个“挤压”函数，把一个实 数域的输入“挤压”到 (0, 1) 之间. 当输入值在 0 附 近时，Sigmoid 函数近似为线性函数；当输入值靠 近两端时，对输入进行抑制. 输入越小，越接近于 0，输入越大，越接近于 1. 在模型训练过程中，损失函数调整为带有Sigmoid 函数的二元交叉熵损失函数，样本损失计算方式 如式（5）所示： Loss = − 1 n ∑n i=1 yi ·lnbyi +(1−yi)·ln( 1−byi ) （5） 式中，n 为类别总数，byi 是模型的输出值，表示预测 样本属于某一类别的概率； yi 是样本在某一类别下 的真实标签. 区别于 Softmax 交叉熵损失，Sigmoid 函数使样本属于各类别的概率分布在 (0, 1) 之间. , ··· 在训练阶段结束使用模型进行预测推理时， 设定一个阈值，将概率大于阈值的所有标签输出， 作为多标签分类的预测结果. 如输入症状“胸闷， 气短，头晕，头痛，夜寐不宁，舌暗，苔薄，苔白，苔 腻，脉弦，脉细，脉沉”后，输出各个标签概率为 [0.64240265, 0.6062219, 0.04209191 , 0.17620572]， 分别对应 [‘心’, ’肾’, ‘肺’, …, ‘脾’]，通过网格调 参的方法，最终设定阈值为 0.5，即大于等于 0.5 均 为相关病位，在上述例子中，即“心”，“肾”为输入 症状的对应病位标签. 3 实验及结果分析 3.1 实验数据 实验数据来源于名老中医医案库，在经过专 家指导后共筛选出 14821 份医案，本文中需要用到 其中的“症状”和“病位”信息. 其中“症状”指疾病 过程中机体内的一系列机能、代谢和形态结构异 常变化所引起的病人主观上的异常感觉或某些客 观病态改变；“病位”指与表现出的症状相关的部 位，即脏腑标签. 在这些医案中存在症状信息不 全、症状文本中存在无意义字符的情况，通过专家 指导和设置相应规则，对症状文本中去噪处理和 筛选后，得到最终有效医案数据. 将这些医案中 “症状”信息和“病位”信息进行提取，得到本实验 中所用到的全部数据，共计 12735 份. 所得数据格 式如表 1 所示. 表 1 脏腑定位数据格式 Table 1 Zang-fu location data format No. Symptoms Tag 1 Legs ache, and wake up unable to sleep, along with hemoptysis and a sore throat spleen, kidney, heart 2 The patient had high blood pressure, weakness in the right limb, and pain in the left upper arm liver, kidney 3.2 实验参数设置 具体实验参数设置如表 2 所示. 3.3 评价标准 为了综合考虑模型的性能，本文采用了精确 率（Precision）、召回率（Recall）、F1 值（F1-Value）作 为模型评价指标. 精确率，P：指在被所有预测为正例中实际为 正例的概率. 召回率，R：指在所有实际为正例中被预测为正 例的概率. F1 值：指精确值和召回率的调和均值. 计算表达式如下： P = ∑ i TPi ∑ i TPi +FPi （6） R = ∑ i TPi ∑ i TPi +FNi （7） F1 = 2 P·R P+R （8） CRU CRU CRU CRU CRU CRU Tt−1 Tt Tt+1 图 4 双向 GRU 模型示意图 Fig.4 Bi-GRU model diagram · 1186 · 工程科学学报，第 43 卷，第 9 期