《工程科学学报》：自注意力指导的多序列融合肝细胞癌分化判别模型.pdf

工程科学学报.第43卷，第9期：1149-1156.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1149-1156,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003;http://cje.ustb.edu.cn 自注意力指导的多序列融合肝细胞癌分化判别模型贾熹滨2，孙政1,2，杨大为)，杨正汉)区 1)北京工业大学信息学部.北京1001242)北京工业大学多媒体与智能软件技术北京重点实验室，北京1001243)首都医科大学附属北京友谊医院放射科.北京100050 ☒通信作者，E-mail:yangzhenghan(@vip.l63.com 摘要结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向.针对肝细胞癌 (Hepatocellular carcinoma,HCC)分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型.以动态对比增强核磁共振成像(Dynamic contrast-. enhanced magnetic resonance imaging,DCE-MRI)的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能.模型的训练和测试在三甲医院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类计算性能，在WH0组织学分级任务中，判别准确度、灵敏度、精确度分别达到80%，82%和82% 关键词肝细胞癌分级：动态对比增强核飚共振成像：自注意力机制：多序列融合：辅助诊断分类号TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin2,SUN Zheng 2),YANG Da-wei,YANG Zheng-han 1)Faculty of Information,Beijing University of Technology,Beijing 100124,China 2)Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China 3)Department of Radiology,Beijing Friendship Hospital,Capital Medical University,Beijing 100050,China Corresponding author,E-mail:yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma(HCC)is a type of primary malignant tumor and an urgent problem to be solved,particularly in China,one of the countries with the highest prevalence of HCC.In the choice of treatment methods for patients with hepatocellular carcinoma,accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients.However,the current pathological detection as the gold standard has defects,such as invasiveness and a large sampling error. Therefore,it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology.On the basis of the radiologists'experience in reading clinical images,this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI)sequences of hepatocellular carcinoma.The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task.It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance.During the experiment, 收稿日期：2021-01-13 基金项目：国家自然科学基金资助项目(61871276.U19B2039)

自注意力指导的多序列融合肝细胞癌分化判别模型贾熹滨1,2)，孙政1,2)，杨大为3)，杨正汉3) 苣 1) 北京工业大学信息学部，北京 100124 2) 北京工业大学多媒体与智能软件技术北京重点实验室，北京 100124 3) 首都医科大学附属北京友谊医院放射科，北京 100050 苣通信作者，E-mail：yangzhenghan@vip.163.com 摘要结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向. 针对肝细胞癌（Hepatocellular carcinoma, HCC）分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型. 以动态对比增强核磁共振成像（Dynamic contrastenhanced magnetic resonance imaging, DCE-MRI）的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能. 模型的训练和测试在三甲医院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类计算性能，在 WHO 组织学分级任务中，判别准确度、灵敏度、精确度分别达到 80%，82% 和 82%. 关键词肝细胞癌分级；动态对比增强核磁共振成像；自注意力机制；多序列融合；辅助诊断分类号 TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin1,2) ，SUN Zheng1,2) ，YANG Da-wei3) ，YANG Zheng-han3) 苣 1) Faculty of Information, Beijing University of Technology, Beijing 100124, China 2) Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology, Beijing University of Technology, Beijing 100124, China 3) Department of Radiology, Beijing Friendship Hospital, Capital Medical University, Beijing 100050, China 苣 Corresponding author, E-mail: yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma (HCC) is a type of primary malignant tumor and an urgent problem to be solved, particularly in China, one of the countries with the highest prevalence of HCC. In the choice of treatment methods for patients with hepatocellular carcinoma, accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients. However, the current pathological detection as the gold standard has defects, such as invasiveness and a large sampling error. Therefore, it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology. On the basis of the radiologists' experience in reading clinical images, this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI) sequences of hepatocellular carcinoma. The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task. It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance. During the experiment, 收稿日期: 2021−01−13 基金项目: 国家自然科学基金资助项目（61871276，U19B2039）工程科学学报，第 43 卷，第 9 期：1149−1156，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1149−1156, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003; http://cje.ustb.edu.cn

·1150 工程科学学报，第43卷.第9期 the model was trained and tested on the clinical data set of the top three hospitals in China.The experimental results show that the self- attention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models.Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists.The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences.In the WHO histological classification task,the classification accuracy of the proposed model reaches 80%,the sensitivity is 82%,and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma;dynamic contrast-enhanced magnetic resonance imaging:self-attention mechanism;multimodal fusion;auxiliary diagnosis 肝细胞癌(Hepatocellular carcinoma,.HCC)是一影像，每个时刻的DCE-MRI序列具有多层切片的种高度流行且致命的肿瘤，是全球癌症相关死亡三维空间信息，可以清楚地反映出病灶区域周围的第4大最常见原因-]一般来说，肝细胞癌的组织的一些纹理、边缘和空间信息，同时其时序特分化程度分为高分化、中分化和低分化，分化程度征可以反映出造影剂在血管中流动过程的血流灌越低则代表肿瘤恶性程度越高，从临床角度看，在注信息，体现病灶随着时间发生变化的特性.因而术前对肝细胞癌分化程度精确判别对治疗方案制有效的利用DCE-MRI序列所提供的时空特性，建定和预后效果估计具有至关重要作用] 立分化程度可判别的深度网络计算模型，有助于HCC 目前对肝细胞癌分化程度的病理判别的金标分化程度无创诊断模型研究.因此本文以HC℃患准是基于肝脏穿刺的肝脏组织活检)，而基于肝脏者影像学检查结果DCE-MRI序列及病理金标准穿刺的检测方法创伤性很大且存在针道转移、取标注的临床数据为基础，研究基于多参数DCE-MRI 样误差等风险，导致患者不愿意接受肝穿治疗6刀的3D序列融合HCC分化程度判别方法因而无创性的影像学方法，例如超声、电子计算机 1相关工作及研究现状断层扫描(Computed tomography,CT)、磁共振成像 (Magnetic resonance imaging,MRI)等多种影像技术临床对肝肿瘤病灶影像分析，通常采用的被用于肝细胞癌分化程度的定性分析 DCE-MRI序列包括平扫、动脉早期、动脉晚期、美国放射学会所制订的肝脏影像报告及数据门静脉期、延迟期共5个序列.医生对病灶区域病 (Liver imaging reporting and data system,LI- 变分类诊断，通常根据多个时相、序列的影像中病 RADS)通过对增强CT或动态对比增强核磁共振灶区域特征分析决定，因此，在智能影像研究领 (Dynamic contrast-enhanced magnetic resonance 域，利用多模态数据融合进行多个序列数据协同 imaging,DCE-MRI)诊断肝细胞癌的5种主要成像诊断亦成为主流方法功能的描述，来规范化肝脏影像学方法的诊断流 2014年，Suk等将深度学习方法用于阿滋程，对HCC及其他局灶性肝脏进行分类诊断，然海默病，采用包含分层结构特征融合在内的多种而传统影像学方法尚无法实现HCC分化程度的特征融合方式.2016年，Wang等w则在多个序列精准判别，因此，引入基于统计科学的深度学习方融合的基础上，将序列3D图像的冠状面、矢状面法以辅助医生进行HCC诊断，建立精准无创的和水平面作为三个分支作为输入，利用多视角融 HCC分化程度判别模型，仍是亟待解决的问题合3D图像信息，提升模型预测效果.然而，目前序 DCE-MRI所具有的高灵敏度、高清晰度和高列融合方法未考虑序列分类诊断能力的差异性及对比度特性，被广泛用于影像学智能诊断模型研在判别中作用的差别.因此本文引入了“自注意究8-在许多临床研究中，DCE-MRI已广泛用于力”机制，在特征层融合时不仅考虑不同序列特征无创检测，表征和治疗监测不同疾病0不仅如间的互补性，也考虑各个序列对最终分类任务的此，在很多使用机器学习方法和影像学检查结果 “敏感度”.通过不同序列特征的互补和对分类任搭建分类、分割及目标检测模型用于辅助医生诊务的“敏感度”的计算，建模医生诊断和读片过程断的工作中，DCE-MRI已经成为一种常用的目标对不同序列给予不同的关注度的诊断经验序列-2 本团队前期利用增强序列实现HCC分级工作 DCE-MRI影像是通过注射了对比造影剂，在中，Ja等提出了一种数据层时空融合的方法，注入后的多个时刻，进行多次扫描获得各个序列根据注入造影剂引发增强序列随时间的表象变化

the model was trained and tested on the clinical data set of the top three hospitals in China. The experimental results show that the selfattention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models. Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists. The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences. In the WHO histological classification task, the classification accuracy of the proposed model reaches 80%, the sensitivity is 82%, and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma； dynamic contrast-enhanced magnetic resonance imaging； self-attention mechanism；multimodal fusion；auxiliary diagnosis 肝细胞癌（Hepatocellular carcinoma, HCC）是一种高度流行且致命的肿瘤，是全球癌症相关死亡的第 4 大最常见原因[1−2] . 一般来说，肝细胞癌的分化程度分为高分化、中分化和低分化，分化程度越低则代表肿瘤恶性程度越高，从临床角度看，在术前对肝细胞癌分化程度精确判别对治疗方案制定和预后效果估计具有至关重要作用[3−4] . 目前对肝细胞癌分化程度的病理判别的金标准是基于肝脏穿刺的肝脏组织活检[5] ，而基于肝脏穿刺的检测方法创伤性很大且存在针道转移、取样误差等风险，导致患者不愿意接受肝穿治疗[6−7] . 因而无创性的影像学方法，例如超声、电子计算机断层扫描 (Computed tomography, CT)、磁共振成像 (Magnetic resonance imaging, MRI) 等多种影像技术被用于肝细胞癌分化程度的定性分析. 美国放射学会所制订的肝脏影像报告及数据系统 (Liver imaging reporting and data system， LIRADS) 通过对增强 CT 或动态对比增强核磁共振成像 (Dynamic contrast-enhanced magnetic resonance imaging，DCE-MRI) 诊断肝细胞癌的 5 种主要成像功能的描述，来规范化肝脏影像学方法的诊断流程，对 HCC 及其他局灶性肝脏进行分类诊断，然而传统影像学方法尚无法实现 HCC 分化程度的精准判别，因此，引入基于统计科学的深度学习方法以辅助医生进行 HCC 诊断，建立精准无创的 HCC 分化程度判别模型，仍是亟待解决的问题. DCE-MRI 所具有的高灵敏度、高清晰度和高对比度特性，被广泛用于影像学智能诊断模型研究[8−9] . 在许多临床研究中，DCE-MRI 已广泛用于无创检测，表征和治疗监测不同疾病[10] . 不仅如此，在很多使用机器学习方法和影像学检查结果搭建分类、分割及目标检测模型用于辅助医生诊断的工作中，DCE-MRI 已经成为一种常用的目标序列[11−12] . DCE-MRI 影像是通过注射了对比造影剂，在注入后的多个时刻，进行多次扫描获得各个序列影像，每个时刻的 DCE-MRI 序列具有多层切片的三维空间信息，可以清楚地反映出病灶区域周围组织的一些纹理、边缘和空间信息，同时其时序特征可以反映出造影剂在血管中流动过程的血流灌注信息，体现病灶随着时间发生变化的特性. 因而有效的利用 DCE-MRI 序列所提供的时空特性，建立分化程度可判别的深度网络计算模型，有助于 HCC 分化程度无创诊断模型研究. 因此本文以 HCC 患者影像学检查结果 DCE-MRI 序列及病理金标准标注的临床数据为基础，研究基于多参数 DCE-MRI 的 3D 序列融合 HCC 分化程度判别方法. 1 相关工作及研究现状临床对肝肿瘤病灶影像分析，通常采用的 DCE-MRI 序列包括平扫、动脉早期、动脉晚期、门静脉期、延迟期共 5 个序列. 医生对病灶区域病变分类诊断，通常根据多个时相、序列的影像中病灶区域特征分析决定，因此，在智能影像研究领域，利用多模态数据融合进行多个序列数据协同诊断亦成为主流方法. 2014 年，Suk 等[13] 将深度学习方法用于阿兹海默病，采用包含分层结构特征融合在内的多种特征融合方式. 2016 年，Wang 等[14] 则在多个序列融合的基础上，将序列 3D 图像的冠状面、矢状面和水平面作为三个分支作为输入，利用多视角融合 3D 图像信息，提升模型预测效果. 然而，目前序列融合方法未考虑序列分类诊断能力的差异性及在判别中作用的差别. 因此本文引入了“自注意力”机制，在特征层融合时不仅考虑不同序列特征间的互补性，也考虑各个序列对最终分类任务的 “敏感度”. 通过不同序列特征的互补和对分类任务的“敏感度”的计算，建模医生诊断和读片过程对不同序列给予不同的关注度的诊断经验. 本团队前期利用增强序列实现 HCC 分级工作中，Jia 等[15] 提出了一种数据层时空融合的方法，根据注入造影剂引发增强序列随时间的表象变化 · 1150 · 工程科学学报，第 43 卷，第 9 期

贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1151 特点，采样2D横断层面的影像，并拼接多个时间专业标注等因素，因此样本数量非常少且高分化段影像，构建展现同一个2D层面随时间变化影像样本多样性大，因此如何在训练数据有限的情况特征的3D数据，验证DCE-MRI序列中时空融合下，权衡模型体量和模型学习能力，获得良好的分特征在HCC分化程度判别中的作用. 类性能，仍是亟待解决的问题总之，现有研究表明，病灶区域及其周围组织针对以上两个问题，本文参考自然语言处理的DCE-MRI时间和空间信息在分类问题上非常 (Natural language processing,NLP)中常用的“自注具有潜力6-].因此本文研究DCE-MRI多序列融意力”机制，结合医生临床诊断中关注不同序列和合计算方法基础上，重点探讨如何结合医生依据不同征象的经验，提出一种基于自注意力指导的疾病类别可能性重点关注几个特定序列和征象的多序列特征融合提取方法，提取多参数3D序列特临床经验，通过提出的“自注意力”计算模块，计算征基础上，学习并计算各个序列及其各个通道特输入的多个多通道3D数据对分类任务的“敏感征的全局注意力，最后利用全局自注意力加权计度”，并将其与特征提取器所提取的DCE-MRI序算多序列融合的高层语义特征，为HCC分化程度列的时空特征进行融合.充分利用DCE-MRI序列判别提供可判别特征. 的时空信息同时，建立自注意力指导的多序列融 2.2“自注意力”机制及“自注意力”模型合HCC分化判别模型. 医学影像反映器官组织在不同序列的多层横断面扫描层的病灶征象，不同成像方式所得的多 2研究内容及方法个序列通过不同的成像参数反映病灶区域的不同 2.1研究动机及方法概述信息.“自注意力”机制的引入旨在建模医生影像目前已有研究者使用肝脏CT和MRI影像进诊断中对不同序列不同的关注度，在特征提取过行分割、分类问题的算法研究9-20.但现有的学习程中计算各个输入序列对最后分类任务的注意力模型仍存在以下两个主要问题：权值，并在特征层对特征加权后进行融合.“自注 (1)传统影像机器学习方法多从单一序列影像意力”机制通过学习不同序列数据的注意力权值，技术的角度进行研究.但临床经验表明，不同序列增加对分类任务更具判别性能序列的权值，减少的影像通常反映出不同病理特征，蕴含着支持诊分类任务无关序列对结果的影响，以提升整体的断分类信息所对应的不同病灶征象，因此对最后分类效果分类任务而言，不同序列可以提供不同角度信息. 自注意力指导HCC分化判别模型网络结构如因此仅利用单一影像序列，无法做到多维度的全面图1所示，该模型结合了注意力权值计算模块、特评估，更无法关注不同序列所提供的不同的信息. 征提取模块和分类器的“自注意力”模型，输人序 (2)相对自然图像数据集而言，有标签的临床列位于图中间，并分别输入到左侧的“自注意力” 影像数据集规模较小.而带病理金标签的HCC临计算模块和右侧的特征提取模块，进行注意力权床医学影像数据集，其数据规模也受限于病例数、值计算和特征提取 ☐Input layer Fully connected layer Output layer Global average poolr Convolution layer Softma 目Category information Channel-wise product Element-wise addition 图1“自注意力”模型结构 Fig.1 Structure of the"self-attention"model “自注意力”的计算和加权主要分为4个过程. 素加(Element-wise addition),而逐元素加的结果即第一步，对输入的各个序列的特征进行逐元为用于计算各个序列对应通道对于分类任务的

特点，采样 2D 横断层面的影像，并拼接多个时间段影像，构建展现同一个 2D 层面随时间变化影像特征的 3D 数据，验证 DCE-MRI 序列中时空融合特征在 HCC 分化程度判别中的作用. 总之，现有研究表明，病灶区域及其周围组织的 DCE-MRI 时间和空间信息在分类问题上非常具有潜力[16−18] . 因此本文研究 DCE-MRI 多序列融合计算方法基础上，重点探讨如何结合医生依据疾病类别可能性重点关注几个特定序列和征象的临床经验，通过提出的“自注意力”计算模块，计算输入的多个多通道 3D 数据对分类任务的“敏感度”，并将其与特征提取器所提取的 DCE-MRI 序列的时空特征进行融合. 充分利用 DCE-MRI 序列的时空信息同时，建立自注意力指导的多序列融合 HCC 分化判别模型. 2 研究内容及方法 2.1 研究动机及方法概述目前已有研究者使用肝脏 CT 和 MRI 影像进行分割、分类问题的算法研究[19−20] ，但现有的学习模型仍存在以下两个主要问题：（1）传统影像机器学习方法多从单一序列影像技术的角度进行研究. 但临床经验表明，不同序列的影像通常反映出不同病理特征，蕴含着支持诊断分类信息所对应的不同病灶征象，因此对最后分类任务而言，不同序列可以提供不同角度信息. 因此仅利用单一影像序列，无法做到多维度的全面评估，更无法关注不同序列所提供的不同的信息. （2）相对自然图像数据集而言，有标签的临床影像数据集规模较小. 而带病理金标签的 HCC 临床医学影像数据集，其数据规模也受限于病例数、专业标注等因素，因此样本数量非常少且高分化样本多样性大. 因此如何在训练数据有限的情况下，权衡模型体量和模型学习能力，获得良好的分类性能，仍是亟待解决的问题. 针对以上两个问题，本文参考自然语言处理（Natural language processing, NLP）中常用的“自注意力”机制，结合医生临床诊断中关注不同序列和不同征象的经验，提出一种基于自注意力指导的多序列特征融合提取方法，提取多参数 3D 序列特征基础上，学习并计算各个序列及其各个通道特征的全局注意力，最后利用全局自注意力加权计算多序列融合的高层语义特征，为 HCC 分化程度判别提供可判别特征. 2.2 “自注意力”机制及“自注意力”模型医学影像反映器官组织在不同序列的多层横断面扫描层的病灶征象，不同成像方式所得的多个序列通过不同的成像参数反映病灶区域的不同信息. “自注意力”机制的引入旨在建模医生影像诊断中对不同序列不同的关注度，在特征提取过程中计算各个输入序列对最后分类任务的注意力权值，并在特征层对特征加权后进行融合. “自注意力”机制通过学习不同序列数据的注意力权值，增加对分类任务更具判别性能序列的权值，减少分类任务无关序列对结果的影响，以提升整体的分类效果. 自注意力指导 HCC 分化判别模型网络结构如图 1 所示，该模型结合了注意力权值计算模块、特征提取模块和分类器的“自注意力”模型，输入序列位于图中间，并分别输入到左侧的“自注意力” 计算模块和右侧的特征提取模块，进行注意力权值计算和特征提取. Global average pooling Softmax Input layer Fully connected layer Output layer Convolution layer Category information Channel-wise product Element-wise addition 图 1 “自注意力”模型结构 Fig.1 Structure of the "self-attention" model “自注意力”的计算和加权主要分为 4 个过程. 第一步，对输入的各个序列的特征进行逐元素加（Element-wise addition），而逐元素加的结果即为用于计算各个序列对应通道对于分类任务的贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 · 1151 ·

1152 工程科学学报，第43卷，第9期 “注意力”的特征层融合特征生组织(WHO)所制定的三分类标准和Edmonson2) 第二步，对融合的特征进行全局平均池化，即分级标准所制订的四分类标准.本文在自建的数将整个3D特征沿着通道压缩成一个1×1×C的特据集中与Baseline模型22-2)、本课题组前期所提出征，C代表整个3D特征的通道数.特征融合和全的模型和现有的几种肝细胞癌分级模型-2在局平均池化(Global average pooling)的具体过程如两个分类任务进行对比实验式(1)，其中H和W代表输入数据的尺寸，N代表从两种分类标准来看，WHO分级标准为三分输入的序列个数，F代表全局平均池化的输出，类，将HCC分化程度划分为高分化、中分化和低 F,则代表各个输入序列的对应位置的灰度值分化3种，严重程度从低到高.而Edmonson则是 N H W 将HCC分化程度划分为4个级别.分别为I、Ⅱ、Ⅱ F1= 1 F(y) (1) H. 和IV,严重程度从低到高.基于2种分类标准所划 i=l x=l y=l 分的经过数据增强所得的数据集如表1~2所示第三步，将多模态融合特征输入全连接层，引为了避免类别不均衡的问题影响模型分类效果，入非线性，添加线性整流函数(Rectified linear unit,. 本文使用了过采样的方法对两个任务的训练集进 ReLU)作为激活函数，全连接层的输出为新的行类别平衡，即对数据量较少的类别在训练过程 N个长度为C的“注意力”特征，而为了便于与各中进行随机采样，使得这个类别的数据量与数据个序列的各个通道进行注意力加权.具体过程如量最多的类别的数据量相同，从一定程度上降低式(2)，其中F2∈N×1×1×C代表输出的各个序列了数据量类别不均衡造成的影响的注意力权值，δ代表激活函数，W1和b代表全连接层的参数值和偏置值. 表1基于WHO分类标准的HCC类别数据分布 F2=6(F1×W1+b) (2) Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system 最后，用“注意力”计算模块输出的权值与输 Datasets Well Moderately Poorly 入序列经过特征提取模块得到的特征进行逐通道 Training set 56 208 54 乘(Channel-wise product),得到注意力加权融合特征 Test set 32 104 26 特征提取模块分别使用权值不同的特征提取 Total 88 312 80 器提取各个序列特征.特征提取器由卷积层 (Convolution layer))、池化层(Pool layer)和全连接表2基于Edmonson分类标准的HCC类别数据分布层(Fully-connected layer)的组合构成，在与注意力 Table 2 Augmentation results for a dataset with HCC grading under the 权值进行逐元素乘之前，为了避免破坏输入序列 Edmonson grading system 特征中各个通道的关系且方便注意力加权，设置 Datasets 0 ⅢI IV 卷积层为2D卷积.在经过了注意力加权融合之 Training set 56 120 54 后，再引入3D卷积将所得的融合特征拉伸成一维 Test set 之号 64 26 特征，以在保留语义信息的基础之上简化计算、减 Total 88 128 184 80 少网络参数量，便于最后的分类工作.最后，与注意力权值融合的多模态特征在经过由3D卷积层在损失函数方面，本文选择在分类问题中表和全连接层组成的特征提取器后得到输出特征，现较为优异的交叉嫡损失函数和在区分少量不同再将输出特征送入softmax分类器，输出HCC分类别的数据的任务中表现优异的三元组损失函化程度判别结果数.在使用验证集对模型的参数调整和结构参数 2.3模型优化、验证及实验设计选择上，对训练集使用了十折交叉验证的方法来为了优化提出的自注意力指导的学习模型，获取一个较为鲁棒的值，同时也可以防止单独划并验证模型的可行性，本文使用了三甲医院的肝分出一个验证集而进一步减少本就不充足的训练细胞癌患者的临床病例自建了肝细胞癌病灶数据集数据集，并由专业医师完成病灶区域的提取和标注.数总体的测试结果，本文使用在数据集中进行据集预处理则使用了常规的数据增强、类别均衡十次随机采样所得的训练集和测试集进行训练和等方法测试，并通过十次实验中，模型在测试集上的准确分类任务依据两大病理金标准包括两类：世界卫率(Accuracy)、召回率(Recall))、精确度(Precision)

“注意力”的特征层融合特征. 第二步，对融合的特征进行全局平均池化，即将整个 3D 特征沿着通道压缩成一个 1×1×C 的特征，C 代表整个 3D 特征的通道数. 特征融合和全局平均池化（Global average pooling）的具体过程如式（1），其中 H 和 W 代表输入数据的尺寸，N 代表输入的序列个数，F1 代表全局平均池化的输出， Fi 则代表各个输入序列的对应位置的灰度值. F1 = 1 H · W ∑ N i=1 ∑ H x=1 ∑ W y=1 Fi(x, y) （1）第三步，将多模态融合特征输入全连接层，引入非线性，添加线性整流函数（Rectified linear unit, ReLU）作为激活函数，全连接层的输出为新的 N 个长度为 C 的“注意力”特征，而为了便于与各个序列的各个通道进行注意力加权. 具体过程如式（2），其中 F2∈ N×1×1×C 代表输出的各个序列的注意力权值，δ 代表激活函数，W1 和 b 代表全连接层的参数值和偏置值. F2 = δ(F1 ×W1 +b) （2）最后，用 “注意力”计算模块输出的权值与输入序列经过特征提取模块得到的特征进行逐通道乘（Channel-wise product），得到注意力加权融合特征. 特征提取模块分别使用权值不同的特征提取器提取各个序列特征 . 特征提取器由卷积层 (Convolution layer)、池化层 (Pool layer) 和全连接层 (Fully-connected layer) 的组合构成，在与注意力权值进行逐元素乘之前，为了避免破坏输入序列特征中各个通道的关系且方便注意力加权，设置卷积层为 2D 卷积. 在经过了注意力加权融合之后，再引入 3D 卷积将所得的融合特征拉伸成一维特征，以在保留语义信息的基础之上简化计算、减少网络参数量，便于最后的分类工作. 最后，与注意力权值融合的多模态特征在经过由 3D 卷积层和全连接层组成的特征提取器后得到输出特征，再将输出特征送入 softmax 分类器，输出 HCC 分化程度判别结果. 2.3 模型优化、验证及实验设计为了优化提出的自注意力指导的学习模型，并验证模型的可行性，本文使用了三甲医院的肝细胞癌患者的临床病例自建了肝细胞癌病灶数据集，并由专业医师完成病灶区域的提取和标注. 数据集预处理则使用了常规的数据增强、类别均衡等方法. 分类任务依据两大病理金标准包括两类：世界卫生组织（WHO）所制定的三分类标准和 Edmonson[21] 分级标准所制订的四分类标准. 本文在自建的数据集中与 Baseline 模型[22−23]、本课题组前期所提出的模型[15] 和现有的几种肝细胞癌分级模型[24−25] 在两个分类任务进行对比实验. 从两种分类标准来看，WHO 分级标准为三分类，将 HCC 分化程度划分为高分化、中分化和低分化 3 种，严重程度从低到高. 而 Edmonson 则是将 HCC 分化程度划分为 4 个级别，分别为 I、II、III 和 IV，严重程度从低到高. 基于 2 种分类标准所划分的经过数据增强所得的数据集如表 1～2 所示. 为了避免类别不均衡的问题影响模型分类效果，本文使用了过采样的方法对两个任务的训练集进行类别平衡，即对数据量较少的类别在训练过程中进行随机采样，使得这个类别的数据量与数据量最多的类别的数据量相同，从一定程度上降低了数据量类别不均衡造成的影响. 表 1 基于 WHO 分类标准的 HCC 类别数据分布 Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system Datasets Well Moderately Poorly Training set 56 208 54 Test set 32 104 26 Total 88 312 80 表 2 基于 Edmonson 分类标准的 HCC 类别数据分布 Table 2 Augmentation results for a dataset with HCC grading under the Edmonson grading system Datasets I II III IV Training set 56 88 120 54 Test set 32 40 64 26 Total 88 128 184 80 在损失函数方面，本文选择在分类问题中表现较为优异的交叉熵损失函数和在区分少量不同类别的数据的任务中表现优异的三元组损失函数. 在使用验证集对模型的参数调整和结构参数选择上，对训练集使用了十折交叉验证的方法来获取一个较为鲁棒的值，同时也可以防止单独划分出一个验证集而进一步减少本就不充足的训练集数据. 总体的测试结果，本文使用在数据集中进行十次随机采样所得的训练集和测试集进行训练和测试，并通过十次实验中，模型在测试集上的准确率（Accuracy）、召回率（Recall）、精确度（Precision） · 1152 · 工程科学学报，第 43 卷，第 9 期