自注意力指导的多序列融合肝细胞癌分化判别模型

工程科学学报 Chinese Journal of Engineering 自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨孙政杨大为杨正汉 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin.SUN Zheng.YANG Da-wei.YANG Zheng-han 引用本文： 贾熹滨，孙政，杨大为，杨正汉.自注意力指导的多序列融合肝细胞癌分化判别模型.工程科学学报，2021,43(9外：1149- 1156.doi10.13374.issn2095-9389.2021.01.13.003 JIA Xi-bin,SUN Zheng,YANG Da-wei,YANG Zheng-han.Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma[J].Chinese Journal of Engineering,2021,43(9):1149-1156.doi:10.13374/j.issn2095- 9389.2021.01.13.003 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2021.01.13.003 您可能感兴趣的其他文章 Articles you may be interested in 基于核磁共振的不同含水状态砂岩动态损伤规律 Dynamic damage laws of sandstone under different water bearing conditions based on nuclear magnetic resonance 工程科学学报.2018,40(2：144 https:1doi.org/10.13374j.issn2095-9389.2018.02.003 含有自校正模型的加权多模型自适应控制 Weighted multiple model adaptive control with self-tuning model 工程科学学报.2018.40(11)：1389htps:/1doi.org/10.13374斩.issn2095-9389.2018.11.013 基于融合模型的锂离子电池荷电状态在线估计 Online estimation of the state of charge of a lithium-ion battery based on the fusion model 工程科学学报.2020.42(9外：1200htps:/1doi.org10.13374.issn2095-9389.2019.09.20.001 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报.2018.408：989 https:/1doi.org10.13374.issn2095-9389.2018.08.013

自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨 孙政 杨大为 杨正汉 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin, SUN Zheng, YANG Da-wei, YANG Zheng-han 引用本文: 贾熹滨, 孙政, 杨大为, 杨正汉. 自注意力指导的多序列融合肝细胞癌分化判别模型[J]. 工程科学学报, 2021, 43(9): 1149- 1156. doi: 10.13374/j.issn2095-9389.2021.01.13.003 JIA Xi-bin, SUN Zheng, YANG Da-wei, YANG Zheng-han. Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma[J]. Chinese Journal of Engineering, 2021, 43(9): 1149-1156. doi: 10.13374/j.issn2095- 9389.2021.01.13.003 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003 您可能感兴趣的其他文章 Articles you may be interested in 基于核磁共振的不同含水状态砂岩动态损伤规律 Dynamic damage laws of sandstone under different water bearing conditions based on nuclear magnetic resonance 工程科学学报. 2018, 40(2): 144 https://doi.org/10.13374/j.issn2095-9389.2018.02.003 含有自校正模型的加权多模型自适应控制 Weighted multiple model adaptive control with self-tuning model 工程科学学报. 2018, 40(11): 1389 https://doi.org/10.13374/j.issn2095-9389.2018.11.013 基于融合模型的锂离子电池荷电状态在线估计 Online estimation of the state of charge of a lithium-ion battery based on the fusion model 工程科学学报. 2020, 42(9): 1200 https://doi.org/10.13374/j.issn2095-9389.2019.09.20.001 基于周期势系统随机共振的轴承故障诊断 Bearing fault diagnosis by stochastic resonance method in periodical potential system 工程科学学报. 2018, 40(8): 989 https://doi.org/10.13374/j.issn2095-9389.2018.08.013

工程科学学报.第43卷，第9期：1149-1156.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1149-1156,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003;http://cje.ustb.edu.cn 自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨2，孙政1,2，杨大为)，杨正汉)区 1)北京工业大学信息学部.北京1001242)北京工业大学多媒体与智能软件技术北京重点实验室，北京1001243)首都医科大学附属北 京友谊医院放射科.北京100050 ☒通信作者，E-mail:yangzhenghan(@vip.l63.com 摘要结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向.针对肝细胞癌 (Hepatocellular carcinoma,HCC)分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自 注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型.以动态对比增强核磁共振成像(Dynamic contrast-. enhanced magnetic resonance imaging,DCE-MRI)的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判 别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能.模型的训练和测试在三甲医 院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类 计算性能，在WH0组织学分级任务中，判别准确度、灵敏度、精确度分别达到80%，82%和82% 关键词肝细胞癌分级：动态对比增强核飚共振成像：自注意力机制：多序列融合：辅助诊断 分类号TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin2,SUN Zheng 2),YANG Da-wei,YANG Zheng-han 1)Faculty of Information,Beijing University of Technology,Beijing 100124,China 2)Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology,Beijing University of Technology,Beijing 100124,China 3)Department of Radiology,Beijing Friendship Hospital,Capital Medical University,Beijing 100050,China Corresponding author,E-mail:yangzhenghan@vip.163.com ABSTRACT Hepatocellular carcinoma(HCC)is a type of primary malignant tumor and an urgent problem to be solved,particularly in China,one of the countries with the highest prevalence of HCC.In the choice of treatment methods for patients with hepatocellular carcinoma,accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients.However,the current pathological detection as the gold standard has defects,such as invasiveness and a large sampling error. Therefore,it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology.On the basis of the radiologists'experience in reading clinical images,this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and an attention weight calculation scheme for dynamic contrast-enhanced magnetic resonance imaging (DCE-MRI)sequences of hepatocellular carcinoma.The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task.It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance.During the experiment, 收稿日期：2021-01-13 基金项目：国家自然科学基金资助项目(61871276.U19B2039)

自注意力指导的多序列融合肝细胞癌分化判别模型 贾熹滨1,2)，孙    政1,2)，杨大为3)，杨正汉3) 苣 1) 北京工业大学信息学部，北京 100124    2) 北京工业大学多媒体与智能软件技术北京重点实验室，北京 100124    3) 首都医科大学附属北 京友谊医院放射科，北京 100050 苣通信作者，E-mail：yangzhenghan@vip.163.com 摘    要    结合影像学和人工智能技术对病灶进行无创性定量分析是目前智慧医疗的一个重要研究方向. 针对肝细胞癌 （Hepatocellular carcinoma, HCC）分化程度的无创性定量估测方法研究，结合放射科医师的临床读片经验，提出了一种基于自 注意力指导的多序列融合肝细胞癌组织学分化程度无创判别计算模型. 以动态对比增强核磁共振成像（Dynamic contrast￾enhanced magnetic resonance imaging, DCE-MRI）的多个序列为输入，学习各时序序列及各序列的多层扫描切片在分化程度判 别任务的权重，加权序列中具有的良好判别性能的时间和空间特征，以提升分化程度判别性能. 模型的训练和测试在三甲医 院的临床数据集上进行，实验结果表明，本文所提出的肝细胞癌分化程度判别模型取得相比几种基准和主流模型最高的分类 计算性能，在 WHO 组织学分级任务中，判别准确度、灵敏度、精确度分别达到 80%，82% 和 82%. 关键词    肝细胞癌分级；动态对比增强核磁共振成像；自注意力机制；多序列融合；辅助诊断 分类号    TP183 Self-attention guided multi-sequence fusion model for differentiation of hepatocellular carcinoma JIA Xi-bin1,2) ，SUN Zheng1,2) ，YANG Da-wei3) ，YANG Zheng-han3) 苣 1) Faculty of Information, Beijing University of Technology, Beijing 100124, China 2) Beijing Municipal Key Laboratory of Multimedia and Intelligent Software Technology, Beijing University of Technology, Beijing 100124, China 3) Department of Radiology, Beijing Friendship Hospital, Capital Medical University, Beijing 100050, China 苣 Corresponding author, E-mail: yangzhenghan@vip.163.com ABSTRACT    Hepatocellular carcinoma (HCC) is a type of primary malignant tumor and an urgent problem to be solved, particularly in China,  one  of  the  countries  with  the  highest  prevalence  of  HCC.  In  the  choice  of  treatment  methods  for  patients  with  hepatocellular carcinoma, accurate histological grading of the lesion area undoubtedly plays a vital role that helps the management and therapy of HCC patients. However, the current pathological detection as the gold standard has defects, such as invasiveness and a large sampling error. Therefore, it is an important direction of intelligent medical treatment to provide noninvasive and accurate lesion grading using imaging technology combined with artificial intelligence technology. On the basis of the radiologists' experience in reading clinical images, this paper proposed a self-attentional guidance-based histological differentiation discrimination model combined with multi-modality fusion and  an  attention  weight  calculation  scheme  for  dynamic  contrast-enhanced  magnetic  resonance  imaging  (DCE-MRI)  sequences  of hepatocellular carcinoma. The model combined the spatiotemporal information contained in the enhancement sequence and learned the importance of each sequence and the slice in the sequence for the classification task. It effectively used the feature information contained in the enhancement sequence in the temporal and spatial dimensions to improve the classification performance. During the experiment, 收稿日期: 2021−01−13 基金项目: 国家自然科学基金资助项目（61871276，U19B2039） 工程科学学报，第 43 卷，第 9 期：1149−1156，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1149−1156, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.003; http://cje.ustb.edu.cn

·1150 工程科学学报，第43卷.第9期 the model was trained and tested on the clinical data set of the top three hospitals in China.The experimental results show that the self- attention-guided model proposed in this paper achieves higher classification performance than several benchmark and mainstream models.Comprehensive experiments were performed on the clinical dataset with labels annotated by professional radiologists.The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the MRI sequences.In the WHO histological classification task,the classification accuracy of the proposed model reaches 80%,the sensitivity is 82%,and the precision is 82%. KEY WORDS grading of hepatocellular carcinoma;dynamic contrast-enhanced magnetic resonance imaging:self-attention mechanism;multimodal fusion;auxiliary diagnosis 肝细胞癌(Hepatocellular carcinoma,.HCC)是一 影像，每个时刻的DCE-MRI序列具有多层切片的 种高度流行且致命的肿瘤，是全球癌症相关死亡 三维空间信息，可以清楚地反映出病灶区域周围 的第4大最常见原因-]一般来说，肝细胞癌的 组织的一些纹理、边缘和空间信息，同时其时序特 分化程度分为高分化、中分化和低分化，分化程度 征可以反映出造影剂在血管中流动过程的血流灌 越低则代表肿瘤恶性程度越高，从临床角度看，在 注信息，体现病灶随着时间发生变化的特性.因而 术前对肝细胞癌分化程度精确判别对治疗方案制 有效的利用DCE-MRI序列所提供的时空特性，建 定和预后效果估计具有至关重要作用] 立分化程度可判别的深度网络计算模型，有助于HCC 目前对肝细胞癌分化程度的病理判别的金标 分化程度无创诊断模型研究.因此本文以HC℃患 准是基于肝脏穿刺的肝脏组织活检)，而基于肝脏 者影像学检查结果DCE-MRI序列及病理金标准 穿刺的检测方法创伤性很大且存在针道转移、取 标注的临床数据为基础，研究基于多参数DCE-MRI 样误差等风险，导致患者不愿意接受肝穿治疗6刀 的3D序列融合HCC分化程度判别方法 因而无创性的影像学方法，例如超声、电子计算机 1相关工作及研究现状 断层扫描(Computed tomography,CT)、磁共振成像 (Magnetic resonance imaging,MRI)等多种影像技术 临床对肝肿瘤病灶影像分析，通常采用的 被用于肝细胞癌分化程度的定性分析 DCE-MRI序列包括平扫、动脉早期、动脉晚期、 美国放射学会所制订的肝脏影像报告及数据 门静脉期、延迟期共5个序列.医生对病灶区域病 (Liver imaging reporting and data system,LI- 变分类诊断，通常根据多个时相、序列的影像中病 RADS)通过对增强CT或动态对比增强核磁共振 灶区域特征分析决定，因此，在智能影像研究领 (Dynamic contrast-enhanced magnetic resonance 域，利用多模态数据融合进行多个序列数据协同 imaging,DCE-MRI)诊断肝细胞癌的5种主要成像 诊断亦成为主流方法 功能的描述，来规范化肝脏影像学方法的诊断流 2014年，Suk等将深度学习方法用于阿滋 程，对HCC及其他局灶性肝脏进行分类诊断，然 海默病，采用包含分层结构特征融合在内的多种 而传统影像学方法尚无法实现HCC分化程度的 特征融合方式.2016年，Wang等w则在多个序列 精准判别，因此，引入基于统计科学的深度学习方 融合的基础上，将序列3D图像的冠状面、矢状面 法以辅助医生进行HCC诊断，建立精准无创的 和水平面作为三个分支作为输入，利用多视角融 HCC分化程度判别模型，仍是亟待解决的问题 合3D图像信息，提升模型预测效果.然而，目前序 DCE-MRI所具有的高灵敏度、高清晰度和高 列融合方法未考虑序列分类诊断能力的差异性及 对比度特性，被广泛用于影像学智能诊断模型研 在判别中作用的差别.因此本文引入了“自注意 究8-在许多临床研究中，DCE-MRI已广泛用于 力”机制，在特征层融合时不仅考虑不同序列特征 无创检测，表征和治疗监测不同疾病0不仅如 间的互补性，也考虑各个序列对最终分类任务的 此，在很多使用机器学习方法和影像学检查结果 “敏感度”.通过不同序列特征的互补和对分类任 搭建分类、分割及目标检测模型用于辅助医生诊 务的“敏感度”的计算，建模医生诊断和读片过程 断的工作中，DCE-MRI已经成为一种常用的目标 对不同序列给予不同的关注度的诊断经验 序列-2 本团队前期利用增强序列实现HCC分级工作 DCE-MRI影像是通过注射了对比造影剂，在 中，Ja等提出了一种数据层时空融合的方法， 注入后的多个时刻，进行多次扫描获得各个序列 根据注入造影剂引发增强序列随时间的表象变化

the model was trained and tested on the clinical data set of the top three hospitals in China. The experimental results show that the self￾attention-guided  model  proposed  in  this  paper  achieves  higher  classification  performance  than  several  benchmark  and  mainstream models.  Comprehensive  experiments  were  performed  on  the  clinical  dataset  with  labels  annotated  by  professional  radiologists.  The results show that our proposed self-attention model can achieve acceptable quantitative measuring of HCC histologic grading based on the  MRI  sequences.  In  the  WHO  histological  classification  task,  the  classification  accuracy  of  the  proposed  model  reaches  80%,  the sensitivity is 82%, and the precision is 82%. KEY  WORDS    grading  of  hepatocellular  carcinoma； dynamic  contrast-enhanced  magnetic  resonance  imaging； self-attention mechanism；multimodal fusion；auxiliary diagnosis 肝细胞癌（Hepatocellular carcinoma, HCC）是一 种高度流行且致命的肿瘤，是全球癌症相关死亡 的第 4 大最常见原因[1−2] . 一般来说，肝细胞癌的 分化程度分为高分化、中分化和低分化，分化程度 越低则代表肿瘤恶性程度越高，从临床角度看，在 术前对肝细胞癌分化程度精确判别对治疗方案制 定和预后效果估计具有至关重要作用[3−4] . 目前对肝细胞癌分化程度的病理判别的金标 准是基于肝脏穿刺的肝脏组织活检[5] ，而基于肝脏 穿刺的检测方法创伤性很大且存在针道转移、取 样误差等风险，导致患者不愿意接受肝穿治疗[6−7] . 因而无创性的影像学方法，例如超声、电子计算机 断层扫描 (Computed tomography, CT)、磁共振成像 (Magnetic resonance imaging, MRI) 等多种影像技术 被用于肝细胞癌分化程度的定性分析. 美国放射学会所制订的肝脏影像报告及数据 系 统 (Liver  imaging  reporting  and  data  system， LI￾RADS) 通过对增强 CT 或动态对比增强核磁共振 成像 (Dynamic contrast-enhanced magnetic resonance imaging，DCE-MRI) 诊断肝细胞癌的 5 种主要成像 功能的描述，来规范化肝脏影像学方法的诊断流 程，对 HCC 及其他局灶性肝脏进行分类诊断，然 而传统影像学方法尚无法实现 HCC 分化程度的 精准判别，因此，引入基于统计科学的深度学习方 法以辅助医生进行 HCC 诊断，建立精准无创的 HCC 分化程度判别模型，仍是亟待解决的问题. DCE-MRI 所具有的高灵敏度、高清晰度和高 对比度特性，被广泛用于影像学智能诊断模型研 究[8−9] . 在许多临床研究中，DCE-MRI 已广泛用于 无创检测，表征和治疗监测不同疾病[10] . 不仅如 此，在很多使用机器学习方法和影像学检查结果 搭建分类、分割及目标检测模型用于辅助医生诊 断的工作中，DCE-MRI 已经成为一种常用的目标 序列[11−12] . DCE-MRI 影像是通过注射了对比造影剂，在 注入后的多个时刻，进行多次扫描获得各个序列 影像，每个时刻的 DCE-MRI 序列具有多层切片的 三维空间信息，可以清楚地反映出病灶区域周围 组织的一些纹理、边缘和空间信息，同时其时序特 征可以反映出造影剂在血管中流动过程的血流灌 注信息，体现病灶随着时间发生变化的特性. 因而 有效的利用 DCE-MRI 序列所提供的时空特性，建 立分化程度可判别的深度网络计算模型，有助于 HCC 分化程度无创诊断模型研究. 因此本文以 HCC 患 者影像学检查结果 DCE-MRI 序列及病理金标准 标注的临床数据为基础，研究基于多参数 DCE-MRI 的 3D 序列融合 HCC 分化程度判别方法. 1    相关工作及研究现状 临床对肝肿瘤病灶影像分析 ，通常采用 的 DCE-MRI 序列包括平扫、动脉早期、动脉晚期、 门静脉期、延迟期共 5 个序列. 医生对病灶区域病 变分类诊断，通常根据多个时相、序列的影像中病 灶区域特征分析决定，因此，在智能影像研究领 域，利用多模态数据融合进行多个序列数据协同 诊断亦成为主流方法. 2014 年 ，Suk 等[13] 将深度学习方法用于阿兹 海默病，采用包含分层结构特征融合在内的多种 特征融合方式. 2016 年，Wang 等[14] 则在多个序列 融合的基础上，将序列 3D 图像的冠状面、矢状面 和水平面作为三个分支作为输入，利用多视角融 合 3D 图像信息，提升模型预测效果. 然而，目前序 列融合方法未考虑序列分类诊断能力的差异性及 在判别中作用的差别. 因此本文引入了“自注意 力”机制，在特征层融合时不仅考虑不同序列特征 间的互补性，也考虑各个序列对最终分类任务的 “敏感度”. 通过不同序列特征的互补和对分类任 务的“敏感度”的计算，建模医生诊断和读片过程 对不同序列给予不同的关注度的诊断经验. 本团队前期利用增强序列实现 HCC 分级工作 中 ，Jia 等[15] 提出了一种数据层时空融合的方法， 根据注入造影剂引发增强序列随时间的表象变化 · 1150 · 工程科学学报，第 43 卷，第 9 期

贾熹滨等：自注意力指导的多序列融合肝细胞癌分化判别模型 1151 特点，采样2D横断层面的影像，并拼接多个时间 专业标注等因素，因此样本数量非常少且高分化 段影像，构建展现同一个2D层面随时间变化影像 样本多样性大，因此如何在训练数据有限的情况 特征的3D数据，验证DCE-MRI序列中时空融合 下，权衡模型体量和模型学习能力，获得良好的分 特征在HCC分化程度判别中的作用. 类性能，仍是亟待解决的问题 总之，现有研究表明，病灶区域及其周围组织 针对以上两个问题，本文参考自然语言处理 的DCE-MRI时间和空间信息在分类问题上非常 (Natural language processing,NLP)中常用的“自注 具有潜力6-].因此本文研究DCE-MRI多序列融 意力”机制，结合医生临床诊断中关注不同序列和 合计算方法基础上，重点探讨如何结合医生依据 不同征象的经验，提出一种基于自注意力指导的 疾病类别可能性重点关注几个特定序列和征象的 多序列特征融合提取方法，提取多参数3D序列特 临床经验，通过提出的“自注意力”计算模块，计算 征基础上，学习并计算各个序列及其各个通道特 输入的多个多通道3D数据对分类任务的“敏感 征的全局注意力，最后利用全局自注意力加权计 度”，并将其与特征提取器所提取的DCE-MRI序 算多序列融合的高层语义特征，为HCC分化程度 列的时空特征进行融合.充分利用DCE-MRI序列 判别提供可判别特征. 的时空信息同时，建立自注意力指导的多序列融 2.2“自注意力”机制及“自注意力”模型 合HCC分化判别模型. 医学影像反映器官组织在不同序列的多层横 断面扫描层的病灶征象，不同成像方式所得的多 2研究内容及方法 个序列通过不同的成像参数反映病灶区域的不同 2.1研究动机及方法概述 信息.“自注意力”机制的引入旨在建模医生影像 目前已有研究者使用肝脏CT和MRI影像进 诊断中对不同序列不同的关注度，在特征提取过 行分割、分类问题的算法研究9-20.但现有的学习 程中计算各个输入序列对最后分类任务的注意力 模型仍存在以下两个主要问题： 权值，并在特征层对特征加权后进行融合.“自注 (1)传统影像机器学习方法多从单一序列影像 意力”机制通过学习不同序列数据的注意力权值， 技术的角度进行研究.但临床经验表明，不同序列 增加对分类任务更具判别性能序列的权值，减少 的影像通常反映出不同病理特征，蕴含着支持诊 分类任务无关序列对结果的影响，以提升整体的 断分类信息所对应的不同病灶征象，因此对最后 分类效果 分类任务而言，不同序列可以提供不同角度信息. 自注意力指导HCC分化判别模型网络结构如 因此仅利用单一影像序列，无法做到多维度的全面 图1所示，该模型结合了注意力权值计算模块、特 评估，更无法关注不同序列所提供的不同的信息. 征提取模块和分类器的“自注意力”模型，输人序 (2)相对自然图像数据集而言，有标签的临床 列位于图中间，并分别输入到左侧的“自注意力” 影像数据集规模较小.而带病理金标签的HCC临 计算模块和右侧的特征提取模块，进行注意力权 床医学影像数据集，其数据规模也受限于病例数、 值计算和特征提取 ☐Input layer Fully connected layer Output layer Global average poolr Convolution layer Softma 目Category information Channel-wise product Element-wise addition 图1“自注意力”模型结构 Fig.1 Structure of the"self-attention"model “自注意力”的计算和加权主要分为4个过程. 素加(Element-wise addition),而逐元素加的结果即 第一步，对输入的各个序列的特征进行逐元 为用于计算各个序列对应通道对于分类任务的

特点，采样 2D 横断层面的影像，并拼接多个时间 段影像，构建展现同一个 2D 层面随时间变化影像 特征的 3D 数据，验证 DCE-MRI 序列中时空融合 特征在 HCC 分化程度判别中的作用. 总之，现有研究表明，病灶区域及其周围组织 的 DCE-MRI 时间和空间信息在分类问题上非常 具有潜力[16−18] . 因此本文研究 DCE-MRI 多序列融 合计算方法基础上，重点探讨如何结合医生依据 疾病类别可能性重点关注几个特定序列和征象的 临床经验，通过提出的“自注意力”计算模块，计算 输入的多个多通道 3D 数据对分类任务的“敏感 度”，并将其与特征提取器所提取的 DCE-MRI 序 列的时空特征进行融合. 充分利用 DCE-MRI 序列 的时空信息同时，建立自注意力指导的多序列融 合 HCC 分化判别模型. 2    研究内容及方法 2.1    研究动机及方法概述 目前已有研究者使用肝脏 CT 和 MRI 影像进 行分割、分类问题的算法研究[19−20] ，但现有的学习 模型仍存在以下两个主要问题： （1）传统影像机器学习方法多从单一序列影像 技术的角度进行研究. 但临床经验表明，不同序列 的影像通常反映出不同病理特征，蕴含着支持诊 断分类信息所对应的不同病灶征象，因此对最后 分类任务而言，不同序列可以提供不同角度信息. 因此仅利用单一影像序列，无法做到多维度的全面 评估，更无法关注不同序列所提供的不同的信息. （2）相对自然图像数据集而言，有标签的临床 影像数据集规模较小. 而带病理金标签的 HCC 临 床医学影像数据集，其数据规模也受限于病例数、 专业标注等因素，因此样本数量非常少且高分化 样本多样性大. 因此如何在训练数据有限的情况 下，权衡模型体量和模型学习能力，获得良好的分 类性能，仍是亟待解决的问题. 针对以上两个问题，本文参考自然语言处理 （Natural language processing, NLP）中常用的“自注 意力”机制，结合医生临床诊断中关注不同序列和 不同征象的经验，提出一种基于自注意力指导的 多序列特征融合提取方法，提取多参数 3D 序列特 征基础上，学习并计算各个序列及其各个通道特 征的全局注意力，最后利用全局自注意力加权计 算多序列融合的高层语义特征，为 HCC 分化程度 判别提供可判别特征. 2.2    “自注意力”机制及“自注意力”模型 医学影像反映器官组织在不同序列的多层横 断面扫描层的病灶征象，不同成像方式所得的多 个序列通过不同的成像参数反映病灶区域的不同 信息. “自注意力”机制的引入旨在建模医生影像 诊断中对不同序列不同的关注度，在特征提取过 程中计算各个输入序列对最后分类任务的注意力 权值，并在特征层对特征加权后进行融合. “自注 意力”机制通过学习不同序列数据的注意力权值， 增加对分类任务更具判别性能序列的权值，减少 分类任务无关序列对结果的影响，以提升整体的 分类效果. 自注意力指导 HCC 分化判别模型网络结构如 图 1 所示，该模型结合了注意力权值计算模块、特 征提取模块和分类器的“自注意力”模型，输入序 列位于图中间，并分别输入到左侧的“自注意力” 计算模块和右侧的特征提取模块，进行注意力权 值计算和特征提取. Global average pooling Softmax Input layer Fully connected layer Output layer Convolution layer Category information Channel-wise product Element-wise addition 图 1    “自注意力”模型结构 Fig.1    Structure of the "self-attention" model “自注意力”的计算和加权主要分为 4 个过程. 第一步，对输入的各个序列的特征进行逐元 素加（Element-wise addition），而逐元素加的结果即 为用于计算各个序列对应通道对于分类任务的 贾熹滨等： 自注意力指导的多序列融合肝细胞癌分化判别模型 · 1151 ·

1152 工程科学学报，第43卷，第9期 “注意力”的特征层融合特征 生组织(WHO)所制定的三分类标准和Edmonson2) 第二步，对融合的特征进行全局平均池化，即 分级标准所制订的四分类标准.本文在自建的数 将整个3D特征沿着通道压缩成一个1×1×C的特 据集中与Baseline模型22-2)、本课题组前期所提出 征，C代表整个3D特征的通道数.特征融合和全 的模型和现有的几种肝细胞癌分级模型-2在 局平均池化(Global average pooling)的具体过程如 两个分类任务进行对比实验 式(1)，其中H和W代表输入数据的尺寸，N代表 从两种分类标准来看，WHO分级标准为三分 输入的序列个数，F代表全局平均池化的输出， 类，将HCC分化程度划分为高分化、中分化和低 F,则代表各个输入序列的对应位置的灰度值 分化3种，严重程度从低到高.而Edmonson则是 N H W 将HCC分化程度划分为4个级别.分别为I、Ⅱ、Ⅱ F1= 1 F(y) (1) H. 和IV,严重程度从低到高.基于2种分类标准所划 i=l x=l y=l 分的经过数据增强所得的数据集如表1~2所示 第三步，将多模态融合特征输入全连接层，引 为了避免类别不均衡的问题影响模型分类效果， 入非线性，添加线性整流函数(Rectified linear unit,. 本文使用了过采样的方法对两个任务的训练集进 ReLU)作为激活函数，全连接层的输出为新的 行类别平衡，即对数据量较少的类别在训练过程 N个长度为C的“注意力”特征，而为了便于与各 中进行随机采样，使得这个类别的数据量与数据 个序列的各个通道进行注意力加权.具体过程如 量最多的类别的数据量相同，从一定程度上降低 式(2)，其中F2∈N×1×1×C代表输出的各个序列 了数据量类别不均衡造成的影响 的注意力权值，δ代表激活函数，W1和b代表全连 接层的参数值和偏置值. 表1基于WHO分类标准的HCC类别数据分布 F2=6(F1×W1+b) (2) Table 1 Augmentation results for a dataset with HCC grading under the WHO grading system 最后，用“注意力”计算模块输出的权值与输 Datasets Well Moderately Poorly 入序列经过特征提取模块得到的特征进行逐通道 Training set 56 208 54 乘(Channel-wise product),得到注意力加权融合特征 Test set 32 104 26 特征提取模块分别使用权值不同的特征提取 Total 88 312 80 器提取各个序列特征.特征提取器由卷积层 (Convolution layer))、池化层(Pool layer)和全连接 表2基于Edmonson分类标准的HCC类别数据分布 层(Fully-connected layer)的组合构成，在与注意力 Table 2 Augmentation results for a dataset with HCC grading under the 权值进行逐元素乘之前，为了避免破坏输入序列 Edmonson grading system 特征中各个通道的关系且方便注意力加权，设置 Datasets 0 ⅢI IV 卷积层为2D卷积.在经过了注意力加权融合之 Training set 56 120 54 后，再引入3D卷积将所得的融合特征拉伸成一维 Test set 之 号 64 26 特征，以在保留语义信息的基础之上简化计算、减 Total 88 128 184 80 少网络参数量，便于最后的分类工作.最后，与注 意力权值融合的多模态特征在经过由3D卷积层 在损失函数方面，本文选择在分类问题中表 和全连接层组成的特征提取器后得到输出特征， 现较为优异的交叉嫡损失函数和在区分少量不同 再将输出特征送入softmax分类器，输出HCC分 类别的数据的任务中表现优异的三元组损失函 化程度判别结果 数.在使用验证集对模型的参数调整和结构参数 2.3模型优化、验证及实验设计 选择上，对训练集使用了十折交叉验证的方法来 为了优化提出的自注意力指导的学习模型， 获取一个较为鲁棒的值，同时也可以防止单独划 并验证模型的可行性，本文使用了三甲医院的肝 分出一个验证集而进一步减少本就不充足的训练 细胞癌患者的临床病例自建了肝细胞癌病灶数据 集数据 集，并由专业医师完成病灶区域的提取和标注.数 总体的测试结果，本文使用在数据集中进行 据集预处理则使用了常规的数据增强、类别均衡 十次随机采样所得的训练集和测试集进行训练和 等方法 测试，并通过十次实验中，模型在测试集上的准确 分类任务依据两大病理金标准包括两类：世界卫 率(Accuracy)、召回率(Recall))、精确度(Precision)

“注意力”的特征层融合特征. 第二步，对融合的特征进行全局平均池化，即 将整个 3D 特征沿着通道压缩成一个 1×1×C 的特 征，C 代表整个 3D 特征的通道数. 特征融合和全 局平均池化（Global average pooling）的具体过程如 式（1），其中 H 和 W 代表输入数据的尺寸，N 代表 输入的序列个数，F1 代表全局平均池化的输出， Fi 则代表各个输入序列的对应位置的灰度值. F1 = 1 H · W ∑ N i=1 ∑ H x=1 ∑ W y=1 Fi(x, y) （1） 第三步，将多模态融合特征输入全连接层，引 入非线性，添加线性整流函数（Rectified linear unit, ReLU）作为激活函数 ，全连接层的输出为新 的 N 个长度为 C 的“注意力”特征，而为了便于与各 个序列的各个通道进行注意力加权. 具体过程如 式（2），其中 F2∈ N×1×1×C 代表输出的各个序列 的注意力权值，δ 代表激活函数，W1 和 b 代表全连 接层的参数值和偏置值. F2 = δ(F1 ×W1 +b) （2） 最后，用 “注意力”计算模块输出的权值与输 入序列经过特征提取模块得到的特征进行逐通道 乘（Channel-wise product），得到注意力加权融合特征. 特征提取模块分别使用权值不同的特征提取 器提取各个序列特征 . 特征提取器由卷积 层 (Convolution layer)、池化 层 (Pool layer) 和全连接 层 (Fully-connected layer) 的组合构成，在与注意力 权值进行逐元素乘之前，为了避免破坏输入序列 特征中各个通道的关系且方便注意力加权，设置 卷积层为 2D 卷积. 在经过了注意力加权融合之 后，再引入 3D 卷积将所得的融合特征拉伸成一维 特征，以在保留语义信息的基础之上简化计算、减 少网络参数量，便于最后的分类工作. 最后，与注 意力权值融合的多模态特征在经过由 3D 卷积层 和全连接层组成的特征提取器后得到输出特征， 再将输出特征送入 softmax 分类器，输出 HCC 分 化程度判别结果. 2.3    模型优化、验证及实验设计 为了优化提出的自注意力指导的学习模型， 并验证模型的可行性，本文使用了三甲医院的肝 细胞癌患者的临床病例自建了肝细胞癌病灶数据 集，并由专业医师完成病灶区域的提取和标注. 数 据集预处理则使用了常规的数据增强、类别均衡 等方法. 分类任务依据两大病理金标准包括两类：世界卫 生组织（WHO）所制定的三分类标准和 Edmonson[21] 分级标准所制订的四分类标准. 本文在自建的数 据集中与 Baseline 模型[22−23]、本课题组前期所提出 的模型[15] 和现有的几种肝细胞癌分级模型[24−25] 在 两个分类任务进行对比实验. 从两种分类标准来看，WHO 分级标准为三分 类，将 HCC 分化程度划分为高分化、中分化和低 分化 3 种，严重程度从低到高. 而 Edmonson 则是 将 HCC 分化程度划分为 4 个级别，分别为 I、II、III 和 IV，严重程度从低到高. 基于 2 种分类标准所划 分的经过数据增强所得的数据集如表 1～2 所示. 为了避免类别不均衡的问题影响模型分类效果， 本文使用了过采样的方法对两个任务的训练集进 行类别平衡，即对数据量较少的类别在训练过程 中进行随机采样，使得这个类别的数据量与数据 量最多的类别的数据量相同，从一定程度上降低 了数据量类别不均衡造成的影响. 表 1 基于 WHO 分类标准的 HCC 类别数据分布 Table 1   Augmentation results for a dataset with HCC grading under the WHO grading system Datasets Well Moderately Poorly Training set 56 208 54 Test set 32 104 26 Total 88 312 80 表 2 基于 Edmonson 分类标准的 HCC 类别数据分布 Table 2   Augmentation results for a dataset with HCC grading under the Edmonson grading system Datasets I II III IV Training set 56 88 120 54 Test set 32 40 64 26 Total 88 128 184 80 在损失函数方面，本文选择在分类问题中表 现较为优异的交叉熵损失函数和在区分少量不同 类别的数据的任务中表现优异的三元组损失函 数. 在使用验证集对模型的参数调整和结构参数 选择上，对训练集使用了十折交叉验证的方法来 获取一个较为鲁棒的值，同时也可以防止单独划 分出一个验证集而进一步减少本就不充足的训练 集数据. 总体的测试结果，本文使用在数据集中进行 十次随机采样所得的训练集和测试集进行训练和 测试，并通过十次实验中，模型在测试集上的准确 率（Accuracy）、召回率（Recall）、精确度（Precision） · 1152 · 工程科学学报，第 43 卷，第 9 期