基于数据融合的智能医疗辅助诊断方法

工程科学学报 Chinese Journal of Engineering 基于数据融合的智能医疗辅助诊断方法 张桃红范素丽郭徐徐李侍侍 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong.FAN Su-li.GUO Xu-xu,LI Qian-qian 引用本文： 张桃红，范素丽，郭徐徐，李倩倩.基于数据融合的智能医疗辅助诊断方法.工程科学学报，2021,43(9%：1197-1205.doi: 10.13374j.issn2095-9389.2021.01.12.003 ZHANG Tao-hong,FAN Su-li,GUO Xu-xu,LI Qian-qian.Intelligent medical assistant diagnosis method based on data fusion[J]. Chinese Journal of Engineering,.2021,43(9y:1197-1205.doi:10.13374j.issn2095-9389.2021.01.12.003 在线阅读View online::htps:/doi.org/10.13374.issn2095-9389.2021.01.12.003 您可能感兴趣的其他文章 Articles you may be interested in 基于卷积神经网络的反无人机系统声音识别方法 Sound recognition method of an anti-UAV system based on a convolutional neural network 工程科学学报.2020.42(11：1516htps:1doi.org/10.13374.issn2095-9389.2020.06.30.008 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019.41(10)：1229 https:1doi.org/10.13374.issn2095-9389.2019.03.27.002 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报.2020,42(10：1372htps:1doi.org/10.13374.issn2095-9389.2019.10.10.005 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报.2017,3910：1584htps:oi.org10.13374.issn2095-9389.2017.10.018 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报.2021,432：179 https::/1doi.org/10.13374.issn2095-9389.2020.07.21.001

基于数据融合的智能医疗辅助诊断方法 张桃红 范素丽 郭徐徐 李倩倩 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong, FAN Su-li, GUO Xu-xu, LI Qian-qian 引用本文: 张桃红, 范素丽, 郭徐徐, 李倩倩. 基于数据融合的智能医疗辅助诊断方法[J]. 工程科学学报, 2021, 43(9): 1197-1205. doi: 10.13374/j.issn2095-9389.2021.01.12.003 ZHANG Tao-hong, FAN Su-li, GUO Xu-xu, LI Qian-qian. Intelligent medical assistant diagnosis method based on data fusion[J]. Chinese Journal of Engineering, 2021, 43(9): 1197-1205. doi: 10.13374/j.issn2095-9389.2021.01.12.003 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003 您可能感兴趣的其他文章 Articles you may be interested in 基于卷积神经网络的反无人机系统声音识别方法 Sound recognition method of an anti-UAV system based on a convolutional neural network 工程科学学报. 2020, 42(11): 1516 https://doi.org/10.13374/j.issn2095-9389.2020.06.30.008 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报. 2020, 42(10): 1372 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报. 2017, 39(10): 1584 https://doi.org/10.13374/j.issn2095-9389.2017.10.018 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报. 2021, 43(2): 179 https://doi.org/10.13374/j.issn2095-9389.2020.07.21.001

工程科学学报.第43卷，第9期：1197-1205.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1197-1205,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003;http://cje.ustb.edu.cn 基于数据融合的智能医疗辅助诊断方法 张桃红2)四，范素丽，2)，郭徐徐12)，李倩倩，2) 1)北京科技大学计算机通信与工程学院.北京1000832)材料领域知识工程北京市重点实验室，北京100083 ☒通信作者，E-mail:zth ustb@163.com 摘要医生诊断需要结合临床症状、影像检查等各种数据，基于此，提出了一种可以进行数据融合的医疗辅助诊断方法 将患者的影像信息（如CT图像）和数值数据（如临床诊断信息）相结合，利用结合的信息自动预测患者的病情，进而提出了基 于深度学习的医疗辅助诊断模型.模型以卷积神经网络为基础进行搭建，图像和数值数据作为输人，输出病人的患病情况 该医疗辅助诊断方法能够利用更加全面的信息，有助于提高自动诊断准确率、降低诊断误差：另外，仅使用提出的医疗辅助 诊断模型就可以一次性处理多种类型的数据，能够在一定程度上节省诊断时间.在两个数据集上验证了所提出方法的有效 性，实验结果表明，该方法是有效的，它可以提高辅助诊断的准确性 关键词图像分类：卷积神经网络：特征融合：医疗诊断：深度学习 分类号TG142.71 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong,FAN Su-li2)GUO Xu-xu2),LI Qian-gian2 1)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science.,Beijing 100083,China Corresponding author,E-mail:zth ustb@163.com ABSTRACT In the field of medicine,in order to diagnose a patient's condition more efficiently and conveniently,image classification has been widely leveraged.It is well established that when doctors diagnose a patient's condition,they not only observe the patient's image information(such as CT image)but also make final decisions incorporating the patient's clinical diagnostic information.However, current medical image classification only puts the image into a convolution neural network to obtain the diagnostic result and does not use the clinical diagnosis information.In intelligent auxiliary diagnosis,it is necessary to combine clinical symptoms with other imaging data for comprehensive diagnosis.This paper presented a new method of assistant diagnosis for the medical field.This method combined information from patients'imaging with numerical data (such as clinical diagnosis information)and used the combined information to automatically predict the patient's condition.Based on this method,a medical assistant diagnosis model based on deep learning was proposed.The model takes images and numerical data as input and outputs the patient's condition.Thus,this method is comprehensive and helps improve the accuracy of automatic diagnosis and reduce diagnostic error.Moreover,the proposed model can simultaneously process multiple types of data,thus saving diagnosis time.The effectiveness of the proposed method was verified in two groups of experiments designed in this paper.The first group of experiments shows that if the unrelated data are fused for classification,the proposed method cannot enhance the classification ability of the model,although it is able to predict multiple diseases at one time.The second group of experiments show that the proposed method could significantly improve classification results if the interrelated data are fused. KEY WORDS image classification;convolution neural network;feature fusion;medical diagnosis;deep learning 收稿日期：2021-01-12 基金项目：中央高校基本科研业务费专项资金资助项目(FRF-GF-20-16B)

基于数据融合的智能医疗辅助诊断方法 张桃红1,2) 苣，范素丽1,2)，郭徐徐1,2)，李倩倩1,2) 1) 北京科技大学计算机通信与工程学院，北京 100083    2) 材料领域知识工程北京市重点实验室，北京 100083 苣通信作者，E-mail：zth_ustb@163.com 摘    要    医生诊断需要结合临床症状、影像检查等各种数据，基于此，提出了一种可以进行数据融合的医疗辅助诊断方法. 将患者的影像信息（如 CT 图像）和数值数据（如临床诊断信息）相结合，利用结合的信息自动预测患者的病情，进而提出了基 于深度学习的医疗辅助诊断模型. 模型以卷积神经网络为基础进行搭建，图像和数值数据作为输入，输出病人的患病情况. 该医疗辅助诊断方法能够利用更加全面的信息，有助于提高自动诊断准确率、降低诊断误差；另外，仅使用提出的医疗辅助 诊断模型就可以一次性处理多种类型的数据，能够在一定程度上节省诊断时间. 在两个数据集上验证了所提出方法的有效 性，实验结果表明，该方法是有效的，它可以提高辅助诊断的准确性. 关键词    图像分类；卷积神经网络；特征融合；医疗诊断；深度学习 分类号    TG142.71 Intelligent medical assistant diagnosis method based on data fusion ZHANG Tao-hong1,2) 苣 ，FAN Su-li1,2) ，GUO Xu-xu1,2) ，LI Qian-qian1,2) 1) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science., Beijing 100083, China 苣 Corresponding author, E-mail: zth_ustb@163.com ABSTRACT    In the field of medicine, in order to diagnose a patient’s condition more efficiently and conveniently, image classification has been widely leveraged. It is well established that when doctors diagnose a patient ’s condition, they not only observe the patient ’s image information (such as CT image) but also make final decisions incorporating the patient’s clinical diagnostic information. However, current medical image classification only puts the image into a convolution neural network to obtain the diagnostic result and does not use the clinical diagnosis information. In intelligent auxiliary diagnosis, it is necessary to combine clinical symptoms with other imaging data for comprehensive diagnosis. This paper presented a new method of assistant diagnosis for the medical field. This method combined information from patients’ imaging with numerical data (such as clinical diagnosis information) and used the combined information to automatically predict the patient ’s condition. Based on this method, a medical assistant diagnosis model based on deep learning was proposed. The model takes images and numerical data as input and outputs the patient’s condition. Thus, this method is comprehensive and helps improve the accuracy of automatic diagnosis and reduce diagnostic error. Moreover, the proposed model can simultaneously process  multiple  types  of  data,  thus  saving  diagnosis  time.  The  effectiveness  of  the  proposed  method  was  verified  in  two  groups  of experiments  designed  in  this  paper.  The  first  group  of  experiments  shows  that  if  the  unrelated  data  are  fused  for  classification,  the proposed method cannot enhance the classification ability of the model, although it is able to predict multiple diseases at one time. The second group of experiments show that the proposed method could significantly improve classification results if the interrelated data are fused. KEY WORDS    image classification；convolution neural network；feature fusion；medical diagnosis；deep learning 收稿日期: 2021−01−12 基金项目: 中央高校基本科研业务费专项资金资助项目（FRF-GF-20-16B） 工程科学学报，第 43 卷，第 9 期：1197−1205，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1197−1205, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.003; http://cje.ustb.edu.cn

·1198 工程科学学报，第43卷，第9期 为了对图像分类，研究人员提出了卷积神经 的特征聚合网络，在一次检查中自动整合从多个 网络(CNN).CNN通常用于分析视觉图像，它将图 图像中提取的特征，利用结节的不同视图来提高 像的每个像素作为特征，是一种类似于人工神经 超声图像中对恶性结节的识别性能2).为了提高 网络的深度学习模型或多层感知器.第一代 多模态PET-CT中互补信息的融合，Kumar等提出 CNN是由LeCun于1998年提出的LeNet!.LeNet是 了一种新的监督卷积神经网络来学习融合互补信 为了解决手写数字的识别任务而提出的，是早期 息，用于多模态医学图像分析阿，它通过融合两幅 CNN中最具代表性的结构之一，此后，CNN最基 图像以实现更好的检测和分割.Joyseeree等提出 本的体系结构被确定为卷积层、池化层和全连接 了一种基于Riesz和深度学习特征融合的新方法， 层.在2012年，Krizhevsky提出了AlexNet!卷积 对肺部CT图像的病变类型进行识别27虽然，这 神经网络，并提出新的激活函数(RLU)、局部响 些基于特征融合的方法显示出了在医学图像分 应归一化(LRN)、DropOut和数据增强方法以提高 类、检测和分割任务上的优越性，但是，这些方法 网络的泛化能力.AlexNet赢得了ILSVRC20l2] 仍然没有利用到除医疗图像外的其他信息，例如 的第一名，从此，CNN受到了研究界的广泛关注 Wang等2只是融合多张图像特征，Joyseeree等7 在AlexNet之后，出现了许多优秀的CNN模型，这 是将卷积神经网络提取的图像特征与基于图像设 些CNN主要有三个发展方向：(a)更深：网络层 计的特征融合 更深，代表网络是VggNet!、ResNet!;(b)模块 而智能辅助诊断中经常需要结合临床症状与 化：模块化网络结构，代表网络是GoogleNet!61、 其他影像检查数据来进行综合诊断，为此，本文提 Inceptionv2、Inceptionv3l图和Inceptionv4;(c)更 出了一种医疗辅助诊断方法，将图像特征与数值 快：适用于移动设备的轻量级网络模型，代表 特征（如临床诊断信息）相结合，利用融合的特征 网络是SqueezeNet!o、MobileNet!、ShuffleNet!2 来确定患者的病情.本文提出的方法不仅可以充 MobileNetv2lI、ShuffleNetv22和MobileNetv3l. 分利用患者的病例信息，从而能够实现更准确的 在医学领域，为了更高效、更方便地诊断患者 分类；还可以同时处理不同类型的数据，从而达到 的病情，图像分类已经得到了广泛关注.Li等提出 同时判断多种疾病的效果，在一定程度上节省了 了一种基于注意的卷积神经网络(AG-CNN)用于 医学分析的时间，提高医学诊断的效率.该方法为 青光眼检测6Yang等提出了一种用于乳腺癌组 基于深度学习的自动医疗辅助诊断方法提出了新 织病理学图像分类的注意力引导卷积神经网络)] 的研究思路 Xu等提出了一种用于检测肺结节性恶性肿瘤的 1方法 卷积神经网络(MSCS-DeepLN)I阁.Mobiny等提 出了一种有效的胶粪网络变体(Caps net)作为 为了降低医学领域中自动医学辅助诊断系统 CNN的替代例Zhou等基于先验知识，提取相应 的误判概率，本文提出了一种新的诊断方法.该方 的特征对白内障进行分类2o.Wang等提供一种创 法将从图像中提取的特征与无法从图像中获取的 新的3D卷积网络，用于自动乳腺超声检测癌症， 其他特征相结合，利用融合的数据来确定患者是 以加快检查速度，同时获得较高的检测准确率2四 否患有某种疾病.实验表明，提出的方法可以减少 在Lu等的研究中，提出了一种新的基于深度学习 医学分析的时间，提高诊断准确率.基于提出的方 的CAD系统，以特定任务的先验知识为指导，用 法，本文设计了一个数据融合深度学习模型，该模 于超声图像中结节的自动检测和分类四Yao等 型由数据融合层和分类层两部分组成，模型的结 使用深度学习方法对宫颈细胞进行异常检测21 构如图1所示 众所周知，当医生诊断患者的病情时，不仅观察患 1.1数据融合层 者的图像信息（如CT图像），而且会结合忠者的临 数据融合层由特征提取模块和特征融合模块 床诊断信息做出最终决定.但是，目前医学领域的 两部分组成.特征提取模块的作用是利用卷积神 图像分类问题仅将图像放入卷积神经网络中来获 经网络提取图像特征，将输入的图像转换为特征 得诊断结果，并没有使用到临床诊断信息.为了提 向量.特征提取模型可以基于任何CNN网络（如 高医学图像分类准确率，一些研究引进特征融合 ResNet,.VGG,ShuffleNet等)，由于ShuffleNetv2属 技术.Zeng等基于空间特征融合，实现了颅内动 于轻量化网络，能够达到速度和准确度的均衡， 脉瘤的自动诊断P.Wang等提出了一种基于注意 因此本文把ShuffleNetv2作为特征提取模块的骨

为了对图像分类，研究人员提出了卷积神经 网络 (CNN). CNN 通常用于分析视觉图像，它将图 像的每个像素作为特征，是一种类似于人工神经 网络的深度学习模型或多层感知器 . 第 一 代 CNN 是由LeCun 于1998 年提出的LeNet[1] . LeNet 是 为了解决手写数字的识别任务而提出的，是早期 CNN 中最具代表性的结构之一. 此后，CNN 最基 本的体系结构被确定为卷积层、池化层和全连接 层. 在 2012 年 ，Krizhevsky 提出了 AlexNet[2] 卷积 神经网络，并提出新的激活函数 (ReLU)、局部响 应归一化 (LRN)、DropOut 和数据增强方法以提高 网络的泛化能力. AlexNet 赢得了 ILSVRC2012[3] 的第一名，从此，CNN 受到了研究界的广泛关注. 在 AlexNet 之后，出现了许多优秀的 CNN 模型，这 些 CNN 主要有三个发展方向：（ a）更深：网络层 更深 ，代表网络 是 VggNet[4]、 ResNet[5] ； （ b）模块 化 ：模块化网络结构 ，代表网络 是 GoogleNet[6]、 Inceptionv2[7]、 Inceptionv3[8] 和 Inceptionv4[9] ； （ c）更 快 ：适用于移动设备的轻量级网络模型 ，代表 网 络 是 SqueezeNet[10]、 MobileNet[11]、 ShuffleNet[12]、 MobileNetv2[13]、ShuffleNetv2[14] 和 MobileNetv3[15] . 在医学领域，为了更高效、更方便地诊断患者 的病情，图像分类已经得到了广泛关注. Li 等提出 了一种基于注意的卷积神经网络 (AG−CNN) 用于 青光眼检测[16] . Yang 等提出了一种用于乳腺癌组 织病理学图像分类的注意力引导卷积神经网络[17] . Xu 等提出了一种用于检测肺结节性恶性肿瘤的 卷积神经网络（MSCS−DeepLN） [18] . Mobiny 等提 出了一种有效的胶囊网络变 体 (Caps  net) 作 为 CNN 的替代[19] . Zhou 等基于先验知识，提取相应 的特征对白内障进行分类[20] . Wang 等提供一种创 新的 3D 卷积网络，用于自动乳腺超声检测癌症， 以加快检查速度，同时获得较高的检测准确率[21] . 在 Liu 等的研究中，提出了一种新的基于深度学习 的 CAD 系统，以特定任务的先验知识为指导，用 于超声图像中结节的自动检测和分类[22] . Yao 等 使用深度学习方法对宫颈细胞进行异常检测[23] . 众所周知，当医生诊断患者的病情时，不仅观察患 者的图像信息（如 CT 图像），而且会结合患者的临 床诊断信息做出最终决定. 但是，目前医学领域的 图像分类问题仅将图像放入卷积神经网络中来获 得诊断结果，并没有使用到临床诊断信息. 为了提 高医学图像分类准确率，一些研究引进特征融合 技术. Zeng 等基于空间特征融合，实现了颅内动 脉瘤的自动诊断[24] . Wang 等提出了一种基于注意 的特征聚合网络，在一次检查中自动整合从多个 图像中提取的特征，利用结节的不同视图来提高 超声图像中对恶性结节的识别性能[25] . 为了提高 多模态 PET−CT 中互补信息的融合，Kumar 等提出 了一种新的监督卷积神经网络来学习融合互补信 息，用于多模态医学图像分析[26] ，它通过融合两幅 图像以实现更好的检测和分割. Joyseeree 等提出 了一种基于 Riesz 和深度学习特征融合的新方法， 对肺部 CT 图像的病变类型进行识别[27] . 虽然，这 些基于特征融合的方法显示出了在医学图像分 类、检测和分割任务上的优越性，但是，这些方法 仍然没有利用到除医疗图像外的其他信息，例如 Wang 等[25] 只是融合多张图像特征，Joyseeree 等[27] 是将卷积神经网络提取的图像特征与基于图像设 计的特征融合. 而智能辅助诊断中经常需要结合临床症状与 其他影像检查数据来进行综合诊断，为此，本文提 出了一种医疗辅助诊断方法，将图像特征与数值 特征（如临床诊断信息）相结合，利用融合的特征 来确定患者的病情. 本文提出的方法不仅可以充 分利用患者的病例信息，从而能够实现更准确的 分类；还可以同时处理不同类型的数据，从而达到 同时判断多种疾病的效果，在一定程度上节省了 医学分析的时间，提高医学诊断的效率. 该方法为 基于深度学习的自动医疗辅助诊断方法提出了新 的研究思路. 1    方法 为了降低医学领域中自动医学辅助诊断系统 的误判概率，本文提出了一种新的诊断方法. 该方 法将从图像中提取的特征与无法从图像中获取的 其他特征相结合，利用融合的数据来确定患者是 否患有某种疾病. 实验表明，提出的方法可以减少 医学分析的时间，提高诊断准确率. 基于提出的方 法，本文设计了一个数据融合深度学习模型，该模 型由数据融合层和分类层两部分组成，模型的结 构如图 1 所示. 1.1    数据融合层 数据融合层由特征提取模块和特征融合模块 两部分组成. 特征提取模块的作用是利用卷积神 经网络提取图像特征，将输入的图像转换为特征 向量. 特征提取模型可以基于任何 CNN 网络（如 ResNet，VGG，ShuffleNet 等），由于 ShuffleNetv2 属 于轻量化网络，能够达到速度和准确度的均衡， 因此本文把 ShuffleNetv2 作为特征提取模块的骨 · 1198 · 工程科学学报，第 43 卷，第 9 期

张桃红等：基于数据融合的智能医疗辅助诊断方法 ·1199. Data fusion layer Stage2(Stage4) Down sampling Basic Basic Basic unit unit unit unit Convl Conv5 Maxpool Stage4 =3×3 Stage2 =1x1 8×28×116 14x14×2327X7x4647x7x1024 56×56×24 ==m中=一== Stage3 Classification layer Down sampling Basic Basic Basic unit unit unit unit Basic Basic Basic Basic unit unit unit Feature extraction 256 512 Age RBP SC MHR Other information: 130322109 ge. 70 Resting blood pressure(RBP). 56 120 236 178 Serum cholesterol(SC), Maximum heart rate(MAR). 77 125 304 162 And so on Numrical data 图1基于提出的方法构建的模型结构 Fig.1 Diagram of the model structure based on the proposed method 干网络，使用了ShuffleNetv22从输入层到平均池化 下，使通道充分融合，进行不同分组的特征之间的 层的网络层，包括输入层、卷积层(covl)、最大池 信息流动，以提高性能.如果输入特征图的大小是 化层(MaxPool)、stage2、stage3、stage4、卷积层 w×h×c,Basic unit输出的大小是wxh×c,Down (conv5),下面对其网络结构进行具体解释 sampling unit输出的大小是(w/2)×(h/2)×(2c.经过 convl和conv5使用的卷积核(f)的大小和数目 特征提取模块后，每个输入图像都被转化一个为 (n)分别是f=3×3,m1=24,f5=1×1,5=1024. 1024维的特征向量 stage2、stage3.和stage4都是由下采样单元(Down 特征融合模块的作用是将从图像中提取的特 sampling unit)和基本单元(Basic unit)连接而成， 征(XA)与无法从图像中获取的特征(XB)进行融 Down sampling unit和Basic unit的结构如图2所 合.X(如临床诊断信息)被组织成向量的形式输 示.在图2中，通道划分(Channel divide)的作用是 入到模型中，然后特征融合模块将XA和XB融合，形 将输入的特征图的通道数平均划分，输出两个通 成一个新的特征向量(X).特征融合的实现方式 道数相等的特征图；PWConv是指使用1×1的卷积 如公式(1)所示，特征融合模块是本文提出的方法 核进行卷积：DWConv是指按通道对输入特征图 的核心，它将多种特征融合，使融合后的特征更具 进行分组，每组包含一个通道，卷积操作在每组内 代表性和更加全面，这对分类任务更有益 独立执行；通道混洗(Channel shuffle)操作将c个通 Xr Fuse(XA,XB)=(xAI,XA2...xAM,XB1.XB2....XBN 道分成g组，形成大小为g×(c/g)的矩阵，接下来将 XA={xAl,XB={Bi=1,2,…Mj=1,2,…N 矩阵转置、平铺，这样可以在通道之间对信息进行 (1) 置乱和混合.Channel divide、PWConv和DWConv 1.2分类层 的作用都是减少模型参数，降低模型计算量 分类层的作用是利用数据融合层输出的融合 Channel shuffle的作用是在不增加计算量的情况 特征向量(X),输出分类结果.分类层由两个全连

f n f1 = 3×3 n1 = 24 f5 = 1×1 n5 = 1024 1×1 c g g×(c/g) 干网络，使用了 ShuffleNetv2 从输入层到平均池化 层的网络层，包括输入层、卷积层（conv1）、最大池 化层 （ MaxPool） 、 stage2、 stage3、 stage4、卷积层 （ conv5） ， 下 面 对 其 网 络 结 构 进 行 具 体 解 释 . conv1 和 conv5 使用的卷积 核 ( ) 的大小和数 目 ( ) 分 别 是 , ， , . stage2、stage3 和 stage4 都是由下采样单元（Down sampling unit）和基本单元（Basic unit）连接而成 ， Down  sampling  unit 和 Basic  unit 的结构如 图 2 所 示. 在图 2 中，通道划分（Channel divide）的作用是 将输入的特征图的通道数平均划分，输出两个通 道数相等的特征图；PWConv 是指使用 的卷积 核进行卷积；DWConv 是指按通道对输入特征图 进行分组，每组包含一个通道，卷积操作在每组内 独立执行；通道混洗（Channel shuffle）操作将 个通 道分成 组，形成大小为 的矩阵，接下来将 矩阵转置、平铺，这样可以在通道之间对信息进行 置乱和混合. Channel divide、PWConv 和 DWConv 的作用都是减少模型参数 ，降低模型计算量 . Channel shuffle 的作用是在不增加计算量的情况 w×h×c w×h×c (w/2)×(h/2)×(2c) 下，使通道充分融合，进行不同分组的特征之间的 信息流动, 以提高性能. 如果输入特征图的大小是 ， Basic  unit 输 出 的 大 小 是 ， Down sampling unit 输出的大小是 . 经过 特征提取模块后，每个输入图像都被转化一个为 1024 维的特征向量. XA XB XB XA XB Xf 特征融合模块的作用是将从图像中提取的特 征（ ）与无法从图像中获取的特征（ ）进行融 合. （如临床诊断信息）被组织成向量的形式输 入到模型中，然后特征融合模块将 和 融合，形 成一个新的特征向量（ ）. 特征融合的实现方式 如公式（1）所示，特征融合模块是本文提出的方法 的核心，它将多种特征融合，使融合后的特征更具 代表性和更加全面，这对分类任务更有益. Xf = Fuse (XA,XB) = { xA1, xA2,··· xAM, xB1, xB2,··· xBN } XA = {xAi},XB = { xBj } i = 1,2,··· M; j = 1,2,···N （1） 1.2    分类层 Xf 分类层的作用是利用数据融合层输出的融合 特征向量（ ），输出分类结果. 分类层由两个全连 Data fusion layer Stage2 (Stage4) Stage4 Down sampling unit Basic unit Basic unit Basic unit Stage3 Feature extraction Down sampling unit Basic unit Basic unit Basic unit Basic unit Basic unit Basic unit Basic unit Conv1 Maxpool f1=3×3 f Stage2 5=1×1 56×56×24 28×28×116 14×14×232 7×7×464 7×7×1024 Conv5 Age RBP SC MHR 70 130 322 109 56 120 236 178 77 125 304 162 ... ... ... ... Other information: Age, Resting blood pressure (RBP), Serum cholesterol (SC), Maximum heart rate (MAR), And so on Numrical data Classification layer 512 256 NC Xinput1 图 1    基于提出的方法构建的模型结构 Fig.1    Diagram of the model structure based on the proposed method 张桃红等： 基于数据融合的智能医疗辅助诊断方法 · 1199 ·

·1200 工程科学学报，第43卷，第9期 (a 1×1 BN 3×3 BN 1×1 PWConv Relu DWConv PWConv BN Channel Relu Channel Channel divide concat shutfle (b) 1×1 BN 3×3 DWConv BN 1×1 PWConv Relu (Strid=2) PWConvBN Relu Channel Channel concat shuffle 3×3 DWCon 1×1 (Strid=2) PWConv 图2基本单元和下采样单元的结构.(a)基木单元的结构：(b)下采样单元的结构 Fig.2 Structure of the basic unit and down sampling unit:(a)structure of the basic unit;(b)structure of the down sampling unit 接层和一个输出层构成，它们分别对应512、 性心绞痛(EIA)、运动引起的ST段下降(ST)、ST 256和Nc个神经元(Nc表示类的总数量).在输出 段峰值斜率(SP)、透视检查看到的血管数(NV)、 层后面连接Softmax函数，用于输出医疗诊断结果 地中海贫血(Thal).年龄分布在20岁到80岁之 (分类结果)：Ypre=ypre_1,ypre2,…,pe_Ne,ypre_表 间；性别包括男性(0)和女性(1)；CPT分为4级， 示输入数据的类是第类的概率.样本标签用 分别是0（无疼痛），1（轻微疼痛），2（中级疼痛）和 Y=y1,2,yw}表示，如果输人的样本属于第 3(重级疼痛)；RER有3个状态，0表示正常，1表 k类，那么=1，k=0.训练模型时使用交叉嫡损 示轻微异常，2表示严重异常；EIA的类型为0（没 失函数来优化模型参数，损失函数的计算方式如 有)和1（有）：心电图ST段是指心电图上QRS波 下所示： 终点，至T波开始前的一段水平线，ST段改变往 往提示有心肌缺血的可能.ST段峰值斜率表示 yilogypre_i (2) ST段抬高峰值处的斜率，斜率为0时用0表示，斜 i=l 率位于0~0.5之间时用1表示，斜率位于0.5~1 2 实验 之间时用2表示：Thal的状态包括1（正常），2（固 定缺陷)和3（可逆缺陷）.本文将这两个数据集组 本文分别在两个数据集上进行了实验：第一 合成了一个新的数据集，它同时包含图像和数值 个实验预测肺炎和心脏病，第二个实验预测新冠 数据，命名为肺炎心脏病数据集(PHD).PHD包含 肺炎(COVID-19).在训练过程中，模型参数通过 606个样本，其中424个训练样本，182个测试样 批量迭代更新，批量大小设置为32，初始学习率 本.PHD共包含4种类型：同时患有肺炎和心脏 为0.001，使用的优化器是Adam21实验细节分别 病(PH,患有肺炎但未患心脏病(PNH,未患肺炎 在下面的实验I和实验Ⅱ中展示 但患有心脏病NPH),既没有患肺炎又没有患心脏 2.1实验1 病NPNH).每一个样本包含一张图像和13个数 2.1.1数据集 值属性，表1展示了数据集中的4种样本 实验I中使用的数据包括一个肺部CT图像的 2.1.2结果和讨论 数据集和一个心脏病的数值数据集，它们都是从 如第1部分所述，使用轻量化卷积神经网络 Kagglel29收集的.我们将这两个公开数据集组合 ShuffleNetv.2提取图像特征，分类层使用两个全连 在一起，生成一个同时包含图像和数值数据的数 接层和一个输出层，两个全连接层分别包含512 据集.肺部CT图像用于判断病人是否患有肺炎， 和256个神经元，输出层包含4个神经元(PHD包 每张图像都被标注为是否有肺炎.数值数据用于 含4种类型的疾病).为了验证提出的融合方法的 判断病人是否患有心脏病，每条数据包括13个属 可行性，进行了3组实验进行对比：第一组实验 性：年龄(Age)、性别(Sex)、胸痛类型(CPT)、静息 (ShuffleNetv2)利用图1中的特征提取模块和分类 血压(RBP)、血清胆固醇含量(SC)、空腹血糖含量 层对肺部CT图像进行分类，预测病人是否患有肺 (FBS)、静息心电图(RER)、最大心率(MHR)、运动 炎：第二组实验(DNN)利用分类层对心脏病数值

NC NC Ypre = {ypre_1, ypre_2,··· , ypre_Nc } ypre_i i Y = { y1, y2,··· , yNc } k yk = 1 y!k = 0 接 层 和 一 个 输 出 层 构 成 ， 它 们 分 别 对 应 512、 256 和 个神经元 ( 表示类的总数量). 在输出 层后面连接 Softmax 函数，用于输出医疗诊断结果 （分类结果 ） ： ， 表 示输入数据的类是第 类的概率 . 样本标签用 表示 ，如果输入的样本属于第 类，那么 ， . 训练模型时使用交叉熵损 失函数来优化模型参数，损失函数的计算方式如 下所示： Loss = − ∑ Nc i=1 yi logypre_i （2） 2    实验 本文分别在两个数据集上进行了实验：第一 个实验预测肺炎和心脏病，第二个实验预测新冠 肺炎（COVID−19）. 在训练过程中，模型参数通过 批量迭代更新，批量大小设置为 32，初始学习率 为 0.001，使用的优化器是 Adam[28] . 实验细节分别 在下面的实验 I 和实验 II 中展示. 2.1    实验 I 2.1.1    数据集 实验 I 中使用的数据包括一个肺部 CT 图像的 数据集和一个心脏病的数值数据集，它们都是从 Kaggle[29] 收集的. 我们将这两个公开数据集组合 在一起，生成一个同时包含图像和数值数据的数 据集. 肺部 CT 图像用于判断病人是否患有肺炎， 每张图像都被标注为是否有肺炎. 数值数据用于 判断病人是否患有心脏病，每条数据包括 13 个属 性：年龄（Age）、性别（Sex）、胸痛类型 (CPT)、静息 血压 (RBP)、血清胆固醇含量 (SC)、空腹血糖含量 (FBS)、静息心电图 (RER)、最大心率 (MHR)、运动 性心绞痛 (EIA)、运动引起的 ST 段下降 (ST)、ST 段峰值斜率 (SP)、透视检查看到的血管数 (NV)、 地中海贫血 (Thal). 年龄分布在 20 岁到 80 岁之 间；性别包括男性（0）和女性（1） ；CPT 分为 4 级 ， 分别是 0（无疼痛），1（轻微疼痛），2（中级疼痛）和 3（重级疼痛）；RER 有 3 个状态，0 表示正常，1 表 示轻微异常，2 表示严重异常；EIA 的类型为 0（没 有 ）和 1（有）；心电图 ST 段是指心电图上 QRS 波 终点，至 T 波开始前的一段水平线，ST 段改变往 往提示有心肌缺血的可能. ST 段峰值斜率表示 ST 段抬高峰值处的斜率，斜率为 0 时用 0 表示，斜 率位于 0～0.5 之间时用 1 表示，斜率位于 0.5～1 之间时用 2 表示；Thal 的状态包括 1（正常），2（固 定缺陷）和 3（可逆缺陷）. 本文将这两个数据集组 合成了一个新的数据集，它同时包含图像和数值 数据，命名为肺炎心脏病数据集 (PHD). PHD 包含 606 个样本，其中 424 个训练样本，182 个测试样 本. PHD 共包含 4 种类型：同时患有肺炎和心脏 病 (PH)，患有肺炎但未患心脏病 (PNH)，未患肺炎 但患有心脏病 (NPH)，既没有患肺炎又没有患心脏 病 (NPNH). 每一个样本包含一张图像和 13 个数 值属性，表 1 展示了数据集中的 4 种样本. 2.1.2    结果和讨论 如第 1 部分所述，使用轻量化卷积神经网络 ShuffleNetv2 提取图像特征，分类层使用两个全连 接层和一个输出层，两个全连接层分别包含 512 和 256 个神经元，输出层包含 4 个神经元（PHD 包 含 4 种类型的疾病）. 为了验证提出的融合方法的 可行性，进行了 3 组实验进行对比：第一组实验 （ShuffleNetv2）利用图 1 中的特征提取模块和分类 层对肺部 CT 图像进行分类，预测病人是否患有肺 炎；第二组实验（DNN）利用分类层对心脏病数值 Channel divide 1×1 PWConv 1×1 PWConv 1×1 PWConv Channel concat Relu Relu BN BN BN Channel shuffle 1×1 PWConv 3×3 DWConv (Strid=2) 3×3 DWConv (Strid=2) 3×3 DWConv 1×1 PWConv Channel concat Channel shuffle BN BN BN Relu Relu (b) (a) 图 2    基本单元和下采样单元的结构. （a）基本单元的结构；（b）下采样单元的结构 Fig.2    Structure of the basic unit and down sampling unit：(a) structure of the basic unit; (b) structure of the down sampling unit · 1200 · 工程科学学报，第 43 卷，第 9 期