基于切面识别的房间隔缺损智能辅助诊断

工程科学学报 Chinese Journal of Engineering 基于切面识别的房间隔缺损智能辅助诊断 张文静李文秀刘爱军武兴坤李剑峰罗涛 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing,LI Wen-xiu.LIU Ai-jun,WU Xing-kun,LI Jian-feng,LUO Tao 引用本文： 张文静，李文秀，刘爱军，武兴坤，李剑峰，罗涛.基于切面识别的房间隔缺损智能辅助诊断.工程科学学报，2021,43(9)： 1166-1173.doi:10.13374.issn2095-9389.2021.01.14.007 ZHANG Wen-jing.LI Wen-xiu,LIU Ai-jun,WU Xing-kun,LI Jian-feng,LUO Tao.Intelligent auxiliary diagnosis of atrial septal defect based on view classification[J].Chinese Journal of Engineering,2021,43(9):1166-1173.doi:10.13374/j.issn2095- 9389.2021.01.14.007 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.14.007 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020,42(11)：1525 https:ldoi.org/10.13374.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https::/1doi.org/10.13374斩.issn2095-9389.2019.06.014 基于DL-T及迁移学习的语音识别研究 Research on automatic speech recognition based on a DLT and transfer learning 工程科学学报.2021,433)：433 https:1doi.org/10.13374/.issn2095-9389.2020.01.12.001 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报.2020,42(5)：557 https:/1doi.org/10.13374.issn2095-9389.2019.03.21.003 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报.2021,43(2)：179htps:/oi.org10.13374.issn2095-9389.2020.07.21.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,4110)：1229htps:/1doi.org/10.13374.issn2095-9389.2019.03.27.002

基于切面识别的房间隔缺损智能辅助诊断 张文静 李文秀 刘爱军 武兴坤 李剑峰 罗涛 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing, LI Wen-xiu, LIU Ai-jun, WU Xing-kun, LI Jian-feng, LUO Tao 引用本文: 张文静, 李文秀, 刘爱军, 武兴坤, 李剑峰, 罗涛. 基于切面识别的房间隔缺损智能辅助诊断[J]. 工程科学学报, 2021, 43(9): 1166-1173. doi: 10.13374/j.issn2095-9389.2021.01.14.007 ZHANG Wen-jing, LI Wen-xiu, LIU Ai-jun, WU Xing-kun, LI Jian-feng, LUO Tao. Intelligent auxiliary diagnosis of atrial septal defect based on view classification[J]. Chinese Journal of Engineering, 2021, 43(9): 1166-1173. doi: 10.13374/j.issn2095- 9389.2021.01.14.007 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于DL-T及迁移学习的语音识别研究 Research on automatic speech recognition based on a DLT and transfer learning 工程科学学报. 2021, 43(3): 433 https://doi.org/10.13374/j.issn2095-9389.2020.01.12.001 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报. 2020, 42(5): 557 https://doi.org/10.13374/j.issn2095-9389.2019.03.21.003 油气资源开发的大数据智能平台及应用分析 Big data intelligent platform and application analysis for oil and gas resource development 工程科学学报. 2021, 43(2): 179 https://doi.org/10.13374/j.issn2095-9389.2020.07.21.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002

工程科学学报.第43卷.第9期：1166-1173.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1166-1173,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007;http://cje.ustb.edu.cn 基于切面识别的房间隔缺损智能辅助诊断 张文静”，李文秀，刘爱军)，武兴坤引，李剑峰)，罗涛)四 1)北京邮电大学北京先进信息网络实验室，北京1008762)首都医科大学附属北京安贞医院儿童心血管病中心，北京1000293)北京邮 电大学网络体系构建与融合北京市重点实验室，北京100876 ☒通信作者，E-mail:tuo@bupt.edu.cn 摘要针对超声心动图像质量差、噪声多，传统卷积神经网铬架构对超声心动图像的学习能力有限、表达不充分的缺点， 提出了一种基于标准切面识别的房间隔缺损(Atrial septal defect,.ASD)智能辅助诊断模型.该模型通过对超声心动图像进行 切面识别，充分融合其不同切面的语义特征，使得诊断的准确率得到明显提升。此外，还对其进行双边滤波保边去噪，并基于 此模型搭建房间隔缺损智能辅助诊断系统（简称ASD辅助诊断系统）.结果表明.该ASD辅助诊断系统的准确率高达 97.8%.且与传统卷积神经网络相比大大降低了假阴性率. 关键词深度学习：超声心动图：房间隔缺损：切面识别：双边滤波 分类号R318 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing.LI Wen-xi,LIU Ai-ju.WU Xing-kun,LI Jian-feng,LUO Tao 1)Beijing Laboratory of Advanced Information Networks,Beijing University of Posts and Telecommunication,Beijing 100876,China 2)Pediatric Cardiovascular Center,Beijing Anzhen Hospital Affiliated to Capital Medical University,Beijing 100029,China 3)Beijing Key Laboratory of Network System Architecture and Convergence,Beijing University of Posts and Telecommunication,Beijing 100876,China Corresponding author,E-mail:tluo@bupt.edu.cn ABSTRACT Atrial septal defect (ASD)is common congenital heart disease.The detection rate of congenital heart disease has increased year by year,and ASD accounted for the largest proportion of it,reaching 37.31%.The ASD patient will suffer from shortness of breath,palpitation,weakness,etc.,with symptoms worsening with advanced age.The ASD patient will not suffer from congenital heart disease if their condition is diagnosed early.Echocardiography is a powerful and cost-effective means of detecting ASD.However, the disadvantages of echocardiography,such as noise and poor imaging quality,cause misdiagnosis of ASD.Hence,research into echocardiography-based efficient and effective detection of ASD with a deep neural network is of great significance.For echocardiography is noisy and fuzzy,and the learning and feature expression ability of the traditional convolutional neural network architecture is limited,a feature view classification based atrial septal defect intelligent auxiliary diagnostic model architecture was proposed.The different views of echocardiography possess different features,demanding more precise model extraction and combined features from echocardiography.The proposed model architecture integrates the semantic characteristics of several views,significantly improving the accuracy of diagnosis.In addition,with the aim of denoising and preserving edges,a bilateral filtering algorithm was performed.Furthermore,an ASD intelligent auxiliary diagnostic system was built based on the proposed model.The results show that the accuracy of the ASD auxiliary diagnostic system reaches 97.8%,and the false-negative rate is greatly reduced compared with the traditional convolutional neural network architecture. KEY WORDS deep learning;echocardiography:atrial septal defect;view classification;bilateral filtering 收稿日期：2021-01-14 基金项目：国家自然科学基金资助项目(61571065)

基于切面识别的房间隔缺损智能辅助诊断 张文静1)，李文秀2)，刘爱军2)，武兴坤3)，李剑峰3)，罗    涛1) 苣 1) 北京邮电大学北京先进信息网络实验室，北京 100876    2) 首都医科大学附属北京安贞医院儿童心血管病中心，北京 100029    3) 北京邮 电大学网络体系构建与融合北京市重点实验室，北京 100876 苣通信作者，E-mail: tluo@bupt.edu.cn 摘    要    针对超声心动图像质量差、噪声多，传统卷积神经网络架构对超声心动图像的学习能力有限、表达不充分的缺点， 提出了一种基于标准切面识别的房间隔缺损（Atrial septal defect，ASD）智能辅助诊断模型. 该模型通过对超声心动图像进行 切面识别，充分融合其不同切面的语义特征，使得诊断的准确率得到明显提升. 此外，还对其进行双边滤波保边去噪，并基于 此模型搭建房间隔缺损智能辅助诊断系统（简称 ASD 辅助诊断系统）. 结果表明，该 ASD 辅助诊断系统的准确率高达 97.8%，且与传统卷积神经网络相比大大降低了假阴性率. 关键词    深度学习；超声心动图；房间隔缺损；切面识别；双边滤波 分类号    R318 Intelligent auxiliary diagnosis of atrial septal defect based on view classification ZHANG Wen-jing1) ，LI Wen-xiu2) ，LIU Ai-jun2) ，WU Xing-kun3) ，LI Jian-feng3) ，LUO Tao1) 苣 1) Beijing Laboratory of Advanced Information Networks, Beijing University of Posts and Telecommunication, Beijing 100876, China 2) Pediatric Cardiovascular Center, Beijing Anzhen Hospital Affiliated to Capital Medical University, Beijing 100029, China 3) Beijing Key Laboratory of Network System Architecture and Convergence, Beijing University of Posts and Telecommunication, Beijing 100876, China 苣 Corresponding author, E-mail: tluo@bupt.edu.cn ABSTRACT    Atrial  septal  defect  (ASD)  is  common  congenital  heart  disease.  The  detection  rate  of  congenital  heart  disease  has increased year by year, and ASD accounted for the largest proportion of it, reaching 37.31%. The ASD patient will suffer from shortness of breath, palpitation, weakness, etc., with symptoms worsening with advanced age. The ASD patient will not suffer from congenital heart disease if their condition is diagnosed early. Echocardiography is a powerful and cost-effective means of detecting ASD. However, the  disadvantages  of  echocardiography,  such  as  noise  and  poor  imaging  quality,  cause  misdiagnosis  of  ASD.  Hence,  research  into echocardiography-based  efficient  and  effective  detection  of  ASD  with  a  deep  neural  network  is  of  great  significance.  For echocardiography  is  noisy  and  fuzzy,  and  the  learning  and  feature  expression  ability  of  the  traditional  convolutional  neural  network architecture  is  limited,  a  feature  view  classification  based  atrial  septal  defect  intelligent  auxiliary  diagnostic  model  architecture  was proposed. The different views of echocardiography possess different features, demanding more precise model extraction and combined features from echocardiography. The proposed model architecture integrates the semantic characteristics of several views, significantly improving the accuracy of diagnosis. In addition, with the aim of denoising and preserving edges, a bilateral filtering algorithm was performed. Furthermore, an ASD intelligent auxiliary diagnostic system was built based on the proposed model. The results show that the accuracy of the ASD auxiliary diagnostic system reaches 97.8%, and the false-negative rate is greatly reduced compared with the traditional convolutional neural network architecture. KEY WORDS    deep learning；echocardiography；atrial septal defect；view classification；bilateral filtering 收稿日期: 2021−01−14 基金项目: 国家自然科学基金资助项目（61571065） 工程科学学报，第 43 卷，第 9 期：1166−1173，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1166−1173, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.14.007; http://cje.ustb.edu.cn

张文静等：基于切面识别的房间隔缺损智能辅助诊断 ·1167 房间隔缺损(Atrial septal defect,.ASD)是一种 心动图切面类型及图像的简单分割，利用卷积神 常见的先天性的心脏病，表现为在胚胎发育过程 经网络进行左心室肥大(Left ventricular hypertrophy,. 中，房间隔发育异常导致左、右心房之间留有孔 LVH)的诊断其中超声心动图的切面分类对 隙.先天性心脏病的检出率逐年递增，而ASD更 LVH诊断准确率有一定的提升，但左心室肥大涉 是占据了先天性心脏病中最大的比重，达到37.31%山 及的切面类型与房间隔缺损差异很大.此外，实验 ASD患者随着年龄的增大，会出现气急、心悸和 结果表明，其进行切面分类后采用U-net对其进行 乏力的症状.40岁以上患者病情进一步加重，并 简单分割的做法对诊断准确率的提升并不明显 常出现心房颤动、心房扑动等心律失常和充血性 除了切面识别方面的工作，也有研究者致力于对 心衰表现.在患者年龄较小时将其检出，并对孔隙 超声心动图进行交互式翻译-以及超声心动图 较大无法自愈的患者进行治疗可以有效防止病情 图像分割的工作心以及其他基于深度学习的与 的恶化，避免患者遭受心脏病的痛苦.因此，对 超声心动图相关的工作（其他疾病的诊断、超声心 ASD的高效准确诊断的研究具有十分重要的现实 动图的数据增强等)5-训综上，目前仍鲜有基于 意义. 深度学习和超声心动图进行房间隔缺损的研究 超声心动图是进行ASD诊断的主要方式，通 于是本文将深度学习的算法面识别的房间隔缺损 过观察二维超声图中心脏的形态大小、回声缺失 智能辅助诊断方法 以及异常的血液分流可以很好地诊断出A$D,而 1问题分析 且超声心动图中彩色多普勒血流显像显示的左右 心房水平分流信号更是可以清楚准确地诊断与医 通过超声心动图进行ASD的诊断具有一定 学影像自身的数据特征相结合，提出了一种基于 的挑战性，其困难主要来自三个方面：正常人与 超声心动图切出ASD四彩色多普勒超声心动图 患者的超声心动图差异较小，难以简单地直接将 检查简便易行，无创伤，患者无痛苦，重复性强，准 其分开：超声心动图分为多种常用的标准切面， 确，是ASD的首选检查方法四.然而由于超声心动 每个切面的图像特征各异，传统的卷积神经网络 图客观上具有成像质量不佳，噪声较多的缺点，导 架构难以充分学习各个切面的不同特征；超声心 致超声漏诊及误诊ASD.调查表明，多达30%的 动图成像质量一般，边界不清且往往伴随着大量 超声心动图报告并不十分准确).此外，因为医疗 的噪声.这3个方面带来的不利影响都导致了 资源的分布不均，医生水平的良莠不齐，山村地区 将卷积神经网络直接应用到ASD的诊断上效果 的医院情况更不容乐观.事实上，临床医生大多不 不佳 具备阅片能力，阅片工作均由影像科医生完成，然 由Wangm给出的通过超声心动图诊断ASD 后再由其提交检查报告给临床医生.而在医疗资 的诊断依据可知，正常人的超声心动图与ASD患 源匮乏的乡村这些工作都将由临床医生来完成， 者的超声心动图的图像特征相异.如图1所示， 这就导致其超声心动图的检查报告可靠性进一步 ASD患者的超声心动图在房间隔缺损处存在明显 降低。由此可见，设计实现一种基于深度学习的 的阴影，这是用于区分正常人与患者的主要依据 ASD智能辅助诊断系统，具有十分重要的现实意 之一，这种图像差异与整张图像相比不够突出，而 义：对经验丰富的医生来说，可以帮助提高阅片效 两者在其余部分的图像特征上并没有明显的不 率，保证ASD诊断的可靠性即准确率；对于经验 同，所以就需要网络对超声心动图的图像特征进 较为欠缺甚至不具备阅片能力的医生来说更是可 行非常具有针对性地提取、组合.另一方面，超声 以帮助提供基于超声心动图的A$D辅助诊断意 心动图的多种常用切面的特征又各不相同，若不 见，提高诊断结果的综合性， 加以区分就进行诊断势必会丢失掉这一部分信 近年来深度学习在医学影像处理领域，有很 息，从而使诊断性能有所下降.于是就提出了基于 多研究者投入其中并取得了不少研究成果.Tao 特征切面识别的ASD智能辅助诊断模型，该模型 等提出了一种基于深度卷积神经网络的超声心 采用先进行切面识别，再进行房间隔诊断的两段 动图切面识别方法，采用金字塔池化层替代了全 式架构.通过对超声心动图进行切面识别，使得诊 连接层，取得了较为不错的识别准确率.Madani 断模型能更好更全面地把握图像特征，从而更加 等针对超声心动图15种切面进行了分类，主要 准确地区分出正常人与ASD患者.最后，为了应 目标是实现快速的分类.他们还提出了结合超声 对超声心动图图像质量不佳的问题，对数据进行

房间隔缺损 (Atrial septal defect，ASD) 是一种 常见的先天性的心脏病，表现为在胚胎发育过程 中，房间隔发育异常导致左、右心房之间留有孔 隙. 先天性心脏病的检出率逐年递增，而 ASD 更 是占据了先天性心脏病中最大的比重，达到 37.31% [1] . ASD 患者随着年龄的增大，会出现气急、心悸和 乏力的症状. 40 岁以上患者病情进一步加重，并 常出现心房颤动、心房扑动等心律失常和充血性 心衰表现. 在患者年龄较小时将其检出，并对孔隙 较大无法自愈的患者进行治疗可以有效防止病情 的恶化，避免患者遭受心脏病的痛苦. 因此，对 ASD 的高效准确诊断的研究具有十分重要的现实 意义. 超声心动图是进行 ASD 诊断的主要方式，通 过观察二维超声图中心脏的形态大小、回声缺失 以及异常的血液分流可以很好地诊断出 ASD，而 且超声心动图中彩色多普勒血流显像显示的左右 心房水平分流信号更是可以清楚准确地诊断与医 学影像自身的数据特征相结合，提出了一种基于 超声心动图切出 ASD[1] . 彩色多普勒超声心动图 检查简便易行，无创伤，患者无痛苦，重复性强，准 确，是 ASD 的首选检查方法[2] . 然而由于超声心动 图客观上具有成像质量不佳，噪声较多的缺点，导 致超声漏诊及误诊 ASD. 调查表明，多达 30% 的 超声心动图报告并不十分准确[3] . 此外，因为医疗 资源的分布不均，医生水平的良莠不齐，山村地区 的医院情况更不容乐观. 事实上，临床医生大多不 具备阅片能力，阅片工作均由影像科医生完成，然 后再由其提交检查报告给临床医生. 而在医疗资 源匮乏的乡村这些工作都将由临床医生来完成， 这就导致其超声心动图的检查报告可靠性进一步 降低. 由此可见，设计实现一种基于深度学习的 ASD 智能辅助诊断系统，具有十分重要的现实意 义：对经验丰富的医生来说，可以帮助提高阅片效 率，保证 ASD 诊断的可靠性即准确率；对于经验 较为欠缺甚至不具备阅片能力的医生来说更是可 以帮助提供基于超声心动图的 ASD 辅助诊断意 见，提高诊断结果的综合性. 近年来深度学习在医学影像处理领域，有很 多研究者投入其中并取得了不少研究成果. Tao 等[4] 提出了一种基于深度卷积神经网络的超声心 动图切面识别方法，采用金字塔池化层替代了全 连接层，取得了较为不错的识别准确率. Madani 等[5] 针对超声心动图 15 种切面进行了分类，主要 目标是实现快速的分类. 他们还提出了结合超声 心动图切面类型及图像的简单分割，利用卷积神 经网络进行左心室肥大（Left ventricular hypertrophy, LVH）的诊断[6] . 其中超声心动图的切面分类对 LVH 诊断准确率有一定的提升，但左心室肥大涉 及的切面类型与房间隔缺损差异很大. 此外，实验 结果表明，其进行切面分类后采用 U-net 对其进行 简单分割的做法对诊断准确率的提升并不明显. 除了切面识别方面的工作，也有研究者致力于对 超声心动图进行交互式翻译[7−9] 以及超声心动图 图像分割的工作[10−14] 以及其他基于深度学习的与 超声心动图相关的工作（其他疾病的诊断、超声心 动图的数据增强等）[15−21] . 综上，目前仍鲜有基于 深度学习和超声心动图进行房间隔缺损的研究， 于是本文将深度学习的算法面识别的房间隔缺损 智能辅助诊断方法. 1    问题分析 通过超声心动图进行 ASD 的诊断具有一定 的挑战性，其困难主要来自三个方面：正常人与 患者的超声心动图差异较小，难以简单地直接将 其分开；超声心动图分为多种常用的标准切面， 每个切面的图像特征各异，传统的卷积神经网络 架构难以充分学习各个切面的不同特征；超声心 动图成像质量一般，边界不清且往往伴随着大量 的噪声. 这 3 个方面带来的不利影响都导致了 将卷积神经网络直接应用到 ASD 的诊断上效果 不佳. 由 Wang[1] 给出的通过超声心动图诊断 ASD 的诊断依据可知，正常人的超声心动图与 ASD 患 者的超声心动图的图像特征相异. 如图 1 所示， ASD 患者的超声心动图在房间隔缺损处存在明显 的阴影，这是用于区分正常人与患者的主要依据 之一. 这种图像差异与整张图像相比不够突出，而 两者在其余部分的图像特征上并没有明显的不 同，所以就需要网络对超声心动图的图像特征进 行非常具有针对性地提取、组合. 另一方面，超声 心动图的多种常用切面的特征又各不相同，若不 加以区分就进行诊断势必会丢失掉这一部分信 息，从而使诊断性能有所下降. 于是就提出了基于 特征切面识别的 ASD 智能辅助诊断模型，该模型 采用先进行切面识别，再进行房间隔诊断的两段 式架构. 通过对超声心动图进行切面识别，使得诊 断模型能更好更全面地把握图像特征，从而更加 准确地区分出正常人与 ASD 患者. 最后，为了应 对超声心动图图像质量不佳的问题，对数据进行 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1167 ·

·1168 工程科学学报，第43卷，第9期 双边滤波处理，便可以在保留轮廓边界的前提下 一帧图像就确诊过于武断.而邻近帧图像相似度 一定程度上抑制噪声，提高图像的质量 较高，均输入模型进行诊断存在数据冗余问题，因 此同时也为了提高数据量，在预处理中采用了一 (a) (b) 定的间隔对数据进行了采样操作.除去动态数据 外，数据集中也含有少数的静态图像，这种静态图 像一般为超声医生精心截取的，对于ASD诊断的 参考意义较高，皆予以保留.其次，原始的超声心 动图中除了超声影像外，其边框处还有许多涉及 图1超声心动图对比.(a)ASD患者：(b)健康人 患者隐私的信息，这些信息对于诊断而言与噪声 Fig.1 Contrast in echocardiography of ASD patient(a)and healthy 无异，保留下来也会有泄露患者隐私的风险，于是 people(b) 预处理阶段通过对超声影像部分手动提取边框获 取掩码图像，再将其与原始图像做掩码处理，滤除 2数据预处理与模型算法 超声影像以外的其他信息.此外，超声影像部分也 2.1数据预处理 存在不小的噪声干扰，需要对其进行噪声滤波操 研究所用数据集均由某医院提供的116位被 作.通过对比不同的滤波算法，模型采用了双边滤 检查者的二维超声心动图及彩色超声多普勒组 波算法，该部分具体细节将在下面展开叙述.最后 成，其中有80位确诊为ASD患者，剩下36位诊断 再将得到的图像进行一些数据增强操作，如图像 为正常，分别占总数的69%和31%.其中每个人的 旋转、翻转和随机剪裁等 数据均由数量不等的各种切面的dicom格式的超 2.2基于双边滤波器的超声心动图噪声消除算法 声心动图组成 然而，由于超声心动图噪声较多，直接用原始 在临床诊断中，有几种比较常用且可靠的超 图像进行模型训练效果不佳，需要对其进行降噪 声心动图标准切面（图2），分别是：胸骨旁大动脉 处理.目前常用的图像降噪滤波算法有均值滤 短轴切面，心尖四腔心切面，胸骨旁四腔心切面， 波、高斯滤波以及双边滤波，这些滤波算法都是通 剑突下上下腔长轴切面，剑突下大动脉短轴切面 过将滤波范围内的像素做加权平均的发生进行图 及剑突下双房心切面.其中图2(a)和2(b)相似度 像平滑，从而抑制噪声的.不过均值滤波对周围像 较高，一般都统称为四腔心切面 素赋予相同的权值，这与图像中像素实际的概率 数据预处理的过程主要分为如下几步：首先， 分布不符，在图像的轮廓边缘更是如此；高斯滤波 用户的超声心动图数据中往往动态数据居多，一 则是通过假设滤波中心像素与周围像素的像素值 个动态数据中包含有许多帧图像，仅依靠其中某 满足高斯分布，并以此对其周围像素赋予不同的 (b) d (e) 图2超声心动图6类标准切面.(a)胸骨旁大动脉短轴：(b)心尖四腔心：(c)胸骨旁四腔心：(d)剑突下上下腔长轴：()剑突下大动脉短轴：(f)剑 突下双房心 Fig.2 Six normal views of echocardiography:(a)parasternal short-axis view,(b)apical four-chamber view;(c)parasternal four-chamber view, (d)subcostal inferior vena cava;(e)subcostal short axial of aorta;(f)subcostal left and right atrium

双边滤波处理，便可以在保留轮廓边界的前提下 一定程度上抑制噪声，提高图像的质量. (a) (b) 图 1    超声心动图对比. （a）ASD 患者；（b）健康人 Fig.1     Contrast  in  echocardiography  of  ASD  patient  (a)  and  healthy people (b) 2    数据预处理与模型算法 2.1    数据预处理 研究所用数据集均由某医院提供的 116 位被 检查者的二维超声心动图及彩色超声多普勒组 成，其中有 80 位确诊为 ASD 患者，剩下 36 位诊断 为正常，分别占总数的 69% 和 31%. 其中每个人的 数据均由数量不等的各种切面的 dicom 格式的超 声心动图组成. 在临床诊断中，有几种比较常用且可靠的超 声心动图标准切面（图 2），分别是：胸骨旁大动脉 短轴切面，心尖四腔心切面，胸骨旁四腔心切面， 剑突下上下腔长轴切面，剑突下大动脉短轴切面 及剑突下双房心切面. 其中图 2（a）和 2（b）相似度 较高，一般都统称为四腔心切面. 数据预处理的过程主要分为如下几步：首先， 用户的超声心动图数据中往往动态数据居多，一 个动态数据中包含有许多帧图像，仅依靠其中某 一帧图像就确诊过于武断. 而邻近帧图像相似度 较高，均输入模型进行诊断存在数据冗余问题，因 此同时也为了提高数据量，在预处理中采用了一 定的间隔对数据进行了采样操作. 除去动态数据 外，数据集中也含有少数的静态图像，这种静态图 像一般为超声医生精心截取的，对于 ASD 诊断的 参考意义较高，皆予以保留. 其次，原始的超声心 动图中除了超声影像外，其边框处还有许多涉及 患者隐私的信息，这些信息对于诊断而言与噪声 无异，保留下来也会有泄露患者隐私的风险，于是 预处理阶段通过对超声影像部分手动提取边框获 取掩码图像，再将其与原始图像做掩码处理，滤除 超声影像以外的其他信息. 此外，超声影像部分也 存在不小的噪声干扰，需要对其进行噪声滤波操 作. 通过对比不同的滤波算法，模型采用了双边滤 波算法，该部分具体细节将在下面展开叙述. 最后 再将得到的图像进行一些数据增强操作，如图像 旋转、翻转和随机剪裁等. 2.2    基于双边滤波器的超声心动图噪声消除算法 然而，由于超声心动图噪声较多，直接用原始 图像进行模型训练效果不佳，需要对其进行降噪 处理. 目前常用的图像降噪滤波算法有均值滤 波、高斯滤波以及双边滤波，这些滤波算法都是通 过将滤波范围内的像素做加权平均的发生进行图 像平滑，从而抑制噪声的. 不过均值滤波对周围像 素赋予相同的权值，这与图像中像素实际的概率 分布不符，在图像的轮廓边缘更是如此；高斯滤波 则是通过假设滤波中心像素与周围像素的像素值 满足高斯分布，并以此对其周围像素赋予不同的 (a) (b) (c) (d) (e) (f) 图 2    超声心动图 6 类标准切面. （a）胸骨旁大动脉短轴；（b）心尖四腔心；（c）胸骨旁四腔心；（d）剑突下上下腔长轴；（e）剑突下大动脉短轴；（f）剑 突下双房心 Fig.2     Six  normal  views  of  echocardiography:  (a)  parasternal  short-axis  view;  (b)  apical  four-chamber  view;  (c)  parasternal  four-chamber  view; (d) subcostal inferior vena cava; (e) subcostal short axial of aorta; (f) subcostal left and right atrium · 1168 · 工程科学学报，第 43 卷，第 9 期

张文静等：基于切面识别的房间隔缺损智能辅助诊断 1169 权值，这样虽然对于一般情况像素间相关性的刻 智能辅助诊断模型总体网络架构示意图如图4所 画更为准确，却仍不可避免地会破坏掉图像中的 示，主体结构由切面识别与A$D诊断两部分网络 边缘信息从而导致边界模糊；与均值滤波和高斯 构成.两部分网络可以单独进行训练，最后再通过 滤波没有考虑到轮廓边缘像素发生突变的特性不 一个全连接网络得到模型输出.经过预处理后的 同，双边滤波2-通过引入像素域核，可以实现对 数据同时输入到两个卷积神经网络中，分别进行 边界的有效保留，其所用滤波核参数如式(1) 特征提取，将两部分网络提取的特征进行拼接，从 所示： 而把识别的切面信息与图像提取的空间特征信息 _-2±-2_正u2 相融合，拼接的特征向量输入到全连接层，最后得 w(i,ik,l)=el 2 (1) 到结合切面识别的ASD诊断结果.该模型架构可 1(i.-Zkul(k.Dw(i.j.k.D) (2) 以很好地将超声心动图的不同切面特征与用于诊 ∑kw(jk,D 断的图像特征进行组合，从而使得诊断结果更加 式中，（位，）为滤波中心的坐标，(k,)为滤波器覆盖范 精确.且该模型架构易于实现，用于进行切面特征 围内某点坐标，I(a,b)为某点(a,b)的像素值，ca和 提取与ASD特征提取的卷积神经网络可以独立选 σ分别为空域核方差和像素域核方差，由式(1)可 取，例如切面特征提取网络可以参考已有的较好 得滤波范围内某点像素值所被赋予的权值既与它 的超声心动图切面识别网络.而ASD特征提取网 相对于滤波中心的位置有关，又与其相对于滤波 络与全连接层作为整体，通过将切面类别也作为 中心的像素值差有关.滤波中心滤波后的像素值 标签进行输入，便可进行训练.得益于两部分网络 由式(2)计算得到，由于与滤波中心像素值相差较 独立进行训练，其中一个网络训练效果不佳时并 大的像素在双边滤波的滤波参数计算时会获得较 不会影响另一个网络的训练 小的权值，当滤波中心到达像素突变的边界处时， 图3给出的模型构建的整体架构，突出了网络 边界轮廓不会被过分平滑，从而实现保边去噪.不 总体的设计思路.实际用于ASD诊断的完整模型 同滤波算法作用于超声心动图的效果对比如图3 如图5所示，主要由3部分组成一数据预处理部 所示，可见均值滤波处理后的图像平滑程度最高， 分、ASD辅助诊断部分和加权求和部分.数据预 也最为模糊：高斯滤波虽然优于均值滤波，但是同 处理部分前已说明，模型中模块的组成与功能介 样存在模糊边界的问题：而双边滤波处理过后的 绍就主要针对后两部分进行 图像在平滑程度与边界清晰度上取得了比较好的 ASD辅助诊断部分主要是由View-net与ASD- 折中 net以及ASD diagnosis模块组成，其中ASD diagnosis 模块由一个4层的全连接神经网络组成，各层数 (b) 节点个数设置为(288,128,56,2)，其功能为通过 ASD-net与View-net获取的超声心动图高维特征 向量进行组合得到最终的诊断结果.View-net与 ASD-net的模型实现则均采用稠密连接卷积神 经网络(（Densely connected convolutional network, Densenet),其中View-net的功能为识别超声心 d 动图的切面类别，可作为一个单独的模型进行训 练，具有可替换性，在本模型中View-net直接使用 的Densenet1221P,ASD-net则是基于深度神经网 络模型压缩理论，采用如图6所示的轻量化的 网络结构，其网络主体由4个Dense block组成，每 图3噪声滤波效果对比.(a)原始图像：(b)均值滤波：(c)高斯滤波： 个Dense block内部有若干层Dense layer,,Dense (d)双边滤波 layer除了进行标准化和卷积操作得到特征图，还 Fig.3 Comparison of different noise filter algorithms:(a)original 会将输入与特征图堆叠，最后一起输出，第i层 image;(b)mean filter,(c)Gaussian filter;(d)bilateral filter Dense layer的输出如式(3)所示，concat表示堆叠 2.3模型算法 操作，conv表示卷积操作，norm表示标准化操作， 所提的基于超声心动图特征切面识别的ASD 当i取0时Xo为该dense block的输入.此外为了保

权值，这样虽然对于一般情况像素间相关性的刻 画更为准确，却仍不可避免地会破坏掉图像中的 边缘信息从而导致边界模糊；与均值滤波和高斯 滤波没有考虑到轮廓边缘像素发生突变的特性不 同，双边滤波[22−23] 通过引入像素域核，可以实现对 边界的有效保留 ，其所用滤波核参数如式 （ 1） 所示： w(i, j, k,l) = e  − (i−k) 2+(j−l) 2 2σ 2 d − |I(i, j)−I(k,l)| 2 2σ 2 r   （1） I(i, j) = ∑ k,l I(k,l)w(i, j, k,l) ∑ k,lw(i, j, k,l) （2） (i, j) (k,l) I(a,b) (a,b) σd σr 式中， 为滤波中心的坐标， 为滤波器覆盖范 围内某点坐标， 为某点 的像素值， 和 分别为空域核方差和像素域核方差，由式（1）可 得滤波范围内某点像素值所被赋予的权值既与它 相对于滤波中心的位置有关，又与其相对于滤波 中心的像素值差有关. 滤波中心滤波后的像素值 由式（2）计算得到，由于与滤波中心像素值相差较 大的像素在双边滤波的滤波参数计算时会获得较 小的权值，当滤波中心到达像素突变的边界处时， 边界轮廓不会被过分平滑，从而实现保边去噪. 不 同滤波算法作用于超声心动图的效果对比如图 3 所示，可见均值滤波处理后的图像平滑程度最高， 也最为模糊；高斯滤波虽然优于均值滤波，但是同 样存在模糊边界的问题；而双边滤波处理过后的 图像在平滑程度与边界清晰度上取得了比较好的 折中. (a) (b) (c) (d) 图 3    噪声滤波效果对比. （a）原始图像；（b）均值滤波；（c）高斯滤波； （d）双边滤波 Fig.3     Comparison  of  different  noise  filter  algorithms:  (a)  original image; (b) mean filter; (c) Gaussian filter; (d) bilateral filter 2.3    模型算法 所提的基于超声心动图特征切面识别的 ASD 智能辅助诊断模型总体网络架构示意图如图 4 所 示，主体结构由切面识别与 ASD 诊断两部分网络 构成. 两部分网络可以单独进行训练，最后再通过 一个全连接网络得到模型输出. 经过预处理后的 数据同时输入到两个卷积神经网络中，分别进行 特征提取，将两部分网络提取的特征进行拼接，从 而把识别的切面信息与图像提取的空间特征信息 相融合，拼接的特征向量输入到全连接层，最后得 到结合切面识别的 ASD 诊断结果. 该模型架构可 以很好地将超声心动图的不同切面特征与用于诊 断的图像特征进行组合，从而使得诊断结果更加 精确. 且该模型架构易于实现，用于进行切面特征 提取与 ASD 特征提取的卷积神经网络可以独立选 取，例如切面特征提取网络可以参考已有的较好 的超声心动图切面识别网络. 而 ASD 特征提取网 络与全连接层作为整体，通过将切面类别也作为 标签进行输入，便可进行训练. 得益于两部分网络 独立进行训练，其中一个网络训练效果不佳时并 不会影响另一个网络的训练. 图 3 给出的模型构建的整体架构，突出了网络 总体的设计思路. 实际用于 ASD 诊断的完整模型 如图 5 所示，主要由 3 部分组成——数据预处理部 分、ASD 辅助诊断部分和加权求和部分. 数据预 处理部分前已说明，模型中模块的组成与功能介 绍就主要针对后两部分进行. X0 ASD 辅助诊断部分主要是由 View-net 与 ASD￾net 以及 ASD diagnosis 模块组成，其中 ASD diagnosis 模块由一个 4 层的全连接神经网络组成，各层数 节点个数设置为（288，128，56，2），其功能为通过 ASD-net 与 View-net 获取的超声心动图高维特征 向量进行组合得到最终的诊断结果. View-net 与 ASD-net 的模型实现则均采用稠密连接卷积神 经 网 络 （ Densely  connected  convolutional  network， Densenet） [24] ，其中 View-net 的功能为识别超声心 动图的切面类别，可作为一个单独的模型进行训 练，具有可替换性，在本模型中 View-net 直接使用 的 Densenet121[24] . ASD-net 则是基于深度神经网 络模型压缩理论[25] ，采用如图 6 所示的轻量化的 网络结构，其网络主体由 4 个 Dense block 组成，每 个 Dense  block 内部有若干 层 Dense  layer， Dense layer 除了进行标准化和卷积操作得到特征图，还 会将输入与特征图堆叠，最后一起输出，第 i 层 Dense layer 的输出如式（3）所示，concat 表示堆叠 操作，conv 表示卷积操作，norm 表示标准化操作， 当 i 取 0 时 为该 dense block 的输入. 此外为了保 张文静等： 基于切面识别的房间隔缺损智能辅助诊断 · 1169 ·