基于深度学习的宫颈癌异常细胞快速检测方法

工程科学学报 Chinese Journal of Engineering 基于深度学习的官颈癌异常细胞快速检测方法 姚超赵基淮马博渊李莉马莹班晓娟姜淑芳邵炳衡 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao,ZHAO Ji-huai,MA Bo-yuan,LI Li,MA Ying.BAN Xiao-juan.JIANG Shu-fang,SHAO Bing-heng 引用本文： 姚超，赵基淮，马博渊，李莉，马莹，班晓娟，姜淑芳，邵炳衡.基于深度学习的宫颈癌异常细胞快速检测方法.工程科学学 报，2021,43(9%：1140-1148.doi:10.13374.issn2095-9389.2021.01.12.001 YAO Chao,ZHAO Ji-huai,MA Bo-yuan,LILi,MA Ying,BAN Xiao-juan,JIANG Shu-fang.SHAO Bing-heng.Fast detection method for cervical cancer abnormal cells based on deep learning[J].Chinese Journal of Engineering,2021,43(9):1140-1148.doi: 10.13374-issn2095-9389.2021.01.12.001 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.12.001 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020,42(11)：1525 https:ldoi.org/10.13374.issn2095-9389.2019.12.05.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报.2020,42(12：1597htps:/1doi.org10.13374.issn2095-9389.2020.01.02.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,41(10)：1229 https:/1doi.org/10.13374.issn2095-9389.2019.03.27.002 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https::/1oi.org/10.13374.issn2095-9389.2019.06.014 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报.2017,3910)：1584 https:1oi.org/10.13374j.issn2095-9389.2017.10.018 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报.2020,4210)：1372htps:/1doi.org/10.13374.issn2095-9389.2019.10.10.005

基于深度学习的宫颈癌异常细胞快速检测方法 姚超 赵基淮 马博渊 李莉 马莹 班晓娟 姜淑芳 邵炳衡 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao, ZHAO Ji-huai, MA Bo-yuan, LI Li, MA Ying, BAN Xiao-juan, JIANG Shu-fang, SHAO Bing-heng 引用本文: 姚超, 赵基淮, 马博渊, 李莉, 马莹, 班晓娟, 姜淑芳, 邵炳衡. 基于深度学习的宫颈癌异常细胞快速检测方法[J]. 工程科学学 报, 2021, 43(9): 1140-1148. doi: 10.13374/j.issn2095-9389.2021.01.12.001 YAO Chao, ZHAO Ji-huai, MA Bo-yuan, LI Li, MA Ying, BAN Xiao-juan, JIANG Shu-fang, SHAO Bing-heng. Fast detection method for cervical cancer abnormal cells based on deep learning[J]. Chinese Journal of Engineering, 2021, 43(9): 1140-1148. doi: 10.13374/j.issn2095-9389.2021.01.12.001 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001 您可能感兴趣的其他文章 Articles you may be interested in 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报. 2020, 42(12): 1597 https://doi.org/10.13374/j.issn2095-9389.2020.01.02.001 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 基于深度卷积神经网络的地磁导航方向适配性分析 Direction-matching-suitability analysis for geomagnetic navigation based on convolutional neural networks 工程科学学报. 2017, 39(10): 1584 https://doi.org/10.13374/j.issn2095-9389.2017.10.018 基于集成神经网络的剩余寿命预测 Remaining useful life prediction based on an integrated neural network 工程科学学报. 2020, 42(10): 1372 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.005

工程科学学报.第43卷.第9期：1140-1148.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1140-1148,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001;http://cje.ustb.edu.cn 基于深度学习的宫颈癌异常细胞快速检测方法 姚 超12,34，赵基淮2,34)，马博渊12,34,5)，李莉6，刀，马莹6，，班晓娟12,34,5)， 姜淑芳6，)四，邵炳衡) 1)北京科技大学北京材料基因工程高精尖创新中心，北京1000832)北京科技大学材料领域知识工程北京市重点实验室，北京100083 3)北京科技大学人工智能研究院.北京1000834)北京科技大学计算机与通信工程学院，北京1000835)北京科技大学顺德研究生院. 佛山5283006)解放军总医院海南医院妇产科，三亚5720007)解放军总医院第一医学中心妇产科，北京1008538)吉林大学口腔医学 院.长春130021 ☒通信作者.E-mail:jsfD912@aliyun.com 摘要宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为 广泛的检测方法.近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了 图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域.但由于病理细胞图像具有分辨率高和 尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别 时，经过穷举候选框获得的子图大部分都不含有细胞簇.当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络 输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度.本文提出一种新的宫颈癌异常细 胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细 胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别.实验表明，本文提出 的方法可提高一倍的宫颈癌异常细胞检测速度 关键词宫颈癌异常细胞：病理图像：深度学习；卷积神经网络；目标检测；图像分类 分类号TP391 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao 234),ZHAO Ji-huai234),MA Bo-yuan 245,LI L),MA Yings,BAN Xiao-juan 245,JIANG Shu-fangs SHAO Bing-heng 1)Beijing Advanced Innovation Center for Materials Genome Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,University of Science and Technology Beijing,Beijing 100083,China 3)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 4)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China 5)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528300,China 6)Department of Obstetrics and Gynecology,Hainan Hospital of PLA General Hospital,Sanya 572000,China 7)Department of Obstetrics and Gynecology,General Hospital of PLA,Beijing 100853,China 8)School of Stomatology,Jilin University,Changchun 130021,China Corresponding author,E-mail:jsf0912@aliyun.com ABSTRACT Cervical cancer is a malignant tumor that highly endangers women's lives.Cytological screening based on image 收稿日期：2021-01-12 基金项目：海南省财政科技计划资助项目(ZDYF2019009):国家自然科学基金资助项目(61873299.61902022.61972028.6210020684)：中央 高校基本科研业务费资助项目(FRF-TP.19-015A1.FRF.TP-20-061A1Z.FRF-TP.19-043A2.00007467):佛山市科技创新专项资金资助项目 (BK19AE034,BK20AF001,BK21BF002)

基于深度学习的宫颈癌异常细胞快速检测方法 姚    超1,2,3,4)，赵基淮1,2,3,4)，马博渊1,2,3,4,5)，李    莉6,7)，马    莹6,7)，班晓娟1,2,3,4,5)， 姜淑芳6,7) 苣，邵炳衡8) 1) 北京科技大学北京材料基因工程高精尖创新中心，北京 100083    2) 北京科技大学材料领域知识工程北京市重点实验室，北京 100083    3) 北京科技大学人工智能研究院，北京 100083    4) 北京科技大学计算机与通信工程学院，北京 100083    5) 北京科技大学顺德研究生院， 佛山 528300    6) 解放军总医院海南医院妇产科，三亚 572000    7) 解放军总医院第一医学中心妇产科，北京 100853    8) 吉林大学口腔医学 院，长春 130021 苣通信作者，E-mail: jsf0912@aliyun.com 摘    要    宫颈癌是严重危害妇女健康的恶性肿瘤，威胁着女性的生命，而通过基于图像处理的细胞学筛查是癌前筛查的最为 广泛的检测方法. 近年来，随着以深度学习为代表的机器学习理论的发展，卷积神经网络以其强有效的特征提取能力取得了 图像识别领域的革命性突破，被广泛应用于宫颈异常细胞检测等医疗影像分析领域. 但由于病理细胞图像具有分辨率高和 尺寸大的特点，且其大多数局部区域内都不含有细胞簇，深度学习模型采用穷举候选框的方法进行异常细胞的定位和识别 时，经过穷举候选框获得的子图大部分都不含有细胞簇. 当子图数量逐渐增加时，大量不含细胞簇的图像作为目标检测网络 输入会使图像分析过程存在冗余时长，严重减缓了超大尺寸病理图像分析时的检测速度. 本文提出一种新的宫颈癌异常细 胞检测策略，针对使用膜式法获得的病理细胞图像，通过基于深度学习的图像分类网络首先判断局部区域是否出现异常细 胞，若出现则进一步使用单阶段的目标检测方法进行分析，从而快速对异常细胞进行精确定位和识别. 实验表明，本文提出 的方法可提高一倍的宫颈癌异常细胞检测速度. 关键词    宫颈癌异常细胞；病理图像；深度学习；卷积神经网络；目标检测；图像分类 分类号    TP391 Fast detection method for cervical cancer abnormal cells based on deep learning YAO Chao1,2,3,4) ，ZHAO Ji-huai1,2,3,4) ，MA Bo-yuan1,2,3,4,5) ，LI Li6,7) ，MA Ying6,7) ，BAN Xiao-juan1,2,3,4,5) ，JIANG Shu-fang6,7) 苣 ， SHAO Bing-heng8) 1) Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 3) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 4) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 5) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China 6) Department of Obstetrics and Gynecology, Hainan Hospital of PLA General Hospital, Sanya 572000, China 7) Department of Obstetrics and Gynecology, General Hospital of PLA, Beijing 100853, China 8) School of Stomatology, Jilin University, Changchun 130021, China 苣 Corresponding author, E-mail: jsf0912@aliyun.com ABSTRACT    Cervical  cancer  is  a  malignant  tumor  that  highly  endangers  women ’s  lives.  Cytological  screening  based  on  image 收稿日期: 2021−01−12 基金项目: 海南省财政科技计划资助项目（ZDYF2019009）；国家自然科学基金资助项目（61873299，61902022，61972028，6210020684）；中央 高校基本科研业务费资助项目（FRF-TP-19-015A1，FRF-TP-20-061A1Z，FRF-TP-19-043A2，00007467）；佛山市科技创新专项资金资助项目 （BK19AE034，BK20AF001，BK21BF002） 工程科学学报，第 43 卷，第 9 期：1140−1148，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1140−1148, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.001; http://cje.ustb.edu.cn

姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1141 processing is the most widely used detection method for precancerous screening.Recently,with the development of machine learning theory based on deep learning,the convolutional neural network has made a revolutionary breakthrough in the field of image recognition due to its strong and effective extraction ability.In addition,it has been widely used in the field of medical image analysis such as cervical abnormal cell detection.However,due to the characteristic high resolution and large size of pathological cell images,most of its local areas do not contain cell clusters.Moreover,when the deep learning model uses the method of exhausting candidate boxes to locate and identify abnormal cells,most of the sub-images obtained do not contain cell clusters.When the number of sub-images increases gradually,a large number of images without cell clusters as input to the object detection network will make the image analysis process redundant for a long time,which drastically slows down the speed of detection of the large-scale pathological image analysis.In view of this,this paper proposed a new detection strategy for abnormal cells in cervical cancer microscopic imaging.According to the pathological cell images obtained by the membrane method,the image classification network based on deep learning was first used to determine whether there were abnormal cells in the local area.If there were abnormal cells in the local area,the single-stage object detection method was used for further pathological cell image analysis,so that the abnormal cells in the images could be quickly and accurately located and identified.Experimental results show that the proposed method can double the speed of detection of cervical cancer abnormal cells. KEY WORDS cervical cancer abnormal cells;pathological image;deep learning;convolutional neural network;object detection; image classification 宫颈癌口作为世界范围最常见的妇科恶性肿 筛查水平和普及程度低下，难以满足实际检测的 瘤，严重威胁女性的生命.2016年世界卫生组织报 需要. 道：每年全球有超过50万新发的官颈癌病例，作 随着计算机硬件以及计算机处理算法的进 为发展中国家的中国约占其中的28%，并预计直 步，尤其是以深度学习0为代表的机器学习理论 至2025年，亚洲的宫颈癌发病率将上升至40%左 的突破，计算机图像处理技术-四不断渗透到各 右冈近年来宫颈癌不仅发病率呈上升趋势，并且 个领域，尤其在临床医学的诸多领域发挥着举足 发病年龄也趋于年轻化，引起了越来越多人的重 轻重的作用)依托强有效的特征提取能力，基于 视研究发现，宫颈癌的癌变是从子宫不典型 深度学习的卷积神经网络可以通过梯度下降的 增生到原位癌再到早期浸润癌，最后变成浸润癌， 方式自动地学习到图像中与目标任务相关的主要 足见宫颈癌有着相当长的癌前病变阶段可.如果病 特征，可大幅提高目标识别的准确率，使得深度学 人在宫颈癌癌前病变阶段或者更早的时候被诊断 习方法成为计算机图像处理领域中的主流方法阿 出来，得到治愈的机会将会大幅度提高 因此，采用细胞学计算机辅助诊断技术，对宫颈病 变细胞图像进行自动分析和处理6，能够帮助医 1相关工作 务人员进行精确的辅助判断，从而降低医务人员 官颈癌筛查主要有3种较为成熟的方法：细胞 的工作强度并提高诊断的准确性7-8！ 学方法，醋酸或碘染色法和HPV-DNA检测法.细 虽然深度学习在B超、CT和PET等医疗影像 胞学检测是应用最为广泛的筛查方法，并且随着 中展开了广泛应用，但在病理细胞图像分析的实 硬件技术的进步，制片方法从传统的巴氏涂片检 际应用中仍存在大量的桃战.例如，病理细胞图像 测，过渡到目前主流的以新柏氏薄层细胞学检测 相对于B超、CT和PET等医疗影像具有分辨率 (Thinprep cytologic test,.TCT)为代表的膜式法，和以 高、尺寸大的特点，对深度学习算法的执行效率提 液基薄层制片技术(Liquid-based cytology technology,. 出了更高的要求.在宫颈癌异常细胞检测的应用 LCT)为代表的沉降式法阿 中，每个患者单次检测通过膜式法6获得100000 目前，中国以细胞学（包括传统巴士涂片）作 像素×100000像素尺寸的病理细胞图像，但通常需 为宫颈癌主要筛查手段)，可是总体筛查水平不 要进行定位和识别的单个细胞的像素尺寸仅为 高，究其原因，并非由于细胞学检查技术的客观缺 320像素×320像素，传统的深度学习方法采用滑 陷，主要是由于国内有经验的细胞病理学医师及 窗9-]或穷举候选框2的方法进行异常细胞的定 辅助人员稀缺，根据欧美发达国家经验，一名合格 位和识别，而经过滑窗或穷举框获得的子图大部 的细胞学家成长周期约10年，因此造成宫颈癌 分都不含有细胞簇，当图片数量逐渐增加时，越来

processing is the most widely used detection method for precancerous screening. Recently, with the development of machine learning theory based on deep learning, the convolutional neural network has made a revolutionary breakthrough in the field of image recognition due  to  its  strong  and  effective  extraction  ability.  In  addition,  it  has  been  widely  used  in  the  field  of  medical  image  analysis  such  as cervical abnormal cell detection. However, due to the characteristic high resolution and large size of pathological cell images, most of its local areas do not contain cell clusters. Moreover, when the deep learning model uses the method of exhausting candidate boxes to locate and identify abnormal cells, most of the sub-images obtained do not contain cell clusters. When the number of sub-images increases gradually, a large number of images without cell clusters as input to the object detection network will make the image analysis process redundant for a long time, which drastically slows down the speed of detection of the large-scale pathological image analysis. In view of this,  this  paper  proposed  a  new  detection  strategy  for  abnormal  cells  in  cervical  cancer  microscopic  imaging.  According  to  the pathological cell images obtained by the membrane method, the image classification network based on deep learning was first used to determine  whether  there  were  abnormal  cells  in  the  local  area.  If  there  were  abnormal  cells  in  the  local  area,  the  single-stage  object detection method was used for further pathological cell image analysis, so that the abnormal cells in the images could be quickly and accurately  located  and  identified.  Experimental  results  show  that  the  proposed  method  can  double  the  speed  of  detection  of  cervical cancer abnormal cells. KEY  WORDS    cervical  cancer  abnormal  cells； pathological  image； deep  learning； convolutional  neural  network； object  detection； image classification 宫颈癌[1] 作为世界范围最常见的妇科恶性肿 瘤，严重威胁女性的生命. 2016 年世界卫生组织报 道：每年全球有超过 50 万新发的宫颈癌病例，作 为发展中国家的中国约占其中的 28%，并预计直 至 2025 年，亚洲的宫颈癌发病率将上升至 40% 左 右[2] . 近年来宫颈癌不仅发病率呈上升趋势，并且 发病年龄也趋于年轻化，引起了越来越多人的重 视[3−4] . 研究发现，宫颈癌的癌变是从子宫不典型 增生到原位癌再到早期浸润癌，最后变成浸润癌， 足见宫颈癌有着相当长的癌前病变阶段[5] . 如果病 人在宫颈癌癌前病变阶段或者更早的时候被诊断 出来，得到治愈的机会将会大幅度提高. 1    相关工作 宫颈癌筛查主要有 3 种较为成熟的方法：细胞 学方法，醋酸或碘染色法和 HPV‒DNA 检测法. 细 胞学检测是应用最为广泛的筛查方法，并且随着 硬件技术的进步，制片方法从传统的巴氏涂片检 测，过渡到目前主流的以新柏氏薄层细胞学检测 (Thinprep cytologic test, TCT) 为代表的膜式法，和以 液基薄层制片技术 (Liquid-based cytology technology, LCT) 为代表的沉降式法[6] . 目前，中国以细胞学（包括传统巴士涂片）作 为宫颈癌主要筛查手段[7−8] ，可是总体筛查水平不 高，究其原因，并非由于细胞学检查技术的客观缺 陷，主要是由于国内有经验的细胞病理学医师及 辅助人员稀缺，根据欧美发达国家经验，一名合格 的细胞学家成长周期约 10 年[9] ，因此造成宫颈癌 筛查水平和普及程度低下，难以满足实际检测的 需要. 随着计算机硬件以及计算机处理算法的进 步，尤其是以深度学习[10] 为代表的机器学习理论 的突破，计算机图像处理技术[11−12] 不断渗透到各 个领域，尤其在临床医学的诸多领域发挥着举足 轻重的作用[13] . 依托强有效的特征提取能力，基于 深度学习的卷积神经网络可以通过梯度下降[14] 的 方式自动地学习到图像中与目标任务相关的主要 特征，可大幅提高目标识别的准确率，使得深度学 习方法成为计算机图像处理领域中的主流方法[15] . 因此，采用细胞学计算机辅助诊断技术，对宫颈病 变细胞图像进行自动分析和处理[16] ，能够帮助医 务人员进行精确的辅助判断，从而降低医务人员 的工作强度并提高诊断的准确性[17−18] . 虽然深度学习在 B 超、CT 和 PET 等医疗影像 中展开了广泛应用，但在病理细胞图像分析的实 际应用中仍存在大量的挑战. 例如，病理细胞图像 相对于 B 超、CT 和 PET 等医疗影像具有分辨率 高、尺寸大的特点，对深度学习算法的执行效率提 出了更高的要求. 在宫颈癌异常细胞检测的应用 中，每个患者单次检测通过膜式法[6] 获得 100000 像素×100000 像素尺寸的病理细胞图像，但通常需 要进行定位和识别的单个细胞的像素尺寸仅为 320 像素×320 像素，传统的深度学习方法采用滑 窗[19−21] 或穷举候选框[22] 的方法进行异常细胞的定 位和识别，而经过滑窗或穷举框获得的子图大部 分都不含有细胞簇，当图片数量逐渐增加时，越来 姚    超等： 基于深度学习的宫颈癌异常细胞快速检测方法 · 1141 ·

.1142 工程科学学报，第43卷，第9期 越多的不含细胞簇的图像作为输人会造成图像分 窗式9训方法粗步估算出大致的位置，造成定位 析过程冗余耗时，在对超大尺寸病理图像分析时 精度低下. 严重减缓了检测速度 针对以上问题，本文提出一种新的宫颈癌异 基于图像分析的宫颈细胞检测方法也取得了 常细胞检测策略，针对使用膜式法获得的病理细 蓬勃的发展.1988年50位美国细胞病理学家在 胞图像，通过基于深度学习的图像分类网络首先 马里兰的Bethesda召开会议，提出了宫颈/阴道细 判断局部区域是否出现异常细胞，若出现则进一 胞学描述性诊断报告方式(The Belhesda system, 步使用基于候选框的目标检测方法进行分析，能 TBS),首次将细胞学和病理学有机结合起来，时至 够极大缩短推理时间，提高检测速度.实验表明， 今日已发表了3个版本的子宫颈细胞学诊断报告 本文提出的方法能够将推理时间减少54%.提高 图谱，进一步规范子宫颈细胞学检查的形态学标 异常细胞检测效率 准2).20世纪90年代初研制成功了计算机辅助细 2基于深度学习的宫颈癌异常细胞快速检 胞检测系统(Computer-assisted cytological test,.CCT), 测方法 该系统可实现自动读片和初筛，并由细胞学专职 人员做最后的诊断，可以避免因视觉疲劳而造 2.1方法概述 成注意力分散及漏诊，提高细胞学诊断的准确 由于TCT图像通常具有超大像素，本文采用 性4]国外较为成熟的宫颈细胞自动化检测系 了“滑动交叠裁剪”的策略从TCT图像上裁剪出 统包括AutoPap初期筛查系统、PapNet测试系 局部区域形成TCT图像子集，用来训练和测试模 统、TIS等.AutoPap初期筛查系统需要将异常细 型，如图1所示，TCT全景图像尺寸是100000像 胞与参考玻片进行比较得出结果，PapNet测试 素×100000像素，裁减的局部区域大小为2000像 系统和TIS提取可疑细胞后采用交互式的方法由 素×2000像素.此外，TCT图像上具有异常细胞较 医学专家进行判别得到筛选结果，以上方法均 少，且细胞簇之间的分布呈稀疏排列等特点，导致 采用手工设计特征的方法进行异常细胞识别，降 TCT图像子集存在大量不包含细胞簇的背景图 低了方法的泛化性能.随着机器学习理论的发 像，如果直接将TCT图像子集输入到目标检测网 展，以深度学习为代表的人工智能方法可自动地 络模型，在模型推理时会产生较长的耗时.为了减 提取图像中的关键特征，开始逐步应用于宫颈癌 少模型的推理时间.提高检测效率，本文提出了一 异常检测领域，但由于基于候选框式的深度学习 种基于深度学习的宫颈癌异常细胞快速检测方 方法四需要穷举所有可能的位置进行判断，降低 法，即采用图像分类网络与目标检测网络结合的 了目标检测的效率，所以大部分方法仅能采用滑 方式，减少背景图像在模型推理时的耗时. Original image Local region with or without target(2000 pixelx2000 pixel) (100000 pixel×100000 pixel) Pick local Image Abnormal cell Input image region classification detection Is there has abnormal Sliding window Find,locate,and recognize cell in this local region? abnormal target 图1本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞） Fig.I Flow chart of the proposed acceleration strategy (The red box indicates an abnormal cell) 基于深度学习的宫颈癌异常细胞快速检测方 用图像分类模型判断局部区域中是否包含细胞 法，包括异常细胞图像初步筛选和异常细胞精确 簇，再采用目标检测模型对含细胞簇图像进行异 识别两个阶段，如图1所示为方法流程图.首先采 常细胞定位和识别

越多的不含细胞簇的图像作为输入会造成图像分 析过程冗余耗时，在对超大尺寸病理图像分析时 严重减缓了检测速度. 基于图像分析的宫颈细胞检测方法也取得了 蓬勃的发展. 1988 年 50 位美国细胞病理学家在 马里兰的 Bethesda 召开会议，提出了宫颈/阴道细 胞学描述性诊断报告方 式 (The Belhesda system, TBS)，首次将细胞学和病理学有机结合起来，时至 今日已发表了 3 个版本的子宫颈细胞学诊断报告 图谱，进一步规范子宫颈细胞学检查的形态学标 准[23] . 20 世纪 90 年代初研制成功了计算机辅助细 胞检测系统（Computer-assisted cytological test, CCT）， 该系统可实现自动读片和初筛，并由细胞学专职 人员做最后的诊断，可以避免因视觉疲劳而造 成注意力分散及漏诊，提高细胞学诊断的准确 性[24] . 国外较为成熟的宫颈细胞自动化检测系 统[25] 包括 AutoPap 初期筛查系统、PapNet 测试系 统、TIS 等. AutoPap 初期筛查系统需要将异常细 胞与参考玻片进行比较得出结果[26] ，PapNet 测试 系统和 TIS 提取可疑细胞后采用交互式的方法由 医学专家进行判别得到筛选结果[27] ，以上方法均 采用手工设计特征的方法进行异常细胞识别，降 低了方法的泛化性能. 随着机器学习理论的发 展，以深度学习为代表的人工智能方法可自动地 提取图像中的关键特征，开始逐步应用于宫颈癌 异常检测领域，但由于基于候选框式的深度学习 方法[22] 需要穷举所有可能的位置进行判断，降低 了目标检测的效率，所以大部分方法仅能采用滑 窗式[19−21] 方法粗步估算出大致的位置，造成定位 精度低下. 针对以上问题，本文提出一种新的宫颈癌异 常细胞检测策略，针对使用膜式法获得的病理细 胞图像，通过基于深度学习的图像分类网络首先 判断局部区域是否出现异常细胞，若出现则进一 步使用基于候选框的目标检测方法进行分析，能 够极大缩短推理时间，提高检测速度. 实验表明， 本文提出的方法能够将推理时间减少 54%，提高 异常细胞检测效率. 2    基于深度学习的宫颈癌异常细胞快速检 测方法 2.1    方法概述 由于 TCT 图像通常具有超大像素，本文采用 了“滑动交叠裁剪”的策略从 TCT 图像上裁剪出 局部区域形成 TCT 图像子集，用来训练和测试模 型，如图 1 所示，TCT 全景图像尺寸是 100000 像 素×100000 像素，裁减的局部区域大小为 2000 像 素×2000 像素. 此外，TCT 图像上具有异常细胞较 少，且细胞簇之间的分布呈稀疏排列等特点，导致 TCT 图像子集存在大量不包含细胞簇的背景图 像，如果直接将 TCT 图像子集输入到目标检测网 络模型，在模型推理时会产生较长的耗时. 为了减 少模型的推理时间，提高检测效率，本文提出了一 种基于深度学习的宫颈癌异常细胞快速检测方 法，即采用图像分类网络与目标检测网络结合的 方式，减少背景图像在模型推理时的耗时. Original image (100000 pixel×100000 pixel) Local region with or without target (2000 pixel×2000 pixel) Input image Sliding window Pick local region Image classification Is there has abnormal cell in this local region? Find, locate, and recognize abnormal target Abnormal cell detection 图 1    本文提出的加速策略的技术路线流程图（图中红色框代表异常细胞） Fig.1    Flow chart of the proposed acceleration strategy (The red box indicates an abnormal cell) 基于深度学习的宫颈癌异常细胞快速检测方 法，包括异常细胞图像初步筛选和异常细胞精确 识别两个阶段，如图 1 所示为方法流程图. 首先采 用图像分类模型判断局部区域中是否包含细胞 簇，再采用目标检测模型对含细胞簇图像进行异 常细胞定位和识别. · 1142 · 工程科学学报，第 43 卷，第 9 期

姚超等：基于深度学习的宫颈癌异常细胞快速检测方法 1143 2.2滑动交叠裁剪 黑色框和绿色框所裁剪下的图像切割了部分异常 通过“滑动交叠裁剪”方式从TCT图像上获 细胞，在模型进行推理时，经过非极大值抑制 得TCT图像局部区域的图像，构成TCT图像子 (Non-maximum suppression,NMS)后处理，蓝色框 集.“滑动交叠裁剪”方式如图2所示，“滑动交叠 所裁图像的检测结果会覆盖黑色框和绿色框所裁 裁剪”方式是以局部区域边长（本文以2000像 图像的检测结果，这样即可解决图像边缘的异常 素×2000像素尺寸作为裁剪局部区域尺寸)的一半 细胞检测问题 作为步长在TCT图像上滑动裁剪，能够解决异常 2.3宫颈细胞图像异常局部区域识别 细胞处于图像边缘时，裁剪下的图像内异常细胞 TCT图像上的细胞簇之间的呈稀疏排列分布 显示不完整的情况 的特点，导致TCT图像上存在大量不包含细胞簇 的背景图像，这些背景图像会在目标检测模型中 产生较长的模型推理耗时，影响识别效率.因为图 像分类网络的推理时间要远小于目标检测网络的 推理时间，所以，在输入目标检测网络之前，采用 图像分类方法将背景图像筛除，只将含有细胞簇 的图像输入到目标检测网络，能够极大减少整体 推理时间.通过后续实验，综合准确率与模型复杂 图2“滑动交叠裁剪”示例 度考虑，Resnet:50l模型的综合性能高，所以本文 Fig.2 Example of "sliding overlap clipping'" 采用Resnet.50l4作为图像分类网络模型. 图中红色框内是真实标注的异常细胞，从左 2.4局部区域内宫颈异常细胞定位与识别 到右黑色、蓝色及绿色框是采用1000像素为步长 经过图像分类网络后，可获得只含有细胞簇 裁剪的3个TCT子区域图像，交叠裁剪能够让蓝 的T℃T图像，并作为目标检测模型的输入，由目标 色框所裁剪下的图像包含完整的异常细胞.因为 检测模型对异常细胞进行精确识别.本文采用 最终检测结果需要映射到TCT全景图像上，即使 YoloV5作为目标检测模型，模型结构如图3所示 Focus Bottleneck BottleneckCSP BottleneckCSP SPP BottleneckCSP Conv2d Coordinates Category Coordinates Category Upsampling concat Conv+BottleneckCSP Conv2d Coordinates Category Upsampling concat Conv+BottleneckCSP Conv2d 图3 YoloV5网络结构 Fig.3 YoloV5 network structure 3实验 时，医生首先使用专门的采样器采集宫颈脱落细 3.1实验条件 胞，其次，将脱落细胞盛有保存液的小瓶中，再次， (1)数据制备 将小瓶放人ThinPrep全自动制片仪，自动完成制 采用的数据集是经由专业医生进行异常细胞 片，随后进行巴氏染色，最后将染色后的玻片放置 标注的650例患者的T℃T图像.在采集数据样本 显微镜上进行观测

2.2    滑动交叠裁剪 通过“滑动交叠裁剪”方式从 TCT 图像上获 得 TCT 图像局部区域的图像，构成 TCT 图像子 集. “滑动交叠裁剪”方式如图 2 所示，“滑动交叠 裁 剪 ” 方式是以局部区域边长 （本文 以 2000 像 素×2000 像素尺寸作为裁剪局部区域尺寸）的一半 作为步长在 TCT 图像上滑动裁剪，能够解决异常 细胞处于图像边缘时，裁剪下的图像内异常细胞 显示不完整的情况. 图 2    “滑动交叠裁剪”示例 Fig.2    Example of “sliding overlap clipping” 图中红色框内是真实标注的异常细胞，从左 到右黑色、蓝色及绿色框是采用 1000 像素为步长 裁剪的 3 个 TCT 子区域图像，交叠裁剪能够让蓝 色框所裁剪下的图像包含完整的异常细胞. 因为 最终检测结果需要映射到 TCT 全景图像上，即使 黑色框和绿色框所裁剪下的图像切割了部分异常 细胞 ，在模型进行推理时 ，经过非极大值抑制 （Non-maximum suppression, NMS）后处理，蓝色框 所裁图像的检测结果会覆盖黑色框和绿色框所裁 图像的检测结果，这样即可解决图像边缘的异常 细胞检测问题. 2.3    宫颈细胞图像异常局部区域识别 TCT 图像上的细胞簇之间的呈稀疏排列分布 的特点，导致 TCT 图像上存在大量不包含细胞簇 的背景图像，这些背景图像会在目标检测模型中 产生较长的模型推理耗时，影响识别效率. 因为图 像分类网络的推理时间要远小于目标检测网络的 推理时间，所以，在输入目标检测网络之前，采用 图像分类方法将背景图像筛除，只将含有细胞簇 的图像输入到目标检测网络，能够极大减少整体 推理时间. 通过后续实验，综合准确率与模型复杂 度考虑，Resnet50[14] 模型的综合性能高，所以本文 采用 Resnet50[14] 作为图像分类网络模型. 2.4    局部区域内宫颈异常细胞定位与识别 经过图像分类网络后，可获得只含有细胞簇 的 TCT 图像，并作为目标检测模型的输入，由目标 检测模型对异常细胞进行精确识别. 本文采用 YoloV5 作为目标检测模型，模型结构如图 3 所示. Focus Bottleneck BottleneckCSP BottleneckCSP BottleneckCSP Conv2d SPP Upsampling concat Conv+BottleneckCSP Conv2d Upsampling concat Conv+BottleneckCSP Conv2d Coordinates Category Coordinates Category Coordinates Category Input 图 3    YoloV5 网络结构 Fig.3    YoloV5 network structure 3    实验 3.1    实验条件 （1）数据制备. 采用的数据集是经由专业医生进行异常细胞 标注的 650 例患者的 TCT 图像. 在采集数据样本 时，医生首先使用专门的采样器采集宫颈脱落细 胞，其次，将脱落细胞盛有保存液的小瓶中，再次， 将小瓶放入 ThinPrep 全自动制片仪，自动完成制 片，随后进行巴氏染色，最后将染色后的玻片放置 显微镜上进行观测. 姚    超等： 基于深度学习的宫颈癌异常细胞快速检测方法 · 1143 ·