骨架图引导的级联视网膜血管分割网络

工程科学学报 Chinese Journal of Engineering 骨架图引导的级联视网膜血管分割网络 姜大光李明鸣陈羽中丁文达彭晓婷李瑞瑞 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong.DING Wen-da,PENG Xiao-ting.LI Rui-rui 引用本文： 姜大光，李明鸣，陈羽中，丁文达，彭晓婷，李瑞瑞.骨架图引导的级联视网膜血管分割网络).工程科学学报，2021,43(9)： 1244-1252.doi:10.13374.issn2095-9389.2021.01.13.005 JIANG Da-guang,LI Ming-ming.CHEN Yu-zhong,DING Wen-da,PENG Xiao-ting,LI Rui-rui.Cascaded retinal vessel segmentation network guided by a skeleton map[J].Chinese Journal of Engineering,2021,43(9):1244-1252.doi: 10.13374/i.issn2095-9389.2021.01.13.005 在线阅读View online:https::/oi.org10.13374.issn2095-9389.2021.01.13.005 您可能感兴趣的其他文章 Articles you may be interested in 基于参考模型的视网膜特征量化 Retinal feature quantization method based on a reference model 工程科学学报.2019,41(9外：1222htps:/doi.org10.13374.issn2095-9389.2019.09.015 基于免疫遗传形态学的视网膜光学相干断层图像边缘 Edge detection method of retinal optical coherence tomography images based on immune genetic morphology 工程科学学报.2019,41(4：539 https::/1doi.org/10.13374斩.issn2095-9389.2019.04.015 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报.2017,39(12：1866htps:/doi.org10.13374.issn2095-9389.2017.12.013 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报.2020,42(10)：1362htps:/1doi.0rg10.13374j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报.2017,3911：1735htps:oi.org10.13374.issn2095-9389.2017.11.017 图像分割评估方法在显微图像分析中的应用 Image segmentation metric and its application in the analysis of microscopic image 工程科学学报.2021,43(1)：137 https:/doi.org10.13374.issn2095-9389.2020.05.28.002

骨架图引导的级联视网膜血管分割网络 姜大光 李明鸣 陈羽中 丁文达 彭晓婷 李瑞瑞 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang, LI Ming-ming, CHEN Yu-zhong, DING Wen-da, PENG Xiao-ting, LI Rui-rui 引用本文: 姜大光, 李明鸣, 陈羽中, 丁文达, 彭晓婷, 李瑞瑞. 骨架图引导的级联视网膜血管分割网络[J]. 工程科学学报, 2021, 43(9): 1244-1252. doi: 10.13374/j.issn2095-9389.2021.01.13.005 JIANG Da-guang, LI Ming-ming, CHEN Yu-zhong, DING Wen-da, PENG Xiao-ting, LI Rui-rui. Cascaded retinal vessel segmentation network guided by a skeleton map[J]. Chinese Journal of Engineering, 2021, 43(9): 1244-1252. doi: 10.13374/j.issn2095-9389.2021.01.13.005 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005 您可能感兴趣的其他文章 Articles you may be interested in 基于参考模型的视网膜特征量化 Retinal feature quantization method based on a reference model 工程科学学报. 2019, 41(9): 1222 https://doi.org/10.13374/j.issn2095-9389.2019.09.015 基于免疫遗传形态学的视网膜光学相干断层图像边缘 Edge detection method of retinal optical coherence tomography images based on immune genetic morphology 工程科学学报. 2019, 41(4): 539 https://doi.org/10.13374/j.issn2095-9389.2019.04.015 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报. 2017, 39(12): 1866 https://doi.org/10.13374/j.issn2095-9389.2017.12.013 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报. 2020, 42(10): 1362 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报. 2017, 39(11): 1735 https://doi.org/10.13374/j.issn2095-9389.2017.11.017 图像分割评估方法在显微图像分析中的应用 Image segmentation metric and its application in the analysis of microscopic image 工程科学学报. 2021, 43(1): 137 https://doi.org/10.13374/j.issn2095-9389.2020.05.28.002

工程科学学报.第43卷.第9期：1244-1252.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1244-1252,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005;http://cje.ustb.edu.cn 骨架图引导的级联视网膜血管分割网络 姜大光”，李明鸣，陈羽中》，丁文达”，彭晓婷，李瑞瑞)四 1)北京化工大学信息科学与技术学院，北京1000292)北京离瞳科技发展股份有限公司.北京1000893)北京富通东方科技有限公司， 北京100010 ☒通信作者，E-mail:ilydouble@gmail..com 摘要针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出 发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架.该框架包含血管骨架图提取网络模 块、血管分割网络模块和若干自适应特征融合结构体.骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓 扑结构特征：自适应特征融合结构体嵌入在两个模块的特征层间.该结构体通过学习像素级的融合权重，有效地将血管拓扑 结构特征与血管局部特征相融合，加强血管特征的结构信息响应.为了获得更完整的骨架图，骨架图提取网络还引人了基于 图的正则化损失函数用于训练.与最新的血管分割方法相比，该方法在3个公共视网膜图像数据集上均获得第一名，在 DRIVE,STARE和CHASEDB1中其F1值分别为83.1%，85.8%和82.0%.消融实验表明骨架图引导的视网膜血管分割效果更 好，并且，基于图的正则化损失也能进一步提高血管分割准确性.通过将骨架提取模块和血管分割模块替换成不同的卷积网 络验证了框架的普适性. 关键词骨架提取；视网膜血管分割：多任务：级联网络：基于图的正则化 分类号TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang.LI Ming-ming.CHEN Yu-zhong?.DING Wen-da,PENG Xiao-ting,LI Rui-rui 1)School of Information Science and Technology,Beijing University of Chemical and Technology,Beijing 100029,China 2)Beijing Airdoc Technology Co.,Ltd,Beijing 100089,China 3)Beijing Futong Dongfang Technology Co.,Ltd,Beijing 100010,China Corresponding author,E-mail:ilydouble@gmail.com ABSTRACT Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases.Diabetes, hypertension,and cardiovascular disease can cause abnormalities of the retinal vascular structure.Retinal vessel segmentation maps can be quickly obtained using the automated retinal vessel segmentation technology,which saves time and cost of manually identifying retinal vessels.Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels,this paper explored the design of a multitask convolutional neural network and the topological relationship of retinal vessels.A cascaded retinal vessel segmentation network framework guided by a skeleton map was proposed.The auxiliary task of skeleton extraction was used to extract vessel centerlines,which could maximally preserve topological structure information.SAFF cascaded the two modules by remaining embedded between their feature layers.This process could effectively fuse the structural features with the vessel local features by learning pixel- wise fusion weight and thus enhancing the structural response of features in the vessel segmentation module.To obtain a complete skeleton map,the skeleton map extraction module introduced a graph-based regularization loss function for training.Compared with the latest vessel segmentation methods,the proposed approach wins the first place among the three public retinal image datasets.F1 metrics 收稿日期：2020-12-30 基金项目：北京化工大学-中日友好医院生物医学转化工程研究中心联合资助项目(XK2020-7):科技部重点研发资助项目(2020YFF0305100)

骨架图引导的级联视网膜血管分割网络 姜大光1)，李明鸣1)，陈羽中2)，丁文达1)，彭晓婷1)，李瑞瑞1,3) 苣 1) 北京化工大学信息科学与技术学院，北京 100029    2) 北京鹰瞳科技发展股份有限公司，北京 100089    3) 北京富通东方科技有限公司， 北京 100010 苣通信作者，E-mail：ilydouble@gmail.com 摘    要    针对目前视网膜血管分割中存在的细小血管提取不完整、分割不准确的问题，从血管形状拓扑关系利用的角度出 发，探索多任务卷积神经网络设计，提出骨架图引导的级联视网膜血管分割网络框架. 该框架包含血管骨架图提取网络模 块、血管分割网络模块和若干自适应特征融合结构体. 骨架提取辅助任务用于提取血管中心线，能够最大限度地保留血管拓 扑结构特征；自适应特征融合结构体嵌入在两个模块的特征层间. 该结构体通过学习像素级的融合权重，有效地将血管拓扑 结构特征与血管局部特征相融合，加强血管特征的结构信息响应. 为了获得更完整的骨架图，骨架图提取网络还引入了基于 图的正则化损失函数用于训练. 与最新的血管分割方法相比，该方法在 3 个公共视网膜图像数据集上均获得第一名，在 DRIVE，STARE 和 CHASEDB1 中其 F1 值分别为 83.1%，85.8% 和 82.0%. 消融实验表明骨架图引导的视网膜血管分割效果更 好，并且，基于图的正则化损失也能进一步提高血管分割准确性. 通过将骨架提取模块和血管分割模块替换成不同的卷积网 络验证了框架的普适性. 关键词    骨架提取；视网膜血管分割；多任务；级联网络；基于图的正则化 分类号    TP391 Cascaded retinal vessel segmentation network guided by a skeleton map JIANG Da-guang1) ，LI Ming-ming1) ，CHEN Yu-zhong2) ，DING Wen-da1) ，PENG Xiao-ting1) ，LI Rui-rui1,3) 苣 1) School of Information Science and Technology, Beijing University of Chemical and Technology, Beijing 100029, China 2) Beijing Airdoc Technology Co., Ltd, Beijing 100089, China 3) Beijing Futong Dongfang Technology Co., Ltd, Beijing 100010, China 苣 Corresponding author, E-mail: ilydouble@gmail.com ABSTRACT    Accurate identification of retinal vessels is essential for assisting doctors in screening early fundus diseases. Diabetes, hypertension, and cardiovascular disease can cause abnormalities of the retinal vascular structure. Retinal vessel segmentation maps can be  quickly  obtained  using  the  automated  retinal  vessel  segmentation  technology,  which  saves  time  and  cost  of  manually  identifying retinal vessels. Aiming at the problem of incomplete and inaccurate extraction of fine retinal vessels, this paper explored the design of a multitask  convolutional  neural  network  and  the  topological  relationship  of  retinal  vessels.  A  cascaded  retinal  vessel  segmentation network  framework  guided  by  a  skeleton  map  was  proposed.  The  auxiliary  task  of  skeleton  extraction  was  used  to  extract  vessel centerlines, which could maximally preserve topological structure information. SAFF cascaded the two modules by remaining embedded between their feature layers. This process could effectively fuse the structural features with the vessel local features by learning pixel￾wise  fusion  weight  and  thus  enhancing  the  structural  response  of  features  in  the  vessel  segmentation  module.  To  obtain  a  complete skeleton map, the skeleton map extraction module introduced a graph-based regularization loss function for training. Compared with the latest vessel segmentation methods, the proposed approach wins the first place among the three public retinal image datasets. F1 metrics 收稿日期: 2020−12−30 基金项目: 北京化工大学‒中日友好医院生物医学转化工程研究中心联合资助项目（XK2020-7）；科技部重点研发资助项目（2020YFF0305100） 工程科学学报，第 43 卷，第 9 期：1244−1252，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1244−1252, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.13.005; http://cje.ustb.edu.cn

姜大光等：骨架图引导的级联视网膜血管分割网络 ·1245 of the proposed method achieved 83.1%,85.8%,and 82.0%on the DRIVE,STARE,and CHASEDBI datasets,respectively.Ablation studies have shown that skeleton map-guided vessel segmentation is more effective,and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network.Moreover,the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS skeleton extraction;retinal vessel segmentation;multitask;cascaded network;graph-based regularization 视网膜血管分割是医学图像处理-的一个 关联特征有效建模和表征的能力，不能对血管形 重要分支，是眼底图像分析的基础，在眼底疾病筛 状拓扑关系很好地表示和利用 查和诊断中发挥着重要的作用.许多类型的眼底 为了使血管脉络能够被更完整和清晰地分割 病变都会导致视网膜血管形状、数量、结构发生 出来，从而辅助医生实现微小病变发现或者准确 改变，例如：高血压性视网膜病变会引起视网膜血 疾病分级诊断，本文从血管形状拓扑关系的表示 管直径、曲折度和分岔角度发生变化：糖尿病性 和利用角度出发，探索多任务卷积神经网络设计， 视网膜病变会带来视网膜静脉的扩张：而年龄相 提出骨架图引导的级联视网膜血管分割网络框 关的黄斑变性最终导致脉络膜毛细血管萎缩和形 架.该框架包含两个级联的沙漏状网络模块，并采 成大量新生血管 用层次化的方式传递特征.方法引入了一个提取 视网膜血管形态结构复杂、狭长且空间跨度 骨架图的辅助任务，并设计了基于图的结构平滑 大，血管间常常会交错重叠.这让视网膜血管的有 正则损失函数，帮助更好地刻画物体的拓扑和几 效表征和特征提取任务变得富有挑战.不仅如此， 何关联特性.不仅如此，方法将骨架图和层次化特 血管末端常分岔出更细微的血管，呈现出较大的 征通过融合机制传递到第二个网络模块，引导整 尺度变化，也使得许多跟早期疾病筛查相关的不 体视网膜血管的分割.本文在DRIVE、STARE和 规律弯折和多角度交错等现象不易被观察到.经 CHASEDB1这3个著名公开的视网膜血管分割数 典机器学习方法)1的分类特征需要手动设计和 据集上验证了提出的网络框架，与该领域近3年 提取，非常依赖研究人员的领域相关知识，特征的 最新的8种方法相比，该框架得到的结果的准确 优劣很大程度影响模型效果.基于特定算子的目 性最高.同时通过消融实验，本文定量分析了提取 标形态检测方法[⑧10往往只针对特定的场景和条 骨架的辅助任务、基于图的结构平滑正则损失函 件，难以进一步提高血管分割的准确性 数以及骨架提取任务和血管分割任务使用不同网 近年来，得益于深度学习技术的发展，基于深 络实现时对分割任务的影响.综上所述，本文的主 度卷积神经网络的视网膜血管分割方法成为一个 要创新点如下：(1)提出了一个多任务级联网络框 研究热点.许多工作采用全卷积神经网络来完成 架.能够将不同的任务级联在一起同时训练，提高 这一任务，例如：Zhang和Chung使用UNet!2实 模型的准确性和泛化性.该框架与选取的主干网 现端到端的视网膜血管分割：Guo等则采用 络无关，具有灵活的适用性：(2)设计了一个骨架图 ResNet!4来更好地提取高维抽象特征.一些研究 提取的辅助任务，提出基于血管标注的弱监督骨 人员观察到血管分割任务中所存在的数据不平衡、 架图提取方法，方法采用伪标注与基于图的结构 细节特征易丢失等问题，从网络结构和训练策略 平滑正则损失函数相结合来准确提取骨架；(3)提 等角度提出改进的方法，通过将注意力机制s6、 出骨架引导的准确血管分割的方法，通过自适应 空洞卷积-20、长短期记忆网络模块2叫和深监督 特征选择机制来有效融合的拓扑结构特征 学习四等技术适配到视网膜血管分割网络中，来 1国内外相关工作 加强网络的特征提取能力.这些研究工作有效地 提升了血管分割性能，但是在医学临床应用中还 长期以来，国内外研究者提出了大量的血管 有许多亟待解决的问题，特别地，细小血管的分割 分割方法.传统的方法包含：概率图模型1、线检 准确性和结构完整性是一个难点，需要进一步提 测器24、Gabor小波变换)和手工特征结合有监督 升和加强.一方面，细小血管在图像中所占的像素 分类器5,25-21的方法.2016年以后，得益于深度学 比例少，在训练中可能得不到有效的关注和充分 习技术的快速发展，涌现出大量基于深度卷积神 的监督：另一方面，卷积神经网络本身缺乏对结构 经网络的视网膜血管分割方法.Maninis等P7采

of the proposed method achieved 83.1%, 85.8%, and 82.0% on the DRIVE, STARE, and CHASEDB1 datasets, respectively. Ablation studies have shown that skeleton map-guided vessel segmentation is more effective, and graph-based regularization loss further improves accuracy of the retinal vessel segmentation compared to the vanilla network. Moreover, the framework generality is verified by replacing the skeleton map extraction and vessel segmentation modules with various convolutional networks. KEY WORDS    skeleton extraction；retinal vessel segmentation；multitask；cascaded network；graph-based regularization 视网膜血管分割是医学图像处理[1−2] 的一个 重要分支，是眼底图像分析的基础，在眼底疾病筛 查和诊断中发挥着重要的作用. 许多类型的眼底 病变都会导致视网膜血管形状、数量、结构发生 改变，例如：高血压性视网膜病变会引起视网膜血 管直径、曲折度和分岔角度发生变化[3] ；糖尿病性 视网膜病变会带来视网膜静脉的扩张[4] ；而年龄相 关的黄斑变性最终导致脉络膜毛细血管萎缩和形 成大量新生血管. 视网膜血管形态结构复杂、狭长且空间跨度 大，血管间常常会交错重叠. 这让视网膜血管的有 效表征和特征提取任务变得富有挑战. 不仅如此， 血管末端常分岔出更细微的血管，呈现出较大的 尺度变化，也使得许多跟早期疾病筛查相关的不 规律弯折和多角度交错等现象不易被观察到. 经 典机器学习方法[5−7] 的分类特征需要手动设计和 提取，非常依赖研究人员的领域相关知识，特征的 优劣很大程度影响模型效果. 基于特定算子的目 标形态检测方法[8−10] 往往只针对特定的场景和条 件，难以进一步提高血管分割的准确性. 近年来，得益于深度学习技术的发展，基于深 度卷积神经网络的视网膜血管分割方法成为一个 研究热点. 许多工作采用全卷积神经网络来完成 这一任务，例如：Zhang 和 Chung [11] 使用 UNet[12] 实 现端到端的视网膜血管分割 ； Guo 等 [13] 则 采 用 ResNet[14] 来更好地提取高维抽象特征. 一些研究 人员观察到血管分割任务中所存在的数据不平衡、 细节特征易丢失等问题，从网络结构和训练策略 等角度提出改进的方法，通过将注意力机制[15−16]、 空洞卷积[17−20]、长短期记忆网络模块[21] 和深监督 学习[22] 等技术适配到视网膜血管分割网络中，来 加强网络的特征提取能力. 这些研究工作有效地 提升了血管分割性能，但是在医学临床应用中还 有许多亟待解决的问题，特别地，细小血管的分割 准确性和结构完整性是一个难点，需要进一步提 升和加强. 一方面，细小血管在图像中所占的像素 比例少，在训练中可能得不到有效的关注和充分 的监督；另一方面，卷积神经网络本身缺乏对结构 关联特征有效建模和表征的能力，不能对血管形 状拓扑关系很好地表示和利用. 为了使血管脉络能够被更完整和清晰地分割 出来，从而辅助医生实现微小病变发现或者准确 疾病分级诊断，本文从血管形状拓扑关系的表示 和利用角度出发，探索多任务卷积神经网络设计， 提出骨架图引导的级联视网膜血管分割网络框 架. 该框架包含两个级联的沙漏状网络模块，并采 用层次化的方式传递特征. 方法引入了一个提取 骨架图的辅助任务，并设计了基于图的结构平滑 正则损失函数，帮助更好地刻画物体的拓扑和几 何关联特性. 不仅如此，方法将骨架图和层次化特 征通过融合机制传递到第二个网络模块，引导整 体视网膜血管的分割. 本文在 DRIVE、STARE 和 CHASEDB1 这 3 个著名公开的视网膜血管分割数 据集上验证了提出的网络框架，与该领域近 3 年 最新的 8 种方法相比，该框架得到的结果的准确 性最高. 同时通过消融实验，本文定量分析了提取 骨架的辅助任务、基于图的结构平滑正则损失函 数以及骨架提取任务和血管分割任务使用不同网 络实现时对分割任务的影响. 综上所述，本文的主 要创新点如下：（1）提出了一个多任务级联网络框 架. 能够将不同的任务级联在一起同时训练，提高 模型的准确性和泛化性. 该框架与选取的主干网 络无关，具有灵活的适用性；（2）设计了一个骨架图 提取的辅助任务，提出基于血管标注的弱监督骨 架图提取方法，方法采用伪标注与基于图的结构 平滑正则损失函数相结合来准确提取骨架；（3）提 出骨架引导的准确血管分割的方法，通过自适应 特征选择机制来有效融合的拓扑结构特征. 1    国内外相关工作 长期以来，国内外研究者提出了大量的血管 分割方法. 传统的方法包含：概率图模型[23]、线检 测器[24]、Gabor 小波变换[7] 和手工特征结合有监督 分类器[5, 25−26] 的方法. 2016 年以后，得益于深度学 习技术的快速发展，涌现出大量基于深度卷积神 经网络的视网膜血管分割方法. Maninis 等[27] 采 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1245 ·

·1246 工程科学学报，第43卷，第9期 用VGG网络P1提取特征，并将不同层次特征相融 导致整个任务性能的降低 合作为分类特征，完成逐像素分类.Zhang等2 2多任务级联视网膜血管分割网络 Guo等30、Mou等B创分别在他们的工作中使用 了UNet,并加入了空间和通道注意力机制，使网络 本文提出的骨架图引导的多任务级联视网膜 能够更好地关注到有效目标区域.Jiang等B、 分割框架如图1所示，该框架由骨架提取辅助任 Hatamizadeh等3)、Gu等B在全卷积网络中使用了 务、特征级联模块和血管分割主任务3部分组成 空洞卷积金字塔，能够提取不同尺度的目标特征， 骨架提取辅助任务和血管分割主任务分别由两个 丰富了特征层的上下文信息.Zhang和Chung山、 编码-解码结构的沙漏型网络实现.骨架提取网 Mo和Zhang Bs使用了深监督的训练方式，对网络 络能够对血管的中心线逐像素标记，输出血管骨 不同深度的隐层特征施加监督信号，有利于梯度 架图：血管分割网络将眼底图像划分为血管区域 在网络深层传递，使网络能够更有效地提取深层 和非血管区域.两个网络之间采用多个自适应特 特征 征融合模块连接，模块在训练中学习到如何将 视网膜眼底图像分割比普通视觉图像分割难 骨架提取网络挖掘到的多层次结构信息和分割网 度更大，主要表现在：眼底照样本少、尺度变化 络的血管特征进行融合，增强分割血管的结构完 大、内容细节丰富和结构信息敏感.一些方法采 整性 用特殊的损失函数设计来更好地提取特征.这类 Binary cross entropy 方法的基本思路是对占比少且难学习的像素施加 Graph-based regularization Binary cross entropy 更大的损失权重，例如：细血管或血管边缘像素， 使网络在训练中能够更有效地挖掘这些样本的特 征.Hu等通过对交叉嫡损失函数设置权重来平 衡前景和背景、粗与细血管间的训练损失.Yan 等B7结合血管的长度和管壁直径设计损失函数， 加大对细血管的训练权重，这些精心设计的损失 函数能够有效提升血管分割的精度，但对于不同 的数据分布，需要对此多次手工调整参数，不具备 很好的适用性 Skeleton extraction Feature cascaded Retinal vessel segmentation 为了更好地提取细血管和结构信息，另一些 SAFF Self-adaptive feature fusion block 方法则采用多任务网络设计，即：设置一个或者多 图1骨架图引导的视网膜血管分割网络框架 个相关子任务来协助更好地完成血管分割.例如 Fig.I Skeleton map-guided retinal vessel segmentation framework 使用一个边缘分割的子任务！或使用一个血管连 该框架中的两个网络的主干结构是一致的， 接点提取的子任务也有研究人员尝试将血管 但整个框架与主干网络的选择无关，可根据具体 分割的任务进行分解.Zhang等o就将血管特征 分割任务灵活设置.在本文中，主干网络选择使 提取分解为血管结构特征提取和纹理特征提取， 用ResNet3.4.ResNet3.4具有4个编码层，深层编 并设置两个子任务，使用浅层网络提取低层的纹 码特征对应着更大的感受野，具有更大范围的结 理特征，使用深层网络提取高层的结构特征 构信息，浅层编码特征则蕴含着较为精细的局部 Zheng等对血管进行细粒度的分类，分为细血 结构信息，每个编码层的空间分辨率均为上层编 管、血管边缘和粗血管三个部分，使用多任务网络 码层的14，网络末端的全连接层被替换为若干个 对这些子类进行分类.Zou等2根据位置分布将 转置卷积层和上采样层，用于恢复空间分辨率，构 血管分成五个部分分别进行处理，采用局部回归 成了解码路径.编码层的特征通过跳跃连接传递 的技术促使在分割结果中保留更多的细血管.采 至具有相同空间分辨率的解码层，弥补在下采样 用了由粗到细的串行多任务分割学习框架，粗分 中丢失的空间信息 割网络的输出结果连接到细分割网络的输入，进 2.1基于伪标注的骨架图提取 行进一步优化.遗憾的是，上述这些方法难以有效 骨架，也称为“中心线”，是一种基于结构的目 利用子任务网络之间的多层次特征的相关性，缺 标描述符，能够对血管这类拓扑结构清晰和有效 乏任务间的协同机制，造成的特征层信息冗余会 地表示（如图2）

用 VGG 网络[28] 提取特征，并将不同层次特征相融 合作为分类特征，完成逐像素分类. Zhang 等[29]、 Guo 等[13,30]、Mou 等[31] 分别在他们的工作中使用 了 UNet，并加入了空间和通道注意力机制，使网络 能够更好地关注到有效目标区域 . Jiang 等 [32]、 Hatamizadeh 等[33]、Gu 等[34] 在全卷积网络中使用了 空洞卷积金字塔，能够提取不同尺度的目标特征， 丰富了特征层的上下文信息. Zhang 和 Chung [11]、 Mo 和 Zhang [35] 使用了深监督的训练方式，对网络 不同深度的隐层特征施加监督信号，有利于梯度 在网络深层传递，使网络能够更有效地提取深层 特征. 视网膜眼底图像分割比普通视觉图像分割难 度更大，主要表现在：眼底照样本少、尺度变化 大、内容细节丰富和结构信息敏感. 一些方法采 用特殊的损失函数设计来更好地提取特征. 这类 方法的基本思路是对占比少且难学习的像素施加 更大的损失权重，例如：细血管或血管边缘像素， 使网络在训练中能够更有效地挖掘这些样本的特 征. Hu 等[36] 通过对交叉熵损失函数设置权重来平 衡前景和背景、粗与细血管间的训练损失. Yan 等[37] 结合血管的长度和管壁直径设计损失函数， 加大对细血管的训练权重. 这些精心设计的损失 函数能够有效提升血管分割的精度，但对于不同 的数据分布，需要对此多次手工调整参数，不具备 很好的适用性. 为了更好地提取细血管和结构信息，另一些 方法则采用多任务网络设计，即：设置一个或者多 个相关子任务来协助更好地完成血管分割. 例如： 使用一个边缘分割的子任务[38] 或使用一个血管连 接点提取的子任务[39] . 也有研究人员尝试将血管 分割的任务进行分解. Zhang 等[40] 就将血管特征 提取分解为血管结构特征提取和纹理特征提取， 并设置两个子任务，使用浅层网络提取低层的纹 理特征 ，使用深层网络提取高层的结构特征 . Zheng 等 [41] 对血管进行细粒度的分类，分为细血 管、血管边缘和粗血管三个部分，使用多任务网络 对这些子类进行分类. Zou 等 [42] 根据位置分布将 血管分成五个部分分别进行处理，采用局部回归 的技术促使在分割结果中保留更多的细血管. 采 用了由粗到细的串行多任务分割学习框架，粗分 割网络的输出结果连接到细分割网络的输入，进 行进一步优化. 遗憾的是，上述这些方法难以有效 利用子任务网络之间的多层次特征的相关性，缺 乏任务间的协同机制，造成的特征层信息冗余会 导致整个任务性能的降低. 2    多任务级联视网膜血管分割网络 本文提出的骨架图引导的多任务级联视网膜 分割框架如图 1 所示，该框架由骨架提取辅助任 务、特征级联模块和血管分割主任务 3 部分组成. 骨架提取辅助任务和血管分割主任务分别由两个 编码‒解码结构的沙漏型网络实现. 骨架提取网 络能够对血管的中心线逐像素标记，输出血管骨 架图；血管分割网络将眼底图像划分为血管区域 和非血管区域. 两个网络之间采用多个自适应特 征融合模块连接，模块在训练中学习到如何将 骨架提取网络挖掘到的多层次结构信息和分割网 络的血管特征进行融合，增强分割血管的结构完 整性. Binary cross entropy Skeleton extraction Feature cascaded Retinal vessel segmentation SAFF Self-adaptive feature fusion block Binary cross entropy + Graph-based regularization SAFF SAFF SAFF 图 1    骨架图引导的视网膜血管分割网络框架 Fig.1    Skeleton map-guided retinal vessel segmentation framework 该框架中的两个网络的主干结构是一致的， 但整个框架与主干网络的选择无关，可根据具体 分割任务灵活设置. 在本文中，主干网络选择使 用 ResNet34[14] . ResNet34 具有 4 个编码层，深层编 码特征对应着更大的感受野，具有更大范围的结 构信息，浅层编码特征则蕴含着较为精细的局部 结构信息，每个编码层的空间分辨率均为上层编 码层的 1/4. 网络末端的全连接层被替换为若干个 转置卷积层和上采样层，用于恢复空间分辨率，构 成了解码路径. 编码层的特征通过跳跃连接传递 至具有相同空间分辨率的解码层，弥补在下采样 中丢失的空间信息. 2.1    基于伪标注的骨架图提取 骨架，也称为“中心线”，是一种基于结构的目 标描述符，能够对血管这类拓扑结构清晰和有效 地表示（如图 2）. · 1246 · 工程科学学报，第 43 卷，第 9 期

姜大光等：骨架图引导的级联视网膜血管分割网络 1247 Vessel skeleton 架化算法)从血管标注中生成骨架的伪标注来作 为监督信息 2.1.1伪标注生成方法 生成伪标注采用一种称为快速并行细化的算 图2血管骨架 法)，它通过迭代的方式，逐步将二值图像中的目 Fig.2 Vessel skeleton 标轮廓去除，仅保留目标中心线像素.第n次迭代 观察发现，单任务血管分割模型对结构特征 后每个像素点的值取决于在第1次迭代后其自 感知不足，提取出来血管存在部分丢失、断裂的现 身的值以及其8邻域内其他像素的值.每轮迭代 象.本文提出的框架包含一个骨架提取的辅助任 包括两步，第一步删除像素8邻域内的东南边界 务，通过训练深度卷积神经网络来准确提取骨架 点和西北角点，第二步删除西北边界点和东南角 信息.由于缺乏骨架的标注数据，因此本文采用骨 点.整个算法的处理流程如图3所示 N Exist south-east Remove south-east boundaryand Exist north-west Begin boundary and north-west north-west boundary and south-east End corner points corner points in 8-neighbor Rerpouny south-east comner points 图3快速并行细化算法流程图 Fig.3 Flowchart of the fast,parallel thinning algorithm 2.1.2基于图的结构平滑正则损失 坐标，y为一维向量，每个单元的值表示区域内网 为了使模型提取的骨架结构更加完整，在训 络对像素的预测值.骨架提取任务的训练损失函 练骨架提取网络时，引入了一个基于图的结构平 数为二元交叉嫡损失函数加正则项： 滑正则项作为损失函数该损失函数使模型输 Ls=Loce+yLreg (4) 出的类内预测概率的分布更加均匀，在阈值二值 式中，y为权重系数 化时有利于保留完整的血管，减少分割图中背景 2.2骨架图引导的视网膜血管分割 噪声和血管断裂的现象.设血管为前景类，非血管 本文将来自骨架提取网络中包含结构信息多 为背景类，在一个局部区域中，标注中正类像素的 尺度特征通过本文设计的特征融合机制与视网膜 集合为G,负类像素的集合为GB,网络把像素预测 血管分割网络中的特征以适当的权重进行像素级 为正类的概率为y.前景和背景的损失项表示为： 融合，加强特征层的结构信息响应.融合后的特征 L年=∑0年-y2 (1) 作为血管分割网络中的编码特征分别以采样和跳 (FkF)EGF 跃连接的方式前向传播 LB=∑GB-a2 (2) 受注意力门控啊的启发，本文设计了自适应 (jB.kB)EGB 特征融合模块(SAFF).注意力门控（图4(a)的思 本文通过构建图来简化计算，在类内像素间构 路是利用深层特征包含的关键语义信息过滤浅层 建权值为1的边，得到邻接矩阵AF、AB和度矩阵 特征包含的冗余信息和噪声，输出表现为浅层特 D、DB.基于图的正则损失函数Lree可以表示为： 征的线性映射：自适应特征融合模块（图4(b))则 Lreg =LF+LB 是对血管特征进行结构信息补充，输出为两个特 =∑0-%P+∑0%-尸 征的仿射组合，具体地，自适应特征融合模块的 (F,年)EGr (B.KB)EGB 输入分别为骨架提取网络的解码层特征∈ =yT(DF-AF)y'+yT(DB-AB)y' RCxHxW和血管分割网络中相同尺度的编码层特征 (3) fves∈RCxHxW.特征融合模块会计算出值域为 式中，，k)和(B,B)分别表示前景和背景的像素 [0,1]的融合系数矩阵a∈[0,1]CxHxW,其上每个单元

观察发现，单任务血管分割模型对结构特征 感知不足，提取出来血管存在部分丢失、断裂的现 象. 本文提出的框架包含一个骨架提取的辅助任 务，通过训练深度卷积神经网络来准确提取骨架 信息. 由于缺乏骨架的标注数据，因此本文采用骨 架化算法[43] 从血管标注中生成骨架的伪标注来作 为监督信息. 2.1.1    伪标注生成方法 生成伪标注采用一种称为快速并行细化的算 法[43] ，它通过迭代的方式，逐步将二值图像中的目 标轮廓去除，仅保留目标中心线像素. 第 n 次迭代 后每个像素点的值取决于在第 n−1 次迭代后其自 身的值以及其 8 邻域内其他像素的值. 每轮迭代 包括两步，第一步删除像素 8 邻域内的东南边界 点和西北角点，第二步删除西北边界点和东南角 点. 整个算法的处理流程如图 3 所示. Remove north-west boundary and south-east corner points Begin End Exist south-east boundary and north-west corner points in 8-neighbor? Remove south-east boundaryand north-west corner points Exist north-west boundary and south-east corner points in 8-neighbor? N Y Y N 图 3    快速并行细化算法流程图 Fig.3    Flowchart of the fast, parallel thinning algorithm 2.1.2    基于图的结构平滑正则损失 GF GB i yi 为了使模型提取的骨架结构更加完整，在训 练骨架提取网络时，引入了一个基于图的结构平 滑正则项作为损失函数[44] . 该损失函数使模型输 出的类内预测概率的分布更加均匀，在阈值二值 化时有利于保留完整的血管，减少分割图中背景 噪声和血管断裂的现象. 设血管为前景类，非血管 为背景类，在一个局部区域中，标注中正类像素的 集合为 , 负类像素的集合为 , 网络把像素 预测 为正类的概率为 . 前景和背景的损失项表示为: LF = ∑ (jF,kF)∈GF (y jF −ykF ) 2 （1） LB = ∑ (jB,kB)∈GB (yjB −ykB ) 2 （2） AF AB DF DB Lreg 本文通过构建图来简化计算，在类内像素间构 建权值为 1 的边，得到邻接矩阵 、 和度矩阵 、 . 基于图的正则损失函数 可以表示为： Lreg = LF + LB = ∑ (jF,kF)∈GF (yjF −ykF ) 2 + ∑ (jB,kB)∈GB (yjB −ykB ) 2 = y ′T (DF − AF)y ′ + y ′T (DB − AB)y ′ （3） 式中， (jF, kF) 和 (jB, kB) 分别表示前景和背景的像素 y 坐标， ′为一维向量，每个单元的值表示区域内网 络对像素的预测值. 骨架提取任务的训练损失函 数为二元交叉熵损失函数加正则项: Ls = Lbce +γ · Lreg （4） 式中， γ 为权重系数. 2.2    骨架图引导的视网膜血管分割 本文将来自骨架提取网络中包含结构信息多 尺度特征通过本文设计的特征融合机制与视网膜 血管分割网络中的特征以适当的权重进行像素级 融合，加强特征层的结构信息响应. 融合后的特征 作为血管分割网络中的编码特征分别以采样和跳 跃连接的方式前向传播. fs ∈ R C×H×W fves ∈ R C×H×W [0,1] α ∈ [0,1]C×H×W 受注意力门控[45] 的启发，本文设计了自适应 特征融合模块 (SAFF). 注意力门控（图 4（a））的思 路是利用深层特征包含的关键语义信息过滤浅层 特征包含的冗余信息和噪声，输出表现为浅层特 征的线性映射；自适应特征融合模块（图 4（b））则 是对血管特征进行结构信息补充，输出为两个特 征的仿射组合. 具体地，自适应特征融合模块的 输 入 分 别 为 骨 架 提 取 网 络 的 解 码 层 特 征 和血管分割网络中相同尺度的编码层特征 . 特征融合模块会计算出值域为 的融合系数矩阵 ，其上每个单元 Vessel skeleton 图 2    血管骨架 Fig.2    Vessel skeleton 姜大光等： 骨架图引导的级联视网膜血管分割网络 · 1247 ·