面向显微影像的多聚焦多图融合中失焦扩散效应消除方法

工程科学学报 Chinese Journal of Engineering 面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 印象马博渊班晓娟黄海友王宇李松岩 Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images YIN Xiang.MA Bo-yuan,BAN Xiao-juan,HUANG Hai-you,WANG Yu,LI Song-yan 引用本文： 印象，马博渊，班晓娟，黄海友，王宇，李松岩.面向显微影像的多聚焦多图融合中失焦扩散效应消除方法工程科学学报， 2021,43(9y:1174-1181.doi:10.13374j.issn2095-9389.2021.01.12.002 YIN Xiang.MA Bo-yuan,BAN Xiao-juan,HUANG Hai-you,WANG Yu,LI Song-yan.Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images[J].Chinese Journal of Engineering,2021,43(9):1174-1181.doi: 10.13374/i.issn2095-9389.2021.01.12.002 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2021.01.12.002 您可能感兴趣的其他文章 Articles you may be interested in 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报.2020,42(5)：557 https:1doi.org/10.13374.issn2095-9389.2019.03.21.003 复杂环境下一种基于Siam Mask的时空预测移动目标跟踪算法 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on Siam Mask 工程科学学报.2020,423：381 https::/1doi.org/10.13374斩.issn2095-9389.2019.06.06.005 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报.2020.42(11)：1525 https:/1doi.org/10.13374斩.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报.2019,41(6)：817 https:/1doi.org10.13374j.issn2095-9389.2019.06.014 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报.2019,41(10)：1229 https:/1doi.org10.13374.issn2095-9389.2019.03.27.002 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报.2020,42(12：1597 https:/doi.org10.13374.issn2095-9389.2020.01.02.001

面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 印象 马博渊 班晓娟 黄海友 王宇 李松岩 Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images YIN Xiang, MA Bo-yuan, BAN Xiao-juan, HUANG Hai-you, WANG Yu, LI Song-yan 引用本文: 印象, 马博渊, 班晓娟, 黄海友, 王宇, 李松岩. 面向显微影像的多聚焦多图融合中失焦扩散效应消除方法[J]. 工程科学学报, 2021, 43(9): 1174-1181. doi: 10.13374/j.issn2095-9389.2021.01.12.002 YIN Xiang, MA Bo-yuan, BAN Xiao-juan, HUANG Hai-you, WANG Yu, LI Song-yan. Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images[J]. Chinese Journal of Engineering, 2021, 43(9): 1174-1181. doi: 10.13374/j.issn2095-9389.2021.01.12.002 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2021.01.12.002 您可能感兴趣的其他文章 Articles you may be interested in 多模态学习方法综述 A survey of multimodal machine learning 工程科学学报. 2020, 42(5): 557 https://doi.org/10.13374/j.issn2095-9389.2019.03.21.003 复杂环境下一种基于SiamMask的时空预测移动目标跟踪算法 Design and implementation of multi-feature fusion moving target detection algorithms in a complex environment based on SiamMask 工程科学学报. 2020, 42(3): 381 https://doi.org/10.13374/j.issn2095-9389.2019.06.06.005 基于深度学习的高效火车号识别 Efficient wagon number recognition based on deep learning 工程科学学报. 2020, 42(11): 1525 https://doi.org/10.13374/j.issn2095-9389.2019.12.05.001 基于深度学习的人体低氧状态识别 Recognition of human hypoxic state based on deep learning 工程科学学报. 2019, 41(6): 817 https://doi.org/10.13374/j.issn2095-9389.2019.06.014 深度神经网络模型压缩综述 A survey of model compression for deep neural networks 工程科学学报. 2019, 41(10): 1229 https://doi.org/10.13374/j.issn2095-9389.2019.03.27.002 卷积神经网络在矿区预测中的研究与应用 Research and application of convolutional neural network in mining area prediction 工程科学学报. 2020, 42(12): 1597 https://doi.org/10.13374/j.issn2095-9389.2020.01.02.001

工程科学学报.第43卷.第9期：1174-1181.2021年9月 Chinese Journal of Engineering,Vol.43,No.9:1174-1181,September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.002;http://cje.ustb.edu.cn 面向显微影像的多聚焦多图融合中失焦扩散效应消除 方法 印 象12,3)，马博渊2,34，班晓娟2,34，黄海友14，)，王宇6四，李松岩刀 1)北京科技大学北京材料基因工程高精尖创新中心，北京1000832)北京科技大学材料领域知识工程北京市重点实验室.北京100083 3)北京科技大学人工智能研究院，北京1000834)北京科技大学顺德研究生院，佛山5283005)北京科技大学新材料技术研究院，北京 1000836)北京理工大学网络空间安全学院，北京1000817)郑州大学医学院临床医学系，郑州450052 ☒通信作者，E-mail:hejohejo@126.com 摘要多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同一场景下的聚焦不同目标的多 张图像中各自的清晰区域进行融合，最终获得全清晰图像.随着以深度学习为代表的机器学习理论的突破，卷积神经网络被 广泛应用于多聚焦图像融合领域，但大多数方法仅关注网络结构的改进，而使用简单的两两串行融合方式，降低了多图融合 的效率，并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量.针对上述问题，在显微成像分析的应用场景 下，提出了一种最大特征图空间频率融合策略，通过在基于无监督学习的卷积神经网络中增加后处理模块，规避了两两串行 融合中冗余的特征提取过程，实验证明该策略显著提高了多张图像的多聚焦图像融合效率.并且提出了一种矫正策略，在保 证融合效率的情况下可有效缓解失焦扩散效应对融合图像质量的影响. 关键词多聚焦图像融合；失焦扩散效应：深度学习：卷积神经网路；多图融合 分类号TP391 Defocus spread effect elimination method in multiple multi-focus image fusion for microscopic images YIN Xiang23),MA Bo-yuan 23),BAN Xiao-juan 234),HUANG Hai-you 45),WANG Yu LI Song-yan 1)Beijing Advanced Innovation Center for Materials Genome Engineering.University of Science and Technology Beijing.Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,University of Science and Technology Beijing,Beijing 00083,China 3)Institute of Artificial Intelligence,University of Science and Technology Beijing,Beijing 100083,China 4)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528300,China 5)Institute for Advanced Materials and Technology,University of Science and Technology Beijing,Beijing 100083,China 6)School of Cyberspace Science and Technology,Beijing Institute of Technology,Beijing 100081,China 7)Clinical Medicine,Zhengzhou University,Zhengzhou 450052,China Corresponding author,E-mail:hejohejo@126.com ABSTRACT For a microscopic imaging scene,an all-in-focus image of the observation object is needed.Because of the limitation of the depth of field of the camera and the typically uneven surface of the observation object,an all-in-focus image is obtained through one shot with relative difficulty.In this case,an alternative method for obtaining the all-in-focus image is usually used,which is to fuse several images focusing on different depths with the help of multi-focus image fusion technology.Multi-focus image fusion is an 收稿日期：2021-01-12 基金项目：海南省财政科技计划资助项目(ZDYF2019009):国家自然科学基金资助项目(6210020684.61873299)：中央高校基本科研业务 费资助项目(00007467)：佛山市科技创新专项资金项目(BK21BF002,BK19AE034,BK20AF001)

面向显微影像的多聚焦多图融合中失焦扩散效应消除 方法 印    象1,2,3)，马博渊1,2,3,4)，班晓娟1,2,3,4)，黄海友1,4,5)，王    宇6) 苣，李松岩7) 1) 北京科技大学北京材料基因工程高精尖创新中心，北京 100083    2) 北京科技大学材料领域知识工程北京市重点实验室，北京 100083    3) 北京科技大学人工智能研究院，北京 100083    4) 北京科技大学顺德研究生院，佛山 528300    5) 北京科技大学新材料技术研究院，北京 100083    6) 北京理工大学网络空间安全学院，北京 100081    7) 郑州大学医学院临床医学系，郑州 450052 苣通信作者，E-mail：hejohejo@126.com 摘    要    多聚焦图像融合是计算机视觉领域中的一个重要分支，旨在使用图像处理技术将同一场景下的聚焦不同目标的多 张图像中各自的清晰区域进行融合，最终获得全清晰图像. 随着以深度学习为代表的机器学习理论的突破，卷积神经网络被 广泛应用于多聚焦图像融合领域，但大多数方法仅关注网络结构的改进，而使用简单的两两串行融合方式，降低了多图融合 的效率，并且在融合过程中存在的失焦扩散效应也严重影响了融合结果的质量. 针对上述问题，在显微成像分析的应用场景 下，提出了一种最大特征图空间频率融合策略，通过在基于无监督学习的卷积神经网络中增加后处理模块，规避了两两串行 融合中冗余的特征提取过程，实验证明该策略显著提高了多张图像的多聚焦图像融合效率. 并且提出了一种矫正策略，在保 证融合效率的情况下可有效缓解失焦扩散效应对融合图像质量的影响. 关键词    多聚焦图像融合；失焦扩散效应；深度学习；卷积神经网路；多图融合 分类号    TP391 Defocus  spread  effect  elimination  method  in  multiple  multi-focus  image  fusion  for microscopic images YIN Xiang1,2,3) ，MA Bo-yuan1,2,3,4) ，BAN Xiao-juan1,2,3,4) ，HUANG Hai-you1,4,5) ，WANG Yu6) 苣 ，LI Song-yan7) 1) Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 3) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 4) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China 5) Institute for Advanced Materials and Technology, University of Science and Technology Beijing, Beijing 100083, China 6) School of Cyberspace Science and Technology, Beijing Institute of Technology, Beijing 100081, China 7) Clinical Medicine, Zhengzhou University, Zhengzhou 450052, China 苣 Corresponding author, E-mail: hejohejo@126.com ABSTRACT    For a microscopic imaging scene, an all-in-focus image of the observation object is needed. Because of the limitation of the depth of field of the camera and the typically uneven surface of the observation object, an all-in-focus image is obtained through one shot with relative difficulty. In this case, an alternative method for obtaining the all-in-focus image is usually used, which is to fuse several  images  focusing  on  different  depths  with  the  help  of  multi-focus  image  fusion  technology.  Multi-focus  image  fusion  is  an 收稿日期: 2021−01−12 基金项目: 海南省财政科技计划资助项目（ZDYF2019009）；国家自然科学基金资助项目（6210020684，61873299）；中央高校基本科研业务 费资助项目（00007467）；佛山市科技创新专项资金项目（BK21BF002，BK19AE034，BK20AF001） 工程科学学报，第 43 卷，第 9 期：1174−1181，2021 年 9 月 Chinese Journal of Engineering, Vol. 43, No. 9: 1174−1181, September 2021 https://doi.org/10.13374/j.issn2095-9389.2021.01.12.002; http://cje.ustb.edu.cn

印象等：面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 ·1175 important branch in the field of computer vision.It aims to use image processing technology to fuse the clear regions of multiple images, focusing on different objects in the same scene,and finally to obtain an all-in-focus fusion result.With the breakthrough of machine learning theory represented by deep learning,the convolutional neural network is widely adopted in the field of multi-focus image fusion.However,most methods only focus on improving network structure and use the simple one-by-one serial fusion method,which reduces the efficiency of multiple image fusion.In addition,the defocus spread effect in the fusion process,which causes blurred artifacts in the areas near focus map boundaries,can severely affect the quality of fusion results.In the application of microscopic imaging analysis,we proposed a maximum spatial frequency in the feature map(MSFIFM)fusion strategy.By adding a post-processing module in the convolution neural network based on unsupervised learning,the redundant feature extraction process in the one-by-one serial fusion is avoided.Experiments demonstrate that this strategy can significantly improve the efficiency of multi-focus image fusion with multiple images.In addition,we presented a correction strategy that can effectively alleviate the effect of defocus spread on the fusion result under the condition of ensuring the efficiency of the algorithm fusion. KEY WORDS multi-focus image fusion:defocusing diffusion;deep learning;convolutional neural network;multiple image fusion 由于光学镜头自由度的限制，在成像过程中 性进展，但是大多数图像融合方法仅针对两张图 很难在一个镜头内将深度距离相差很大的物体全 像融合任务设计网络结构剧因此在多张图像 部聚焦山.因此，通常采用基于图像处理技术的多 融合应用中仅能使用两两串行融合策略.并且由 聚焦图像融合方法四，将同一场景下聚焦不同目标 于失焦扩散效应在自然场景中图像融合应用较为 的多张图像中各自的清晰区域进行融合，最终获 少见，因此极少有相关工作对该效应带来的融合 得全清晰图像) 质量退化现象进行处理 随着计算机硬件以及图像处理技术的进步， 1 多聚焦图像融合方法在显微成像分析中 多种基于不同理论的多聚焦图像融合方法如雨后 的应用 春笋般涌现，通常多聚焦图像融合方法可分为三 大类：基于变换域的融合方法、基于空间域的融合 多聚焦图像融合方法常应用于显微成像场景 方法、以及基于深度学习的融合方法 下的图像处理与分析任务中，图1所示为集成电 基于变换域的融合方法通过多尺度变换理论 路的微观多聚焦图像融合任务，由于观测物体表 设计清晰度评价标准，如拉普拉斯金字塔、低通 面高低不平，需通过调节显微镜焦距，以拍摄多张 金字塔)、离散小波变换等.基于空间域的融合 图像获得不同目标的聚焦图像，因此需要多聚焦 方法使用梯度信息测量清晰度水平，如空间频率)、 图像融合方法融合多张图像中各自的清晰区域， 导向滤波⑧、多尺度加权梯度网和密集尺度不变特 最终获得清晰的显微场景下的融合结果，以便于 征变换算子o等 研究人员清楚地观测微观结构 近年来，随着以深度学习叫为代表的机器学 当前，基于深度学习的多聚焦图像融合方法， 习理论取得了革命性突破，深度学习方法开始被 依托强大的特征表示能力，使其在融合质量和速 应用于多聚焦图像融合领域.Lu等首次将卷积神 度上超过了以往的传统融合方法，成为多聚焦图 经网络(Convolutional neural network,CNN)引入到 像融合领域的主流选择吻.但是，在实际应用中依 多聚焦图像融合领域中，并提出了一种基于深度 然存在多种挑战亟待解决： 卷积网络的图像融合方法(CNN-Fuse),通过有监 (1)多张多聚焦图像融合效率低.当前，大多 督的深度学习模型识别图像的聚焦区域)Ma等 数图像融合方法在模型设计时仅考虑了两张图像 提出一种基于挤压-激励与空间频率的无监督融 的融合情况，并简单地采用两两串行融合方法融 合方法(SESF-Fuse),通过无监督的训练策略获得 合多张图像，即当图像数目为N时，需要执行 图像的高维空间特征，并依托空间频率方法提取 2(N-1)次特征提取过程，在实际的显微成像分析 高维空间特征的梯度表征清晰度，以此进行图像 应用中，通常拍摄数十张融合图像，使用简单的两 融合]，该方法避免了复杂且繁重的图像标注工 两串行融合方法严重降低了多图融合速度 作，可方便应用于工程实践 (2)失焦扩散效应严重降低融合质量.在实际 尽管基于深度学习的多聚焦图像融合方法在 应用中，如果观测目标区域内存在高度/深度差过 自然场景中的多聚焦图像融合任务中取得了突破 大的凸起或凹陷，这些位置将会由于深度距离超

important branch in the field of computer vision. It aims to use image processing technology to fuse the clear regions of multiple images, focusing on different objects in the same scene, and finally to obtain an all-in-focus fusion result. With the breakthrough of machine learning  theory  represented  by  deep  learning,  the  convolutional  neural  network  is  widely  adopted  in  the  field  of  multi-focus  image fusion. However, most methods only focus on improving network structure and use the simple one-by-one serial fusion method, which reduces  the  efficiency  of  multiple  image  fusion.  In  addition,  the  defocus  spread  effect  in  the  fusion  process,  which  causes  blurred artifacts  in  the  areas  near  focus  map  boundaries,  can  severely  affect  the  quality  of  fusion  results.  In  the  application  of  microscopic imaging analysis, we proposed a maximum spatial frequency in the feature map (MSFIFM) fusion strategy. By adding a post-processing module in the convolution neural network based on unsupervised learning, the redundant feature extraction process in the one-by-one serial fusion is avoided. Experiments demonstrate that this strategy can significantly improve the efficiency of multi-focus image fusion with multiple images. In addition, we presented a correction strategy that can effectively alleviate the effect of defocus spread on the fusion result under the condition of ensuring the efficiency of the algorithm fusion. KEY WORDS    multi-focus image fusion；defocusing diffusion；deep learning；convolutional neural network；multiple image fusion 由于光学镜头自由度的限制，在成像过程中 很难在一个镜头内将深度距离相差很大的物体全 部聚焦[1] . 因此，通常采用基于图像处理技术的多 聚焦图像融合方法[2] ，将同一场景下聚焦不同目标 的多张图像中各自的清晰区域进行融合，最终获 得全清晰图像[3] . 随着计算机硬件以及图像处理技术的进步， 多种基于不同理论的多聚焦图像融合方法如雨后 春笋般涌现，通常多聚焦图像融合方法可分为三 大类：基于变换域的融合方法、基于空间域的融合 方法、以及基于深度学习的融合方法. 基于变换域的融合方法通过多尺度变换理论 设计清晰度评价标准，如拉普拉斯金字塔[4]、低通 金字塔[5]、离散小波变换[6] 等. 基于空间域的融合 方法使用梯度信息测量清晰度水平，如空间频率[7]、 导向滤波[8]、多尺度加权梯度[9] 和密集尺度不变特 征变换算子[10] 等. 近年来，随着以深度学习[11] 为代表的机器学 习理论取得了革命性突破，深度学习方法开始被 应用于多聚焦图像融合领域. Liu 等首次将卷积神 经网络（Convolutional neural network, CNN）引入到 多聚焦图像融合领域中，并提出了一种基于深度 卷积网络的图像融合方法（CNN−Fuse），通过有监 督的深度学习模型识别图像的聚焦区域[12] . Ma 等 提出一种基于挤压−激励与空间频率的无监督融 合方法（SESF−Fuse），通过无监督的训练策略获得 图像的高维空间特征，并依托空间频率方法提取 高维空间特征的梯度表征清晰度，以此进行图像 融合[13] ，该方法避免了复杂且繁重的图像标注工 作，可方便应用于工程实践. 尽管基于深度学习的多聚焦图像融合方法在 自然场景中的多聚焦图像融合任务中取得了突破 性进展，但是大多数图像融合方法仅针对两张图 像融合任务设计网络结构[14−18] ，因此在多张图像 融合应用中仅能使用两两串行融合策略. 并且由 于失焦扩散效应在自然场景中图像融合应用较为 少见，因此极少有相关工作对该效应带来的融合 质量退化现象进行处理. 1    多聚焦图像融合方法在显微成像分析中 的应用 多聚焦图像融合方法常应用于显微成像场景 下的图像处理与分析任务中，图 1 所示为集成电 路的微观多聚焦图像融合任务，由于观测物体表 面高低不平，需通过调节显微镜焦距，以拍摄多张 图像获得不同目标的聚焦图像，因此需要多聚焦 图像融合方法融合多张图像中各自的清晰区域， 最终获得清晰的显微场景下的融合结果，以便于 研究人员清楚地观测微观结构. 当前，基于深度学习的多聚焦图像融合方法， 依托强大的特征表示能力，使其在融合质量和速 度上超过了以往的传统融合方法，成为多聚焦图 像融合领域的主流选择[19] . 但是，在实际应用中依 然存在多种挑战亟待解决： （1）多张多聚焦图像融合效率低. 当前，大多 数图像融合方法在模型设计时仅考虑了两张图像 的融合情况，并简单地采用两两串行融合方法融 合多张图像 ，即当图像数目 为 N 时 ，需要执 行 2（N−1）次特征提取过程. 在实际的显微成像分析 应用中，通常拍摄数十张融合图像，使用简单的两 两串行融合方法严重降低了多图融合速度. （2）失焦扩散效应严重降低融合质量. 在实际 应用中，如果观测目标区域内存在高度/深度差过 大的凸起或凹陷，这些位置将会由于深度距离超 印    象等： 面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 · 1175 ·

.1176 工程科学学报，第43卷，第9期 Multiple multi-focus images Feature extraction feature map, Maximum spatial Fusion result with defocus spread MSFIFM frequency in Rectification strategy Image fusion method Fusion result without defocus spread 图1显微成像场景中多张多聚焦图像融合技术路线（图中红色箭头为失焦扩散效应.融合结果中的黄色虚线框为放大后的局部区域，以方便读 者查看) Fig.I Flow chart of multiple multi-focus image fusion in a microscopic imaging scene(The red arrow in the figure shows the defocus spread effect.The yellow dotted line box in the fusion result is the enlarged local area,which is convenient for readers to view) 过成像装置景深，造成在调焦范围内无法聚焦全 线框所示 部位置，必然在该区域内呈现持续的失焦状态.以 2方法 图1中红色箭头所指的深凹情况为例，失焦成像 状态下产生前景失焦扩散效应将影响到深凹区域 2.1基于深度学习和最大特征图空间频率的融合 的像素值分布，最终在融合结果中的背景深凹区 策略 域处产生失真的伪影效果20，如图1中的黄色虚 在对所有待融合图像进行图像配准后1-四采 线框示意.针对上述问题，通常采用基于硬件或软 用传统两两串行融合方法融合多张图像时，当待 件的解决方法，基于硬件的优化方法主要有以下 融合的图像数目为N时，需要执行2(N-1)次特征 两种：第一是通过扩大聚焦拍摄区间，即通过拍摄 提取过程，而采用本文提出的最大特征图空间频 更多的不同焦距的图像，以期找到背景深凹处的 率融合策略，仅需要执行N次特征提取过程即可 聚焦结果，最终形成清晰的融合结果.这种方法会 进行多图融合，因此提高了多张图像融合效率 造成拍摄时间的延长、电耗的增加和硬件运作的 本文在图像特征提取时使用编码器-解码器 磨损，最终降低成像效率甚至降低精密镜头的使 结构)，如图2(a)所示.编码器中C1包含了一个 用寿命.第二是通过抑制成像中的光强以减弱深 3x3卷积层.DC1、DC2以及DC3为密集链接模 凹区域以外物体的失焦扩散效应.这种方法虽然 块，分别包含一个3×3的卷积层，同时每个模块的 可以减弱失焦扩散效应，但会造成整体上的亮度 输出与其他模块跨层级联.SE为挤压-激发模块2， 降低，最终导致整体成像质量较差.并且基于硬件 可以通过自适应的特征通道维度校准来增强有用 的解决方法除上述缺陷外，还存在硬件改造成本 的特征.为了保证图像重建的准确性，在编码器与 高、技术升级难度大的问题.因此，如何通过基于 解码器中并没有加入池化层.解码器中C2、C3、 图像处理的软件方法缓解多聚焦图像融合中的失 C4以及C5结构与C1相同，用以重建输入图像 焦扩散效应是本领域中研究的难点. 在训练过程中利用文献[13)]中的像素损失以 针对以上显微成像场景中多张多聚焦图像融 及结构相似性损失同时训练编码器与解码器.像 合问题，本文提出如下的相应解决方案： 素损失与结构相似性损失为图像融合领域常用的 (1)本文提出一种最大特征图空间频率融合 损失函数.像素损失衡量了两张图像的距离，通过 策略(Maximum spatial frequency in feature map, 优化像素损失可以使输入输出图像在欧氏空间上 MSFIFM),在基于无监督学习的卷积神经网络中 具有更近的距离.结构相似性衡量了两张图像在 增加后处理模块，如图1所示，实验证明该策略显 亮度、对比度以及结构相关性三个方面的相似程 著提高了多张图像的多聚焦图像融合速度 度，通过优化结构相似性损失可以降低输出图像 (2)本文提出了一种矫正策略，可缓解失焦扩 视觉效果上的失真.当网络训练完成后，在推理时 散效应对融合图像质量的影响，如图1中黄色虚 仅利用编码器部分实现图像特征提取，并进行多

过成像装置景深，造成在调焦范围内无法聚焦全 部位置，必然在该区域内呈现持续的失焦状态. 以 图 1 中红色箭头所指的深凹情况为例，失焦成像 状态下产生前景失焦扩散效应将影响到深凹区域 的像素值分布，最终在融合结果中的背景深凹区 域处产生失真的伪影效果[20] ，如图 1 中的黄色虚 线框示意. 针对上述问题，通常采用基于硬件或软 件的解决方法. 基于硬件的优化方法主要有以下 两种：第一是通过扩大聚焦拍摄区间，即通过拍摄 更多的不同焦距的图像，以期找到背景深凹处的 聚焦结果，最终形成清晰的融合结果. 这种方法会 造成拍摄时间的延长、电耗的增加和硬件运作的 磨损，最终降低成像效率甚至降低精密镜头的使 用寿命. 第二是通过抑制成像中的光强以减弱深 凹区域以外物体的失焦扩散效应. 这种方法虽然 可以减弱失焦扩散效应，但会造成整体上的亮度 降低，最终导致整体成像质量较差. 并且基于硬件 的解决方法除上述缺陷外，还存在硬件改造成本 高、技术升级难度大的问题. 因此，如何通过基于 图像处理的软件方法缓解多聚焦图像融合中的失 焦扩散效应是本领域中研究的难点. 针对以上显微成像场景中多张多聚焦图像融 合问题，本文提出如下的相应解决方案： （1）本文提出一种最大特征图空间频率融合 策 略 （ Maximum  spatial  frequency  in  feature  map, MSFIFM），在基于无监督学习的卷积神经网络中 增加后处理模块，如图 1 所示，实验证明该策略显 著提高了多张图像的多聚焦图像融合速度. （2）本文提出了一种矫正策略，可缓解失焦扩 散效应对融合图像质量的影响，如图 1 中黄色虚 线框所示. 2    方法 2.1    基于深度学习和最大特征图空间频率的融合 策略 在对所有待融合图像进行图像配准后[21−22] ，采 用传统两两串行融合方法融合多张图像时，当待 融合的图像数目为 N 时，需要执行 2（N−1）次特征 提取过程，而采用本文提出的最大特征图空间频 率融合策略，仅需要执行 N 次特征提取过程即可 进行多图融合，因此提高了多张图像融合效率. 本文在图像特征提取时使用编码器−解码器 结构[13] ，如图 2（a）所示. 编码器中 C1 包含了一个 3×3 卷积层. DC1、DC2 以及 DC3 为密集链接模 块，分别包含一个 3×3 的卷积层，同时每个模块的 输出与其他模块跨层级联. SE 为挤压−激发模块[23] ， 可以通过自适应的特征通道维度校准来增强有用 的特征. 为了保证图像重建的准确性，在编码器与 解码器中并没有加入池化层. 解码器中 C2、C3、 C4 以及 C5 结构与 C1 相同，用以重建输入图像. 在训练过程中利用文献 [13] 中的像素损失以 及结构相似性损失同时训练编码器与解码器. 像 素损失与结构相似性损失为图像融合领域常用的 损失函数. 像素损失衡量了两张图像的距离，通过 优化像素损失可以使输入输出图像在欧氏空间上 具有更近的距离. 结构相似性衡量了两张图像在 亮度、对比度以及结构相关性三个方面的相似程 度，通过优化结构相似性损失可以降低输出图像 视觉效果上的失真. 当网络训练完成后，在推理时 仅利用编码器部分实现图像特征提取，并进行多 Multiple multi-focus images Image fusion method Rectification strategy Fusion result with defocus spread Fusion result without defocus spread Maximum spatial frequency in feature map, MSFIFM Feature extraction 图 1    显微成像场景中多张多聚焦图像融合技术路线（图中红色箭头为失焦扩散效应. 融合结果中的黄色虚线框为放大后的局部区域，以方便读 者查看） Fig.1    Flow chart of multiple multi-focus image fusion in a microscopic imaging scene (The red arrow in the figure shows the defocus spread effect. The yellow dotted line box in the fusion result is the enlarged local area, which is convenient for readers to view) · 1176 · 工程科学学报，第 43 卷，第 9 期

印象等：面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 .1177 (a) i(b) One by one serial; MSFIFM Legend fusion strategy strategy Encoder Spatial frequency fusion Spatial frequency calculation Channel wise concatenation Channel wise maximum L,=0-L2 LSSIM=1-SSIM(O,/ Image Fusion result 图2本文方法的网络结构和执行流程.()为网络结构：(b)为两种多图融合策路对比（左侧为两两串行融合策略，右侧为最大特征图空间颜率融 合策略) Fig.2 Network structure and implementation process of this method:(a)Network structure:(b)two fusion strategies(the left side is the one-by-one serial fusion strategy,and the right side is the MSFIFM strategy) 张图像融合 够有效提高多图融合的效率 传统的两两串行融合策略的流程如图2(b)左 2.2面向显微成像场景失焦扩散效应的矫正策略 侧所示，其中图像特征提取操作以及融合操作会 失焦扩散效应具有以下主要特点2o1:(1)当拍 因为不同的算法设计而略有差异，以利用编码器 摄前景失焦，背景聚焦时会出现失焦扩散效应； 进行特征提取操作，并利用空间频率融合1进行 (2)失焦扩散效应往往出现在聚焦边界处，导致前 融合操作为例，在融合多张图像时首先选取图像 景的伪影侵入背景区域造成边界处背景模糊. 1与图像2作为待融合图像，分别利用编码器提取 在进行显微成像场景下多张多聚焦图像融合 特征后利用空间频率融合得到融合图像1，然后再 任务时，由于观测目标区域内往往会存在高度深 将融合图像1与图像3作为待融合图像，分别利用 度差过大的凸起或凹陷，这些位置将会由于深度 编码器提取特征并利用空间频率融合得到融合图 距离超过成像装置景深，造成在调焦范围内无法 像2.重复上述步骤直到所有待融合图像都融合完 聚焦全部位置，因此必然会出现前景区域持续不 毕，得到最终的融合结果图像.这种方式当图像数 同程度失焦状态.因此在进行多图融合时不管是 目为N时，需要执行2(N-1)次特征提取过程 利用两两串行融合策略还是本文提出的最大特征 本文提出的最大特征图空间频率融合策略的 图空间频率融合策略都会在聚焦边界处出现不同 流程图如图2(b)右侧所示.在融合多张图像时首 程度的失焦扩散效应，严重影响了融合结果图像 先对每张待融合图像分别提取特征并计算特征的 的质量 空间频率.由于特征的空间频率反映了待融合图 由于显微成像场景背景深凹处往往具有较深 像的聚焦信息，因此我们先将待融合图像中尺寸 的颜色，如图1中红色箭头所示，因此失焦扩散现 为(w,h)的特征空间频率图在通道维度拼接得到 象在显微成像场景中往往表现为在融合图像中原 尺寸为(m,h,n)的拼接图.之后通过获取拼接图通 本失焦边界处的深色背景区域中出现较亮的前景 道维度n个像素最大值的索引的方式得到最终的 伪影，如图1中放大区域所示.针对这个特点本文 尺寸为(，)的融合决策图，融合决策图中不同位 提出了一种矫正策略，能够有效去除显微成像场 置像素值代表了待融合图像中不同位置聚焦程度 景下的失焦扩散效应 最高的图像编号，最后利用融合决策图对待融合 本文提出的面向显微成像场景失焦扩散效应 图像进行加权求和，得到融合图像.这种方式当图 的矫正策略流程如图3所示.首先利用待融合图 像数目为N时，仅需要执行N次特征提取过程，能 像的特征空间频率图(Spatial frequency of feature)

张图像融合. 传统的两两串行融合策略的流程如图 2（b）左 侧所示，其中图像特征提取操作以及融合操作会 因为不同的算法设计而略有差异. 以利用编码器 进行特征提取操作，并利用空间频率融合[13] 进行 融合操作为例，在融合多张图像时首先选取图像 1 与图像 2 作为待融合图像，分别利用编码器提取 特征后利用空间频率融合得到融合图像 1，然后再 将融合图像 1 与图像 3 作为待融合图像，分别利用 编码器提取特征并利用空间频率融合得到融合图 像 2. 重复上述步骤直到所有待融合图像都融合完 毕，得到最终的融合结果图像. 这种方式当图像数 目为 N 时，需要执行 2（N−1）次特征提取过程. 本文提出的最大特征图空间频率融合策略的 流程图如图 2（b）右侧所示. 在融合多张图像时首 先对每张待融合图像分别提取特征并计算特征的 空间频率. 由于特征的空间频率反映了待融合图 像的聚焦信息，因此我们先将待融合图像中尺寸 为 (w,h) 的特征空间频率图在通道维度拼接得到 尺寸为 (w,h,n) 的拼接图. 之后通过获取拼接图通 道维度 n 个像素最大值的索引的方式得到最终的 尺寸为 (w,h) 的融合决策图，融合决策图中不同位 置像素值代表了待融合图像中不同位置聚焦程度 最高的图像编号. 最后利用融合决策图对待融合 图像进行加权求和，得到融合图像. 这种方式当图 像数目为 N 时，仅需要执行 N 次特征提取过程，能 够有效提高多图融合的效率. 2.2    面向显微成像场景失焦扩散效应的矫正策略 失焦扩散效应具有以下主要特点[20] ：（1）当拍 摄前景失焦，背景聚焦时会出现失焦扩散效应； （2）失焦扩散效应往往出现在聚焦边界处，导致前 景的伪影侵入背景区域造成边界处背景模糊. 在进行显微成像场景下多张多聚焦图像融合 任务时，由于观测目标区域内往往会存在高度/深 度差过大的凸起或凹陷，这些位置将会由于深度 距离超过成像装置景深，造成在调焦范围内无法 聚焦全部位置，因此必然会出现前景区域持续不 同程度失焦状态. 因此在进行多图融合时不管是 利用两两串行融合策略还是本文提出的最大特征 图空间频率融合策略都会在聚焦边界处出现不同 程度的失焦扩散效应，严重影响了融合结果图像 的质量. 由于显微成像场景背景深凹处往往具有较深 的颜色，如图 1 中红色箭头所示，因此失焦扩散现 象在显微成像场景中往往表现为在融合图像中原 本失焦边界处的深色背景区域中出现较亮的前景 伪影，如图 1 中放大区域所示. 针对这个特点本文 提出了一种矫正策略，能够有效去除显微成像场 景下的失焦扩散效应. 本文提出的面向显微成像场景失焦扩散效应 的矫正策略流程如图 3 所示. 首先利用待融合图 像的特征空间频率图（Spatial frequency of feature） (a) (b) L=λLSSIM+Lp LSSIM=1−SSIM(O, I) Lp=||O−I||2 Input Output Encoder SEDense Block Decoder Image 1 Image 2 Image 3 Image N Fusion result SE SE SE SE C1 3×3×1×16 DC1 3×3×16×16 DC2 3×3×32×16 DC3 3×3×48×16 C2 3×3×64×64 C3 3×3×64×32 C4 3×3×32×16 C5 3×3×16×1 One by one serial fusion strategy MSFIFM strategy Legend Channel wise concatenation Channel wise maximum Encoder Spatial frequency fusion Spatial frequency calculation 图 2    本文方法的网络结构和执行流程. （a）为网络结构；（b）为两种多图融合策略对比（左侧为两两串行融合策略，右侧为最大特征图空间频率融 合策略） Fig.2    Network structure and implementation process of this method: (a) Network structure; (b) two fusion strategies (the left side is the one-by-one serial fusion strategy, and the right side is the MSFIFM strategy) 印    象等： 面向显微影像的多聚焦多图融合中失焦扩散效应消除方法 · 1177 ·