图像分割评估方法在显微图像分析中的应用

工程科学学报 Chinese Journal of Engineering 图像分割评估方法在显微图像分析中的应用 马博渊姜淑芳尹豆中昊锴班晓娟黄海友王浩薛维华封华 Image segmentation metric and its application in the analysis of microscopic image MA Bo-yuan,JIANG Shu-fang.YIN Dou,SHEN Hao-kai,BAN Xiao-juan,HUANG Hai-you,WANG Hao,XUE Wei-hua,FENG Hua 引用本文： 马博渊，姜淑芳，尹豆，申吴锆，班晓娟，黄海友，王浩，薛维华，封华.图像分割评估方法在显微图像分析中的应用.工程科 学学报，2021,431：137-149.doi:10.13374.issn2095-9389.2020.05.28.002 MA Bo-yuan,JIANG Shu-fang.YIN Dou,SHEN Hao-kai,BAN Xiao-juan,HUANG Hai-you,WANG Hao,XUE Wei-hua,FENG Hua.Image segmentation metric and its application in the analysis of microscopic image[J.Chinese Journal of Engineering,2021, 43(1):137-149.doi:10.13374j.issn2095-9389.2020.05.28.002 在线阅读View online:https::/doi.org10.13374j.issn2095-9389.2020.05.28.002 您可能感兴趣的其他文章 Articles you may be interested in 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报.2020,42(10：1362htps:/doi.org/10.13374.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报.2017,3911)：1735htps:1doi.org/10.13374.issn2095-9389.2017.11.017 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报.2017,3912：1866 https:/1doi.org10.13374.issn2095-9389.2017.12.013 一种改进的非刚性图像配准算法 An improved non-rigid image registration approach 工程科学学报.2019,41(7)：955 https::/1oi.org/10.13374.issn2095-9389.2019.07.015 一种提高图像对比度和视觉质量的新型区域背光算法 A novel local dimming algorithm to improve image contrast and visual quality 工程科学学报.2017,39(12头：1888 https:/loi.org/10.13374j.issn2095-9389.2017.12.016 序列图像运动自适应V1-MT光流估计算法 Bio-inspired motion-adaptive estimation algorithm of sequence image 工程科学学报.2017,398：1238 https:1doi.org10.13374.issn2095-9389.2017.08.014

图像分割评估方法在显微图像分析中的应用 马博渊 姜淑芳 尹豆 申昊锴 班晓娟 黄海友 王浩 薛维华 封华 Image segmentation metric and its application in the analysis of microscopic image MA Bo-yuan, JIANG Shu-fang, YIN Dou, SHEN Hao-kai, BAN Xiao-juan, HUANG Hai-you, WANG Hao, XUE Wei-hua, FENG Hua 引用本文: 马博渊, 姜淑芳, 尹豆, 申昊锴, 班晓娟, 黄海友, 王浩, 薛维华, 封华. 图像分割评估方法在显微图像分析中的应用[J]. 工程科 学学报, 2021, 43(1): 137-149. doi: 10.13374/j.issn2095-9389.2020.05.28.002 MA Bo-yuan, JIANG Shu-fang, YIN Dou, SHEN Hao-kai, BAN Xiao-juan, HUANG Hai-you, WANG Hao, XUE Wei-hua, FENG Hua. Image segmentation metric and its application in the analysis of microscopic image[J]. Chinese Journal of Engineering, 2021, 43(1): 137-149. doi: 10.13374/j.issn2095-9389.2020.05.28.002 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2020.05.28.002 您可能感兴趣的其他文章 Articles you may be interested in 基于监督学习的前列腺MR/TRUS图像分割和配准方法 Prostate MR/TRUS image segmentation and registration methods based on supervised learning 工程科学学报. 2020, 42(10): 1362 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报. 2017, 39(11): 1735 https://doi.org/10.13374/j.issn2095-9389.2017.11.017 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报. 2017, 39(12): 1866 https://doi.org/10.13374/j.issn2095-9389.2017.12.013 一种改进的非刚性图像配准算法 An improved non-rigid image registration approach 工程科学学报. 2019, 41(7): 955 https://doi.org/10.13374/j.issn2095-9389.2019.07.015 一种提高图像对比度和视觉质量的新型区域背光算法 A novel local dimming algorithm to improve image contrast and visual quality 工程科学学报. 2017, 39(12): 1888 https://doi.org/10.13374/j.issn2095-9389.2017.12.016 序列图像运动自适应V1-MT光流估计算法 Bio-inspired motion-adaptive estimation algorithm of sequence image 工程科学学报. 2017, 39(8): 1238 https://doi.org/10.13374/j.issn2095-9389.2017.08.014

工程科学学报.第43卷，第1期：137-149.2021年1月 Chinese Journal of Engineering,Vol.43,No.1:137-149,January 2021 https://doi.org/10.13374/j.issn2095-9389.2020.05.28.002;http://cje.ustb.edu.cn 图像分割评估方法在显微图像分析中的应用 马博渊123，，姜淑芳)，尹豆》，中吴锘，班晓娟2,3，，黄海友7,8区 王浩1,9)，薛维华9,10，封 华3) 1)北京科技大学北京材料基因工程高精尖创新中心.北京1000832)北京科技大学材料领域知识工程北京市重点实验室.北京100083 3)北京科技大学计算机与通信工程学院，北京1000834)北京科技大学人工智能研究院，北京1000835)解放军总医院第一医学中心 妇产科，北京1008536)中国石油大学（北京）信息科学与工程学院.北京1022497)北京科技大学新材料技术研究院.北京100083 8)北京科技大学顺德研究生院，佛山5283009)北京科技大学材料科学与工程学院.北京10008310)辽宁工程技术大学材料科学与工 程学院.阜新123099 区通信作者，E-mail:huanghy(@mater..ustb.edu.cn 摘要图像分割是计算机视觉领域中的重要分支，旨在将图像分成若干个特定的、具有独特性质的区域.随着计算机硬件 计算能力的提高和计算方法的进步，大量基于不同理论的图像分割算法获得了长足的发展.因而选择合适的评估方法对分 割结果的准确性和适用性进行综合评估，从而选择最优分割算法，成为图像分割研究中的必要环节，在综述14种图像分割评 估指标的基础上，将其分成基于像素的评估方法、基于类内重合度的评估方法、基于边界的评估方法、基于聚类的评估方法 和基于实例的评估方法五大类.在材料显微图像分析的应用背景下，通过实验讨论了不同分割方法和不同典型噪声在不同 评估方法中的表现.最终，讨论了各种评估方法的优势和适用性. 关键词计算机视觉：图像分割：图像处理：评估方法：材料显微图像 分类号TP3 Image segmentation metric and its application in the analysis of microscopic image MA Bo-yuan2)JIANG Shu-fang.YIN Dou,SHEN Hao-kai,BAN Xiao-juan 2),HUANG Hai-you WANG Hao) XUE Wei-hua FENG Hua) 1)Beijing Advanced Innovation Center for Materials Genome Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)Beijing Key Laboratory of Knowledge Engineering for Materials Science,University of Science and Technology Beijing,Beijing 100083,China 3)School of Computer and Communication Engineering,University of Science and Technology Beijing,Beijing 100083,China 4)Institute of Artificial Intelligence,University of Science and Technology Beijing.Beijing 100083.China 5)Department of Obstetrics and Gynecology,General Hospital of PLA,Beijing 100853,China 6)College of Information Science and Engineering.China University of Petroleum Beijing.Beijing 102249,China 7)Institute for Advanced Materials and Technology,University of Science and Technology Beijing,Beijing 100083,China 8)Shunde Graduate School,University of Science and Technology Beijing,Foshan 528300,China 9)School of Materials Science and Engineering,University of Science and Technology Beijing,Beijing 100083,China 10)School of Materials Science and Engineering,Liaoning Technical University,Fuxin 123099,China Corresponding author,E-mail:huanghy@mater.ustb.edu.cn ABSTRACT Material microstructure data are an important type of data in building intrinsic relationships between compositions, structures,processes,and properties,which are fundamental to material design.Therefore,the quantitative analysis of microstructures is 收稿日期：2020-05-28 基金项目：海南省财政科技计划资助项目(ZDYF2019009):北京科技大学顺德研究生院科技创新专项资金资助项目(BK19BE030)

图像分割评估方法在显微图像分析中的应用 马博渊1,2,3,4)，姜淑芳5)，尹    豆3)，申昊锴6)，班晓娟1,2,3,4)，黄海友1,7,8) 苣， 王    浩1,9)，薛维华9,10)，封    华3) 1) 北京科技大学北京材料基因工程高精尖创新中心，北京 100083    2) 北京科技大学材料领域知识工程北京市重点实验室，北京 100083    3) 北京科技大学计算机与通信工程学院，北京 100083    4) 北京科技大学人工智能研究院，北京 100083    5) 解放军总医院第一医学中心 妇产科，北京 100853    6) 中国石油大学（北京）信息科学与工程学院，北京 102249    7) 北京科技大学新材料技术研究院，北京 100083    8) 北京科技大学顺德研究生院，佛山 528300    9) 北京科技大学材料科学与工程学院，北京 100083    10) 辽宁工程技术大学材料科学与工 程学院，阜新 123099 苣通信作者，E-mail：huanghy@mater.ustb.edu.cn 摘    要    图像分割是计算机视觉领域中的重要分支，旨在将图像分成若干个特定的、具有独特性质的区域. 随着计算机硬件 计算能力的提高和计算方法的进步，大量基于不同理论的图像分割算法获得了长足的发展. 因而选择合适的评估方法对分 割结果的准确性和适用性进行综合评估，从而选择最优分割算法，成为图像分割研究中的必要环节. 在综述 14 种图像分割评 估指标的基础上，将其分成基于像素的评估方法、基于类内重合度的评估方法、基于边界的评估方法、基于聚类的评估方法 和基于实例的评估方法五大类. 在材料显微图像分析的应用背景下，通过实验讨论了不同分割方法和不同典型噪声在不同 评估方法中的表现. 最终，讨论了各种评估方法的优势和适用性. 关键词    计算机视觉；图像分割；图像处理；评估方法；材料显微图像 分类号    TP3 Image segmentation metric and its application in the analysis of microscopic image MA Bo-yuan1,2,3,4) ，JIANG Shu-fang5) ，YIN Dou3) ，SHEN Hao-kai6) ，BAN Xiao-juan1,2,3,4) ，HUANG Hai-you1,7,8) 苣 ，WANG Hao1,9) ， XUE Wei-hua9,10) ，FENG Hua3) 1) Beijing Advanced Innovation Center for Materials Genome Engineering, University of Science and Technology Beijing, Beijing 100083, China 2) Beijing Key Laboratory of Knowledge Engineering for Materials Science, University of Science and Technology Beijing, Beijing 100083, China 3) School of Computer and Communication Engineering, University of Science and Technology Beijing, Beijing 100083, China 4) Institute of Artificial Intelligence, University of Science and Technology Beijing, Beijing 100083, China 5) Department of Obstetrics and Gynecology, General Hospital of PLA, Beijing 100853, China 6) College of Information Science and Engineering, China University of Petroleum Beijing, Beijing 102249, China 7) Institute for Advanced Materials and Technology, University of Science and Technology Beijing, Beijing 100083, China 8) Shunde Graduate School, University of Science and Technology Beijing, Foshan 528300, China 9) School of Materials Science and Engineering, University of Science and Technology Beijing, Beijing 100083, China 10) School of Materials Science and Engineering, Liaoning Technical University, Fuxin 123099, China 苣 Corresponding author, E-mail: huanghy@mater.ustb.edu.cn ABSTRACT    Material  microstructure  data  are  an  important  type  of  data  in  building  intrinsic  relationships  between  compositions, structures, processes, and properties, which are fundamental to material design. Therefore, the quantitative analysis of microstructures is 收稿日期: 2020−05−28 基金项目: 海南省财政科技计划资助项目（ZDYF2019009）；北京科技大学顺德研究生院科技创新专项资金资助项目（BK19BE030） 工程科学学报，第 43 卷，第 1 期：137−149，2021 年 1 月 Chinese Journal of Engineering, Vol. 43, No. 1: 137−149, January 2021 https://doi.org/10.13374/j.issn2095-9389.2020.05.28.002; http://cje.ustb.edu.cn

·138 工程科学学报，第43卷，第1期 essential for effective control of the material properties and performances of metals or alloys in various industrial applications. Microscopic images are often used to understand the important structures of a material,which are related to certain properties of interest. One of the key steps during material design process is the extraction of useful information from images through microscopic image processing using computational algorithms and tools.For example,image segmentation,which is a task that divides the image into several specific and unique regions,can detect and separate each microstructure to quantitatively analyze its size and shape distribution. This technique is commonly used in extracting significant information from microscopic images in material structure characterization field.With great improvement in computing power and methods,a large number of image segmentation methods based on different theories have made great progress,especially deep learning-based image segmentation method.Therefore selecting an appropriate evaluation method to assess the accuracy and applicability of segmentation results to properly select the optimal segmentation methods and their indications on the direction of future improvement is necessary.In this work,14 evaluation metrics of image segmentation were summarized and discussed.The metrics were divided into five categories:pixel,intra class coincidence,edge,clustering,and instance based.In the application of material microscopic image analysis,we collected two classical datasets (Al-La alloy and polycrystalline images)to conduct quantitative experiment.The performance of different segmentation methods and different typical noises in different evaluation metrics were then compared and discussed.Finally,we discussed the advantages and applicability of various evaluation metrics in the field of microscopic image processing. KEY WORDS computer vision:image segmentation;image processing;segmentation evaluation metrics;material microscopic image 计算机视觉是一门“教”会计算机如何去“看” 点综述了图像分割的评估方法，并讨论了不同评 世界的科学，旨在使用计算机及相关设备对生物 估方法的适用性 视觉进行模拟，进而代替眼睛对数字图像中的目 1 图像分割的定义及其在材料显微图像分 标进行处理、识别、分析和理解四图像分割是从 析中的应用 图像中提取感兴趣区域的方法，是计算机视觉的 重要组成部分四在实际应用中，对图像分割结果 图像分割是将图像分成若干个特定的、具有 的正确评估是分割方法完善的重要研究手段) 独特性质区域的技术，是计算机视觉的重要分 在材料科学领域，随着材料信息学的发展，大 支.分割结果可进一步为图像识别和图像描述等 量先进的信息学技术在材料领域获得应用，并展 图像理解相关任务提供信息支撑 现出蓬勃的生机和快速发展的态势.材料图像，特 目前，随着多学科间的深入交叉和融合，科学 别是材料显微图像，是材料组织信息的重要载体 工作者开始尝试将以图像分割为代表的计算机视 使用图像分割等计算机视觉方法可提取材料图像 觉技术运用到表面缺陷检测、金相组织分析、神 中的组织信息，是高效建立材料成分-工艺-组织- 经细胞拓扑分析等材料和生物医学领域5-如图1 性能关系的重要环节 所示为材料显微图像分割流程图，针对原始的材 本文在材料显微图像分析的应用背景下，重 料显微图像，采用图像分割方法(Image segmenta- Original Image Prediction Segmentation Target result image segmentation result evaluation (ground truth) Threshold based segmentation methods Pivel hased Gradient hased evaluation methods segmentation method水 Morphology based Microscopic images segmentation methods of al-la alloy Edge based evaluation method segmentation methods Clustering based ealu31onme山hous on methods Instance based Deep leaming based evaluation methods segmentation methods Microscopic images of polycrystalline iron 图1材料显微图像分割流程示意 Fig.I Flow chart of material microscopic image segmentation

essential  for  effective  control  of  the  material  properties  and  performances  of  metals  or  alloys  in  various  industrial  applications. Microscopic images are often used to understand the important structures of a material, which are related to certain properties of interest. One  of  the  key  steps  during  material  design  process  is  the  extraction  of  useful  information  from  images  through  microscopic  image processing  using  computational  algorithms  and  tools.  For  example,  image  segmentation,  which  is  a  task  that  divides  the  image  into several specific and unique regions, can detect and separate each microstructure to quantitatively analyze its size and shape distribution. This technique is commonly used in extracting significant information from microscopic images in material structure characterization field.  With  great  improvement  in  computing  power  and  methods,  a  large  number  of  image  segmentation  methods  based  on  different theories  have  made  great  progress,  especially  deep  learning-based  image  segmentation  method.  Therefore  selecting  an  appropriate evaluation method to assess the accuracy and applicability of segmentation results to properly select the optimal segmentation methods and their indications on the direction of future improvement is necessary. In this work, 14 evaluation metrics of image segmentation were summarized and discussed. The metrics were divided into five categories: pixel, intra class coincidence, edge, clustering, and instance based. In the application of material microscopic image analysis, we collected two classical datasets (Al–La alloy and polycrystalline images) to conduct quantitative experiment. The performance of different segmentation methods and different typical noises in different evaluation  metrics  were  then  compared  and  discussed.  Finally,  we  discussed  the  advantages  and  applicability  of  various  evaluation metrics in the field of microscopic image processing. KEY WORDS    computer vision；image segmentation；image processing；segmentation evaluation metrics；material microscopic image 计算机视觉是一门“教”会计算机如何去“看” 世界的科学，旨在使用计算机及相关设备对生物 视觉进行模拟，进而代替眼睛对数字图像中的目 标进行处理、识别、分析和理解[1] . 图像分割是从 图像中提取感兴趣区域的方法，是计算机视觉的 重要组成部分[2] . 在实际应用中，对图像分割结果 的正确评估是分割方法完善的重要研究手段[3] . 在材料科学领域，随着材料信息学的发展，大 量先进的信息学技术在材料领域获得应用，并展 现出蓬勃的生机和快速发展的态势. 材料图像，特 别是材料显微图像，是材料组织信息的重要载体. 使用图像分割等计算机视觉方法可提取材料图像 中的组织信息，是高效建立材料成分–工艺–组织– 性能关系的重要环节. 本文在材料显微图像分析的应用背景下，重 点综述了图像分割的评估方法，并讨论了不同评 估方法的适用性. 1    图像分割的定义及其在材料显微图像分 析中的应用 图像分割是将图像分成若干个特定的、具有 独特性质区域的技术[4] ，是计算机视觉的重要分 支. 分割结果可进一步为图像识别和图像描述等 图像理解相关任务提供信息支撑. 目前，随着多学科间的深入交叉和融合，科学 工作者开始尝试将以图像分割为代表的计算机视 觉技术运用到表面缺陷检测、金相组织分析、神 经细胞拓扑分析等材料和生物医学领域[5−6] . 如图 1 所示为材料显微图像分割流程图，针对原始的材 料显微图像，采用图像分割方法（Image segmenta￾Original image Image segmentation Prediction result Segmentation evaluation Target result (ground truth) Image segmentation methods Threshold based segmentation methods Gradient based segmentation methods Morphology based segmentation methods Graph based segmentation methods Region growing based segmentation methods Deep learning based segmentation methods Segmentation evaluation methods Pixel based evaluation methods Intra class coincidence based evaluation methods Edge based evaluation methods Clustering based evaluation methods Instance based evaluation methods Microscopic images of al−la alloy Microscopic images of polycrystalline iron 图 1    材料显微图像分割流程示意 Fig.1    Flow chart of material microscopic image segmentation · 138 · 工程科学学报，第 43 卷，第 1 期

马博渊等：图像分割评估方法在显微图像分析中的应用 139· tion methods)提取图像中科研人员感兴趣的组织 评估指标分为基于像素的评估方法、基于类内重合 结构区域m,如图1中的白色区域对应的材料组织 度的评估方法、基于边缘的评估方法、基于聚类 (枝晶和晶粒).通过定量分析材料内部的微观组 的评估方法和基于实例的评估方法等五个类别 织特征（如尺寸和形状分布等），可进一步解构材 2.1基于像素的评估方法 料微观组织特征与材料成分、制备工艺、宏观性 基于像素的评估方法主要包括像素准确率 能之间的内禀关系⑧，进而辅助材料性能的优化和 (Pixel accuracy)和平均准确率(Mean accuracy)7 新材料的研发 两个评估指标 随着计算机硬件以及以深度学习©为代表的 像素准确率统计了预测正确的像素占总像素 机器学习技术的进步，多种基于不同理论的图像分 的比例四，其定义为： 割方法如雨后春笋般涌现，如图1中基于阈值的 分割方法(Threshold based segmentation methods)u, 基于梯度的分割方法(Gradient based segmentation Pixelaccuracy (1) methods)2I、基于形态学的分割方法(Morphology based segmentation methods)l)、基于区域生长的分割 i=0j=0 方法(Region growing based segmentation methods)、 在图像分割任务中，假定有+1个类别(“+1” 基于聚类的分割方法(Clustering based segmentation 指包括背景类)，通常使用P表示真值结果为类而 methods)I吲，基于图论的分割方法(Graph based 预测结果为类的像素点总数，同理，P表示真值 segmentation methods)l和基于深度学习的分割方 结果和预测结果均为类的像素点总数，即预测正 Deep learning-based segmentation methods)7-1s 确的像素点数目 等，上述方法被广泛应用于材料显微图像分析任 平均准确率(Mean accuracy):是对像素准确率 务92训为了进一步理解各种图像分割方法的适 的改进，分别计算每个类内被正确分类像素数的 用性以及改进分割质量，本文对不同方法的分割 比例，进而对所有类求平均值.该方法可缓解当分 结果进行了系统地评估.虽然人的视觉判断是最 割任务中不同类别包含像素数目差异较大时，准 直接的判断方法，但是人的主观不确定性会导致 确率被包含像素数目较多的类别所主导的问题， 算法评估难以量化.因此，采用自动的客观的评估 其定义为： 方法成为图像分割结果评估的主流方式.当前存 在多种基于不同理论的图像分割客观评估方法 Mean accuracy (2) =0 (Segmentation evaluation methods),每种方法均从 Pij 特定的角度评估分割结果的优劣，可应用于不同 =0 目标的图像分割任务中 2.2基于类内重合度的评估方法 本文综述了14种基于不同理论的图像分割客 基于类内重合度的评估方法主要包括平均交 观评估指标，将其分成五大类方法分别展开叙述 并比(Mean intersection over union,MIoU)lm,频权 (图l):基于像素的评估方法(Pixel based evaluation 交并比(Frequency weighted intersection over union, methods)、基于类内重合度的评估方法(Intra class FWIoU)I和Dice系数(Dice score)I三个评估 coincidence based evaluation methods)、基于边界的 指标 评估方法(Edge based evaluation methods)、基于聚 平均交并比MIoU在计算每个类的交并比的 类的评估方法(Clustering based evaluation methods) 基础上求均值，可反映预测结果和真值结果的重 和基于实例的评估方法(Instance based evaluation 合度.IoU(或称为Jacarrd index)的计算方式如 methods).并在材料显微图像分析应用中，选择两种 图2(a)所示，其中P代表预测结果(Predicted 典型材料显微图像分割任务作为分析目标，对比 segmentation),T代表真值结果（也称目标结果， 采用不同分割方法和不同典型噪声下各种评估指 Target truth),其思路是计算真值结果和预测结果 标的性能，进而对不同评估方法的适用性展开讨论. 区域集合的交集和并集之比，即公式(3)所示 POTI 2图像分割评估方法 IoU= PUTI (3) 通过现有文献整理和研究，本文将图像分割 具体地，采用上述描述方法，MoU可定义为：

tion methods）提取图像中科研人员感兴趣的组织 结构区域[7] ，如图 1 中的白色区域对应的材料组织 （枝晶和晶粒）. 通过定量分析材料内部的微观组 织特征（如尺寸和形状分布等），可进一步解构材 料微观组织特征与材料成分、制备工艺、宏观性 能之间的内禀关系[8] ，进而辅助材料性能的优化和 新材料的研发[9] . 随着计算机硬件以及以深度学习[10] 为代表的 机器学习技术的进步，多种基于不同理论的图像分 割方法如雨后春笋般涌现，如图 1 中基于阈值的 分割方法（Threshold based segmentation methods） [11]、 基于梯度的分割方法（Gradient based segmentation methods） [12]、基于形态学的分割方法（Morphology based segmentation methods） [13]、基于区域生长的分割 方法（Region growing based segmentation methods） [14]、 基于聚类的分割方法（Clustering based segmentation methods） [15] ，基于图论的分割方法 （ Graph  based segmentation methods） [16] 和基于深度学习的分割方 法 （ Deep  learning-based  segmentation  methods） [17−18] 等，上述方法被广泛应用于材料显微图像分析任 务[19−21] . 为了进一步理解各种图像分割方法的适 用性以及改进分割质量，本文对不同方法的分割 结果进行了系统地评估. 虽然人的视觉判断是最 直接的判断方法，但是人的主观不确定性会导致 算法评估难以量化. 因此，采用自动的客观的评估 方法成为图像分割结果评估的主流方式. 当前存 在多种基于不同理论的图像分割客观评估方法 （Segmentation evaluation methods），每种方法均从 特定的角度评估分割结果的优劣，可应用于不同 目标的图像分割任务中. 本文综述了 14 种基于不同理论的图像分割客 观评估指标，将其分成五大类方法分别展开叙述 （图 1）：基于像素的评估方法（Pixel based evaluation methods）、基于类内重合度的评估方法（Intra class coincidence based evaluation methods）、基于边界的 评估方法（Edge based evaluation methods）、基于聚 类的评估方法（Clustering based evaluation methods） 和基于实例的评估方法（ Instance based evaluation methods）. 并在材料显微图像分析应用中，选择两种 典型材料显微图像分割任务作为分析目标，对比 采用不同分割方法和不同典型噪声下各种评估指 标的性能，进而对不同评估方法的适用性展开讨论. 2    图像分割评估方法 通过现有文献整理和研究，本文将图像分割 评估指标分为基于像素的评估方法、基于类内重合 度的评估方法、基于边缘的评估方法、基于聚类 的评估方法和基于实例的评估方法等五个类别. 2.1    基于像素的评估方法 基于像素的评估方法主要包括像素准确率 （Pixel accuracy）和平均准确率（Mean accuracy） [17] 两个评估指标. 像素准确率统计了预测正确的像素占总像素 的比例[22] ，其定义为： Pixelaccuracy = ∑ k i=0 pii ∑ k i=0 ∑ k j=0 pi j （1） pi j i j pii i 在图像分割任务中，假定有 k+1 个类别（“+1” 指包括背景类），通常使用 表示真值结果为类 而 预测结果为类 的像素点总数，同理， 表示真值 结果和预测结果均为类 的像素点总数，即预测正 确的像素点数目. 平均准确率（Mean accuracy）：是对像素准确率 的改进，分别计算每个类内被正确分类像素数的 比例，进而对所有类求平均值. 该方法可缓解当分 割任务中不同类别包含像素数目差异较大时，准 确率被包含像素数目较多的类别所主导的问题， 其定义为： Mean accuracy = 1 k+1 ∑ k i=0 pii ∑ k j=0 pi j （2） 2.2    基于类内重合度的评估方法 基于类内重合度的评估方法主要包括平均交 并比（Mean intersection over union, MIoU） [17] ，频权 交并比（ Frequency weighted intersection over union, FWIoU） [17] 和 Dice 系数 （ Dice score） [23] 三个评估 指标. 平均交并比 MIoU 在计算每个类的交并比的 基础上求均值，可反映预测结果和真值结果的重 合 度 . IoU（或称 为 Jacarrd index）的计算方式如 图 2（ a） 所 示 ， 其 中 P 代 表 预 测 结 果 （ Predicted segmentation） ， T 代表真值结果（也称目标结果 ， Target truth），其思路是计算真值结果和预测结果 区域集合的交集和并集之比，即公式（3）所示. IoU = |P∩T| |P∪T| （3） 具体地，采用上述描述方法，MIoU 可定义为[17] ： 马博渊等： 图像分割评估方法在显微图像分析中的应用 · 139 ·

140 工程科学学报，第43卷，第1期 (a) P (b) 距离来反映边缘检测效果 H(T) H(P) 基于边界的评估方法主要包括FoM(Figure of POT merit)2、Completenesst2、Correctness2和Quality] T H(P/DKTIP) H(TIP) 4个评估指标 loU= FoM(Figure of merit)计算公式为： 1 FoM= 51 (7) PUT maxT,lPD台d VI(P,T) 其中，通过人工检视标注得到的真值边缘像素点 Note:VI(P,T)means variation of information;/(T.P)denotes mutual 个数为T:通过检测算法检测的边缘像素点个数 information;H(P/T)and H(T/P)denote conditional entropy. 为P所：检测算法得到的第个边缘像素点和离它最 图2评估指标示意图.(a)IoU指标示意图：(b)V1指标示意图 近的真值边缘像素点间的欧氏距离为d:常量系数 Fig.2 Schematics of evaluation metrics:(a)IoU metric diagram;(b)VI 一般为0.1，表示错位边缘惩罚项.FoM值越大表 metric diagram 明检测出的边缘越靠近人工标注的真值边缘，即 MIoU (4) 该边缘检测算法的检测精度越高. Completeness、Correctness和Quality评估方法 Pii-Pi 0 i=0 在基于欧氏距离的基础上重新定义了匹配的概 其中，P表示真值结果为类j而预测结果为类的像 念.其匹配的计算公式为： 素点总数 B(A)={a∈A3b∈B,da,b)< (8) 频权交并比FWIoU是对原始的MIoU的改进， 设两个像素集合A和B,其中a和b分别为两个 即根据每一类出现的频率对各个类的1oU进行加 集合中的两个元素，d(a,b)表示两个元素之间的欧 权求和，定义为： 氏距离.B(A)指集合A中满足与距集合B某一元素 的距离小于阈值的元素的子集.根据上述定义， 分别计算预测边缘像素集合P和真值边缘像素集 =0 FWIoU= (5) 合T的T(P)和p(T),T(P)代表预测结果中与真值 P时+ Pii-Pi 结果相匹配的元素的子集，仰(T)代表真值结果中 =0=0 j=0 与预测结果相匹配的元素的子集.如图3所示 Dice系数(Dice score)是图像分割结果衡量的 (a) B(P) (b) 4(T) 常用指标，其计算公式为： -P 2POTI Dice= (6) IPI+ITI 其中，PnT代表预测结果P和真值结果T之间的重 Pred boundary -Target boundary 合像素数量，P表示预测结果P中的像素数量，同 图3边缘检测匹配示意图.()令预测边界与真值边界进行匹配： 理T表示真值结果T中的像素数量，通常P、T集合 (b)令真值边界与预测边界进行匹配 仅统计前景区域的像素.Dice score实质上是两个 Fig.3 Matching schematics of edge detection:(a)matching ground truth with prediction skeleton;(b)matching prediction with ground truth 样本间的重叠度量(0~1)，其中该指标为1代表 skeleton 完全重叠，表示预测结果较好.Dice score相比于 在此基础上，Completeness的计算公式为： IoU的区别在于分子和分母间均增加PnT的数目 2.3基于边界的评估方法 Completeness=(P (9) IPI 边界检测也称边缘检测，是指将图像分成边 其中，P为预测边缘像素集合P中的边缘像素个 缘区域和非边缘区域.由于在边缘检测任务中，边 数.同理，uT(P,up(T)和T份别代表各自集合中 缘区域往往仅占据少量像素区域，并且绘制真值 的边缘像素个数 边缘时容易产生误差，致使预测边缘和真实边缘 Correctness的计算公式为： 在像素上通常无法一一对应，因此该类评估方法 主要通过计算预测边缘像素和真实边缘像素间的 Correctness=(T) (10) ITI

MIoU = 1 k+1 ∑ k i=0 pii ∑ k j=0 pi j + ∑ k j=0 pji − pii （4） pji 其中， 表示真值结果为类 j 而预测结果为类 i 的像 素点总数. 频权交并比 FWIoU 是对原始的 MIoU 的改进， 即根据每一类出现的频率对各个类的 IoU 进行加 权求和，定义为[17] ： FWIoU = 1 ∑ k i=0 ∑ k j=0 pi j ∑ k i=0 ∑ k j=0 pi j pii ∑ k j=0 pi j + ∑ k j=0 pji − pii （5） Dice 系数（Dice score）是图像分割结果衡量的 常用指标，其计算公式为[23] : Dice = 2|P∩T| |P|+|T| （6） |P∩T| P T |P| P |T| T P T |P∩T| 其中， 代表预测结果 和真值结果 之间的重 合像素数量， 表示预测结果 中的像素数量，同 理 表示真值结果 中的像素数量，通常 、 集合 仅统计前景区域的像素. Dice score 实质上是两个 样本间的重叠度量（0～1），其中该指标为 1 代表 完全重叠，表示预测结果较好. Dice score 相比于 IoU 的区别在于分子和分母间均增加 的数目. 2.3    基于边界的评估方法 边界检测也称边缘检测，是指将图像分成边 缘区域和非边缘区域. 由于在边缘检测任务中，边 缘区域往往仅占据少量像素区域，并且绘制真值 边缘时容易产生误差，致使预测边缘和真实边缘 在像素上通常无法一一对应，因此该类评估方法 主要通过计算预测边缘像素和真实边缘像素间的 距离来反映边缘检测效果. 基于边界的评估方法主要包括 FoM（Figure of merit） [24]、Completeness[25]、Correctness[25] 和Quality[25] 4 个评估指标. FoM（Figure of merit）计算公式为： FoM = 1 max(|T|,|P|) ∑ |P| i=1 1 ξd 2 i （7） |T| |P| i di ξ 其中，通过人工检视标注得到的真值边缘像素点 个数为 ；通过检测算法检测的边缘像素点个数 为 ；检测算法得到的第 个边缘像素点和离它最 近的真值边缘像素点间的欧氏距离为 ；常量系数 一般为 0.1，表示错位边缘惩罚项. FoM 值越大表 明检测出的边缘越靠近人工标注的真值边缘, 即 该边缘检测算法的检测精度越高. Completeness、Correctness 和 Quality 评估方法 在基于欧氏距离的基础上重新定义了匹配的概 念. 其匹配的计算公式为： µB(A) = {a ∈ A|∃b ∈ B,d(a,b) < θ} （8） A B a b d(a,b) µB(A) A B θ P T µT(P) µP(T) µT(P) µP(T) 设两个像素集合 和 ，其中 和 分别为两个 集合中的两个元素， 表示两个元素之间的欧 氏距离. 指集合 中满足与距集合 某一元素 的距离小于阈值 的元素的子集. 根据上述定义， 分别计算预测边缘像素集合 和真值边缘像素集 合 的 和 ， 代表预测结果中与真值 结果相匹配的元素的子集， 代表真值结果中 与预测结果相匹配的元素的子集. 如图 3 所示. μT (a) (P) P T θ Pred boundary μP (T) (b) P T θ Target boundary 图 3    边缘检测匹配示意图. （a）令预测边界与真值边界进行匹配； （b）令真值边界与预测边界进行匹配 Fig.3    Matching schematics of edge detection：(a) matching ground truth with  prediction  skeleton;  (b)  matching  prediction  with  ground  truth skeleton 在此基础上，Completeness 的计算公式为： Completeness = |µT(P)| |P| （9） |P| P |µT(P)| |µP(T)| |T| 其中， 为预测边缘像素集合 中的边缘像素个 数. 同理， ， 和 分别代表各自集合中 的边缘像素个数. Correctness 的计算公式为： Correctness = |µP(T)| |T| （10） (a) P P∩T P ∩ T T IoU= (b) H(P) H(P/T) I(T/P) H(T/P) H(T) VI(P, T) Note: VI(P,T) means variation of information; I(T,P) denotes mutual information; H(P/T) and H(T/P) denote conditional entropy. 图 2    评估指标示意图. （a）IoU 指标示意图；（b）VI 指标示意图 Fig.2    Schematics of evaluation metrics: (a) IoU metric diagram; (b) VI metric diagram · 140 · 工程科学学报，第 43 卷，第 1 期