第34卷第5期 北京理工大学学报 Vol 34 2014年5月 Transactions of Beijing Institute of Technology May 2014 显微细胞图像分析方法的研究进展 刘志文,安兴,李衡,时永刚,黄亚丽,杨婷 (北京理工大学信息与电子学院,北京100081) 摘要:阐述了图像处理技术在显微细胞图像处理领域的发展现状,包括显微细胞图像预处理算法、细胞分割算 法、细胞跟踪算法、细胞形状变化分析、3D细胞图像分析等内容.指出了显微细胞图像处理研究中的难点,如非刚 体形状的描述,旋转、平移、尺度变化对形状描述影响的消除,3D形状信息的提取和压缩等.并探讨了显微细胞图 像处理由静态图像分析向动态图像分析,由2D图像分析向3D图像分析,由定性分析向定量分析的发展趋势 关键词:显微细胞图像;细胞分割;细胞跟踪;形状分析;3D细胞图像 中图分类号:TN911.73 文献标志码:A 文章编号:1001-0645(2014)05-0441-13 Progress in Cell Image processing and analysis LIU Zhi-wen, AN Xing, LI Heng, SHI Yong-gang, HUANG Ya-li, YANG Ting (School of Information and Electronics, Beijing Institute of Technology, Beijing 100081, China) Abstract: In the paper, the research status of the art of image processing algorithms in the field of :ll image analysis are presented, which including cell image preprocessing, cell segmentation cell tracking, cell shape analysis, and 3D cell image analysis. And the existing problems are pointed out, such as the non-rigid shape representation, the elimination of shape pose, 3D information extraction and compression. In addition, this paper also introduces the important tendency in the field, which is to quantitatively analyze dynamic images and 3D images. Key words: microscopic image; cell segmentation; cell tracking; shape analysis; 3D cell image 细胞是生物体最基本的结构和功能单元,在人和图像处理技术的日趋成熟,使得计算机图像处理 体内具有不同的形态,其大小、形状和密度等形态参技术在生物医学中的应用方兴未艾,极大地推动了 数均随其所处的生理、病理条件变化而变化.因此,显微细胞图像分析技术的发展.细胞图像处理技术 提取单个或多个细胞的形态特征参数来探究人体的与医学分析方法的结合能够取代医务人员在显微镜 生理或病理现象具有重要的意义和广泛的应用前下直接观察细胞从而做出主观判断的传统方法,具 景,并早已成为临床医学及生物研究中一个重要的有客观性强、工作效率高、准确性高、可靠性高等优 方向[-.在过去几十年中,为了研究细胞的形态变势7.这种定量分析的方法在临床诊断和治疗中 化,检测细胞的变异等,医务人员主要是通过显微镜起着越来越重要的作用;同时,它正成为生物医学研 对细胞样本直接进行观察.这种方法不仅耗时、繁究中的主要分析测试手段,并推动生物医学研究由 琐,同时还存在一定的主观性和不确定性 定性向定量方面发展 显微细胞图像处理是医学图像处理领域重要的 本文主要介绍了利用图像处理技术对细胞显微 分支之一,是利用计算机图像处理技术和模式识别图像进行分析的国内外研究进展,给出了对细胞显 技术进行显微细胞图像定量分析和病变识别的方微图像进行预处理、分割、跟踪、形态变化分析、分类 法[4.近年来,随着计算机及相关技术的迅速发展的典型算法,并对本领域的未来研究方向进行了 收稿日期:2014-03-20 基金项目:国家自然科学基金资助项目(61271112) 作者简介:刘志文(1962-),男,博士,教授,E-mail:zwliu@bit.edu.cn
收稿日期:2014 03 20 基金项目:国家自然科学基金资助项目(61271112) 作者简介:刘志文(1962—),男,博士,教授,E-mail:zwliu@bit.edu.cn. 第34卷 第5期 2014年5月 北 京 理 工 大 学 学 报 TransactionsofBeijingInstituteofTechnology Vol.34 No.5 May2014 显微细胞图像分析方法的研究进展 刘志文, 安兴, 李衡, 时永刚, 黄亚丽, 杨婷 (北京理工大学 信息与电子学院,北京 100081) 摘 要:阐述了图像处理技术在显微细胞图像处理领域的发展现状,包括显微细胞图像预处理算法、细胞分割算 法、细胞跟踪算法、细胞形状变化分析、3D细胞图像分析等内容.指出了显微细胞图像处理研究中的难点,如非刚 体形状的描述,旋转、平移、尺度变化对形状描述影响的消除,3D 形状信息的提取和压缩等.并探讨了显微细胞图 像处理由静态图像分析向动态图像分析,由2D图像分析向3D图像分析,由定性分析向定量分析的发展趋势. 关键词:显微细胞图像;细胞分割;细胞跟踪;形状分析;3D细胞图像 中图分类号:TN911.73 文献标志码:A 文章编号:1001-0645(2014)05-0441-13 ProgressinCellImageProcessingandAnalysis LIUZhi-wen, ANXing, LIHeng, SHIYong-gang, HUANGYa-li, YANGTing (SchoolofInformationandElectronics,BeijingInstituteofTechnology,Beijing100081,China) Abstract:Inthepaper,theresearchstatusoftheartofimageprocessingalgorithmsinthefieldof cellimageanalysisarepresented,whichincludingcellimagepreprocessing,cellsegmentation, celltracking,cellshapeanalysis,and3Dcellimageanalysis.Andtheexistingproblemsare pointedout,suchasthenon-rigidshaperepresentation,theeliminationofshapepose,3D informationextractionandcompression.Inaddition,thispaperalsointroducestheimportant tendencyinthefield,whichistoquantitativelyanalyzedynamicimagesand3Dimages. Keywords:microscopicimage;cellsegmentation;celltracking;shapeanalysis;3Dcellimage 细胞是生物体最基本的结构和功能单元,在人 体内具有不同的形态,其大小、形状和密度等形态参 数均随其所处的生理、病理条件变化而变化.因此, 提取单个或多个细胞的形态特征参数来探究人体的 生理或病理现象具有重要的意义和广泛的应用前 景,并早已成为临床医学及生物研究中一个重要的 方向[13].在过去几十年中,为了研究细胞的形态变 化,检测细胞的变异等,医务人员主要是通过显微镜 对细胞样本直接进行观察.这种方法不仅耗时、繁 琐,同时还存在一定的主观性和不确定性. 显微细胞图像处理是医学图像处理领域重要的 分支之一,是利用计算机图像处理技术和模式识别 技术进行显微细胞图像定量分析和病变识别的方 法[45].近年来,随着计算机及相关技术的迅速发展 和图像处理技术的日趋成熟,使得计算机图像处理 技术在生物医学中的应用方兴未艾,极大地推动了 显微细胞图像分析技术的发展.细胞图像处理技术 与医学分析方法的结合能够取代医务人员在显微镜 下直接观察细胞从而做出主观判断的传统方法,具 有客观性强、工作效率高、准确性高、可靠性高等优 势[67].这种定量分析的方法在临床诊断和治疗中 起着越来越重要的作用;同时,它正成为生物医学研 究中的主要分析测试手段,并推动生物医学研究由 定性向定量方面发展. 本文主要介绍了利用图像处理技术对细胞显微 图像进行分析的国内外研究进展,给出了对细胞显 微图像进行预处理、分割、跟踪、形态变化分析、分类 的典型算 法,并 对 本 领 域 的 未 来 研 究 方 向 进 行 了
北京理工大学学报 第34卷 展望 1显微细胞图像预处理 图像预处理是对质量不高的原始图像进行增强 和复原的处理手段,以便提取有用信息.在显微细 胞图像的获取过程中,通常会因成像设备、光学系统 (a)原图像 线性模型预处理结果图 等存在噪声及干扰使得图像模糊,难以获得细胞边图1利用相差显微镜成像原理的线性模型对细胞图像预处理示 缘等特征信息.所以预先对显微细胞图像进行去除Fg.1 Schematic diagram of cell image preprocessing based or 噪声和增强细节等处理,是整个细胞图像处理流程 the linear model using the optical properties of phas 中的关键.常见的预处理方法有平滑滤波、数学形 contrast microscopes 态学滤波、多分辨率小波变换、多光谱波段处理等算2显微细胞图像分割方法 法,这些算法都是将显微细胞图像当作“自然”图像 进行处理,并没有过多考虑显微镜成像原理所引起 细胞分割是根据彩色、灰度、几何形状、位置信 的“误差 息等特征把细胞图像划分成若干个互不相交的区 近几年,美国卡内基梅陇大学 Takeo Kanade域,使得这些特征在同一个区域中表现出一致性或 教授所在的课题组通过对相差显微镜( phase相似性,而在不同区域间表现出明显的不同.作为 contrast microscope)成像过程中光学性质的研究发医学图像处理中最为基础和重要的领域之一,细胞 现[,从相差显微镜中观察到的细胞并不是其真分割是对细胞图像进行识别、计数、跟踪、形态分析 实大小他们通过计算得到了光学显微镜成像的数的基本前提,是进行细胞信息提取、分析与定量研究 学模型,提出一种通过还原显微镜成像原理对细胞的关键,直接关系到诊断的可靠性,同时也是医学图 显微图像进行预处理的方法,并利用其对相差显微像处理领域的一个经典难题 图像进行了修复。根据成像过程的光学路径,相差2.1基于阈值的细胞分割方法 显微成像过程可定义为一个线性模型g=HJf,其中 基于阈值的细胞分割方法主要是根据细胞图像 g为观察得到的图像(显微镜成像),∫为经过修复的灰度直方图,通过设置阈值把像素点按灰度级分 后的图像(重构图像).通过求取此模型的二次最优为内部点集和外部点集,从而实现细胞的分割.对 约束方程的近似解即可得到修复后的图像,其约束于经过预处理得到的清晰细胞图像,可以通过以下 方程为 阈值分割公式定义出多个区域 O(f)=H-g+wL∫+nAf 1T≤f(x,y)≤T (2) (1) 0其他 式中L为相邻像素之间相似性的拉普拉斯矩阵,定式中:f(x,y)为原图像灰度值;g(x,y)为根据周值 义了图像的平滑度;A为稀疏正则化的正对角矩阵 T-1和T;所定义的第i个分割的区域的灰度值 定义了图像的稀疏度;,和xr为其相应的权重系 阈值分割方法的优势在于计算量小、性能稳定, 数;·‖。为l。范数. 适用于目标和背景的灰度范围差别较大的细胞图像 文献[9]中分别对人体肌肉干细胞和牛血管细此外,因为它仅仅考虑了图像的灰度信息而不利用图 胞进行了分析实验结果表明经过预处理后的分割像的空间信息,对噪声和灰度不均匀图像比较敏 精度明显高于直接分割的精度 感[,针对这些问题相继出现了双阈值分割法、自适 图1给出了利用相差显微镜成像原理对细胞图应阈值分割法、多尺度阈值法、基于过渡区的方法以 像进行预处理之后的结果图,从图1b)中可以看出及结合局部灰度和形状信息的阈值方法等[1 实际细胞形状与从原图像观察到的细胞形状是有 2.2基于边缘检测的细胞分割方法 定差别的 基于边缘检测的细胞分割方法是通过检测相邻 这也表明如果希望通过观察显微图像中的细胞像素灰度值的突变性来获得不同区域之间的边缘 形状信息进行辅助诊断或治疗,根据其成像原理对通常利用局部微分算子对图像中灰度的变化进行检 图像进行预处理是十分必要的 测.常见的边缘检测算子有 Roberts算子、 Prewitt
展望. 1 显微细胞图像预处理 图像预处理是对质量不高的原始图像进行增强 和复原的处理手段,以便提取有用信息.在显微细 胞图像的获取过程中,通常会因成像设备、光学系统 等存在噪声及干扰使得图像模糊,难以获得细胞边 缘等特征信息.所以预先对显微细胞图像进行去除 噪声和增强细节等处理,是整个细胞图像处理流程 中的关键.常见的预处理方法有平滑滤波、数学形 态学滤波、多分辨率小波变换、多光谱波段处理等算 法,这些算法都是将显微细胞图像当作“自然”图像 进行处理,并没有过多考虑显微镜成像原理所引起 的“误差”. 近几 年,美 国 卡 内 基 梅 陇 大 学 TakeoKanade 教授 所 在 的 课 题 组 通 过 对 相 差 显 微 镜 (phase contrastmicroscope)成像过程中光学性质的研究发 现[89],从相差显微镜中观察到的细胞并不是其真 实大小.他们通过计算得到了光学显微镜成像的数 学模型,提出一种通过还原显微镜成像原理对细胞 显微图像进行预处理的方法,并利用其对相差显微 图像进行了修复.根据成像过程的光学路径,相差 显微成像过程可定义为一个线性模型g=Hf,其中 g为观察得到的图像(显微镜成像),f 为经过修复 后的图像(重构图像).通过求取此模型的二次最优 约束方程的近似解即可得到修复后的图像,其约束 方程为 O(f)= Hf-g 2 2 +wsf TLf+wr Λf p p. (1) 式中:L 为相邻像素之间相似性的拉普拉斯矩阵,定 义了图像的平滑度;Λ 为稀疏正则化的正对角矩阵, 定义了图像的稀疏度;ws 和 wr 为其相应的权重系 数; · p 为lp 范数. 文献[9]中分别对人体肌肉干细胞和牛血管细 胞进行了分析,实验结果表明经过预处理后的分割 精度明显高于直接分割的精度. 图1给出了利用相差显微镜成像原理对细胞图 像进行预处理之后的结果图,从图1(b)中可以看出 实际细胞形状与从原图像观察到的细胞形状是有一 定差别的. 这也表明如果希望通过观察显微图像中的细胞 形状信息进行辅助诊断或治疗,根据其成像原理对 图像进行预处理是十分必要的. 图1 利用相差显微镜成像原理的线性模型对细胞图像预处理示 意图[8] Fig.1 Schematicdiagram ofcellimagepreprocessingbasedon thelinear modelusingtheopticalpropertiesofphase contrastmicroscopes 2 显微细胞图像分割方法 细胞分割是根据彩色、灰度、几何形状、位置信 息等特征把细胞图像划分成若干个互不相交的区 域,使得这些特征在同一个区域中表现出一致性或 相似性,而在不同区域间表现出明显的不同.作为 医学图像处理中最为基础和重要的领域之一,细胞 分割是对细胞图像进行识别、计数、跟踪、形态分析 的基本前提,是进行细胞信息提取、分析与定量研究 的关键,直接关系到诊断的可靠性,同时也是医学图 像处理领域的一个经典难题. 2.1 基于阈值的细胞分割方法 基于阈值的细胞分割方法主要是根据细胞图像 的灰度直方图,通过设置阈值把像素点按灰度级分 为内部点集和外部点集,从而实现细胞的分割.对 于经过预处理得到的清晰细胞图像,可以通过以下 阈值分割公式定义出多个区域. g(x,y)= Ii Ti-1 ≤f(x,y)≤Ti {0 其他 . (2) 式中:f(x,y)为原图像灰度值;g(x,y)为根据阈值 Ti-1和Ti 所定义的第i个分割的区域的灰度值. 阈值分割方法的优势在于计算量小、性能稳定, 适用于目标和背景的灰度范围差别较大的细胞图像. 此外,因为它仅仅考虑了图像的灰度信息而不利用图 像的空 间 信 息,对 噪 声 和 灰 度 不 均 匀 图 像 比 较 敏 感[10].针对这些问题相继出现了双阈值分割法、自适 应阈值分割法、多尺度阈值法、基于过渡区的方法以 及结合局部灰度和形状信息的阈值方法等[1114]. 2.2 基于边缘检测的细胞分割方法 基于边缘检测的细胞分割方法是通过检测相邻 像素灰度值的突变性来获得不同区域之间的边缘. 通常利用局部微分算子对图像中灰度的变化进行检 测.常见的边缘检测算子有 Roberts算子、Prewitt 442 北 京 理 工 大 学 学 报 第 34 卷
第5期 刘志文等:显微细胞图像分析方法的研究进展 443 算子、 Sobel算子、 Canny算子、 Laplacian算子等.对已检测的边缘点进行后续的跟踪、连接,从而勾勒 边缘检测算子能够利用微分特性获得灰度变化信出有实际意义的细胞边界 息,快速准确地找到边缘,但对噪声较为敏感,容易 图2给出了利用几种边缘检测算法对淋巴细胞 受到伪轮廓或边界空白的干扰.并且,边缘检测算进行分割的结果图,其中,视野中心的细胞为淋巴细 子获取的边缘信息往往会因为这些信息不够突出而胞,周围细胞是红细胞 产生间隙,不能形成包围细胞的封闭曲线,这就需要 a)原始图像 roberts算子 (d)Sole算子 Canny算子 Laplacian算子 图2基于不同边缘检测算子的淋巴细胞分割示意图 Fig 2 Lymphocyte segmentation based on several edge detection operators 2.3基于区域的细胞分割方法 性力及外部图像力、各种驱动力的作用下,曲线逐渐 基于区域的细胞分割方法是指连接具有相同或逼近目标的轮廓,当内部力和外部力达到平衡时曲 相似性质的邻近像素点而得到细胞分割图像的方线停止移动,最终分割、跟踪出目标.该曲线在图像 法.这类方法的优势在于利用了空间信息和像素间中移动主要是通过迭代来极小化能量函数完成 的关联,但是,通常需要一定的先验知识,如种子信 TEn (c(s))+E(c(s))ds. (3) 息.常见的基于区域的分割方法包括区域生长、区 域分裂和合并分割算法 式中:c(s)为参数化曲线,c(s)=[x(s),y(s)],s∈ 2.4基于活动轮廓的细胞分割方法 [0,1];Em为内部力,表示活动轮廓本身的能量,它 基于活动轮廓模型的细胞分割方法主要包括的作用是使轮廓曲线伸缩、弯曲;Eax表示由目标图 Spake3、 Level setl等一系列综合利用区域与边像的性质而产生的外部力量,使得轮廓曲线向着目 界信息,将图像数据、初始轮廓的选取、目标轮廓特标移动;Em由曲线的一阶导数和二阶导数组成,其 征以及知识的约束条件都集成在一个特征提取过程形式如下 中的方法.活动轮廓模型的方法综合利用了区域与 Ei(c(s)=(a(s)|c(s)|2+ 边界信息,从图像数据中获得约束信息和目标的位 置、大小和形状等先验知识,可以有效地对细胞这样 B(s)|c(s)|2),s∈[0,1] (4) 不规则的非刚体目标进行分割 式中:c(s)表示轮廓曲线长度的变化率,用于控制 Snake模型,又称为主动轮廓模型,由Kass于轮廓曲线的连续性;系数a称为弹力系数;二阶项 1988年提出,主要用于非刚体目标的分割及跟c(s)表示轮廓曲线曲率的变化率,用于控制曲线的 踪[.它是一条可移动的曲线,在内部弹性力、刚弯曲程度,可以使得轮廓在运动过程中保持光滑性
算子、Sobel算 子、Canny 算 子、Laplacian 算 子 等. 边缘检测算子能够利用微分特性获得灰度变化信 息,快速准确地找到边缘,但对噪声较为敏感,容易 受到伪轮廓或边界空白的干扰.并且,边缘检测算 子获取的边缘信息往往会因为这些信息不够突出而 产生间隙,不能形成包围细胞的封闭曲线,这就需要 对已检测的边缘点进行后续的跟踪、连接,从而勾勒 出有实际意义的细胞边界. 图2给出了利用几种边缘检测算法对淋巴细胞 进行分割的结果图,其中,视野中心的细胞为淋巴细 胞,周围细胞是红细胞. 图2 基于不同边缘检测算子的淋巴细胞分割示意图 Fig.2 Lymphocytesegmentationbasedonseveraledgedetectionoperators 2.3 基于区域的细胞分割方法 基于区域的细胞分割方法是指连接具有相同或 相似性质的邻近像素点而得到细胞分割图像的方 法.这类方法的优势在于利用了空间信息和像素间 的关联,但是,通常需要一定的先验知识,如种子信 息.常见的基于区域的分割方法包括区域生长、区 域分裂和合并分割算法. 2.4 基于活动轮廓的细胞分割方法 基于活动轮廓模型的细胞分割方法主要包括 Snake [15]、LevelSet [16]等一系列综合利用区域与边 界信息,将图像数据、初始轮廓的选取、目标轮廓特 征以及知识的约束条件都集成在一个特征提取过程 中的方法.活动轮廓模型的方法综合利用了区域与 边界信息,从图像数据中获得约束信息和目标的位 置、大小和形状等先验知识,可以有效地对细胞这样 不规则的非刚体目标进行分割. Snake模型,又称为主动轮廓模型,由 Kass于 1988 年 提 出,主 要 用 于 非 刚 体 目 标 的 分 割 及 跟 踪[15].它是一条可移动的曲线,在内部弹性力、刚 性力及外部图像力、各种驱动力的作用下,曲线逐渐 逼近目标的轮廓,当内部力和外部力达到平衡时曲 线停止移动,最终分割、跟踪出目标.该曲线在图像 中移动主要是通过迭代来极小化能量函数完成, Esnake =∫ 1 0 [Eint(c(s))+Eext(c(s))]ds. (3) 式中:c(s)为参数化曲线,c(s)=[x(s),y(s)],s∈ [0,1];Eint为内部力,表示活动轮廓本身的能量,它 的作用是使轮廓曲线伸缩、弯曲;Eext表示由目标图 像的性质而产生的外部力量,使得轮廓曲线向着目 标移动;Eint由曲线的一阶导数和二阶导数组成,其 形式如下: Eint(c(s))= 1 2 (α(s)|c′ (s)|2+ β(s)|c″ (s)|2),s∈[0,1]. (4) 式中:c′ (s)表示轮廓曲线长度的变化率,用于控制 轮廓曲线的连续性;系数α 称为弹力系数;二阶项 c″ (s)表示轮廓曲线曲率的变化率,用于控制曲线的 弯曲程度,可以使得轮廓在运动过程中保持光滑性, 第5期 刘志文等:显微细胞图像分析方法的研究进展 443
444 北京理工大学学报 第34卷 并且长度不发生变化;系数β称为强度系数.如果 为了降低能量最小化过程的复杂度,将分水岭 能够恰当地调整弹力系数和强度系数,则轮廓曲线变换应用其中,对于骨髓图像中白细胞的分割具有 在形变过程中可以很好地保持其连续性与光滑性.较好的效果.法国巴斯特研究所的 Zimmer提出 正是基于上述优点,众多学者十分关注此算法使用参数化主动轮廓模型对细胞进行分割 并将其应用于细胞分割、跟踪领域.Meas- Yedid Thevenaz[201提出一种称之为 Snakuscule的算法 提出应用改进的 Snake模型,即 Gradient vector该算法以节省 Snake的运算时间从而提高效率为目 Field Snake(GVF- Snake),来扩大 Snake的边界搜的,通过利用两个控制点而不是传统算法中的曲线 索范围,使细胞轮廓可以形变到理想的位置.来实现分割.但是,主动轮廓模型算法最大的缺陷 Jaesang Park给出一种新的目标边界提取的方在于需要经过大量的迭代运算,因此运算量大、耗时 法—— Watersnake,算法基于 Snake,其中能量函数长;同时不适用于细胞跟踪中会发生拓扑变化的目 的最小化通过动态规划算法实现,因为能够搜索整标(如细胞分裂) 个区域的能量场,所以鲁棒性更强 a)初始轮廓 (b)迭代过程 (e)分割结果 图3基于 Snake模型的淋巴细胞分割示意图 Fig 3 Lymphocyte segmentation based on Snake model 2.5基于特定理论的细胞分割方法 max{k∈[0,N-1]1p∈Pr,(n(T(D) 基于特定理论的细胞分割方法主要包括基于数 (5) 学形态学的分割方法、基于小波变换的方法、基于神式中:p()为用标记图像J对掩模图像r的二值形 经网络的分割方法等。其中,数学形态学理论以其态重构;T()表示对灰度图像以阈值k进行二值化 运算简单、效率高、且数学理论严格而具有广泛应得到的图像 用.它以图像的形态特征作为研究对象,主要内容 Kenong Wu等2提出一种结合变异数图像、阈 是设计一整套概念、变换和算法用以描述图像的基值分割等处理方法先求出细胞初始轮廓,然后再结合 本特征和基本结构,即描述一副图像中元素与元素、数学形态学图像处理方法判断图像特征对细胞显微 部分与部分之间的关系.数学形态学处理可以简化图像中单一细胞进行分割. Anoraganingrum wil2 图像数据并保持它们的基本形状特征,并除去不相提出利用简单的中值滤波结合数学形态学图像处理 干的结构.图像的膨胀、腐蚀、开运算、闭运算是数方法找出细胞边界.清华大学的康维等21提出分水 学形态学中基本的操作,形态学灰度重构算法是其岭结合形态学滤波的细胞分割方法,先利用k均值聚 中较为复杂的元素,也是其中的代表作 类和直方图上的分水岭变换对像素进行聚类,得到细 灰度图像形态重构的定义如下:设J和I是同胞图像背景、细胞质和细胞核的粗略估计,然后利用 定义域D1上的两个灰度图像,取值范围为离散形态学滤波和分水岭变换提取细胞核、细胞质的边 集合10,1,…N-1},且J≤I(即,对于每一个像素界,重点解决邻接或者重叠的细胞核或者细胞质之间 p∈D1,J(p)≤I(p),则用J(标记图像 marker)对的分割问题. Chuangfeng lu等【2利用数学形态学灰 I(掩膜图像mask)的灰度图像形态重构可由式(5)度重构的方法对细胞视频图像进行预处理,然后基于 给出[21: 灰度直方图进行阈值分割,从而提取淋巴细胞.图 vp∈D1,p1()(p)= 4给出了基于此方法的分割过程示意图
并且长度不发生变化;系数β称为强度系数.如果 能够恰当地调整弹力系数和强度系数,则轮廓曲线 在形变过程中可以很好地保持其连续性与光滑性. 正是基于上述优点,众多学者十分关注此算法 并将其应用于细胞分割、跟踪领域.Meas-Yedid [17] 提出应 用 改 进 的 Snake模 型,即 GradientVector FieldSnake(GVF-Snake),来扩大 Snake的边界搜 索 范 围,使 细 胞 轮 廓 可 以 形 变 到 理 想 的 位 置. JaesangPark [18]给出一种新的目标边界提 取 的 方 法———Watersnake,算法基于 Snake,其中能量函数 的最小化通过动态规划算法实现,因为能够搜索整 个区域的能量场,所以鲁棒性更强. 为了降低能量最小化过程的复杂度,将分水岭 变换应用其中,对于骨髓图像中白细胞的分割具有 较好的效果.法国巴斯特研究所的 Zimmer [19]提出 使用 参 数 化 主 动 轮 廓 模 型 对 细 胞 进 行 分 割. Thevenaz [20]提出一种称之为 Snakuscule的算法, 该算法以节省Snake的运算时间从而提高效率为目 的,通过利用两个控制点而不是传统算法中的曲线 来实现分割.但是,主动轮廓模型算法最大的缺陷 在于需要经过大量的迭代运算,因此运算量大、耗时 长;同时不适用于细胞跟踪中会发生拓扑变化的目 标(如细胞分裂). 图3 基于Snake模型的淋巴细胞分割示意图 Fig.3 LymphocytesegmentationbasedonSnakemodel 2.5 基于特定理论的细胞分割方法 基于特定理论的细胞分割方法主要包括基于数 学形态学的分割方法、基于小波变换的方法、基于神 经网络的分割方法等.其中,数学形态学理论以其 运算简单、效率高、且数学理论严格而具有广泛应 用.它以图像的形态特征作为研究对象,主要内容 是设计一整套概念、变换和算法用以描述图像的基 本特征和基本结构,即描述一副图像中元素与元素、 部分与部分之间的关系.数学形态学处理可以简化 图像数据并保持它们的基本形状特征,并除去不相 干的结构.图像的膨胀、腐蚀、开运算、闭运算是数 学形态学中基本的操作,形态学灰度重构算法是其 中较为复杂的元素,也是其中的代表作. 灰度图像形态重构的定义如下:设J 和I 是同 一定义域DI 上的两个灰度图像,取值范围为离散 集合{0,1,…,N-1},且J≤I(即,对于每一个像素 p∈DI,J(p)≤I(p)),则用J(标记图像 marker)对 I(掩膜图像 mask)的灰度图像形态重构可由式(5) 给出[21]: ∀p ∈DI,ρI(J)(p)= max{k∈ [0,N -1]|p ∈ρTk (I)(Tk(J))}. (5) 式中:ρI(J)为用标记图像J 对掩模图像I 的二值形 态重构;Tk()表示对灰度图像以阈值k进行二值化 得到的图像. KenongWu等[22]提出一种结合变异数图像、阈 值分割等处理方法先求出细胞初始轮廓,然后再结合 数学形态学图像处理方法判断图像特征对细胞显微 图像中单一细胞进行分割.Anoraganingrum Dwi [23] 提出利用简单的中值滤波结合数学形态学图像处理 方法找出细胞边界.清华大学的康维等[24]提出分水 岭结合形态学滤波的细胞分割方法,先利用k均值聚 类和直方图上的分水岭变换对像素进行聚类,得到细 胞图像背景、细胞质和细胞核的粗略估计,然后利用 形态学滤波和分水岭变换提取细胞核、细胞质的边 界,重点解决邻接或者重叠的细胞核或者细胞质之间 的分割问题.ChuangfengLü等[25]利用数学形态学灰 度重构的方法对细胞视频图像进行预处理,然后基于 灰度直方图进行阈值分割,从而提取淋巴细胞.图 4给出了基于此方法的分割过程示意图. 444 北 京 理 工 大 学 学 报 第 34 卷
第5期 刘志文等:显微细胞图像分析方法的研究进展 原始图像 b)灰度重构 (c)二值化分割 (e)分割结果 图4基于数学形态学灰度重构淋巴细胞分割示意图 Fig. 4 Lymphocyte segmentation based on morphological gray-scale reconstruction 3细胞图像序列分析方法 文献[36-41]对活动轮廓模型方法做了一系列 改进:在能量函数中加入形状和尺寸限制、加入 对显微细胞图像进行分割之后,通常会进行细血流方向信息、采用VFC( vector field 胞计数细胞识别与分类、细胞形态学参数的度量等 convolution)外力场;还采用了水平集方法[吗、梯 相关研究,这些基于静态细胞图像的研究是早期细度倒系数方差方法、仿射变换不变性方法对 胞图像处理领域的研究重点.然而,活细胞中白细胞进行分割和跟踪研究.此外,文献[42]还针 蕴含着生命体大量的信息,细胞的动态特性尤其是对图像序列中细胞的跟踪问题, 形态变化在机体的病理、生理过程中,如免疫反应 将其转化为逐帧分割每幅图像:首先使用边界 伤口愈合、癌细胞扩散转移等,更能反映机体的健康方向敏感的非线性滤波器进行检测,然后利用 状况匚.因此,定量分析细胞的形变、能动性、运GVF-Sake进行逐帧分割从而实现跟踪.文献[43] 动性对于了解生物体最基本的生物、生理现象具有提出一种移动视野中细胞跟踪的算法,主要是形态 更为重要的意义.这也是越来越多的研究者将关注学图像处理的方法进行背景的提取,然后利用主动 点投向了细胞图像序列分析中的主要原因 轮廓方法进行细胞的跟踪,能够寻找视野抖动时的 3.1细胞跟踪方法 细胞 目标跟踪算法一直是计算机视觉领域的重要研 Level set算法能够有效分辨出细胞分裂时的 究方向,主要包括基于相关( correlation based)的跟拓扑变化,即同时分析多个细胞目标,也常用于细胞 踪方法、基于特征( feature based)的跟踪方法、基于跟踪领域.文献[44]中在获得荧光标记的细胞模糊 模型的跟踪方法(活动轮廓模型、 mean shift模型、边界之后,利用水平集方法实现全自动的初始化,并 光流算法、差分跟踪方法等).前文中也曾提到,在能够检测图像序列中分裂的细胞以及后续进入视野 细胞图像序列分析领域中,活动轮廓模型算法、的细胞 Level set算法一直是大家关注的热点 尽管 Level set算法适用性强,但随着生物图像 活动轮廓模型对于细胞这样的非刚体形变物体采集的多样化,还是存在一些问题,文献[45]针对相 具有良好的适应性.图5给出了应用活动轮廓模型应问题给出了多种基于耦合主动曲面的算法,提高 对视频图像中细胞进行跟踪的结果图. 了算法的鲁棒性及适用性
图4 基于数学形态学灰度重构淋巴细胞分割示意图 Fig.4 Lymphocytesegmentationbasedonmorphologicalgray-scalereconstruction 3 细胞图像序列分析方法 对显微细胞图像进行分割之后,通常会进行细 胞计数、细胞识别与分类、细胞形态学参数的度量等 相关研究,这些基于静态细胞图像的研究是早期细 胞图像处理领域的研究重点[2629].然而,活细胞中 蕴含着生命体大量的信息,细胞的动态特性尤其是 形态变化在机体的病理、生理过程中,如免疫反应、 伤口愈合、癌细胞扩散转移等,更能反映机体的健康 状况[3035].因此,定量分析细胞的形变、能动性、运 动性对于了解生物体最基本的生物、生理现象具有 更为重要的意义.这也是越来越多的研究者将关注 点投向了细胞图像序列分析中的主要原因. 3.1 细胞跟踪方法 目标跟踪算法一直是计算机视觉领域的重要研 究方向,主要包括基于相关(correlationbased)的跟 踪方法、基于特征(featurebased)的跟踪方法、基于 模型的跟踪方法(活动轮廓模型、meanshift模型、 光流算法、差分跟踪方法等).前文中也曾提到,在 细胞 图 像 序 列 分 析 领 域 中,活 动 轮 廓 模 型 算 法、 LevelSet算法一直是大家关注的热点. 活动轮廓模型对于细胞这样的非刚体形变物体 具有良好的适应性.图5给出了应用活动轮廓模型 对视频图像中细胞进行跟踪的结果图. 文献[36 41]对活动轮廓模型方法做了一系列 改进:在能量函数中加入形状和尺寸限制[36]、加入 血 流 方 向 信 息[37]、采 用 VFC (vector field convolution)外力场[38];还采用了水平集方法[39]、梯 度倒系数方差方法[40]、仿射变换不变性方法[41]对 白细胞进行分割和跟踪研究.此外,文献[42]还针 对图像序列中细胞的跟踪问题, 将其转化为逐帧分割每幅图像:首先使用边界 方 向 敏 感 的 非 线 性 滤 波 器 进 行 检 测,然 后 利 用 GVF-Sake进行逐帧分割从而实现跟踪.文献[43] 提出一种移动视野中细胞跟踪的算法,主要是形态 学图像处理的方法进行背景的提取,然后利用主动 轮廓方法进行细胞的跟踪,能够寻找视野抖动时的 细胞. LevelSet算法能够有效分辨出细胞分裂时的 拓扑变化,即同时分析多个细胞目标,也常用于细胞 跟踪领域.文献[44]中在获得荧光标记的细胞模糊 边界之后,利用水平集方法实现全自动的初始化,并 能够检测图像序列中分裂的细胞以及后续进入视野 的细胞. 尽管 LevelSet算法适用性强,但随着生物图像 采集的多样化,还是存在一些问题,文献[45]针对相 应问题给出了多种基于耦合主动曲面的算法,提高 了算法的鲁棒性及适用性. 第5期 刘志文等:显微细胞图像分析方法的研究进展 445