工程科学学报 Chinese Journal of Engineering 基于监督学习的前列腺MR/TRUS图像分割和配准方法 丛明吴童刘冬杨德勇杜宇 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming.WU Tong,LIU Dong.YANG De-yong.DU Yu 引用本文： 丛明，吴童，刘冬，杨德勇，杜宇.基于监督学习的前列腺MR/TRUS图像分割和配准方法.工程科学学报，2020,42(10)： 1362-1371.doi:10.13374.issn2095-9389.2019.10.10.006 CONG Ming.WU Tong,LIU Dong.YANG De-yong.DU Yu.Prostate MR/TRUS image segmentation and registration methods based on supervised learning[J].Chinese Journal of Engineering,2020,42(10):1362-1371.doi:10.13374/j.issn2095- 9389.2019.10.10.006 在线阅读View online:https::/doi.org10.13374.issn2095-9389.2019.10.10.006 您可能感兴趣的其他文章 Articles you may be interested in 一种改进的非刚性图像配准算法 An improved non-rigid image registration approach 工程科学学报.2019,41(7)：955 https:1doi.org/10.13374j.issn2095-9389.2019.07.015 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报.2017,3911)：1735htps:1doi.org10.13374.issn2095-9389.2017.11.017 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报.2017,3912：1866 https:/1doi.org10.13374.issn2095-9389.2017.12.013 基于椭圆对称方向矩的可见光与红外图像配准算法 Registration of visual-infrared images based on ellipse symmetrical orientation moment 工程科学学报.2017,397)：1107htps:1doi.org/10.13374j.issn2095-9389.2017.07.018 基于图像混合核的列生成PM,预测 Column-generation PM25 prediction based on image mixture kernel 工程科学学报.2020,42(7)：922htps:/doi.org/10.13374j.issn2095-9389.2019.07.15.002 一种提高图像对比度和视觉质量的新型区域背光算法 A novel local dimming algorithm to improve image contrast and visual quality 工程科学学报.2017,39(12：1888htps:/doi.org/10.13374j.issn2095-9389.2017.12.016
基于监督学习的前列腺MR/TRUS图像分割和配准方法 丛明 吴童 刘冬 杨德勇 杜宇 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming, WU Tong, LIU Dong, YANG De-yong, DU Yu 引用本文: 丛明, 吴童, 刘冬, 杨德勇, 杜宇. 基于监督学习的前列腺MR/TRUS图像分割和配准方法[J]. 工程科学学报, 2020, 42(10): 1362-1371. doi: 10.13374/j.issn2095-9389.2019.10.10.006 CONG Ming, WU Tong, LIU Dong, YANG De-yong, DU Yu. Prostate MR/TRUS image segmentation and registration methods based on supervised learning[J]. Chinese Journal of Engineering, 2020, 42(10): 1362-1371. doi: 10.13374/j.issn2095- 9389.2019.10.10.006 在线阅读 View online: https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006 您可能感兴趣的其他文章 Articles you may be interested in 一种改进的非刚性图像配准算法 An improved non-rigid image registration approach 工程科学学报. 2019, 41(7): 955 https://doi.org/10.13374/j.issn2095-9389.2019.07.015 基于自动多种子区域生长的遥感影像面向对象分割方法 Object-oriented remote sensing image segmentation based on automatic multiseed region growing algorithm 工程科学学报. 2017, 39(11): 1735 https://doi.org/10.13374/j.issn2095-9389.2017.11.017 基于改进CV模型的金相图像分割 Segmentation of metallographic images based on improved CV model 工程科学学报. 2017, 39(12): 1866 https://doi.org/10.13374/j.issn2095-9389.2017.12.013 基于椭圆对称方向矩的可见光与红外图像配准算法 Registration of visual-infrared images based on ellipse symmetrical orientation moment 工程科学学报. 2017, 39(7): 1107 https://doi.org/10.13374/j.issn2095-9389.2017.07.018 基于图像混合核的列生成PM2.5预测 Column-generation PM2.5 prediction based on image mixture kernel 工程科学学报. 2020, 42(7): 922 https://doi.org/10.13374/j.issn2095-9389.2019.07.15.002 一种提高图像对比度和视觉质量的新型区域背光算法 A novel local dimming algorithm to improve image contrast and visual quality 工程科学学报. 2017, 39(12): 1888 https://doi.org/10.13374/j.issn2095-9389.2017.12.016
工程科学学报.第42卷，第10期：1362-1371.2020年10月 Chinese Journal of Engineering,Vol.42,No.10:1362-1371,October 2020 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006;http://cje.ustb.edu.cn 基于监督学习的前列腺MR/TRUS图像分割和配准方法 丛 明，吴童)，刘冬)四，杨德勇，杜宇) 1)大连理工大学机械工程学院，大连1160242)大连医科大学附属第一医院泌尿外科，大连1160243)大连大华中天科技有限公司，大 连116024 ☒通信作者，E-mail:liud@dlut.edu.cn 摘要前列腺核磁超声图像配准融合有助于实现前列腺肿瘤的靶向穿刺.传统的配准方法主要是针对手动分割的前列腺 核磁(Magnetic resonance,.MR)和经直肠超声(Trans-rectal ultrasound,.TRUS)图像上对应的生理特征点作为参考点，进行刚体或 非刚体配准.针对超声图像因成像质量低导致手动分割配准效率低下的问题，提出一种基于监督学习的前列腺MR/TRUS图 像自动分割方法，与术前核磁图像进行非刚体配准.首先，针对图像分割任务训练前列腺超声图像的活动表观模型(Active appearance model,AAM),并基于随机森林建立边界驱动的数学模型，实现超声图像自动分割.接着，提取术前分割的核磁图 像与自动分割的超声图像建立轮廓的形状特征矢量，进行特征匹配与图像配准.实验结果表明，本文方法能准确实现前列腺 超声图像自动分割与配准融合，9组配准结果的戴斯相似性系数(Dice similarity coefficient,DSC)均大于0.98，同时尿道口处特 征点的平均定位精度达1.64mm,相比传统方法具有更高的配准精度 关键词前列腺：图像配准：图像分割：随机森林：活动表观模型 分类号TP391.7 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming",WU Tong,LIU Dong,YANG De-yong?,DU Yu 1)School of Mechanical Engineering,Dalian University of Technology,Dalian 116024,China 2)Urology Department,First Affiliated Hospital of Dalian Medical University,Dalian 116024,China 3)Dalian Dahuazhongtian Technology Co.,Ltd,Dalian 116024,China Corresponding author,E-mail:liud@dlut.edu.cn ABSTRACT At present,the diagnosis of prostate cancer mainly relies on the level of prostate-specific antigen (PSA)followed by a prostate biopsy.The technology,transrectal ultrasound (TRUS),has been the most popular method for diagnosing prostate cancer because of its advantages,such as real-time,low cost,easy operation.However,the low imaging quality of ultrasound equipment makes it difficult to distinguish regions of malignant tumors from those of healthy tissues from low-quality images,which results in missing diagnoses or overtreating conditions.In contrast,magnetic resonance (MR)images of the prostate can quickly locate the position of malignant tumors.It is crucial to register the annotated MR images and the corresponding TRUS image to perform a targeted biopsy of the prostate tumor.The registration fusion of prostate magnetic resonance and transrectal ultrasound images helps to improve the accuracy of the prostate lesions targeted biopsy.Traditional registration methods that are usually manually selected,specific anatomical landmarks in segmented areas used as a reference,and performed rigid or nonrigid registration,which is inefficient because of the low quality of prostate TRUS images and the substantial differences in pixel intensity of the prostate between MR and TRUS images.This 收稿日期：2019-10-10 基金项目：国家自然科学基金资助项目(51575078,51705063)
基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 丛 明1)，吴 童1)，刘 冬1) 苣，杨德勇2)，杜 宇3) 1) 大连理工大学机械工程学院，大连 116024 2) 大连医科大学附属第一医院泌尿外科，大连 116024 3) 大连大华中天科技有限公司，大 连 116024 苣通信作者，E-mail：liud@dlut.edu.cn 摘 要 前列腺核磁超声图像配准融合有助于实现前列腺肿瘤的靶向穿刺. 传统的配准方法主要是针对手动分割的前列腺 核磁（Magnetic resonance, MR）和经直肠超声（Trans-rectal ultrasound, TRUS）图像上对应的生理特征点作为参考点，进行刚体或 非刚体配准. 针对超声图像因成像质量低导致手动分割配准效率低下的问题，提出一种基于监督学习的前列腺 MR/TRUS 图 像自动分割方法，与术前核磁图像进行非刚体配准. 首先，针对图像分割任务训练前列腺超声图像的活动表观模型（Active appearance model, AAM），并基于随机森林建立边界驱动的数学模型，实现超声图像自动分割. 接着，提取术前分割的核磁图 像与自动分割的超声图像建立轮廓的形状特征矢量，进行特征匹配与图像配准. 实验结果表明，本文方法能准确实现前列腺 超声图像自动分割与配准融合，9 组配准结果的戴斯相似性系数（Dice similarity coefficient, DSC）均大于 0.98，同时尿道口处特 征点的平均定位精度达 1.64 mm，相比传统方法具有更高的配准精度. 关键词 前列腺；图像配准；图像分割；随机森林；活动表观模型 分类号 TP391.7 Prostate MR/TRUS image segmentation and registration methods based on supervised learning CONG Ming1) ，WU Tong1) ，LIU Dong1) 苣 ，YANG De-yong2) ，DU Yu3) 1) School of Mechanical Engineering, Dalian University of Technology, Dalian 116024, China 2) Urology Department, First Affiliated Hospital of Dalian Medical University, Dalian 116024, China 3) Dalian Dahuazhongtian Technology Co., Ltd, Dalian 116024, China 苣 Corresponding author, E-mail: liud@dlut.edu.cn ABSTRACT At present, the diagnosis of prostate cancer mainly relies on the level of prostate-specific antigen (PSA) followed by a prostate biopsy. The technology, transrectal ultrasound (TRUS), has been the most popular method for diagnosing prostate cancer because of its advantages, such as real-time, low cost, easy operation. However, the low imaging quality of ultrasound equipment makes it difficult to distinguish regions of malignant tumors from those of healthy tissues from low-quality images, which results in missing diagnoses or overtreating conditions. In contrast, magnetic resonance (MR) images of the prostate can quickly locate the position of malignant tumors. It is crucial to register the annotated MR images and the corresponding TRUS image to perform a targeted biopsy of the prostate tumor. The registration fusion of prostate magnetic resonance and transrectal ultrasound images helps to improve the accuracy of the prostate lesions targeted biopsy. Traditional registration methods that are usually manually selected, specific anatomical landmarks in segmented areas used as a reference, and performed rigid or nonrigid registration, which is inefficient because of the low quality of prostate TRUS images and the substantial differences in pixel intensity of the prostate between MR and TRUS images. This 收稿日期: 2019−10−10 基金项目: 国家自然科学基金资助项目（51575078, 51705063） 工程科学学报，第 42 卷，第 10 期：1362−1371，2020 年 10 月 Chinese Journal of Engineering, Vol. 42, No. 10: 1362−1371, October 2020 https://doi.org/10.13374/j.issn2095-9389.2019.10.10.006; http://cje.ustb.edu.cn
丛明等：基于监督学习的前列腺MR/TRUS图像分割和配准方法 ·1363· paper proposed a novel prostate MR/TRUS image segmentation and the automatic registration method was based on a supervised learning framework.First,the prostate active appearance model was trained to be applied in the prostate TRUS images segmentation task,and the random forest classifier was used for building a boundary-driven mathematical model to realize automatic segmentation of TRUS images.Then,some sets of MR/TRUS images contour landmarks were computed by matching the corresponding shape descriptors used for registration.The method was validated by comparing the automatic contour segmentation results with standard results,and the registration results with a traditional registration method.Results showed that our method could accurately realize the automatic segmentation and registration of prostate TRUS and MR images.The DSC (Dice similarity coefficient,DSC)accuracy of nine sets of registration results is higher than 0.98,whereas the average location accuracy of the urethral opening is 1.64 mm,which displays a better registration performance. KEY WORDS prostate;image registration;image segmentation;random forest;active appearance model 目前，前列腺癌的诊断主要依靠前列腺特异 手动或半自动的方式对前列腺MR/TRUS图像进 性抗原(Prostate specific antigen,PSA),并继以穿刺 行分割，并基于手动放置或特殊的生理特征点进 活检，由于PSA特异性较差，故临床上将穿刺活检 行刚体或非刚体配准0-川 作为确诊前列腺癌的金标准经直肠超声引导下 为了充分发挥前列腺MR/TRUS图像在肿瘤 的前列腺穿刺活检因实时性、低成本、易操作等 诊断、引导穿刺过程中的优势，对前列腺病人术前 优点，成为了临床上最为普遍的诊断前列腺癌的 的MR图像进行手动分割并标记穿刺区域，在前 方法.然而，由于直肠超声图像低的成像质量，因 列腺TRUS图像实时引导穿刺的过程中，将术前 此很难从图像上准确定位恶性肿瘤区域.经直肠 标注的MR图像信息配准到TRUS图像上2I,即采 超声引导下前列腺6针法穿刺活检的假阴性率高 用术前MR图像手动分割的前列腺区域到术中 达30%四另一方面，多参数核磁共振图像(Muli- TRUS图像自动分割的前列腺区域的配准方式进 parametric magnetic resonance imaging,mpMRI) 行图像融合引导穿刺.考虑到前列腺TRUS图像 前公认的诊断前列腺癌的最佳影像技术，可精确 在分割过程中形状尺寸的变化及纹理灰度的影 定位可疑病灶区，从而达到靶向穿刺的目的)为 响，采用基于形状和灰度变化的混合方法建立前 了提高前列腺癌的检出率，核磁/超声(MR/TRUS) 列腺TRUS图像的活动表观模型，用于图像的自 融合引导靶向穿刺技术应运而生，它旨在对术 动分割，同时采用薄板样条(Thin plate spline,.TPS) 前MR图像和实时TRUS图像进行配准融合从而 对前列腺R/TRUS图像上对应的轮廓区域进行 提高穿刺精度.然而，由于MR扫描过程中线圈或 配准融合 直肠内气体的膨胀、病人的呼吸和不自觉的运 本文针对活动表观模型对轮廓进行自动分割 动、超声探头在直肠中对前列腺腺体的挤压，使得 时姿态参数的初始化问题，提出一种基于监督学 术前MR与实时TRUS下前列腺的形态并不一致. 习的超声图像自动分割方法，并基于随机森林1 为了补偿形状变化的影响，通常需要对MR/TRUS 的分类结果建立了姿态参数边界驱动的数学模 图像进行变形配准 型.在配准过程中，针对Kuhn-Munkres(KM)算法 由于超声图像低的信噪比及MR/TRUS图像 进行改进以降低局部匹配代价，同时引入轮廓特 上复杂的灰度变化关系，仅依据图像灰度特征很 征点的定位误差作为薄板样条的正则因子进行 难对MR/TRUS图像上对应的结构特征进行定位 图像配准.最后，本文将分割结果和标准轮廓进行 配准，因此前列腺R/TRUS的配准融合通常是基 对比，同时与其他方法比较了配准精度 于已分割的前列腺表面进行变形配准.现有的配 1 准方法主要有基于灰度的配准方法刀和基于分 基于监督学习的图像分割方法 割表面I⑧-9的配准方法.前者主要针对MR/TRUS 应用活动表观模型进行前列腺轮廓分割的过 图像复杂的灰度变化下构造区域相似性的度量标 程中，需要解决姿态参数的初始化问题，考虑基于 准，后者则在于对MR/TRUS图像进行分割，并通 随机森林实现姿态参数的自动估计，以完成前列 过特定的标记点或直接对整个前列腺切片，进行 腺超声图像的自动分割 配准融合.然而，由于前列腺的自动分割是一项极 1.1前列腺活动表观模型 具挑战的任务，因此现有的融合方法主要是基于 活动表观模型是一种由形状模型和灰度模型
paper proposed a novel prostate MR/TRUS image segmentation and the automatic registration method was based on a supervised learning framework. First, the prostate active appearance model was trained to be applied in the prostate TRUS images segmentation task, and the random forest classifier was used for building a boundary-driven mathematical model to realize automatic segmentation of TRUS images. Then, some sets of MR/TRUS images contour landmarks were computed by matching the corresponding shape descriptors used for registration. The method was validated by comparing the automatic contour segmentation results with standard results, and the registration results with a traditional registration method. Results showed that our method could accurately realize the automatic segmentation and registration of prostate TRUS and MR images. The DSC (Dice similarity coefficient, DSC) accuracy of nine sets of registration results is higher than 0.98, whereas the average location accuracy of the urethral opening is 1.64 mm, which displays a better registration performance. KEY WORDS prostate；image registration；image segmentation；random forest；active appearance model 目前，前列腺癌的诊断主要依靠前列腺特异 性抗原（Prostate specific antigen, PSA），并继以穿刺 活检，由于 PSA 特异性较差，故临床上将穿刺活检 作为确诊前列腺癌的金标准[1] . 经直肠超声引导下 的前列腺穿刺活检因实时性、低成本、易操作等 优点，成为了临床上最为普遍的诊断前列腺癌的 方法. 然而，由于直肠超声图像低的成像质量，因 此很难从图像上准确定位恶性肿瘤区域. 经直肠 超声引导下前列腺 6 针法穿刺活检的假阴性率高 达 30% [2] . 另一方面，多参数核磁共振图像（Multiparametric magnetic resonance imaging, mpMRI）是目 前公认的诊断前列腺癌的最佳影像技术，可精确 定位可疑病灶区，从而达到靶向穿刺的目的[3] . 为 了提高前列腺癌的检出率，核磁/超声（MR/TRUS） 融合引导靶向穿刺技术应运而生[4−5] ，它旨在对术 前 MR 图像和实时 TRUS 图像进行配准融合从而 提高穿刺精度. 然而，由于 MR 扫描过程中线圈或 直肠内气体的膨胀、病人的呼吸和不自觉的运 动、超声探头在直肠中对前列腺腺体的挤压，使得 术前 MR 与实时 TRUS 下前列腺的形态并不一致. 为了补偿形状变化的影响，通常需要对 MR/TRUS 图像进行变形配准. 由于超声图像低的信噪比及 MR/TRUS 图像 上复杂的灰度变化关系，仅依据图像灰度特征很 难对 MR/TRUS 图像上对应的结构特征进行定位 配准，因此前列腺 MR/TRUS 的配准融合通常是基 于已分割的前列腺表面进行变形配准. 现有的配 准方法主要有基于灰度的配准方法[6−7] 和基于分 割表面[8−9] 的配准方法. 前者主要针对 MR/TRUS 图像复杂的灰度变化下构造区域相似性的度量标 准，后者则在于对 MR/TRUS 图像进行分割，并通 过特定的标记点或直接对整个前列腺切片，进行 配准融合. 然而，由于前列腺的自动分割是一项极 具挑战的任务，因此现有的融合方法主要是基于 手动或半自动的方式对前列腺 MR/TRUS 图像进 行分割，并基于手动放置或特殊的生理特征点进 行刚体或非刚体配准[10−11] . 为了充分发挥前列腺 MR/TRUS 图像在肿瘤 诊断、引导穿刺过程中的优势，对前列腺病人术前 的 MR 图像进行手动分割并标记穿刺区域，在前 列腺 TRUS 图像实时引导穿刺的过程中，将术前 标注的 MR 图像信息配准到 TRUS 图像上[12] ，即采 用术前 MR 图像手动分割的前列腺区域到术中 TRUS 图像自动分割的前列腺区域的配准方式进 行图像融合引导穿刺. 考虑到前列腺 TRUS 图像 在分割过程中形状尺寸的变化及纹理灰度的影 响，采用基于形状和灰度变化的混合方法建立前 列腺 TRUS 图像的活动表观模型[13] ，用于图像的自 动分割，同时采用薄板样条（Thin plate spline, TPS） [14] 对前列腺 MR/TRUS 图像上对应的轮廓区域进行 配准融合. 本文针对活动表观模型对轮廓进行自动分割 时姿态参数的初始化问题，提出一种基于监督学 习的超声图像自动分割方法，并基于随机森林[15] 的分类结果建立了姿态参数边界驱动的数学模 型. 在配准过程中，针对 Kuhn-Munkres（KM）算法 进行改进以降低局部匹配代价，同时引入轮廓特 征点的定位误差[16] 作为薄板样条的正则因子进行 图像配准. 最后，本文将分割结果和标准轮廓进行 对比，同时与其他方法比较了配准精度. 1 基于监督学习的图像分割方法 应用活动表观模型进行前列腺轮廓分割的过 程中，需要解决姿态参数的初始化问题，考虑基于 随机森林实现姿态参数的自动估计，以完成前列 腺超声图像的自动分割. 1.1 前列腺活动表观模型 活动表观模型是一种由形状模型和灰度模型 丛 明等： 基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 · 1363 ·
·1364 工程科学学报，第42卷，第10期 建立的组合模型，用于对可变形状进行数学描述 (a) (b) 本文采用多幅前列腺超声图像轮廓上的40个 轮廓标签点训练前列腺活动表观模型，建立形状 模型和灰度模型： XmodXmod +Psbs,Gmod Gmod +Pabg (1) (c) (d) 式中：mod和Gmod表示训练集上前列腺轮廓的均 值形状和前列腺区域上的均值灰度.P和P是前 列腺形状模型和灰度模型的主特征向量矩阵，b和 b分别为形状和灰度特征对应的权重参数，通过更 (e) () 新bs和bg得到新的模型(Xmod,Gmod),其中Xmod表示 前列腺形状，Gmod表示区域灰度 引入b的权重项W、,建立组合模型如下： Wsbs WPT(Xmod-mod)）/Qs PT(Gmod-Gmod） ΓQs c=Qc 图1初始姿态Tm对收敛结果的影响.(a~d)初始姿态参数过大无 (2) 法收敛：(e~f)初始姿态满足收敛条件 X mod =Xmod+PsWsQsc,Gmod =Gmod+Pgegc (3) Fig.I Effect of the initial position parameter Tin on the results of convergence:(a-d)large initial position parameter resulted error 式中，c为模型的组合参数，矩阵Q为组合参数的主 convergence:(e)initial position parameter met convergence conditions 特征向量矩阵，可分解成形状参数和灰度参数的 前列腺图像的预分割.在图像数据的训练过程中， 主特征向量矩阵Q和Qg 为了减轻超声图像姿态变化和不同病人图像的灰 对于一幅新的超声图像来说，采用活动表观 度差异的影响，采用增强系数(Enhanced correlation 模型进行分割的过程即是求解图像Xmod和Gmod过 coefficient,.ECC)算法I7对所有的超声图像进行通 程，因此需要估计式(3)中对应的组合参数c.在估 道对齐，同时进行像素灰度的归一化，区间值为 计组合参数c的过程中，Cootes建立了多元线性回 [0,1.对每一张训练图像提取特征标签P=(X,V, 归模型，如式(4)，认为在前后两次迭代更新的 其中X=(Xima:Vima)表示像素点的图像坐标，V= 过程中，组合参数的更新量△c与灰度变化量△G呈 (d,d2,a1,…,ag)表示以X为中心的3×3邻域的均值 线性关系： d1、标准差d2和邻域灰度值(a1,·,a9. △c=A(Gcr-Gias)=A△G (4) 对训练数据集有放回的随机抽样，并随机选 式中，Gs和Gur分别表示纹理模型前后两次迭代 择特征子集，以信息增益作为特征的选择指标生 过程中的灰度值，△c和△G分别表示下一次纹理参 产每一棵子树，当信息增益达到最小值或者达到 数的更新量和当前的灰度变化量，矩阵A是线性模 最大指定深度时停止生长.在随机森林中，每一棵 型的系数，在图像训练过程中计算得到 子树的结构都是不同的，因此在分类过程中，每一 线性迭代模型的收敛条件是形状模型的初始 个测试样本都会在不同的子树中得到不同分类结 姿态参数Tini(xo,yo,o,Ro(x,y表示平移坐标、0表示 果，统计出现次数最多的决策结果作为随机森林 旋转、R表示缩放比例)接近目标轮廓姿态Tm, 的最终分类结果.前列腺随机森林模型的训练和 此时AT=Tmi-Tml→0.图1(a)~(d)分别展示 预测过程如图2所示，对于一张新的超声图像，随 当初始姿态参数过大而无法正常收敛的情况，其 机森林分类器将输出前列腺区域预测结果的二值 中蓝色轮廓标签点为当前图像的目标轮廓姿态， 图像 黄色轮廓为初始姿态，此时模型均无法实现收敛. 1.3估计形状模型的姿态参数 图l(e)~(f)是初始姿态Timi满足收敛条件时的收 如图3所示，将前列腺形状模型下的均值形状 敛结果 mod的质心对齐到图像坐标系的原点，此时mod 12前列腺超声图像随机森林模型 可表示为：mod=1,1,2,2,…,mabmab (mab=40), 为了准确的估计一张新的超声图像上前列腺 (b,mb）表示蓝色标签轮廓点的图像坐标值，mb 区的姿态参数，建立前列腺超声图像的随机森林 是标签点的数量，当前的姿态参数To=(0,0,0,1) 模型，对图像上的灰度特征进行二分类，从而实现 以预分割的二值图像前列腺区域的边界轮廓作为
建立的组合模型，用于对可变形状进行数学描述. 本文采用多幅前列腺超声图像轮廓上的 40 个 轮廓标签点训练前列腺活动表观模型，建立形状 模型和灰度模型： Xmod = X¯mod + Psbs ,Gmod = G¯ mod + Pg bg （1） X¯mod G¯ mod Ps Pg bs bg bs bg (Xmod,Gmod) Xmod Gmod 式中： 和 表示训练集上前列腺轮廓的均 值形状和前列腺区域上的均值灰度. 和 是前 列腺形状模型和灰度模型的主特征向量矩阵， 和 分别为形状和灰度特征对应的权重参数，通过更 新 和 得到新的模型 ，其中 表示 前列腺形状， 表示区域灰度. 引入 bs的权重项 Ws，建立组合模型如下： b= ( Wsbs bs ) = WsP T s (Xmod − X¯mod) P T s (Gmod −G¯ mod) = ( Qs Qs ) c = Qc （2） X mod = X¯mod + PsWsQsc,Gmod = G¯ mod + PgQg c （3） c Q Qs Qg 式中， 为模型的组合参数，矩阵 为组合参数的主 特征向量矩阵，可分解成形状参数和灰度参数的 主特征向量矩阵 和 . Xmod Gmod c c ∆c ∆G 对于一幅新的超声图像来说，采用活动表观 模型进行分割的过程即是求解图像 和 过 程，因此需要估计式（3）中对应的组合参数 . 在估 计组合参数 的过程中，Cootes 建立了多元线性回 归模型[13] ，如式（4），认为在前后两次迭代更新的 过程中，组合参数的更新量 与灰度变化量 呈 线性关系： ∆c = A(Gcur −Glas) = A∆G （4） Glas Gcur ∆c ∆G A 式中， 和 分别表示纹理模型前后两次迭代 过程中的灰度值， 和 分别表示下一次纹理参 数的更新量和当前的灰度变化量，矩阵 是线性模 型的系数，在图像训练过程中计算得到. Tini(x0, y0, θ0,R0) x, y θ R Tfin ∆T = ∥Tini −Tfin∥ → 0 Tini 线性迭代模型的收敛条件是形状模型的初始 姿态参数 （ 表示平移坐标、 表示 旋转、 表示缩放比例）接近目标轮廓姿态[13] ， 此时 . 图 1（a）～（d）分别展示 当初始姿态参数过大而无法正常收敛的情况，其 中蓝色轮廓标签点为当前图像的目标轮廓姿态， 黄色轮廓为初始姿态，此时模型均无法实现收敛. 图 1（e）～（f）是初始姿态 满足收敛条件时的收 敛结果. 1.2 前列腺超声图像随机森林模型 为了准确的估计一张新的超声图像上前列腺 区的姿态参数，建立前列腺超声图像的随机森林 模型，对图像上的灰度特征进行二分类，从而实现 P= (X,V) X= (xima,yima) V = (d1,d2,a1,··· ,a9) X 3×3 d1 d2 (a1,··· ,a9) 前列腺图像的预分割. 在图像数据的训练过程中， 为了减轻超声图像姿态变化和不同病人图像的灰 度差异的影响，采用增强系数（Enhanced correlation coefficient, ECC）算法[17] 对所有的超声图像进行通 道对齐，同时进行像素灰度的归一化，区间值为 [0,1]. 对每一张训练图像提取特征标签 ， 其 中 表示像素点的图像坐标 ， 表示以 为中心的 邻域的均值 、标准差 和邻域灰度值 . 对训练数据集有放回的随机抽样，并随机选 择特征子集，以信息增益作为特征的选择指标生 产每一棵子树，当信息增益达到最小值或者达到 最大指定深度时停止生长. 在随机森林中，每一棵 子树的结构都是不同的，因此在分类过程中，每一 个测试样本都会在不同的子树中得到不同分类结 果，统计出现次数最多的决策结果作为随机森林 的最终分类结果. 前列腺随机森林模型的训练和 预测过程如图 2 所示，对于一张新的超声图像，随 机森林分类器将输出前列腺区域预测结果的二值 图像. 1.3 估计形状模型的姿态参数 X¯mod X¯mod X¯mod = [ x¯1, y¯1, x¯2, y¯2,··· , x¯nlab , y¯nlab ] (nlab = 40) ( x¯nlab , y¯nlab ) nlab T0 = (0,0,0,1) 如图 3 所示，将前列腺形状模型下的均值形状 的质心对齐到图像坐标系的原点，此时 可表示为： ， 表示蓝色标签轮廓点的图像坐标值， 是标签点的数量，当前的姿态参数 . 以预分割的二值图像前列腺区域的边界轮廓作为 (a) (b) (c) (d) (e) (f) 图 Tini 1 初始姿态 对收敛结果的影响. （a～d）初始姿态参数过大无 法收敛；（e～f）初始姿态满足收敛条件 Fig.1 Tini Effect of the initial position parameter on the results of convergence: (a−d) large initial position parameter resulted error convergence; (e−f) initial position parameter met convergence conditions · 1364 · 工程科学学报，第 42 卷，第 10 期
丛明等：基于监督学习的前列腺MR/TRUS图像分割和配准方法 ·1365. Emodk=X modZ(0k).Rx+(.c.Vk.c) (7) 1 (8) D TRUS images 式中：Z(0)= cos0 sin Prostate masks -sin&cos0 (kc,kc)为姿态Tk Extract feature 下的均值轮廓形状mdk的质心坐标，旋转角，以 Q Random 轴顺时针方向旋转为正，其坐标变换关系如图4 forest 所示. nDU Output 图2前列腺随机森林模型的训练和预测过程 Fig.2 Training and prediction of the prostate random forest model -Mean shape under To 图4姿态T,下的坐标变化关系 Label points Fig.4 Coordinate transformation relationship at position T 由上述建立的数学模型可知，当T发生变化 -D 时，边界函数ou的值域会在[-255,0]进行波动，仅 当u→-255时，轮廓将迭代至最优解，此时 mo将与前列腺预分割的二值图像轮廓最大程度 Pre-segmentation region 重合.以轮廓在状态k下姿态参数Tk=(,,R) 图3均值形状的初始姿态 作为优化目标参数，建立边界驱动函数为优化目 Fig.3 Initial position parameters of the mean shape model 标的数学模型： 丞mod的目标姿态，建立边界驱动方程： min foou (xz,yg,0,Rg) xp-20≤≤xp+20 1 (5) mab= s.t p-20≤%≤p+20 (9) a-4"≤≤a+4 P:=0:-l (6) S-03≤s0k≤s+0.3 式中，mab表示均值形状的轮廓点数量，P:表示第 式中：、p、α、s可由和预分割的二值图像的最 ii=1,2,·,mb)处边界轮廓点上沿法向的边界梯 小外接矩形参数计算得到，如图5所示 度差值，ΣO和1，分别表示当前轮廓点在法线上背 向质心和朝向质心的像素值总和 为了建立边界驱动式fou与均值形状亚moa的数 学模型，定义丞md在姿态Tk(k表示k姿态状态)下 的形状星mod=[玉11,2,2，…，mbmb其转 换关系可用式(7)计算.以姿态T下任一轮廓点为 中心，沿法线取长度为2D的线段，如图3，记 5第ii=1,2…,nab)处均值边界轮廓点(，)的法 线上-D到+D的像素灰度值，其图像坐标记为 Pre-segmentation region contour (M)和(xoyo式(6)中0，和，可由式(8)计 图5生成最小外接矩形 算得到： Fig.5 Generation of the minimum enclosing rectangle
X¯mod 的目标姿态，建立边界驱动方程： fbou = 1 nlab ∑nlab i=1 Pi （5） Pi = ΣOi −ΣIi （6） nlab Pi i(i = 1,2,··· ,nlab) ΣOi ΣIi 式中， 表示均值形状的轮廓点数量， 表示第 处边界轮廓点上沿法向的边界梯 度差值， 和 分别表示当前轮廓点在法线上背 向质心和朝向质心的像素值总和. fbou X¯mod X¯mod Tk X¯modk = [ x¯k1, y¯k1, x¯k2, y¯k2,··· , x¯knlab , y¯knlab ] Tk εi j i(i = 1,2,··· ,nlab) ( ¯xi , y¯i) ( xIi j , yIi j) ( xOi j , yOi j) ΣOi ΣIi 为了建立边界驱动式 与均值形状 的数 学模型，定义 在姿态 （k 表示 k 姿态状态）下 的形状 ，其转 换关系可用式（7）计算. 以姿态 下任一轮廓点为 中心 ，沿法线取长度 为 2D 的线段 ，如 图 3， 记 第 处均值边界轮廓点 的法 线上−D 到+D 的像素灰度值 ，其图像坐标记为 和 ，式（6）中 和 可由式（8）计 算得到： X¯ mod ,k = X¯ mod · Z(θk)·Rk + ( x¯k,c, y¯k,c ) （7） ΣIi = 1 D ∑−1 j=−D εi j,ΣOi = 1 D ∑ D j=1 εi j （8） Z(θk) = [ cos θk sinθk −sinθk cos θk ] ( x¯k,c, y¯k,c ) Tk X¯mod,k θk x 式中： ， 为姿态 下的均值轮廓形状 的质心坐标，旋转角 以 轴顺时针方向旋转为正，其坐标变换关系如图 4 所示. Tk fbou fbou → −255 X¯mod Tk = (xk, yk, θk,Rk) 由上述建立的数学模型可知，当 发生变化 时，边界函数 的值域会在 [−255,0] 进行波动，仅 当 时 ， 轮 廓 将 迭 代 至 最 优 解 ， 此 时 将与前列腺预分割的二值图像轮廓最大程度 重合. 以轮廓在状态 k 下姿态参数 作为优化目标参数，建立边界驱动函数为优化目 标的数学模型： min fbou (xk, yk, θk,Rk) s.t xp −20 ⩽ xk ⩽ xp +20 yp −20 ⩽ yk ⩽ yp +20 α−4 ∗ ⩽ θk ⩽ α+4 s−0.3 ⩽ sck ⩽ s+0.3 （9） 式中： xp、yp、α、s 可由x¯和预分割的二值图像的最 小外接矩形参数计算得到，如图 5 所示. TRUS images Prostate masks Extract feature Random forest Input Output … 图 2 前列腺随机森林模型的训练和预测过程 Fig.2 Training and prediction of the prostate random forest model Pre-segmentation region Outside Inside o x y Mean shape Xmod under T0 Label points −D +D 图 3 均值形状的初始姿态 Fig.3 Initial position parameters of the mean shape model x y y′ x′ o (xk,c , yk,c ) Xmod Xmod,k θk 图 4 姿态 Tk下的坐标变化关系 Fig.4 Coordinate transformation relationship at position Tk x y Pre-segmentation region contour w1 h1 o h w2 α (xp , yp ) y′ x′ 2 图 5 生成最小外接矩形 Fig.5 Generation of the minimum enclosing rectangle 丛 明等： 基于监督学习的前列腺 MR/TRUS 图像分割和配准方法 · 1365 ·