协和医学杂志 Medical Journal of Peking Union Medical College Hospital 人工智能在超声医学领域中的应用 刘睿峰,夏宇,姜玉新 中国医学科学院北京协和医学院北京协和医院超声医学科,北京100730 通信作者:夏宇电话:010-69159311,E-mail:yuxiapumch@aliyun.com 【摘要】人工智能( artificial intelligence,AI)近几年再度成为各领域关注的焦点,其中深度学习的提出带来了一系列 革命性变化,而随着计算机视觉向深度学习过渡以及硬件和大数据的进步,A在图像识别领域展现出更广阔的发展前景 度学习模型使得相关图像算法甚至达到了比人眼更高的识别准确率,这为医学影像的发展提供了巨大契机。超声医学作 为影像领域的重要分支,利用AI相关算法进行声像图分析的研究不断涌现,不仅为临床科研提供了新思路,亦有助于提 高超声诊断的准确性 【关键词】人工智能;深度学习;超声成像;临床研究 【中图分类号】R445.1【文献标志码】A【文章编号】1674-9081(2018)05-0453-0 Do:10.3969/j.issn.16749081.2018.05.015 Application of Artificial Intelligence in Ultrasound Medicine LIU Rui-feng, XIA Yu, JIANG Yu-xin Department of Ultrasound, Peking Union Medical College Hospital, Chinese Academy of Medical Sciences Peking Union Medical College, Beijing 100730, China CorrespondingauthorXiaYuTel:010-69159311,E-mail:yuxiapumch@aliyun.com Abstract] As deep leaming brings a series of revolutionary change, artificial intelligence has become a focus in various fields again in recent years. With the transition from computer vision to deep learning and the pro hardware and big data, artificial intelligence, has demonstrated broader prospects for the development of image recogni tion Image algorithm exploiting deep leaming model has achieved better identification accuracy than the naked eye which offers the possibility of making breakthrough in medical imaging field. Ultrasonography is a main branch of medi cal imaging. An increasing number of papers on research of the application of artificial intelligence-related algorithms to analyzing ultrasonographic images provide new insights into clinical research. Meanwhile, specific software is able to compensate for the practitioners deficiency in experience and improve diagnostic accuracy as well. Key words] artificial intelligence; deep learning: ultrasonography clinical research Med J PUMCH,2018,9(5):453-457 1950年 Alan turing发表的《计算机器与智能》了从跳棋程序到专家系统,从发展逻辑推理的第5代 文中提出了“图灵测试”,首次预见性地展示机器计算机研制计划乃至今天基于网络大数据和深度学习 与人类难以分辨的智能行为;6年之后,达特茅斯模型的分布式A研究等阶段,已渐趋成熟。Suat 大学研讨会上科学家们对麦卡锡提出的新术语“人工 Russell在其1995年出版的著作《人工智能:一种现 智能( artificial intelligence,AI)”初步认同并接受,代方法》中将A定义为有关“智能主体研究与设计” 标志着这一概念的正式诞生。随后几十年间,M经历的学问,而智能主体是指可以观察周遭环境并作出行 vo.9No.5453
协 和 医 学 杂 志 Ｍｅｄｉｃａｌ Ｊｏｕｒｎａｌ ｏｆ Ｐｅｋｉｎｇ Ｕｎｉｏｎ Ｍｅｄｉｃａｌ Ｃｏｌｌｅｇｅ Ｈｏｓｐｉｔａｌ Ｖｏｌ ９ Ｎｏ ５ ４５３ 综 述 人工智能在超声医学领域中的应用 刘睿峰ꎬ 夏 宇ꎬ 姜玉新 中国医学科学院 北京协和医学院 北京协和医院超声医学科ꎬ 北京 １００７３０ 通信作者: 夏 宇 电话: ０１０￣６９１５９３１１ꎬ Ｅ￣ｍａｉｌ: ｙｕｘｉａｐｕｍｃｈ＠ ａｌｉｙｕｎ.ｃｏｍ 【摘要】 人工智能 (ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅꎬ ＡＩ) 近几年再度成为各领域关注的焦点ꎬ 其中深度学习的提出带来了一系列 革命性变化ꎬ 而随着计算机视觉向深度学习过渡以及硬件和大数据的进步ꎬ ＡＩ 在图像识别领域展现出更广阔的发展前景ꎮ 深度学习模型使得相关图像算法甚至达到了比人眼更高的识别准确率ꎬ 这为医学影像的发展提供了巨大契机ꎮ 超声医学作 为影像领域的重要分支ꎬ 利用 ＡＩ 相关算法进行声像图分析的研究不断涌现ꎬ 不仅为临床科研提供了新思路ꎬ 亦有助于提 高超声诊断的准确性ꎮ 【关键词】 人工智能ꎻ 深度学习ꎻ 超声成像ꎻ 临床研究 【中图分类号】 Ｒ４４５ １ 【文献标志码】 Ａ 【文章编号】 １６７４￣９０８１(２０１８)０５￣０４５３￣０５ ＤＯＩ: １０ ３９６９ / ｊ ｉｓｓｎ １６７４￣９０８１ ２０１８ ０５ ０１５ Ａｐｐｌｉｃａｔｉｏｎ ｏｆ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ Ｕｌｔｒａｓｏｕｎｄ Ｍｅｄｉｃｉｎｅ ＬＩＵ Ｒｕｉ￣ｆｅｎｇꎬ ＸＩＡ Ｙｕꎬ ＪＩＡＮＧ Ｙｕ￣ｘｉｎ Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｕｌｔｒａｓｏｕｎｄꎬ Ｐｅｋｉｎｇ Ｕｎｉｏｎ Ｍｅｄｉｃａｌ Ｃｏｌｌｅｇｅ Ｈｏｓｐｉｔａｌꎬ Ｃｈｉｎｅｓｅ Ａｃａｄｅｍｙ ｏｆ Ｍｅｄｉｃａｌ Ｓｃｉｅｎｃｅｓ ＆ Ｐｅｋｉｎｇ Ｕｎｉｏｎ Ｍｅｄｉｃａｌ Ｃｏｌｌｅｇｅꎬ Ｂｅｉｊｉｎｇ １００７３０ꎬ Ｃｈｉｎａ Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｕｔｈｏｒ: ＸＩＡ Ｙｕ Ｔｅｌ: ０１０￣６９１５９３１１ꎬ Ｅ￣ｍａｉｌ: ｙｕｘｉａｐｕｍｃｈ＠ ａｌｉｙｕｎ.ｃｏｍ 【Ａｂｓｔｒａｃｔ】 Ａｓ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｂｒｉｎｇｓ ａ ｓｅｒｉｅｓ ｏｆ ｒｅｖｏｌｕｔｉｏｎａｒｙ ｃｈａｎｇｅꎬ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｈａｓ ｂｅｃｏｍｅ ａ ｆｏｃｕｓ ｉｎ ｖａｒｉｏｕｓ ｆｉｅｌｄｓ ａｇａｉｎ ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ. Ｗｉｔｈ ｔｈｅ ｔｒａｎｓｉｔｉｏｎ ｆｒｏｍ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ｔｏ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｎｄ ｔｈｅ ｐｒｏｇｒｅｓｓ ｉｎ ｈａｒｄｗａｒｅ ａｎｄ ｂｉｇ ｄａｔａꎬ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅꎬ ｈａｓ ｄｅｍｏｎｓｔｒａｔｅｄ ｂｒｏａｄｅｒ ｐｒｏｓｐｅｃｔｓ ｆｏｒ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｍａｇｅ ｒｅｃｏｇｎｉ￣ ｔｉｏｎ. Ｉｍａｇｅ ａｌｇｏｒｉｔｈｍ ｅｘｐｌｏｉｔｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｏｄｅｌ ｈａｓ ａｃｈｉｅｖｅｄ ｂｅｔｔｅｒ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｔｈａｎ ｔｈｅ ｎａｋｅｄ ｅｙｅꎬ ｗｈｉｃｈ ｏｆｆｅｒｓ ｔｈｅ ｐｏｓｓｉｂｉｌｉｔｙ ｏｆ ｍａｋｉｎｇ ｂｒｅａｋｔｈｒｏｕｇｈ ｉｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ ｆｉｅｌｄ. Ｕｌｔｒａｓｏｎｏｇｒａｐｈｙ ｉｓ ａ ｍａｉｎ ｂｒａｎｃｈ ｏｆ ｍｅｄｉ￣ ｃａｌ ｉｍａｇｉｎｇ. Ａｎ ｉｎｃｒｅａｓｉｎｇ ｎｕｍｂｅｒ ｏｆ ｐａｐｅｒｓ ｏｎ ｒｅｓｅａｒｃｈ ｏｆ ｔｈｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ￣ｒｅｌａｔｅｄ ａｌｇｏｒｉｔｈｍｓ ｉｎｔｏ ａｎａｌｙｚｉｎｇ ｕｌｔｒａｓｏｎｏｇｒａｐｈｉｃ ｉｍａｇｅｓ ｐｒｏｖｉｄｅ ｎｅｗ ｉｎｓｉｇｈｔｓ ｉｎｔｏ ｃｌｉｎｉｃａｌ ｒｅｓｅａｒｃｈ. Ｍｅａｎｗｈｉｌｅꎬ ｓｐｅｃｉｆｉｃ ｓｏｆｔｗａｒｅ ｉｓ ａｂｌｅ ｔｏ ｃｏｍｐｅｎｓａｔｅ ｆｏｒ ｔｈｅ ｐｒａｃｔｉｔｉｏｎｅｒｓ ｄｅｆｉｃｉｅｎｃｙ ｉｎ ｅｘｐｅｒｉｅｎｃｅ ａｎｄ ｉｍｐｒｏｖｅ ｄｉａｇｎｏｓｔｉｃ ａｃｃｕｒａｃｙ ａｓ ｗｅｌｌ. 【Ｋｅｙ ｗｏｒｄｓ】 ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅꎻ ｄｅｅｐ ｌｅａｒｎｉｎｇꎻ ｕｌｔｒａｓｏｎｏｇｒａｐｈｙꎻ ｃｌｉｎｉｃａｌ ｒｅｓｅａｒｃｈ Ｍｅｄ Ｊ ＰＵＭＣＨꎬ ２０１８ꎬ９(５):４５３－４５７ １９５０ 年 Ａｌａｎ Ｔｕｒｉｎｇ 发表的 « 计算机器与智能» 一文中提出了 “图灵测试”ꎬ 首次预见性地展示机器 与人类难以分辨的智能行为[１] ꎻ ６ 年之后ꎬ 达特茅斯 大学研讨会上科学家们对麦卡锡提出的新术语 “人工 智能 (ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅꎬ ＡＩ) ” 初步认同并接受ꎬ 标志着这一概念的正式诞生ꎮ 随后几十年间ꎬ ＡＩ 经历 了从跳棋程序到专家系统ꎬ 从发展逻辑推理的第 ５ 代 计算机研制计划乃至今天基于网络大数据和深度学习 模型的分布式 ＡＩ 研究等阶段ꎬ 已渐趋成熟ꎮ Ｓｔｕａｒｔ Ｒｕｓｓｅｌｌ 在其 １９９５ 年出版的著作 «人工智能: 一种现 代方法» 中将 ＡＩ 定义为有关 “智能主体研究与设计” 的学问ꎬ 而智能主体是指可以观察周遭环境并作出行
协和医学杂志 动以达到目标的系统。自2016年3月 Alphagan与围于诊断的思维过程,是最典型的科研问题。 棋世界冠军李世石的人机大战后,A又一次进入公众 视野,备受关注。基于医学影像特点和提高影像诊断2人工智能在超声医学领域的应用 效能的诉求,A有望在将来成为影像医生诊治过程中 的有效辅助工具。本文将结合具体案例介绍AI在超2.1传统人工神经网络研究 声医学领域的可行性和局限性,并对未来应用前景进2.1.1大脑中动脉痉挛所致狭窄诊断方法效能评估 行分析与预测,希望为进一步研究提供依据 大脑中动脉痉挛是蛛网膜下腔出血的严重并发 症,早期诊断和干预对预防卒中十分重要。数字减影 1人工智能与医学影像 血管造影( digital subtraction angiography,DsA)是作 出该诊断的金标准,但鉴于其为有创性操作并可导致 鉴于医学影像领域信息更加结构化,大部分基于图相关并发症,不宜作为常规监测手段。经颅多普勒 像的判断相比临床电子病历总结式的描述更加客观,深( transeranial Doppler,TCD)作为一项非侵入性监测方 度学习取得突破前就有学者利用A方法中的人工神经法,可在床旁操作,且指导临床实践准确性高,因此 网络来分析医学图像,然而受限于梯度消失和过拟合问被广泛应用;同时,有文献显示,经颅双功能彩色 题,模型很难构建深层次的架构来学习,同时还要面对多普勒超声( transcranial color- coded duplex sonography 数据量和终端计算能力不足的困难,相关研究取得的成T℃CS)在大脑中动脉痉挛所致狭窄的诊断上比TCD 果有限。而如今,基于放射信息系统( radiology infor-具有更高准确性,但这些文献存在TCD和TCS入 mation svstem,RlS)、医学图像存档和传输系统组人群不同、研究组与对照组基线特征不同、受试者 ( picture archiving and communication system,PACS)中工作特征曲线( receiver operating characteristic curve 的大量病例图像,A可更好地进行深度学习,同时利ROC)仅包括一项脑动脉血流动力学参数等不足,横向 用深度学习中一系列具有不同优势和适用性的模型,如比较存在较大争议,研究结果缺乏说服力。于是 循环神经网络、卷积神经网络等,建立输入图片特征与 Swierez等匀利用传统人工神经网络建模,并将经TCD 输出目标结果之间的对应关系,更加高效识别图片中的和TCCS获得的数据处理后的输出值与DSA的结果进行 对象,为相关研究与发展提供了更多可行性。 匹配,以匹配程度最高的模型作为评判TCD和TCCS诊 深度学习作为此次A兴起以及相关医学影像研究断准确性的仲裁者,该模型能够将大脑中动脉平均流速 兴盛的核心技术,其主流模型延续了早期机器学习中的( mean velocity, Vmean)、收缩期峰值流速( systolic 个重要算法,即人工神经网络,原理是模拟人脑多层 peak velocity,wps)及舒张末期流速( end of diastol 神经网络结构并作出判断,而应用于医学影像的深度学 velocity,ved)整合为一个集合参数,建立ROC并进行 习以神经网络为主,大致分为两类:(1)监督学习,相关比较,从而避免了超声医生解读数据作出判断时的 包括递归神经网络、卷积神经网络和普通深度神经网络主观影响,减少了混杂因素,但该研究由于样本量有 等主流模型;(2)无监督学习,包括深度生成模型限,阳性病例数相对较少,模型的准确性受到质疑。 (预训练)和自编码器等模型。二者主要区别在于对2.1.2建立非侵入性肝脏纤维化评级体系 具有相关特征的训练数据进行分类时,训练数据是 慢性肝炎或肝损伤所致肝纤维化是肝硬化的共同 否有人工标注的标签,如数据有标签则称为监督学特征,肝纤维化是可逆的病理过程,及时有效的治疗 习,无标签即为无监督学习,又称聚类。监督学习可避免其进一步发展为肝硬化。为了在治疗过程中定 中的卷积神经网络正是目前医学影像领域AI的研究期进行纤维化或硬化评级,常常选择超声作为监测手 热点,作为一种具有自主学习能力的神经网络,其段。 Zhang等6将传统人工神经网络的训练规则调整 多层结构可基于多级抽象提取一系列辨识性特征,为错误反向传播算法,即将输入值包括肝脏实质、脾 从而识别图像中的目标,超声医学中的前沿研究方厚度、肝动脉搏动指数、衰减指数及肝静脉频谱经过 法也多以此为核心。该神经网络模型对于解决现阶一系列不可知的调整后与已有的肝纤维化分级进行比 段科研中分类、检测、分割这3个主要问題均具有较,如有偏差则返回上一步的层级训练,直至单位错 重要意义,其中分类问题主要涉及完成探测组织结误总和被调整至最小,训练出的相应模型经过评估, 构异常并将其划归至各个疾病类别中的任务,类似其准确性可达88.3%(曲线下面积0.922)。相较肝 454 Septembe,4018
协 和 医 学 杂 志 ４５４ Ｓｅｐｔｅｍｂｅｒꎬ ２０１８ 动以达到目标的系统[２] ꎮ 自 ２０１６ 年 ３ 月 Ａｌｐｈａｇｏ 与围 棋世界冠军李世石的人机大战后ꎬ ＡＩ 又一次进入公众 视野ꎬ 备受关注ꎮ 基于医学影像特点和提高影像诊断 效能的诉求ꎬ ＡＩ 有望在将来成为影像医生诊治过程中 的有效辅助工具ꎮ 本文将结合具体案例介绍 ＡＩ 在超 声医学领域的可行性和局限性ꎬ 并对未来应用前景进 行分析与预测ꎬ 希望为进一步研究提供依据ꎮ １ 人工智能与医学影像 鉴于医学影像领域信息更加结构化ꎬ 大部分基于图 像的判断相比临床电子病历总结式的描述更加客观ꎬ 深 度学习取得突破前就有学者利用 ＡＩ 方法中的人工神经 网络来分析医学图像ꎬ 然而受限于梯度消失和过拟合问 题ꎬ 模型很难构建深层次的架构来学习ꎬ 同时还要面对 数据量和终端计算能力不足的困难ꎬ 相关研究取得的成 果有限ꎮ 而如今ꎬ 基于放射信息系统 ( ｒａｄｉｏｌｏｇｙ ｉｎｆｏｒ￣ ｍａｔｉｏｎ ｓｙｓｔｅｍꎬ ＲＩＳ )、 医 学 图 像 存 档 和 传 输 系 统 (ｐｉｃｔｕｒｅ ａｒｃｈｉｖｉｎｇ ａｎｄ ｃｏｍｍｕｎｉｃａｔｉｏｎ ｓｙｓｔｅｍꎬ ＰＡＣＳ) 中 的大量病例图像ꎬ ＡＩ 可更好地进行深度学习ꎬ 同时利 用深度学习中一系列具有不同优势和适用性的模型ꎬ 如 循环神经网络、 卷积神经网络等ꎬ 建立输入图片特征与 输出目标结果之间的对应关系ꎬ 更加高效识别图片中的 对象ꎬ 为相关研究与发展提供了更多可行性ꎮ 深度学习作为此次 ＡＩ 兴起以及相关医学影像研究 兴盛的核心技术ꎬ 其主流模型延续了早期机器学习中的 一个重要算法ꎬ 即人工神经网络ꎬ 原理是模拟人脑多层 神经网络结构并作出判断ꎬ 而应用于医学影像的深度学 习以神经网络为主ꎬ 大致分为两类: (１) 监督学习ꎬ 包括递归神经网络、 卷积神经网络和普通深度神经网络 等主流模型ꎻ (２) 无监督学习ꎬ 包括深度生成模型 (预训练) 和自编码器等模型ꎮ 二者主要区别在于对 具有相关特征的训练数据进行分类时ꎬ 训练数据是 否有人工标注的标签ꎬ 如数据有标签则称为监督学 习ꎬ 无标签即为无监督学习ꎬ 又称聚类ꎮ 监督学习 中的卷积神经网络正是目前医学影像领域 ＡＩ 的研究 热点ꎬ 作为一种具有自主学习能力的神经网络ꎬ 其 多层结构可基于多级抽象提取一系列辨识性特征ꎬ 从而识别图像中的目标ꎬ 超声医学中的前沿研究方 法也多以此为核心ꎮ 该神经网络模型对于解决现阶 段科研中分类、 检测、 分割这 ３ 个主要问题均具有 重要意义ꎬ 其中分类问题主要涉及完成探测组织结 构异常并将其划归至各个疾病类别中的任务ꎬ 类似 于诊断的思维过程ꎬ 是最典型的科研问题ꎮ ２ 人工智能在超声医学领域的应用 ２ １ 传统人工神经网络研究 ２ １ １ 大脑中动脉痉挛所致狭窄诊断方法效能评估 大脑中动脉痉挛是蛛网膜下腔出血的严重并发 症ꎬ 早期诊断和干预对预防卒中十分重要ꎮ 数字减影 血管造影 ( ｄｉｇｉｔａｌ ｓｕｂｔｒａｃｔｉｏｎ ａｎｇｉｏｇｒａｐｈｙꎬ ＤＳＡ) 是作 出该诊断的金标准ꎬ 但鉴于其为有创性操作并可导致 相关并发症ꎬ 不宜作为常规监测手段ꎮ 经颅多普勒 (ｔｒａｎｓｃｒａｎｉａｌ Ｄｏｐｐｌｅｒꎬ ＴＣＤ) 作为一项非侵入性监测方 法ꎬ 可在床旁操作ꎬ 且指导临床实践准确性高ꎬ 因此 被广泛应用[３] ꎻ 同时ꎬ 有文献显示ꎬ 经颅双功能彩色 多普勒超声 (ｔｒａｎｓｃｒａｎｉａｌ ｃｏｌｏｒ￣ｃｏｄｅｄ ｄｕｐｌｅｘ ｓｏｎｏｇｒａｐｈｙꎬ ＴＣＣＳ) 在大脑中动脉痉挛所致狭窄的诊断上比 ＴＣＤ 具有更高准确性[４] ꎬ 但这些文献存在 ＴＣＤ 和 ＴＣＣＳ 入 组人群不同、 研究组与对照组基线特征不同、 受试者 工作特征曲线 ( ｒｅｃｅｉｖｅｒ ｏｐｅｒａｔｉｎｇ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｃｕｒｖｅꎬ ＲＯＣ) 仅包括一项脑动脉血流动力学参数等不足ꎬ 横向 比较存在较大争议ꎬ 研 究 结 果 缺 乏 说 服 力ꎮ 于 是ꎬ Ｓｗｉｅｒｃｚ 等[５]利用传统人工神经网络建模ꎬ 并将经 ＴＣＤ 和 ＴＣＣＳ 获得的数据处理后的输出值与 ＤＳＡ 的结果进行 匹配ꎬ 以匹配程度最高的模型作为评判 ＴＣＤ 和 ＴＣＣＳ 诊 断准确性的仲裁者ꎬ 该模型能够将大脑中动脉平均流速 (ｍｅａｎ ｖｅｌｏｃｉｔｙꎬ Ｖｍｅａｎ)、 收 缩 期 峰 值 流 速 ( ｓｙｓｔｏｌｉｃ ｐｅａｋ ｖｅｌｏｃｉｔｙꎬ Ｖｐｓ) 及舒张末期流速 ( ｅｎｄ ｏｆ ｄｉａｓｔｏｌｉｃ ｖｅｌｏｃｉｔｙꎬ Ｖｅｄ) 整合为一个集合参数ꎬ 建立 ＲＯＣ 并进行 相关比较ꎬ 从而避免了超声医生解读数据作出判断时的 主观影响ꎬ 减少了混杂因素ꎬ 但该研究由于样本量有 限ꎬ 阳性病例数相对较少ꎬ 模型的准确性受到质疑ꎮ ２ １ ２ 建立非侵入性肝脏纤维化评级体系 慢性肝炎或肝损伤所致肝纤维化是肝硬化的共同 特征ꎬ 肝纤维化是可逆的病理过程ꎬ 及时有效的治疗 可避免其进一步发展为肝硬化ꎮ 为了在治疗过程中定 期进行纤维化或硬化评级ꎬ 常常选择超声作为监测手 段ꎮ Ｚｈａｎｇ 等[６]将传统人工神经网络的训练规则调整 为错误反向传播算法ꎬ 即将输入值包括肝脏实质、 脾 厚度、 肝动脉搏动指数、 衰减指数及肝静脉频谱经过 一系列不可知的调整后与已有的肝纤维化分级进行比 较ꎬ 如有偏差则返回上一步的层级训练ꎬ 直至单位错 误总和被调整至最小ꎬ 训练出的相应模型经过评估ꎬ 其准确性可达 ８８ ３％ (曲线下面积 ０ ９２２２)ꎮ 相较肝
人工智能在超声医学领域中的应用 活检,结合了A技术的超声监测不存在样本取材问均可为难以确诊又高度怀疑阑尾炎的患者增加诊断依 题以及医师经验水平差异所导致的误差,为慢性肝病据,其中阑尾外径在探头加压探查下>6mm作为诊断时 患者的临床决策提供了另一种参考 准确性最高的超声征象0。有研究利用一系列A算法 2.1.3早期甲状腺结节良恶性分类 除噪,提高亮度对比,提取出更加完整的筋膜底线以确 类似的基于传统人工神经网络的研究还涉及甲状定阑尾所在区域,并避免了大量腹水影响,其中的核心 腺结节良恶性诊断,由于医疗资源普及和定期体检的算法 Fuzzy Art是一种无监督神经网络学习算法,亦属 推广,许多甲状腺结节被发现,为进一步定义其良恶深度学习模型的一种,具有实时学习、无固定目标值、 性,不得不施行细针穿刺活检或定期随访,给医院诊对经验知识归类等特点,其应用显著提高了确定阑尾区 疗和患者均增加了负担,为了提高单次诊断的准确域的准确性,在已确诊阑尾炎的40幅声像图中,最新 性,Zhu等利用具有显著统计学意义(P<0.001)算法可成功识别其中38幅,真阳性率可达95%,与CT 的6项指标,包括形状(纵径长于横径)、边界(界诊断能力相当,且无辐射 线模糊)、回声(低回声)、质地(实质)、钙化(微2.2.3处理分割问题 钙化)、晕环(缺如)作为输入值训练传统人工神经 劲动脉相关参数及病变测量:颈动脉内-中膜厚度 网络模型以预测是否有恶性结节的存在,其准确性、( carotid intima- media thickness,CIMT)对预测心血管 敏感性、特异性分别可达82.3%、84.5%和79.1%。病风险十分重要,超声检查时需医师测量声像图中远 2.2以卷积神经网络为主的深度学习模型 端血管壁管腔与内膜交界至中膜与外膜交界的距离, 2.2.1处理分类问题 此人工标记耗时乏味,于是有研究者提取92份CIMT 甲状腺影像报告和数据系统( thyroid imaging-re-检查录像作为数据库,每一份均由专家划出3个感兴 porting and data system, TI-RADS)联合深度学习分辨趣区( region of interest,RO),之后再在276份ROI 甲状腺结节良恶性:TI-RADS现已广泛用于分类甲状中分别标识出管腔-内膜交界平面和内膜中膜交界平 腺结节并对其恶性风险进行评分,然而这种方法耗面作为训练的图像块进而建立卷积神经网络,经过特 时、费力且通常不够稳健,其诊断的准确性不仅受检定训练的卷积神经网络即可自动分割出需要的界面交 查医生个人经验影响,且受结节回声变异性等原因限由电脑测量,结果优于人工测量。也有学者设计调 制。 Acharya等基于离散小波变换特征,利用计算整了卷积神经网络模型用于颈动脉斑块的测量,并且 机对不同模态下的声像图进行归类,取得了98.9%~相较以纹理特征作为输入支持向量机( support vector 100%的准确性,这一类新的“计算机决定的特征” machine,svM)分类器的传统机器学习方法,卷积神 完全不同于临床微钙化灶等分类经验,为深度卷积神经网络的结果在准确度(0.9733比0.9638),敏感性 经网络的应用开创了前路。与传统特征提取方法相(0.9653比0.9746),特异性(0.9720比0.9602),马 比,深度卷积神经网络具有两个优点:(1)针对操作修相关指数(0.9444比0.9254),约登指数(0.9466 时不同灯光条件、垂直和水平位移等所致的诸如形状比0.9256)方面均更优[1,提示了卷积神经网络在 等失真改变,表现更加稳定;(2)特征提取时耗费更临床图像识别中应用的可行性与巨大潜力。 少的计算资源,故结合预处理和微调等方法后,训练2.2.4卷积神经网络迁移学习 出的A在二维声像图上识别甲状腺良恶性的准确性、 中孕期胎儿畸形筛查标准平面自动定位:产前 灵敏性和特异性分别可达96.34%、82.8%和99.3%,畸形筛查是胎儿超声检査的重要内容,不同医疗机 明显优于传统方法 构敏感性从27.5%至96%不等1,其中很重要的一 2.2.2处理检测问题 个影响因素即为标准平面的获取,通常需要医师具 协助定位从而为急性阑尾炎诊断提供更多证据:急备全面的解剖知识和大量的经验。胎儿腹围平面 性阑尾炎是外科常见急症,但典型症状发生率仅为( fetal abdominal standard plane,FASP)的自动定位因 66%,其临床诊治存在较多难点,在儿童、老年人、孕涉及复杂的解剖结构,可获取的样本量较少,缺乏 妇等特殊群体中常因诊断困难而致穿孔。超声检査在疑足够的数据来训练卷积神经网络模型,这一直是一 似病例,特别是其他检査不支持但患者又有持续症状的个充满挑战性的难题,于是有学者利用已被大量不 诊断中提供了有价值的参考信息。一系列征象如阑尾外相干原始图片训练过的卷积神经网络的较低层级网 径>6m、钙化灶及其壁上血流信号增强、管腔内积液络作为基础,将其中的经验知识转移到用来识别定 vo.9No.5455
人工智能在超声医学领域中的应用 Ｖｏｌ ９ Ｎｏ ５ ４５５ 活检ꎬ 结合了 ＡＩ 技术的超声监测不存在样本取材问 题以及医师经验水平差异所导致的误差ꎬ 为慢性肝病 患者的临床决策提供了另一种参考ꎮ ２ １ ３ 早期甲状腺结节良恶性分类 类似的基于传统人工神经网络的研究还涉及甲状 腺结节良恶性诊断ꎬ 由于医疗资源普及和定期体检的 推广ꎬ 许多甲状腺结节被发现ꎬ 为进一步定义其良恶 性ꎬ 不得不施行细针穿刺活检或定期随访ꎬ 给医院诊 疗和患者均增加了负担ꎬ 为了提高单次诊断的准确 性ꎬ Ｚｈｕ 等 [７]利用具有显著统计学意义 (Ｐ<０ ００１) 的 ６ 项指标ꎬ 包括形状 (纵径长于横径)、 边界 (界 线模糊)、 回声 (低回声)、 质地 (实质)、 钙化 (微 钙化)、 晕环 (缺如) 作为输入值训练传统人工神经 网络模型以预测是否有恶性结节的存在ꎬ 其准确性、 敏感性、 特异性分别可达 ８２ ３％、 ８４ ５％和 ７９ １％ꎮ ２ ２ 以卷积神经网络为主的深度学习模型 ２ ２ １ 处理分类问题 甲状腺影像报告和数据系统 ( ｔｈｙｒｏｉｄ ｉｍａｇｉｎｇ￣ｒｅ￣ ｐｏｒｔｉｎｇ ａｎｄ ｄａｔａ ｓｙｓｔｅｍꎬ ＴＩ￣ＲＡＤＳ) 联合深度学习分辨 甲状腺结节良恶性: ＴＩ￣ＲＡＤＳ 现已广泛用于分类甲状 腺结节并对其恶性风险进行评分ꎬ 然而这种方法耗 时、 费力且通常不够稳健ꎬ 其诊断的准确性不仅受检 查医生个人经验影响ꎬ 且受结节回声变异性等原因限 制ꎮ Ａｃｈａｒｙａ 等[８] 基于离散小波变换特征ꎬ 利用计算 机对不同模态下的声像图进行归类ꎬ 取得了 ９８ ９％ ~ １００％的准确性ꎬ 这一类新的 “ 计算机决定的特征” 完全不同于临床微钙化灶等分类经验ꎬ 为深度卷积神 经网络的应用开创了前路ꎮ 与传统特征提取方法相 比ꎬ 深度卷积神经网络具有两个优点: (１) 针对操作 时不同灯光条件、 垂直和水平位移等所致的诸如形状 等失真改变ꎬ 表现更加稳定ꎻ (２) 特征提取时耗费更 少的计算资源ꎬ 故结合预处理和微调等方法后ꎬ 训练 出的 ＡＩ 在二维声像图上识别甲状腺良恶性的准确性、 灵敏性和特异性分别可达 ９６ ３４％、 ８２ ８％ 和 ９９ ３％ꎬ 明显优于传统方法[９] ꎮ ２ ２ ２ 处理检测问题 协助定位从而为急性阑尾炎诊断提供更多证据: 急 性阑尾炎是外科常见急症ꎬ 但典型症状发生率仅为 ６６％ꎬ 其临床诊治存在较多难点ꎬ 在儿童、 老年人、 孕 妇等特殊群体中常因诊断困难而致穿孔ꎮ 超声检查在疑 似病例ꎬ 特别是其他检查不支持但患者又有持续症状的 诊断中提供了有价值的参考信息ꎮ 一系列征象如阑尾外 径>６ ｍｍ、 钙化灶及其壁上血流信号增强、 管腔内积液 均可为难以确诊又高度怀疑阑尾炎的患者增加诊断依 据ꎬ 其中阑尾外径在探头加压探查下>６ ｍｍ作为诊断时 准确性最高的超声征象[１０] ꎮ 有研究利用一系列 ＡＩ 算法 除噪ꎬ 提高亮度对比ꎬ 提取出更加完整的筋膜底线以确 定阑尾所在区域ꎬ 并避免了大量腹水影响ꎬ 其中的核心 算法 Ｆｕｚｚｙ ＡＲＴ 是一种无监督神经网络学习算法ꎬ 亦属 深度学习模型的一种ꎬ 具有实时学习、 无固定目标值、 对经验知识归类等特点ꎬ 其应用显著提高了确定阑尾区 域的准确性ꎬ 在已确诊阑尾炎的 ４０ 幅声像图中ꎬ 最新 算法可成功识别其中 ３８ 幅ꎬ 真阳性率可达 ９５％ꎬ 与 ＣＴ 诊断能力相当ꎬ 且无辐射[１１] ꎮ ２ ２ ３ 处理分割问题 劲动脉相关参数及病变测量: 颈动脉内￣中膜厚度 (ｃａｒｏｔｉｄ ｉｎｔｉｍａ￣ｍｅｄｉａ ｔｈｉｃｋｎｅｓｓꎬ ＣＩＭＴ) 对预测心血管 病风险十分重要ꎬ 超声检查时需医师测量声像图中远 端血管壁管腔与内膜交界至中膜与外膜交界的距离ꎬ 此人工标记耗时乏味ꎬ 于是有研究者提取 ９２ 份 ＣＩＭＴ 检查录像作为数据库ꎬ 每一份均由专家划出 ３ 个感兴 趣区 ( ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔꎬ ＲＯＩ)ꎬ 之后再在 ２７６ 份 ＲＯＩ 中分别标识出管腔￣内膜交界平面和内膜￣中膜交界平 面作为训练的图像块进而建立卷积神经网络ꎬ 经过特 定训练的卷积神经网络即可自动分割出需要的界面交 由电脑测量ꎬ 结果优于人工测量[１２] ꎮ 也有学者设计调 整了卷积神经网络模型用于颈动脉斑块的测量ꎬ 并且 相较以纹理特征作为输入支持向量机 ( ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅꎬ ＳＶＭ) 分类器的传统机器学习方法ꎬ 卷积神 经网络的结果在准确度 (０ ９７３３ 比 ０ ９６３８)ꎬ 敏感性 (０ ９６５３ 比 ０ ９７４６)ꎬ 特异性 (０ ９７２０ 比 ０ ９６０２)ꎬ 马 修相关指数 (０ ９４４４ 比 ０ ９２５４)ꎬ 约登指数 (０ ９４６６ 比 ０ ９２５６) 方面均更优[１３] ꎬ 提示了卷积神经网络在 临床图像识别中应用的可行性与巨大潜力ꎮ ２ ２ ４ 卷积神经网络迁移学习 中孕期胎儿畸形筛查标准平面自动定位: 产前 畸形筛查是胎儿超声检查的重要内容ꎬ 不同医疗机 构敏感性从 ２７ ５％至 ９６％不等[１４] ꎬ 其中很重要的一 个影响因素即为标准平面的获取ꎬ 通常需要医师具 备全面的解剖知 识 和 大 量 的 经 验ꎮ 胎 儿 腹 围 平 面 ( ｆｅｔａｌ ａｂｄｏｍｉｎａｌ ｓｔａｎｄａｒｄ ｐｌａｎｅꎬ ＦＡＳＰ) 的自动定位因 涉及复杂的解剖结构ꎬ 可获取的样本量较少ꎬ 缺乏 足够的数据来训练卷积神经网络模型ꎬ 这一直是一 个充满挑战性的难题ꎬ 于是有学者利用已被大量不 相干原始图片训练过的卷积神经网络的较低层级网 络作为基础ꎬ 将其中的经验知识转移到用来识别定
协和医学杂志 位FASP的卷积神经网络模型中,其表现明显胜过之取、识别和定量分析,在可携带计算机上施行实时超 前的基于少量数据训练的低维度模型,准确率、精声心动图分析其实已有据可循,同时深度学习相 确率、召回率和综合评价指标分别达到了0.904、关算法模型的嵌入,相较于现阶段研究中传统的其他 0.908、0.995和0.950151。科研中使用患者的数据机器学习方法,有望为AI在心脏疾病诊断方面带来 常常涉及隐私等伦理冋题,需征得患者同意,这就更广阔的发展前景 大大减少了可使用的图像素材;且鉴于医学影像图2.3超声医学科产品化应用实例 像对比度较低,训练数据量级要求不高,利用由其 我国自主研发的DE-超声机器人已投入临床进行 他图片(通常是自然图片)训练生成的神经网络进试验,这是一款基于超声影像,辅助医生进行甲状腺 行迁移学习来处理这类问题也很常见。这种方法很结节良恶性识别的智能诊断系统。测试环节中选取省 好地处理了因数据过少导致的模型过拟合问题,将级三甲教学医院不同级别大夫对同一帧图像进行识 卷积神经网络在临床应用的可行性进一步拓展,展别,诊断准确率在60%~70%,该设备协助医生工作 现了其处理医学图像的可预见前景 同步进行诊断,自动采集图像并给出结果及其概率 2.2.5超声心动图相关综合应用 值,准确性可高达87%。总的来说,该系统大幅减轻 涉及二维及多普勒超声心动图的研究常常伴随大了医生工作量,提升了影像诊断的精准性,既可节约 量的测量参数,这些参数对于评价心肌及瓣膜的结构医疗资源及社会成本,又可支持国家分级诊疗医改战 和功能十分重要。然而在实际工作中,理清并针对性略,但由于智能程序潜在的不稳定性及运算错误,同 地使用如此巨大的潜在数据组合对于一个忙碌的临床时考量到医学的发展与进步,如何安全有效在工作中 医生可行性不高,而且操作者的手法、技巧、经验对使用甚至推广该类AI产品仍需进一步探索。 于最终测量结果影响均较大,甚至由于不同时间操作 者本身状态不同,同一个人所测量的结果可重复性也3前景与局限 很难得到保证。相关研究将供训练的数据集(心脏四 腔心切面图)由心脏专家按不被接收(0分)至极佳 随着医院管理信息化和智能化水平的不断提高,AI (5分)进行总体质量评分,利用卷积神经网络模型与医疗行业的结合已是未来医疗发展的必然方向。2017 更不容易过拟合、更容易训练、加权调整更少的特年2月17日,国家卫生和计划生育委员委发布了2017 性,根据上述数据集即时生成自动化回声评分(auto-版“人工智能辅助诊断技术管理规范”及“人工智能 mated echo score,AES)作为质量反馈1,促进低年辅助诊断技术临床应用质量控制指标”,提示A已经真 资医生获取更高质量、更标准的相应切面声像图,提正开始走入临床工作并引起相关部门重视,但这是一个 高了医疗效率;同时也有研究显示运用算法对左心室多学科交叉合作的过程,需要广大高水平专科医生积极 射血分数进行自动测量计算,相对于传统的手工裸眼参与,提供高质量数据集训练AI,并为保障相关应用 标记测量,平均处理时间仅需8s,且可重复性高,结的准确性和稳定性进一步完善评估方案。 果相对精确[;针对此类研究尚存的争议:算法和计 AI在医疗领域的应用已有相对成熟的系统如“沃 算机技术领域的矛盾,医学方面比如金标准、心室肌森(BM公司)”作为参考,由于医学影像领域的特 小梁等问题[悶,有研究者使用融合了机器学习算法殊性,例如数据特征、人文交互少等,AI的应用阻力 的软件对二尖瓣相关的6项参数:二尖瓣环三维前外相对较小,国内外涉及图像区域分割、图像目标检 后内径、二尖瓣环三维前后径、瓣环面积、非平面角测、图像配准等多个领域的研究也逾渐火热,相关模 度、二尖瓣环总周长、总瓣叶进行测量比较,观察检型以深度学习为主,结合机器学习多种方法,其发展 测器本身是否会影响参数,设定P=0.0083,无影响对科研和临床的助力不可小觑,但由于不同组织变异 为无效假设,得到6项参数的相应P值分别为0.72、性大,边界模糊,微细血管神经分布复杂等原因,通 0.25、0.07、0.03、0.13、0.15,结果显然瑕不掩瑜,常仅针对某一特定器官或疾病,多种类型方法结合与 即使测量数据存在微小的不一致性,研究者也相信软改进使用以便相互弥补算法缺陷,尚未有普适的方法 件可以通过自主学习适应调整以改善表现[。更多可以对任意一张超声声像图进行解析21。 的研究也提示未来机械臂与影像自动化分析的共同发关于A是否会取代医生的问题,应基于A应用于 展,有望实现无人干预的全自动化超声心动图的获超声诊断需要完成两项基本任务,即扫查和读片进行分 456 Septembe,4018
协 和 医 学 杂 志 ４５６ Ｓｅｐｔｅｍｂｅｒꎬ ２０１８ 位 ＦＡＳＰ 的卷积神经网络模型中ꎬ 其表现明显胜过之 前的基于少量数据训练的低维度模型ꎬ 准确率、 精 确率、 召回率和综合评价指标分 别 达 到 了 ０ ９０４、 ０ ９０８、 ０ ９９５ 和 ０ ９５０ [１５] ꎮ 科研中使用患者的数据 常常涉及隐私等伦理问题ꎬ 需征得患者同意ꎬ 这就 大大减少了可使用的图像素材ꎻ 且鉴于医学影像图 像对比度较低ꎬ 训练数据量级要求不高ꎬ 利用由其 他图片 (通常是自然图片) 训练生成的神经网络进 行迁移学习来处理这类问题也很常见ꎮ 这种方法很 好地处理了因数据过少导致的模型过拟合问题ꎬ 将 卷积神经网络在临床应用的可行性进一步拓展ꎬ 展 现了其处理医学图像的可预见前景ꎮ ２ ２ ５ 超声心动图相关综合应用 涉及二维及多普勒超声心动图的研究常常伴随大 量的测量参数ꎬ 这些参数对于评价心肌及瓣膜的结构 和功能十分重要ꎮ 然而在实际工作中ꎬ 理清并针对性 地使用如此巨大的潜在数据组合对于一个忙碌的临床 医生可行性不高ꎬ 而且操作者的手法、 技巧、 经验对 于最终测量结果影响均较大ꎬ 甚至由于不同时间操作 者本身状态不同ꎬ 同一个人所测量的结果可重复性也 很难得到保证ꎮ 相关研究将供训练的数据集 (心脏四 腔心切面图) 由心脏专家按不被接收 (０ 分) 至极佳 (５ 分) 进行总体质量评分ꎬ 利用卷积神经网络模型 更不容易过拟合、 更容易训练、 加权调整更少的特 性ꎬ 根据上述数据集即时生成自动化回声评分 ( ａｕｔｏ￣ ｍａｔｅｄ ｅｃｈｏ ｓｃｏｒｅꎬ ＡＥＳ) 作为质量反馈[１６] ꎬ 促进低年 资医生获取更高质量、 更标准的相应切面声像图ꎬ 提 高了医疗效率ꎻ 同时也有研究显示运用算法对左心室 射血分数进行自动测量计算ꎬ 相对于传统的手工裸眼 标记测量ꎬ 平均处理时间仅需 ８ ｓꎬ 且可重复性高ꎬ 结 果相对精确[１７] ꎻ 针对此类研究尚存的争议: 算法和计 算机技术领域的矛盾ꎬ 医学方面比如金标准、 心室肌 小梁等问题 [１８] ꎬ 有研究者使用融合了机器学习算法 的软件对二尖瓣相关的 ６ 项参数: 二尖瓣环三维前外 后内径、 二尖瓣环三维前后径、 瓣环面积、 非平面角 度、 二尖瓣环总周长、 总瓣叶进行测量比较ꎬ 观察检 测器本身是否会影响参数ꎬ 设定 Ｐ ＝ ０ ００８３ꎬ 无影响 为无效假设ꎬ 得到 ６ 项参数的相应 Ｐ 值分别为 ０ ７２、 ０ ２５、 ０ ０７、 ０ ０３、 ０ １３、 ０ １５ꎬ 结果显然瑕不掩瑜ꎬ 即使测量数据存在微小的不一致性ꎬ 研究者也相信软 件可以通过自主学习适应调整以改善表现[１９] ꎮ 更多 的研究也提示未来机械臂与影像自动化分析的共同发 展ꎬ 有望实现无人干预的全自动化超声心动图的获 取、 识别和定量分析ꎬ 在可携带计算机上施行实时超 声心动图分析其实已有据可循[２０] ꎬ 同时深度学习相 关算法模型的嵌入ꎬ 相较于现阶段研究中传统的其他 机器学习方法ꎬ 有望为 ＡＩ 在心脏疾病诊断方面带来 更广阔的发展前景ꎮ ２ ３ 超声医学科产品化应用实例 我国自主研发的 ＤＥ￣超声机器人已投入临床进行 试验ꎬ 这是一款基于超声影像ꎬ 辅助医生进行甲状腺 结节良恶性识别的智能诊断系统ꎮ 测试环节中选取省 级三甲教学医院不同级别大夫对同一帧图像进行识 别ꎬ 诊断准确率在 ６０％ ~ ７０％ꎬ 该设备协助医生工作 同步进行诊断ꎬ 自动采集图像并给出结果及其概率 值ꎬ 准确性可高达 ８７％ꎮ 总的来说ꎬ 该系统大幅减轻 了医生工作量ꎬ 提升了影像诊断的精准性ꎬ 既可节约 医疗资源及社会成本ꎬ 又可支持国家分级诊疗医改战 略ꎬ 但由于智能程序潜在的不稳定性及运算错误ꎬ 同 时考量到医学的发展与进步ꎬ 如何安全有效在工作中 使用甚至推广该类 ＡＩ 产品仍需进一步探索ꎮ ３ 前景与局限 随着医院管理信息化和智能化水平的不断提高ꎬ ＡＩ 与医疗行业的结合已是未来医疗发展的必然方向ꎮ ２０１７ 年 ２ 月 １７ 日ꎬ 国家卫生和计划生育委员委发布了 ２０１７ 版 “人工智能辅助诊断技术管理规范” 及 “人工智能 辅助诊断技术临床应用质量控制指标”ꎬ 提示 ＡＩ 已经真 正开始走入临床工作并引起相关部门重视ꎬ 但这是一个 多学科交叉合作的过程ꎬ 需要广大高水平专科医生积极 参与ꎬ 提供高质量数据集训练 ＡＩꎬ 并为保障相关应用 的准确性和稳定性进一步完善评估方案ꎮ ＡＩ 在医疗领域的应用已有相对成熟的系统如 “沃 森 (ＩＢＭ 公司) ” 作为参考ꎬ 由于医学影像领域的特 殊性ꎬ 例如数据特征、 人文交互少等ꎬ ＡＩ 的应用阻力 相对较小ꎬ 国内外涉及图像区域分割、 图像目标检 测、 图像配准等多个领域的研究也逾渐火热ꎬ 相关模 型以深度学习为主ꎬ 结合机器学习多种方法ꎬ 其发展 对科研和临床的助力不可小觑ꎬ 但由于不同组织变异 性大ꎬ 边界模糊ꎬ 微细血管神经分布复杂等原因ꎬ 通 常仅针对某一特定器官或疾病ꎬ 多种类型方法结合与 改进使用以便相互弥补算法缺陷ꎬ 尚未有普适的方法 可以对任意一张超声声像图进行解析[２１] ꎮ 关于 ＡＩ 是否会取代医生的问题ꎬ 应基于 ＡＩ 应用于 超声诊断需要完成两项基本任务ꎬ 即扫查和读片进行分
人工智能在超声医学领域中的应用 析。目前更多研究集中于读片场景的应用,而针对患者 289-301 的操作扫查研究,有学者提出可用一个计算机控制的机9]ChiJ, Walia e, Babyn F,etal. Thyroid nodule classific 械臂控制探头的位置和角度进行不同标准切面的扫查, in ultrasound images by fine-tuning deep convolutional neural network [J]. J Digit Imaging, 2017, 30: 477-486 根据高矮胖瘦不一,机械臂借助一些辅助参数和标记部[10]kesr, Cyteval c, Gallix h,ctal. Appendiciti:eal 位精确调整扫查图像的位置和范围从而得到标准切面图 ation of sensitivity, specificity, and predictive values of US 像2。但是实际工作中,一个超声诊断临床决策的实 doppler US, and laboratory findings [J]. Radiology, 2004 现往往要结合多个切面、直接与间接征象以及临床信息 230:472-478 的分析,这样的能力或许需要到强A阶段才能实现。 [11 Kim KB, Park HJ, Song DH, et al. Developing an 一种新药从研发到推广应用至少需要经过3个阶 intelligent automatic appendix extraction method from ultra- IT and image processing [J 段,表明医疗创新实例往往需要面临更高的门槛,这主 Comput Math Methods Med, 2015, 2015: 389057. 要是由于医疗行业的预防原则所致。A亦是如此,其[12] Tajbakhsh N, Shin JY, Gurudu sr,etal. Convolutional 需要经历大量的测试,测试越多,暴露的信息与问题越 neural networks for medical image analysis: full training or 多,继而越能够预测后续可能产生的风险,同时考虑到 fine tuning? [J]. IEEE Trans Med Imaging, 2016, 35 法律法规、民众接受度以及潜在的医疗事故背后相应的 1299-1312. [13]孙夏,吴蔚,吴鹏,等.基于卷积神经网络的颈动脉斑 权责等问题,在大量测试后A能否切实应用于实际工 块超声图像特征识别[J].中国医疗器械信息,2016 作尚未可知,而如果AI能够代替医生完成大部分工作, 医生就可将工作重心放在临床决策的审核及科学研究方[14] Salomon, Winer n, Bernard JP,etal. A score-based 面,这一应用将解放医生们的生产力,使医生更加具有 创新动力,为专科发展带来裨益! mester ultrasound examination [J]. Prenat Diagn, 2008 822827 n H, Ni D, Qin J, et al. Standard plane localization in 参考文献 ultrasound via domain transferred deep neural network ]. IEEE J Biomed Health Inform, 2015 [1 Turing AM. Computing machinery and intelligence [J]. [16] Abdi AH, Luong C, Tsang T, et al. Automatic quality assess- Mind,1950,59:433-460. ment of echocardiograms using convolutional neural networks Peter N. Artificial intelligence, modern asibility on the apical four-chamber view []. IEEE Tran [M]. Englewood: Prentice Hall, 1995 Med Imaging,2017,36:;122-1230 3 Sekhar L, Wechsler L, Yonas H, et al. Value of transcranial [17 Knackstedt C, Bekkers SC, Schummers G, et al. Fully au- e dagnosIs after subarachnoid hemorrhage [J]. Neurosurgery, 1988 fraction and longitudinal strain: the fast-EFs multicenter study I. J Am Coll Cardiol, 2015, 66: 1456-1466 [4] Baumgartner RW, Mattle HP, Schroth G. Assessment of 2 [18] Furiasse N, Thomas JD. Automated algorithmic software in 50% and <50% intracranial stenoses by transcranial color-co. echocardiography: artificial intelligence? [J].J Am Coll Car ded duplex sonography [J]. Stroke, 1999, 30:87-92 diol,2015,66:1467-1469 [5] Swiercz M, Swiat M, Pawlak M, et al. Narrowing of the [19 Jeganathan J, Knio Z, Amador Y, et al. Artificial intellige middle cerebral artery: Ann Card Anaesth. 2017. 20 parison of transcranial color coded duplex sonography with con- 129134 ventional TCD [J]. Ultrasound Med Biol, 2010, 36: 17-28. [20 Kumar S, Nilsen WJ, Abernethy A, et al. Mobile health [6] Zhang L, Li QY, Duan YY, et al. Artificial neural network technology evaluation: the health evidence workshop [J] aided non-invasive grading evaluation of hepatic fibrosis by Am J Prev Med,2013,45:228-236. duplex ultrasonography[J]. BMC Med Inform Decis Mak,[2l]王弈,李传富.人工智能方法在医学图像处理中的研究新进 展[J].中国医学物理学杂志,2013,3:4138-4143 7] Zhu LC, Ye YL, Luo WH, et al. A model to discriminate [22] Priester AM, Natarajan S, Culjat MO. Robotic ultrasound alignant from benign thyroid nodules using artificial neural systems in medicine [J]. IEEE Trans Ultrason Ferroelectr etwork [J]. PLos One, 2013: e82211 Freq Control, 2013, 60: 507-523 [8 Acharya UR, Swapna G, Sree SV, et al. A review on ultra- und-based thyroid cancer tissue characterization and auto- 收稿日期:2017-09-06) mated classification [J]. Technol Cancer Res Treat, 2014 vo.9No.5457
人工智能在超声医学领域中的应用 Ｖｏｌ ９ Ｎｏ ５ ４５７ 析ꎮ 目前更多研究集中于读片场景的应用ꎬ 而针对患者 的操作扫查研究ꎬ 有学者提出可用一个计算机控制的机 械臂控制探头的位置和角度进行不同标准切面的扫查ꎬ 根据高矮胖瘦不一ꎬ 机械臂借助一些辅助参数和标记部 位精确调整扫查图像的位置和范围从而得到标准切面图 像[２２] ꎮ 但是实际工作中ꎬ 一个超声诊断临床决策的实 现往往要结合多个切面、 直接与间接征象以及临床信息 的分析ꎬ 这样的能力或许需要到强 ＡＩ 阶段才能实现ꎮ 一种新药从研发到推广应用至少需要经过 ３ 个阶 段ꎬ 表明医疗创新实例往往需要面临更高的门槛ꎬ 这主 要是由于医疗行业的预防原则所致ꎮ ＡＩ 亦是如此ꎬ 其 需要经历大量的测试ꎬ 测试越多ꎬ 暴露的信息与问题越 多ꎬ 继而越能够预测后续可能产生的风险ꎬ 同时考虑到 法律法规、 民众接受度以及潜在的医疗事故背后相应的 权责等问题ꎬ 在大量测试后 ＡＩ 能否切实应用于实际工 作尚未可知ꎬ 而如果 ＡＩ 能够代替医生完成大部分工作ꎬ 医生就可将工作重心放在临床决策的审核及科学研究方 面ꎬ 这一应用将解放医生们的生产力ꎬ 使医生更加具有 创新动力ꎬ 为专科发展带来裨益! 参 考 文 献 [１] Ｔｕｒｉｎｇ ＡＭ. Ｃｏｍｐｕｔｉｎｇ ｍａｃｈｉｎｅｒｙ ａｎｄ ｉｎｔｅｌｌｉｇｅｎｃｅ [ Ｊ ]. Ｍｉｎｄꎬ １９５０ꎬ ５９: ４３３￣ ４６０. [２] Ｓｔｕａｒｔ ＪＲꎬ Ｐｅｔｅｒ Ｎ. Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ: ｍｏｄｅｒｎ ａｐｐｒｏａｃｈ [Ｍ]. Ｅｎｇｌｅｗｏｏｄ: Ｐｒｅｎｔｉｃｅ Ｈａｌｌꎬ １９９５. [３] Ｓｅｋｈａｒ Ｌꎬ Ｗｅｃｈｓｌｅｒ Ｌꎬ Ｙｏｎａｓ Ｈꎬ ｅｔ ａｌ. Ｖａｌｕｅ ｏｆ ｔｒａｎｓｃｒａｎｉａｌ ｄｏｐｐｌｅｒ ｅｘａｍｉｎａｔｉｏｎ ｉｎ ｔｈｅ ｄｉａｇｎｏｓｉｓ ｏｆ ｃｅｒｅｂｒａｌ ｖａｓｏｓｐａｓｍ ａｆｔｅｒ ｓｕｂａｒａｃｈｎｏｉｄ ｈｅｍｏｒｒｈａｇｅ [ Ｊ ]. Ｎｅｕｒｏｓｕｒｇｅｒｙꎬ １９８８ꎬ ２２: ８１３￣ ８２１. [４] Ｂａｕｍｇａｒｔｎｅｒ ＲＷꎬ Ｍａｔｔｌｅ ＨＰꎬ Ｓｃｈｒｏｔｈ Ｇ. Ａｓｓｅｓｓｍｅｎｔ ｏｆ ≥ ５０％ ａｎｄ <５０％ ｉｎｔｒａｃｒａｎｉａｌ ｓｔｅｎｏｓｅｓ ｂｙ ｔｒａｎｓｃｒａｎｉａｌ ｃｏｌｏｒ￣ｃｏ￣ ｄｅｄ ｄｕｐｌｅｘ ｓｏｎｏｇｒａｐｈｙ [Ｊ]. Ｓｔｒｏｋｅꎬ １９９９ꎬ ３０: ８７￣ ９２. [５] Ｓｗｉｅｒｃｚ Ｍꎬ Ｓｗｉａｔ Ｍꎬ Ｐａｗｌａｋ Ｍꎬ ｅｔ ａｌ. Ｎａｒｒｏｗｉｎｇ ｏｆ ｔｈｅ ｍｉｄｄｌｅ ｃｅｒｅｂｒａｌ ａｒｔｅｒｙ: ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｍｅｔｈｏｄｓ ａｎｄ ｃｏｍ￣ ｐａｒｉｓｏｎ ｏｆ ｔｒａｎｓｃｒａｎｉａｌ ｃｏｌｏｒ ｃｏｄｅｄ ｄｕｐｌｅｘ ｓｏｎｏｇｒａｐｈｙ ｗｉｔｈ ｃｏｎ￣ ｖｅｎｔｉｏｎａｌ ＴＣＤ [Ｊ]. Ｕｌｔｒａｓｏｕｎｄ Ｍｅｄ Ｂｉｏｌꎬ ２０１０ꎬ ３６: １７￣ ２８. [６] Ｚｈａｎｇ Ｌꎬ Ｌｉ ＱＹꎬ Ｄｕａｎ ＹＹꎬ ｅｔ ａｌ. Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｉｄｅｄ ｎｏｎ￣ｉｎｖａｓｉｖｅ ｇｒａｄｉｎｇ ｅｖａｌｕａｔｉｏｎ ｏｆ ｈｅｐａｔｉｃ ｆｉｂｒｏｓｉｓ ｂｙ ｄｕｐｌｅｘ ｕｌｔｒａｓｏｎｏｇｒａｐｈｙ [ Ｊ]. ＢＭＣ Ｍｅｄ Ｉｎｆｏｒｍ Ｄｅｃｉｓ Ｍａｋꎬ ２０１２ꎬ １２: ５５. [７] Ｚｈｕ ＬＣꎬ Ｙｅ ＹＬꎬ Ｌｕｏ ＷＨꎬ ｅｔ ａｌ. Ａ ｍｏｄｅｌ ｔｏ ｄｉｓｃｒｉｍｉｎａｔｅ ｍａｌｉｇｎａｎｔ ｆｒｏｍ ｂｅｎｉｇｎ ｔｈｙｒｏｉｄ ｎｏｄｕｌｅｓ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ [Ｊ]. ＰＬｏＳ Ｏｎｅꎬ ２０１３: ｅ８２２１１. [８] Ａｃｈａｒｙａ ＵＲꎬ Ｓｗａｐｎａ Ｇꎬ Ｓｒｅｅ ＳＶꎬ ｅｔ ａｌ. Ａ ｒｅｖｉｅｗ ｏｎ ｕｌｔｒａ￣ ｓｏｕｎｄ￣ｂａｓｅｄ ｔｈｙｒｏｉｄ ｃａｎｃｅｒ ｔｉｓｓｕｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ ａｎｄ ａｕｔｏ￣ ｍａｔｅｄ ｃｌａｓｓｉｆｉｃａｔｉｏｎ [Ｊ]. Ｔｅｃｈｎｏｌ Ｃａｎｃｅｒ Ｒｅｓ Ｔｒｅａｔꎬ ２０１４: ２８９￣ ３０１. [９] Ｃｈｉ Ｊꎬ Ｗａｌｉａ Ｅꎬ Ｂａｂｙｎ Ｐꎬ ｅｔ ａｌ. Ｔｈｙｒｏｉｄ ｎｏｄｕｌｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｉｎ ｕｌｔｒａｓｏｕｎｄ ｉｍａｇｅｓ ｂｙ ｆｉｎｅ￣ｔｕｎｉｎｇ ｄｅｅｐ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ [Ｊ]. Ｊ Ｄｉｇｉｔ Ｉｍａｇｉｎｇꎬ ２０１７ꎬ ３０: ４７７￣ ４８６. [１０] Ｋｅｓｓｌｅｒ Ｎꎬ Ｃｙｔｅｖａｌ Ｃꎬ Ｇａｌｌｉｘ Ｂꎬ ｅｔ ａｌ. Ａｐｐｅｎｄｉｃｉｔｉｓ: ｅｖａｌｕ￣ ａｔｉｏｎ ｏｆ ｓｅｎｓｉｔｉｖｉｔｙꎬ ｓｐｅｃｉｆｉｃｉｔｙꎬ ａｎｄ ｐｒｅｄｉｃｔｉｖｅ ｖａｌｕｅｓ ｏｆ ＵＳꎬ ｄｏｐｐｌｅｒ ＵＳꎬ ａｎｄ ｌａｂｏｒａｔｏｒｙ ｆｉｎｄｉｎｇｓ [ Ｊ]. Ｒａｄｉｏｌｏｇｙꎬ ２００４ꎬ ２３０: ４７２￣ ４７８. [１１] Ｋｉｍ ＫＢꎬ Ｐａｒｋ ＨＪꎬ Ｓｏｎｇ ＤＨꎬ ｅｔ ａｌ. Ｄｅｖｅｌｏｐｉｎｇ ａｎ ｉｎｔｅｌｌｉｇｅｎｔ ａｕｔｏｍａｔｉｃ ａｐｐｅｎｄｉｘ ｅｘｔｒａｃｔｉｏｎ ｍｅｔｈｏｄ ｆｒｏｍ ｕｌｔｒａ￣ ｓｏｎｏｇｒａｐｈｙ ｂａｓｅｄ ｏｎ ｆｕｚｚｙ ＡＲＴ ａｎｄ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ [ Ｊ]. Ｃｏｍｐｕｔ Ｍａｔｈ Ｍｅｔｈｏｄｓ Ｍｅｄꎬ ２０１５ꎬ ２０１５: ３８９０５７. [１２] Ｔａｊｂａｋｈｓｈ Ｎꎬ Ｓｈｉｎ ＪＹꎬ Ｇｕｒｕｄｕ ＳＲꎬ ｅｔ ａｌ. Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｅｄｉｃａｌ ｉｍａｇｅ ａｎａｌｙｓｉｓ: ｆｕｌｌ ｔｒａｉｎｉｎｇ ｏｒ ｆｉｎｅ ｔｕｎｉｎｇ? [ Ｊ ]. ＩＥＥＥ Ｔｒａｎｓ Ｍｅｄ Ｉｍａｇｉｎｇꎬ ２０１６ꎬ ３５: １２９９￣ １３１２. [１３] 孙夏ꎬ 吴蔚ꎬ 吴鹏ꎬ 等. 基于卷积神经网络的颈动脉斑 块超声图像特征识别 [ Ｊ]. 中国医疗器械信息ꎬ ２０１６ꎬ ９: ４￣ ８. [１４] Ｓａｌｏｍｏｎ ＬＪꎬ Ｗｉｎｅｒ Ｎꎬ Ｂｅｒｎａｒｄ ＪＰꎬ ｅｔ ａｌ. Ａ ｓｃｏｒｅ￣ｂａｓｅｄ ｍｅｔｈｏｄ ｆｏｒ ｑｕａｌｉｔｙ ｃｏｎｔｒｏｌ ｏｆ ｆｅｔａｌ ｉｍａｇｅｓ ａｔ ｒｏｕｔｉｎｅ ｓｅｃｏｎｄ￣ｔｒｉ￣ ｍｅｓｔｅｒ ｕｌｔｒａｓｏｕｎｄ ｅｘａｍｉｎａｔｉｏｎ [ Ｊ ]. Ｐｒｅｎａｔ Ｄｉａｇｎꎬ ２００８ꎬ ２８: ８２２￣ ８２７. [１５] Ｃｈｅｎ Ｈꎬ Ｎｉ Ｄꎬ Ｑｉｎ Ｊꎬ ｅｔ ａｌ. Ｓｔａｎｄａｒｄ ｐｌａｎｅ ｌｏｃａｌｉｚａｔｉｏｎ ｉｎ ｆｅｔａｌ ｕｌｔｒａｓｏｕｎｄ ｖｉａ ｄｏｍａｉｎ ｔｒａｎｓｆｅｒｒｅｄ ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ [Ｊ]. ＩＥＥＥ Ｊ Ｂｉｏｍｅｄ Ｈｅａｌｔｈ Ｉｎｆｏｒｍꎬ ２０１５ꎬ １９: １６２７￣ １６３６. [１６] Ａｂｄｉ ＡＨꎬ Ｌｕｏｎｇ Ｃꎬ Ｔｓａｎｇ Ｔꎬ ｅｔ ａｌ. Ａｕｔｏｍａｔｉｃ ｑｕａｌｉｔｙ ａｓｓｅｓｓ￣ ｍｅｎｔ ｏｆ ｅｃｈｏｃａｒｄｉｏｇｒａｍｓ ｕｓｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ: ｆｅａｓｉｂｉｌｉｔｙ ｏｎ ｔｈｅ ａｐｉｃａｌ ｆｏｕｒ￣ｃｈａｍｂｅｒ ｖｉｅｗ [Ｊ]. ＩＥＥＥ Ｔｒａｎｓ Ｍｅｄ Ｉｍａｇｉｎｇꎬ ２０１７ꎬ ３６: １２２１￣ １２３０. [１７] Ｋｎａｃｋｓｔｅｄｔ Ｃꎬ Ｂｅｋｋｅｒｓ ＳＣꎬ Ｓｃｈｕｍｍｅｒｓ Ｇꎬ ｅｔ ａｌ. Ｆｕｌｌｙ ａｕ￣ ｔｏｍａｔｅｄ ｖｅｒｓｕｓ ｓｔａｎｄａｒｄ ｔｒａｃｋｉｎｇ ｏｆ ｌｅｆｔ ｖｅｎｔｒｉｃｕｌａｒ ｅｊｅｃｔｉｏｎ ｆｒａｃｔｉｏｎ ａｎｄ ｌｏｎｇｉｔｕｄｉｎａｌ ｓｔｒａｉｎ: ｔｈｅ ｆａｓｔ￣ＥＦｓ ｍｕｌｔｉｃｅｎｔｅｒ ｓｔｕｄｙ [Ｊ]. Ｊ Ａｍ Ｃｏｌｌ Ｃａｒｄｉｏｌꎬ ２０１５ꎬ ６６: １４５６￣ １４６６. [１８] Ｆｕｒｉａｓｓｅ Ｎꎬ Ｔｈｏｍａｓ ＪＤ. Ａｕｔｏｍａｔｅｄ ａｌｇｏｒｉｔｈｍｉｃ ｓｏｆｔｗａｒｅ ｉｎ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ: ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ? [Ｊ]. Ｊ Ａｍ Ｃｏｌｌ Ｃａｒ￣ ｄｉｏｌꎬ ２０１５ꎬ ６６: １４６７￣ １４６９. [１９] Ｊｅｇａｎａｔｈａｎ Ｊꎬ Ｋｎｉｏ Ｚꎬ Ａｍａｄｏｒ Ｙꎬ ｅｔ ａｌ. Ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ ｉｎ ｍｉｔｒａｌ ｖａｌｖｅ ａｎａｌｙｓｉｓ [Ｊ]. Ａｎｎ Ｃａｒｄ Ａｎａｅｓｔｈꎬ ２０１７ꎬ ２０: １２９￣ １３４. [２０] Ｋｕｍａｒ Ｓꎬ Ｎｉｌｓｅｎ ＷＪꎬ Ａｂｅｒｎｅｔｈｙ Ａꎬ ｅｔ ａｌ. Ｍｏｂｉｌｅ ｈｅａｌｔｈ ｔｅｃｈｎｏｌｏｇｙ ｅｖａｌｕａｔｉｏｎ: ｔｈｅ ｈｅａｌｔｈ ｅｖｉｄｅｎｃｅ ｗｏｒｋｓｈｏｐ [ Ｊ ]. Ａｍ Ｊ Ｐｒｅｖ Ｍｅｄꎬ ２０１３ꎬ ４５: ２２８￣ ２３６. [２１] 王弈ꎬ 李传富. 人工智能方法在医学图像处理中的研究新进 展 [Ｊ]. 中国医学物理学杂志ꎬ ２０１３ꎬ ３: ４１３８￣ ４１４３. [２２] Ｐｒｉｅｓｔｅｒ ＡＭꎬ Ｎａｔａｒａｊａｎ Ｓꎬ Ｃｕｌｊａｔ ＭＯ. Ｒｏｂｏｔｉｃ ｕｌｔｒａｓｏｕｎｄ ｓｙｓｔｅｍｓ ｉｎ ｍｅｄｉｃｉｎｅ [ Ｊ]. ＩＥＥＥ Ｔｒａｎｓ Ｕｌｔｒａｓｏｎ Ｆｅｒｒｏｅｌｅｃｔｒ Ｆｒｅｑ Ｃｏｎｔｒｏｌꎬ ２０１３ꎬ ６０: ５０７￣ ５２３. (收稿日期: ２０１７￣ ０９￣ ０６)