《第二军医大学学报》：人工智能在临床医学中的应用与思考

第二军医大学学报2018年4月第39卷第4期Mttp:www.asimmu.ch 358 Academic Journal of Second Military Medical University, Apr. 2018, Vol 39, No. 4 专家论坛 于观贞上海中医药大学附属龙华医院肿瘤科副主任医师、温州医科大学客座教授,硕士生 导师,中国研究型医院学会智能医学专业委员会委员。先后在海军军医大学(第二军医大学)获 得病理学硕士和临床肿瘤学博士学位,2011-2012年在美国德州大学 MD Anderson痛症中心从事 脑外科博士后研究。入选2013年上海市浦江人才计划。目前主要从事围绕胃癌与胆管癌的预防和 精准治疗、转移机制以及氢医学和人工智能的研究。主持囯家自然科学基金2项,浦江人才计划项 目1项,全军医药卫生科研基金1项,福建省自然科学基金1项,中国临床肿瘤学科学基金1项。 作为子课题负责人或主要撰稿人承担国家国际科技合作专项国家科技支撑计划、上海市重大疾病 科技攻关项目各1项。在 EMBO J、 Clin Invest、 Clin Cancer res、 BMC Cancer、 Clin Exp Metastasis、 Cancer Res clin Oncol、 Med oncol、 Eur Surg Res等期刊发表论文多篇,总影响因子近200分,被引频次超过500 次,单篇最高被引频次为14次。申请获批发明专利2项,实用新型专利1项。曾获军队医疗成果奖一等奖(第二署名)、美国 德州大学 MD Anderson btc poster award(第一署名)、军队医疗成果奖三等奖、中国临床肿瘤学科学基金优秀论文一等奖。 DoI:10.16781/0258879x201804.0358 人工智能在临床医学中的应用与思考 于观贞1,刘西洋?,张彦春3,杨晶东,田建辉1,朱明华° 1.上海中医药大学附属龙华医院肿瘤科,上海200032 2.西安电子科技大学软件学院,西安710071 3.复旦大学计算机科学技术学院医疗健康大数据研究中心,上海201203 4.上海理工大学光电信息与计算机工程学院,上海20093 5.海军军医大学(第二军医大学)长海医院病理科,上海200433 摘要]人工智能(AI)已成为发达国家的国家战略。在医疗健康领域的各个环节(如虚拟助理、医学影像 药物挖掘、营养学、医院管理、健康管理、精神疾病、可穿戴设备、风险管理、病理学和临床诊疗活动等),AI已 取得极大的发展。本文就医疗活动中较为成功的AI研究,即AI与病理诊断、眼部疾病、皮肤疾病、医学影像、中 医药、心电监测、手术机器人、肿瘤治疗、医学科学研究作一系统性的评述,阐述医疗领域AI应用存在的问题与展 望。相信随着AI技术的发展,AI将会推动医疗领域革命性的进步,使广大病患受益 关键词]人工智能;病理;治疗;机器人;中医药 中图分类号]R604 文献标志码」A[章编号0258-879X(201804035808 Artificial intelligence in clinical medicine: application and thinking YU Guan-zhen, LIU Xi-yang, ZHANG Yan-chun, YANG Jing-dong, TIAN Jian-hui, ZHU Ming-hua 1. Department of Oncology, Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine, Shanghai 200032, China 2. School of Software, Xidian University, Xi'an 710071, Shaanxi, Chin 3. Medical Health Big Data Research Center, School of Computer Science, Fudan University, Shanghai 201203, China 4. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China 5. Department of Pathology, Changhai Hospital, Navy Medical University(Second Military Medical University), Shanghai 200433, China [收稿日期2018-03-24 接受日期2018-04-10 基金项目国家自然科学基金(81572856,上海中医药大学附属龙华医院高层次人才引进项目(LH0251002). Supported by National Natural Science Foundation of China(81572856)and High-Level Talent Introduction of Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine(LH02. 51. 002) I作者简介」于观贞,博士,副主任医师,硕士生导师 通信作者(Correspondingauthor.le:021-643857008163Emal:qiaoshanqian@aliyun.com 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net

· 358 · ·专家论坛· 第二军医大学学报 2018 年 4 月第 39 卷第 4 期 http：//www.ajsmmu.cn Academic Journal of Second Military Medical University, Apr. 2018, Vol. 39, No. 4 人工智能在临床医学中的应用与思考 于观贞1*，刘西洋2 ，张彦春3 ，杨晶东4 ，田建辉1 ，朱明华5 1. 上海中医药大学附属龙华医院肿瘤科，上海 200032 2. 西安电子科技大学软件学院，西安 710071 3. 复旦大学计算机科学技术学院医疗健康大数据研究中心，上海 201203 4. 上海理工大学光电信息与计算机工程学院，上海 200093 5. 海军军医大学（第二军医大学）长海医院病理科，上海 200433 [摘要] 人工智能（AI）已成为发达国家的国家战略。在医疗健康领域的各个环节（如虚拟助理、医学影像、 药物挖掘、营养学、医院管理、健康管理、精神疾病、可穿戴设备、风险管理、病理学和临床诊疗活动等），AI 已 取得极大的发展。本文就医疗活动中较为成功的 AI 研究，即 AI 与病理诊断、眼部疾病、皮肤疾病、医学影像、中 医药、心电监测、手术机器人、肿瘤治疗、医学科学研究作一系统性的评述，阐述医疗领域 AI 应用存在的问题与展 望。相信随着 AI 技术的发展，AI 将会推动医疗领域革命性的进步，使广大病患受益。 [关键词] 人工智能；病理；治疗；机器人；中医药 [中图分类号] R 604 [文献标志码] A [文章编号] 0258-879X(2018)04-0358-08 Artificial intelligence in clinical medicine: application and thinking YU Guan-zhen1*, LIU Xi-yang2 , ZHANG Yan-chun3 , YANG Jing-dong4 , TIAN Jian-hui1 , ZHU Ming-hua5 1. Department of Oncology, Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine, Shanghai 200032, China 2. School of Software, Xidian University, Xi’an 710071, Shaanxi, China 3. Medical Health Big Data Research Center, School of Computer Science, Fudan University, Shanghai 201203, China 4. School of Optical-Electrical and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China 5. Department of Pathology, Changhai Hospital, Navy Medical University (Second Military Medical University), Shanghai 200433, China [收稿日期] 2018-03-24 [接受日期] 2018-04-10 [基金项目] 国家自然科学基金(81572856), 上海中医药大学附属龙华医院高层次人才引进项目(LH02.51.002). Supported by National Natural Science Foundation of China (81572856) and High-Level Talent Introduction of Longhua Hospital Affiliated to Shanghai University of Traditional Chinese Medicine (LH02.51.002). [作者简介] 于观贞，博士，副主任医师，硕士生导师． * 通信作者(Corresponding author). Tel: 021-64385700-8163, E-mail: qiaoshanqian@aliyun.com 于观贞 上海中医药大学附属龙华医院肿瘤科副主任医师、温州医科大学客座教授，硕士生 导师，中国研究型医院学会智能医学专业委员会委员。先后在海军军医大学（第二军医大学）获 得病理学硕士和临床肿瘤学博士学位，2011－2012 年在美国德州大学 MD Anderson 癌症中心从事 脑外科博士后研究。入选 2013 年上海市浦江人才计划。目前主要从事围绕胃癌与胆管癌的预防和 精准治疗、转移机制以及氢医学和人工智能的研究。主持国家自然科学基金 2 项，浦江人才计划项 目 1 项，全军医药卫生科研基金 1 项，福建省自然科学基金 1 项，中国临床肿瘤学科学基金 1 项。 作为子课题负责人或主要撰稿人承担国家国际科技合作专项国家科技支撑计划、上海市重大疾病 科技攻关项目各 1 项。在 EMBO J、J Clin Invest、Clin Cancer Res、BMC Cancer、Clin Exp Metastasis、J Cancer Res Clin Oncol、Med Oncol、Eur Surg Res 等期刊发表论文多篇，总影响因子近 200 分，被引频次超过 500 次，单篇最高被引频次为 144 次。申请获批发明专利 2 项，实用新型专利 1 项。曾获军队医疗成果奖一等奖（第二署名）、美国 德州大学 MD Anderson BTC Poster Award 2nd（第一署名）、军队医疗成果奖三等奖、中国临床肿瘤学科学基金优秀论文一等奖。 DOI：10.16781/j.0258-879x.2018.04.0358

第4期.于观贞,等.人工智能在临床医学中的应用与思考 359 [Abstract] Artificial intelligence(AD) has become a national strategy in developed countries. AI has been a great success in many scenarios of medicine and health fields, including virtual assistant, medical imaging, drug mining, nutrition, hospital management, health management, mental illness, wearable devices, risk management, pathology and clinical diagnosis and treatment. Here, we reviewed and commented the recent progresses on the application of Al in the pathological diagnosis, ocular diseases, skin disorders, medical imaging, traditional Chinese medicine, electrocardiographic monitoring, medical robots, oncotherapy and translational researches, and summed up and prospected the problems of Al application in medicine and health fields. With the development of technology, Al will lead to a revolutionary progress in medical treatment [Key words] artificial intelligence; pathology; therapy; robot; traditional Chinese medicine and pharmacy Acad J Sec Mil Med Univ, 2018, 39(4): 358-3651 发达国家已将人工智能( artificial intelligence,也随着AI的发展逐步进入医疗市场。在智能诊疗 AI)上升为国家战略。世界各国均意识到AI是领域, IBM Waston展示了AI诊断和治疗人类疾病 未来科技发展的战略制高点,谁掌握了AI,谁就的可行性。目前,我国科学工作者也积极参与到医 将成为未来核心技术的掌控者。我国亦充分意识疗AI的研发中,包括病理辅助诊断、眼部疾病、 到这一点,早在2015年5月即提出《中国制造皮肤疾病、医学影像、中医药、心电监测、手术机 2025》,2016年5月又提出《“互联网+”人工器人、肿瘤治疗和医学科学研究等领域,本文将对 智能三年行动实施方案》,2017年11月在北京召上述研究进展逐一综述。 开“新一代人工智能发展规划暨重大科技项目”启 1AI在临床医学中的应用 动会,这些都标志着新一代AI发展规划和重大科 技项目进入了全面启动实施阶段。2017年12月我1.1AI与病理诊断近年来AI在病理学中的应 国工业和信息化部提出了《促进新一代人工智能产用突飞猛进,于观贞等四就AI在肿瘤病理诊断和 业发展三年行动计划(2018-2020年)》,明确评估中的应用作了全面综述,阐述了AI应用的具 指出对医疗影像辅助诊断系统的具体要求。AⅠ时体病理场景,肯定了病理AI的应用前景,并首 代已经到来,其发展关系到国家现代化建设的重大次提出肿瘤细胞的标注流程和标准。奠定病理AI 任务,也关系民众的切身利益。 的研究是生物医学成像国际研讨会( International AI已深入到医疗健康领域的各个环节,如虚 Symposium on Biomedical Imaging,ISBI)于 拟助理、医学影像、药物挖掘、营养学、医院管2015年11月至2016年11月举办的研究者挑战赛 理、健康管理、精神疾病、可穿戴设备、风险管( CAMELYON6),研究评估了深度学习在检测 理、病理学和临床诊疗活动等叫。目前医疗活动中乳腺癌患者淋巴结转移病理切片中的转移灶的潜 比较成功的AI包括影像AI、药物研发AI、医疗力,并与病理医师的评估进行比较。两家荷兰医学 机器人和 IBM Waston等。由于医学影像的二维属中心提供了270例全切片数字图像(有转移110例 性,AI在医学影像中取得了较好的应用成果,受和无转移160例)作为训练集供参赛者构建算法 试者工作特征( receiver operating characteristic,另有129例(有转移49例和无转移80例)作为 ROC)曲线下面积( area under curve,AUC)可达验证集对算法进行评定,11位来自荷兰的病理医 到0.9以上,如基于钼靶影像的乳腺病变检测、基师对上述切片进行评估,结果显示AI算法的AUC 于皮肤照片的皮肤癌分类诊断、基于数字病理切片为0.556~0.994、病理医师得出的AUC为0724 的乳腺癌淋巴结转移检测、基于眼底照片的糖尿病 (95%C:0.643~0.804),且AI最佳算法在诊 性视网膜病变检测,以及基于胸部Ⅹ线片的肺部断模拟中的表现优于病理医师〖0.994(95%Cl: 炎性疾病。借助深度学习,药物研发AI在心血管0.983~0.999)vs0810(95%C:0.738~0.884) 药、抗肿瘤药、孤儿药和常见传染病治疗药等领域P<0.001門。这些结果表明深度学习算法用于病理 取得了新突破,缩短了药物研发时间、提高了研发诊断具有较大的潜力,但其是否能应用于临床还需 效率且控制了研发成本。医疗机器人中的达芬奇机进一步评估。一项研究纳入了癌症和肿瘤基因图谱 器人早已在各大医院推广应用,其他类型的机器人( Cancer genome atlas,TCGA)数据库中的218 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net

第 4 期．于观贞，等．人工智能在临床医学中的应用与思考 · 359 · [Abstract] Artificial intelligence (AI) has become a national strategy in developed countries. AI has been a great success in many scenarios of medicine and health fields, including virtual assistant, medical imaging, drug mining, nutrition, hospital management, health management, mental illness, wearable devices, risk management, pathology and clinical diagnosis and treatment. Here, we reviewed and commented the recent progresses on the application of AI in the pathological diagnosis, ocular diseases, skin disorders, medical imaging, traditional Chinese medicine, electrocardiographic monitoring, medical robots, oncotherapy and translational researches, and summed up and prospected the problems of AI application in medicine and health fields. With the development of technology, AI will lead to a revolutionary progress in medical treatment. [Key words] artificial intelligence; pathology; therapy; robot; traditional Chinese medicine and pharmacy [Acad J Sec Mil Med Univ, 2018, 39(4): 358-365] 也随着 AI 的发展逐步进入医疗市场。在智能诊疗 领域，IBM Waston 展示了 AI 诊断和治疗人类疾病 的可行性。目前，我国科学工作者也积极参与到医 疗 AI 的研发中，包括病理辅助诊断、眼部疾病、 皮肤疾病、医学影像、中医药、心电监测、手术机 器人、肿瘤治疗和医学科学研究等领域，本文将对 上述研究进展逐一综述。 1 AI 在临床医学中的应用 1.1 AI 与病理诊断 近年来 AI 在病理学中的应 用突飞猛进，于观贞等[2]就 AI 在肿瘤病理诊断和 评估中的应用作了全面综述，阐述了 AI 应用的具 体病理场景，肯定了病理 AI 的应用前景，并首 次提出肿瘤细胞的标注流程和标准。奠定病理 AI 的研究是生物医学成像国际研讨会（International Symposium on Biomedical Imaging， ISBI ）于 2015 年 11 月至 2016 年 11 月举办的研究者挑战赛 （CAMELYON16），研究评估了深度学习在检测 乳腺癌患者淋巴结转移病理切片中的转移灶的潜 力，并与病理医师的评估进行比较。两家荷兰医学 中心提供了 270 例全切片数字图像（有转移 110 例 和无转移 160 例）作为训练集供参赛者构建算法， 另有 129 例（有转移 49 例和无转移 80 例）作为 验证集对算法进行评定，11 位来自荷兰的病理医 师对上述切片进行评估，结果显示 AI 算法的 AUC 为 0.556～0.994、病理医师得出的 AUC 为 0.724 （95% CI：0.643～0.804），且 AI 最佳算法在诊 断模拟中的表现优于病理医师 [0.994（95% CI： 0.983～0.999）vs 0.810（95% CI：0.738～0.884）， P＜0.001][3]。这些结果表明深度学习算法用于病理 诊断具有较大的潜力，但其是否能应用于临床还需 进一步评估。一项研究纳入了癌症和肿瘤基因图谱 （Cancer Genome Atlas，TCGA）数据库中的 2 186 发达国家已将人工智能（artificial intelligence， AI）上升为国家战略。世界各国均意识到 AI 是 未来科技发展的战略制高点，谁掌握了 AI，谁就 将成为未来核心技术的掌控者。我国亦充分意识 到这一点，早在 2015 年 5 月即提出《中国制造 2025》，2016 年 5 月又提出《“互联网＋”人工 智能三年行动实施方案》，2017 年 11 月在北京召 开“新一代人工智能发展规划暨重大科技项目”启 动会，这些都标志着新一代 AI 发展规划和重大科 技项目进入了全面启动实施阶段。2017 年 12 月我 国工业和信息化部提出了《促进新一代人工智能产 业发展三年行动计划（2018―2020 年）》，明确 指出对医疗影像辅助诊断系统的具体要求。AI 时 代已经到来，其发展关系到国家现代化建设的重大 任务，也关系民众的切身利益。 AI 已深入到医疗健康领域的各个环节，如虚 拟助理、医学影像、药物挖掘、营养学、医院管 理、健康管理、精神疾病、可穿戴设备、风险管 理、病理学和临床诊疗活动等[1]。目前医疗活动中 比较成功的 AI 包括影像 AI、药物研发 AI、医疗 机器人和 IBM Waston 等。由于医学影像的二维属 性，AI 在医学影像中取得了较好的应用成果，受 试者工作特征（receiver operating characteristic， ROC）曲线下面积（area under curve，AUC）可达 到 0.9 以上，如基于钼靶影像的乳腺病变检测、基 于皮肤照片的皮肤癌分类诊断、基于数字病理切片 的乳腺癌淋巴结转移检测、基于眼底照片的糖尿病 性视网膜病变检测，以及基于胸部 X 线片的肺部 炎性疾病。借助深度学习，药物研发 AI 在心血管 药、抗肿瘤药、孤儿药和常见传染病治疗药等领域 取得了新突破，缩短了药物研发时间、提高了研发 效率且控制了研发成本。医疗机器人中的达芬奇机 器人早已在各大医院推广应用，其他类型的机器人

第二军医大学学报2018年4月,第39卷 例肺腺癌和肺鳞状细胞癌组织切片的数字图像和TSR可以精确到小数。淋巴细胞在肿瘤中的分布 294例组织芯片( tissue microarray,TMA)数据库及其与肿瘤细胞的距离与肿瘤患者的免疫状态和 的图像,从这些图像中抽取了9879个定量特征 免疫治疗密切相关,肉眼难以评估,而AI能轻易 随后用机器学习算法选取排名靠前的特征,发现这显示淋巴细胞在肿瘤中的空间分布状态。此外, 些特征能较好地预测肺腺癌和肺鳞状细胞癌患者的AI还有助于评估免疫组织化学指标,而后者主要 生存时间,评估肺癌患者预后。 用于肿瘤鉴别诊断和靶向治疗。人表皮生长因子 鉴于A在肿瘤细胞识别中的可行性,后续大量受体2( human epidermal growth factor receptor2 研究集中于各类型肿瘤的病理诊断,包括宫颈癌 HER2)是胃癌和乳腺癌的重要靶点之一,准确评 胃癌、肠癌、肺癌、胆管癌等。宫颈癌筛查是基估HER2水平有助于肿瘤患者的治疗,而基于AI 于细胞学的病理诊断,细胞学识别可操作性强、假的HER2自动评分系统已初步显示出其优越性同。 阴性率低,通过AI筛选出异型或疑似细胞,然后由1.2AI与眼部疾病眼部疾病的检查多依赖光学 病理医师最终诊断,这样能显著提高诊断效率、减设备对眼表和眼底影像的抓取,在眼底病方面,青 少误诊率、降低人力成本,有望广泛用于宫颈癌的光眼、黄斑变性和糖尿病性视网膜病变是最常见的 筛查。上海大数据联盟举办的胃癌病理切片A大赛不可逆致盲眼底病。2016年,谷歌 DeepMind团 中,第1名诊断的AU℃为0.109;大赛病理切片标队发表了糖尿病性视网膜病变的AI筛查研究,基 注方于观贞团队也参与了这项工作(图1),同时在于谷歌 TensorFlow和 Inception V3模型进行训练 标注过程中发现了我国病理AI中应注意的问题,并最终AI诊断准确率超过了眼科专家叫。先天性白 撰写了肿瘤细胞标注的流程和注意事项。 内障是罕见的眼部疾病,中山大学眼科中心林浩 Tissue region extraction 添和西安电子科技大学刘西洋团队在仅使用少量样 本的情况下,对图像使用霍夫变换等方法进行预 H-E 处理,提取感兴趣区域,然后采用迁移学习的方 法基于Cafe和 AlexNet模型进行训练,最终诊断准 确率达到专家水平,并且建立了云筛查诊断平台CC Cruiser(图2),提高了优质医疗资源的覆盖率凹,该 系统于2017年4月已投入临床试验。此后,关于眼 部疾病自动诊断的AI成果不断涌现2。2017年 全球多人种、多中心的三大眼底病自动筛查平台 出炉,从此形成了眼底病诊断的闭合回路,并且 达到了临床应用标准时。2018年,张康团队运用 B 谷歌 Tensor Flow和 Inception V3模型,从4686例 图1胃癌病理切片识别流程及示例 患者的眼部光学相干断层扫描( optical coherence ples of pat tomography,OCT)数据中选取108312张二维断 ection of gastric cancer recognized by Al 层图像进行模型训练,结果显示可有效诊断黄斑变 A: dentification process and presentation of pathological性和糖尿病性视网膜病变,也达到了专家水平。 section of gastric cancer; B: Representative images of a same 深度学习技术改变了医学研究人员处理分析图像 slide by H-E staining, labeling and Al recognition. Al: Artificial 的方式,甚至有助于他们发现从未触及的现象吗。 2018年,谷歌 Deep Mind团队使用眼底照片配合 基于病理AI的治疗和预后评估也大有作为。深度学习技术预测心脏病的危险因素,预测效果优 肿瘤间质比( tumor-stroma ratio,TSR)是评估乳异。同时,美国IDx公司的AI糖尿病性视网膜 腺癌、宫颈癌及食管癌等多种恶性肿瘤的独立预病变临床诊断系统已接受美国食品药品监督管理局 后预测因子,但不同经验的病理医师的TSR评估( Food and Drug Administration,FDA)的审查, 结果存在较大差异,精确度欠佳,而基于AI的离正式进入临床应用更进一步 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net

· 360 · 第二军医大学学报 2018 年 4 月，第 39 卷 例肺腺癌和肺鳞状细胞癌组织切片的数字图像和 294 例组织芯片（tissue microarray，TMA）数据库 的图像，从这些图像中抽取了 9 879 个定量特征， 随后用机器学习算法选取排名靠前的特征，发现这 些特征能较好地预测肺腺癌和肺鳞状细胞癌患者的 生存时间，评估肺癌患者预后[4]。 鉴于 AI 在肿瘤细胞识别中的可行性，后续大量 研究集中于各类型肿瘤的病理诊断，包括宫颈癌、 胃癌、肠癌、肺癌、胆管癌等[4-9]。宫颈癌筛查是基 于细胞学的病理诊断，细胞学识别可操作性强、假 阴性率低，通过 AI 筛选出异型或疑似细胞，然后由 病理医师最终诊断，这样能显著提高诊断效率、减 少误诊率、降低人力成本，有望广泛用于宫颈癌的 筛查。上海大数据联盟举办的胃癌病理切片 AI 大赛 中，第 1 名诊断的 AUC 为 0.910 9；大赛病理切片标 注方于观贞团队也参与了这项工作（图 1），同时在 标注过程中发现了我国病理 AI 中应注意的问题，并 撰写了肿瘤细胞标注的流程和注意事项[2]。 图 1 胃癌病理切片识别流程及示例 Fig 1 Procedures and examples of pathological section of gastric cancer recognized by AI A: Identification process and presentation of pathological section of gastric cancer; B: Representative images of a same slide by H-E staining, labeling and AI recognition. AI: Artificial intelligence TSR 可以精确到小数。淋巴细胞在肿瘤中的分布 及其与肿瘤细胞的距离与肿瘤患者的免疫状态和 免疫治疗密切相关，肉眼难以评估，而 AI 能轻易 显示淋巴细胞在肿瘤中的空间分布状态。此外， AI 还有助于评估免疫组织化学指标，而后者主要 用于肿瘤鉴别诊断和靶向治疗。人表皮生长因子 受体 2（human epidermal growth factor receptor 2， HER2）是胃癌和乳腺癌的重要靶点之一，准确评 估 HER2 水平有助于肿瘤患者的治疗，而基于 AI 的 HER2 自动评分系统已初步显示出其优越性[6]。 1.2 AI 与眼部疾病 眼部疾病的检查多依赖光学 设备对眼表和眼底影像的抓取，在眼底病方面，青 光眼、黄斑变性和糖尿病性视网膜病变是最常见的 不可逆致盲眼底病。2016 年，谷歌 DeepMind 团 队发表了糖尿病性视网膜病变的 AI 筛查研究，基 于谷歌 TensorFlow 和 Inception V3 模型进行训练， 最终 AI 诊断准确率超过了眼科专家[10]。先天性白 内障是罕见的眼部疾病，中山大学眼科中心林浩 添和西安电子科技大学刘西洋团队在仅使用少量样 本的情况下，对图像使用霍夫变换等方法进行预 处理，提取感兴趣区域，然后采用迁移学习的方 法基于 Caffe 和 AlexNet 模型进行训练，最终诊断准 确率达到专家水平，并且建立了云筛查诊断平台 CC￾Cruiser（图 2），提高了优质医疗资源的覆盖率[11]，该 系统于 2017 年 4 月已投入临床试验。此后，关于眼 部疾病自动诊断的 AI 成果不断涌现[12]。2017 年， 全球多人种、多中心的三大眼底病自动筛查平台 出炉，从此形成了眼底病诊断的闭合回路，并且 达到了临床应用标准[13]。2018 年，张康团队运用 谷歌 TensorFlow 和 Inception V3 模型，从 4 686 例 患者的眼部光学相干断层扫描（optical coherence tomography，OCT）数据中选取 108 312 张二维断 层图像进行模型训练，结果显示可有效诊断黄斑变 性和糖尿病性视网膜病变，也达到了专家水平[14]。 深度学习技术改变了医学研究人员处理分析图像 的方式，甚至有助于他们发现从未触及的现象[15]。 2018 年，谷歌 DeepMind 团队使用眼底照片配合 深度学习技术预测心脏病的危险因素，预测效果优 异[16]。同时，美国 IDx 公司的 AI 糖尿病性视网膜 病变临床诊断系统已接受美国食品药品监督管理局 （Food and Drug Administration，FDA）的审查[17]， 离正式进入临床应用更进一步。 基于病理 AI 的治疗和预后评估也大有作为。 肿瘤间质比（tumor-stroma ratio，TSR）是评估乳 腺癌、宫颈癌及食管癌等多种恶性肿瘤的独立预 后预测因子，但不同经验的病理医师的 TSR 评估 结果存在较大差异，精确度欠佳，而基于 AI 的

第4期.于观贞,等.人工智能在临床医学中的应用与思考 61 CC-Cruiser intelligence 品品 Chlmicgraphi informtion c Cloud database Contact information Patients with"surgery"result Regular check 断” fication to patients med as needing Cases from collaborative hospital Experts at CCPMOH 图2基于云的多医院AI平台 Fig 2 Acloud-based AI platform of multi-hospital 2 Al: Artificial intelligence; CCPMOH: Childhood cataract program of the Chinese Ministry of Health 1.3AI与皮肤疾病由于皮肤的外露特性,皮肤表皮恶性病变(角质细胞癌)与良性病变(良性脂 疾病的影像资料大多相对容易获取,这为皮肤病的溢性角化病)或黑素细胞病变(恶性黑素瘤与良性 AI自动诊断提供了便利。美国斯坦福大学 Esteva痣)方面的一致性。图3B显示了一些示例图像, 1使用包含2032种不同皮肤病的129450张可见具有许多视觉特征的恶性和良性病变难以区 临床图像数据集(图3A),基于谷歌 Tensor Flow分。研究人员从斯坦福大学医学院请来21位皮肤 和 Inception V3模型进行迁移学习,其工作中对皮病专家进行测试,结果显示AI取得了与皮肤病专 肤癌、黑素瘤的诊断准确率均达到90%以上。为了家同等的成绩。该研究成果已经可以作为智能手 最终验证该算法,研究人员还使用病理检查证实的机应用,即仅通过手机就能有效检测是否患有皮肤 1942张皮肤图片,比较算法和皮肤科医师在区分癌,大大节省了医疗检测成本。 Epidermal lesions Melanocytic lesions endoscopy 图3皮肤病树状结构分类的顶部子集和典型病例 Fig 3 Top subset of classification of dermatological tree structures and representative images A: Complete classification contains 2 032 diseases; B: Malignant and benign sample images from two diseases 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net

第 4 期．于观贞，等．人工智能在临床医学中的应用与思考 · 361 · 图 2 基于云的多医院 AI 平台[12] Fig 2 A cloud-based AI platform of multi-hospital[12] AI: Artificial intelligence; CCPMOH: Childhood cataract program of the Chinese Ministry of Health 表皮恶性病变（角质细胞癌）与良性病变（良性脂 溢性角化病）或黑素细胞病变（恶性黑素瘤与良性 痣）方面的一致性。图 3B 显示了一些示例图像， 可见具有许多视觉特征的恶性和良性病变难以区 分。研究人员从斯坦福大学医学院请来 21 位皮肤 病专家进行测试，结果显示 AI 取得了与皮肤病专 家同等的成绩[18]。该研究成果已经可以作为智能手 机应用，即仅通过手机就能有效检测是否患有皮肤 癌，大大节省了医疗检测成本。 图 3 皮肤病树状结构分类的顶部子集和典型病例[18] Fig 3 Top subset of classification of dermatological tree structures and representative images[18] A: Complete classification contains 2 032 diseases; B: Malignant and benign sample images from two diseases 1.3 AI 与皮肤疾病 由于皮肤的外露特性，皮肤 疾病的影像资料大多相对容易获取，这为皮肤病的 AI 自动诊断提供了便利。美国斯坦福大学 Esteva 团队[18] 使用包含 2 032 种不同皮肤病的 129 450 张 临床图像数据集（图 3A），基于谷歌 TensorFlow 和 Inception V3 模型进行迁移学习，其工作中对皮 肤癌、黑素瘤的诊断准确率均达到 90% 以上。为了 最终验证该算法，研究人员还使用病理检查证实的 1 942 张皮肤图片，比较算法和皮肤科医师在区分

第二军医大学学报2018年4月,第39卷 14AI与医学影像自医学影像数字化以来,研而经验在AI中的实质是一种知识,可以作为机器 究人员一直致力于计算机辅助诊断系统( computer-学习的训练数据;(2)中医的核心晢学是辨证 aided diagnosis,CAD)的研究。从基于规则的专论治,这一思想恰好契合了机器学习的基本规 家系统到手工特征,再到如今火热的深度学习,则,即在训练模型基础上通过输入集给出目标值。 已有许多方法被成功运用于多种医学影像,其中 具体来说,可以将中医临床处方、古代方 CT、MRI是关注度最高的图像类型1。 Brosch和剂、名医医案和中医古籍等知识整合、预处理后作 Taml利用受限玻尔兹曼机来判断患者是否患有阿为机器学习的训练数据集,构建类似 IBM Watson 尔茨海默病。在深度学习的推动下,基于脑部MRI的医疗健康认知平台。认知平台集合了中医的海 的阿尔茨海默病分类准确度已达到91.67%2。在诊量知识,使每位中医师可以学习、应用包括名老中 断结果可解释性方面, Zintgraf等四提出了预测差医知识在内的中医知识,辅助经验缺乏的中医师进 异响应分析的方法,对MRⅠ图像诊断人类免疫缺行临床决策,提升服务能力。复旦大学张彦春课题 陷病毒( human immunodeficiency virus,HV)的组圆构建了 THCluster模型,将收集整理的古代医 输出结果进行了可视化解释。 案、专家临床处方和中医药典通过中文自然语言技 2017年上半年, Haggle社区举办数据碗竟赛,术处理,利用异构信息网络将非结构化文本数据转 推动了AI在肺部CT图像方面的研究2017化为结构化图结构。然后利用受限的随机游走思想 年,美国 Arterys公司的A辅助心脏MRI成像系统计算节点间的连接概率,利用已知连接概率构建节 成为首个通过美国FDA认证的AI辅助诊断系统;点的后验概率,并使用最大期望算法估计参数得到 2018年,该公司的AⅠ辅助实体肿瘤影像筛查平台后验概率。最终通过概率值得到中药、症状和疾病 通过美国FDA认证,可帮助临床医师快速测量和追间的多元关系。模型具体技术框架图如图4所示 踪MR和CT图像中的肝脏和肺的病灶及结节。 构建的原型系统可为医师提供辅助诊断服务。 超声图像也是AI的研究热点之一,其操作安 全、快速、实时、价格低廉,广泛应用于乳腺癌 Heterogeneous TCM nformation network 等疾病筛查。2016年美国 QView Medical公司的 基于神经网络的3D自动乳房超声筛查CAD系统 通过美国FDA认证,该系统可缩短医师的读片时 ③ +Disease 间,同时保持诊断的准确性。 Function 尽管基于AI的图像处理系统取得了许多令人兴 eous 奋的结果,但这些系统仍有改进空间,如何提高系 unstructural dataset 统的效率、可解释性和安全性尚需要进一步研究。 1.5AI与中医药传统中医邂逅AI,从传统中医 图4 THCluster技术框架图 针灸、推拿等行业O20( online to offline)平台的 Fig 4 Technical frame of THCluster 30 兴起,到普通病、常见病的中医在线咨询和问诊服 TCM: Traditional Chinese medicine: NLP: Neuro-linguistic programming: EM: Expectation maximization 务,再到互联网中医馆,中医的智能化传承和发展 模式正如雨后春笋般出现。 16AI与心电监测心电图数据是临床和日常护理 传统中医存在传承、发展和推广3个比较大中常见的生物医学数据,对于心脏健康相关的临床诊 的痛点。名老中医的传承主要通过设立流派传承基断、监护、手术和日常保健有着重要意义。目前,心 地或名老中医工作室以“人传人”的方式进行,人电数据分析领域也朝着智能化的方向大步迈进 才成长周期长、人为因素大、无法复制;中医缺乏 AI技术可用于各类心脏疾病的临床辅助诊断 足够的临床数据,只能停留在“传承不易、发展更和健康风险评估。例如特征波形挖掘技术不仅可诊 难”的阶段。AI的发展有望成为剔除传统中医传断各类心脏疾病,也可同时检测出作为诊断依据的 承痛点的“手术刀”。AI驱动传统中医传承具备两特征波形(图5),从而方便医学专家对诊断结果 大优势:(1)中医一般被认为是一种经验医学,进行核实和进一步分析;通过分析心电图中噪声 21994-2018ChinaacAdemicJournalElectronicPublishingHouse.alLrightsreservedhttp://www.cnki.net

· 362 · 第二军医大学学报 2018 年 4 月，第 39 卷 1.4 AI 与医学影像 自医学影像数字化以来，研 究人员一直致力于计算机辅助诊断系统（computer￾aided diagnosis，CAD）的研究。从基于规则的专 家系统到手工特征，再到如今火热的深度学习， 已有许多方法被成功运用于多种医学影像，其中 CT、MRI 是关注度最高的图像类型[19]。Brosch 和 Tam[20]利用受限玻尔兹曼机来判断患者是否患有阿 尔茨海默病。在深度学习的推动下，基于脑部 MRI 的阿尔茨海默病分类准确度已达到 91.67%[21]。在诊 断结果可解释性方面， Zintgraf 等[22]提出了预测差 异响应分析的方法，对 MRI 图像诊断人类免疫缺 陷病毒（human immunodeficiency virus，HIV）的 输出结果进行了可视化解释。 2017 年上半年，Kaggle 社区举办数据碗竞赛， 推动了 AI 在肺部 CT 图像方面的研究[23]。2017 年，美国 Arterys 公司的 AI 辅助心脏 MRI 成像系统 成为首个通过美国 FDA 认证的 AI 辅助诊断系统[24]； 2018 年，该公司的 AI 辅助实体肿瘤影像筛查平台 通过美国 FDA 认证，可帮助临床医师快速测量和追 踪 MRI 和 CT 图像中的肝脏和肺的病灶及结节[25]。 超声图像也是 AI 的研究热点之一，其操作安 全、快速、实时、价格低廉，广泛应用于乳腺癌 等疾病筛查。2016 年美国 QView Medical 公司的 基于神经网络的 3D 自动乳房超声筛查 CAD 系统 通过美国 FDA 认证，该系统可缩短医师的读片时 间，同时保持诊断的准确性[26]。 尽管基于 AI 的图像处理系统取得了许多令人兴 奋的结果，但这些系统仍有改进空间，如何提高系 统的效率、可解释性和安全性尚需要进一步研究。 1.5 AI 与中医药 传统中医邂逅 AI，从传统中医 针灸、推拿等行业 O2O（online to offline） 平台的 兴起，到普通病、常见病的中医在线咨询和问诊服 务，再到互联网中医馆，中医的智能化传承和发展 模式正如雨后春笋般出现[27]。 传统中医存在传承、发展和推广 3 个比较大 的痛点。名老中医的传承主要通过设立流派传承基 地或名老中医工作室以“人传人”的方式进行，人 才成长周期长、人为因素大、无法复制；中医缺乏 足够的临床数据，只能停留在“传承不易、发展更 难”的阶段。AI 的发展有望成为剔除传统中医传 承痛点的“手术刀”。AI 驱动传统中医传承具备两 大优势：（1）中医一般被认为是一种经验医学， 而经验在 AI 中的实质是一种知识，可以作为机器 学习的训练数据；（2）中医的核心哲学是辨证 论治[28]，这一思想恰好契合了机器学习的基本规 则，即在训练模型基础上通过输入集给出目标值。 具体来说，可以将中医临床处方、古代方 剂、名医医案和中医古籍等知识整合、预处理后作 为机器学习的训练数据集，构建类似 IBM Watson 的医疗健康认知平台[29]。认知平台集合了中医的海 量知识，使每位中医师可以学习、应用包括名老中 医知识在内的中医知识，辅助经验缺乏的中医师进 行临床决策，提升服务能力。复旦大学张彦春课题 组[30]构建了 THCluster 模型，将收集整理的古代医 案、专家临床处方和中医药典通过中文自然语言技 术处理，利用异构信息网络将非结构化文本数据转 化为结构化图结构。然后利用受限的随机游走思想 计算节点间的连接概率，利用已知连接概率构建节 点的后验概率，并使用最大期望算法估计参数得到 后验概率。最终通过概率值得到中药、症状和疾病 间的多元关系。模型具体技术框架图如图 4 所示， 构建的原型系统可为医师提供辅助诊断服务。 1.6 AI 与心电监测 心电图数据是临床和日常护理 中常见的生物医学数据，对于心脏健康相关的临床诊 断、监护、手术和日常保健有着重要意义。目前，心 电数据分析领域也朝着智能化的方向大步迈进。 AI 技术可用于各类心脏疾病的临床辅助诊断 和健康风险评估。例如特征波形挖掘技术不仅可诊 断各类心脏疾病，也可同时检测出作为诊断依据的 特征波形（图 5），从而方便医学专家对诊断结果 进行核实和进一步分析[31]；通过分析心电图中噪声 图 4 THCluster 技术框架图[30] Fig 4 Technical frame of THCluster[30] TCM: Traditional Chinese medicine; NLP: Neuro-linguistic programming; EM: Expectation maximization