【机器感知与模式识别】迁移学习特征提取的rs-fMRI早期轻度认知障碍分类

第16卷第4期 智能系统学报 Vol.16 No.4 2021年7月 CAAI Transactions on Intelligent Systems Jul.2021 D0:10.11992tis.202007041 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20210412.1113.002.html 迁移学习特征提取的rs-MRI早期轻度认知障碍分类 孔伶旭，吴海锋2，曾玉2，陆小玲，罗金玲 (1.云南民族大学电气信息工程学院，云南昆明650500：2.云南省高校智能传感网络及信息系统创新团队，云 南昆明650500) 摘要：早期轻度认知障碍(early mild cognitive impairment,.EMC)是阿尔兹海默症(Alzheimer's disease, AD)发生前的必经阶段，EMCI的准确诊断对AD早期预防和治疗都具有积极作用。通过静息态功能性磁共振 成像(rest-state functional magnetic resonance imaging,rs-fMR)来诊断EMCI的深度学习方法性能主要依赖如何提 取特征值，而传统提取方法存在特征信息易损失和训练网络时间过长等问题。针对该问题，本文采用迁移学习 的特征提取方法来对EMCI分类，首先从rs-fMRI中提取兴趣区(region of interest,ROD时间序列，以此完成源数 据的降维，然后利用MobileNet迁移网络从ROI中提取瓶颈特征，最后将该特征输入到设计的分类顶层网络以 得到最后分类结果。在实验中，采用阿尔茨海默病神经影像学数据库(Alzheimer's disease neuroimaging initi-- ative,ADNI)的数据进行测试.实验结果表明，本文的方法比传统方法的分类精度提高了约10%，而分类时间 大约只有传统方法的25%。 关键词：轻度认知障碍；rs-fMRL;迁移学习；阿尔茨海默症；MobileNet;深度学习；机器学习：兴趣区 中图分类号：TP391.41文献标志码：A文章编号：1673-4785(2021)04-0662-11 中文引用格式：孔伶旭，吴海锋，曾玉，等.迁移学习特征提取的s-MRI早期轻度认知障碍分类.智能系统学报，2021， 16(4):662-672. 英文引用格式：KONG Lingxu,WU Haifeng,ZENGYu,.etal.Transfer learning-based feature extraction method for the classifica- tion of rs-fMRI early mild cognitive impairment J.CAAI transactions on intelligent systems,2021,16(4):662-672. Transfer learning-based feature extraction method for the classification of rs-fMRI early mild cognitive impairment KONG Lingxu',WU Haifeng2,ZENG Yu2,LU Xiaoling',LUO Jinling' (1.School of Electrical and Information Technology,Yunnan Minzu University,Kunming 650500,China;2.Program for Innovative Research Team(in Science and Technology)in University of Yunnan Province,Kunming 650500,China) Abstract:Early mild cognitive impairment(EMCI)is a necessary stage before Alzheimer's disease(AD).Thus,accur- ate diagnosis of EMCI will help the early prevention and treatment of AD.The performance of the deep learning meth- od for the diagnosis of EMCI through rest-state functional magnetic resonance imaging (rs-fMRI)mainly depends on how feature values are extracted.However,traditional extraction methods have problems,such as loss of feature inform- ation and long training network time.To address these problems,this paper proposes a transfer learning-based feature extraction method for EMCI classification.First,the region of interest (ROI)time series is extracted from rs-fMRI to complete the dimensional reduction of source data.Second,bottleneck features are extracted from the ROI by using a transfer learning MobileNet.Lastly,a final classification result is obtained from those entered features into a designed top-layer net.The data of the Alzheimer's Disease Neuroimaging Initiative are tested through experiments.Experiment- al results show that compared with traditional methods,the classification accuracy of the proposed method is enhanced by around 10%,and 75%or so of classification time is saved. Keywords:EMCI;rs-fMRI;transfer learning;Alzheimer's disease;MobileNet;deep learning;machine learning;region of interest 收稿日期：2020-07-24.网络出版日期：2021-04-12. 基金项目：国家自然科学基金项目(61762093)：云南省教育厅 阿尔兹海默症(Alzheimer's disease,AD)是最 科学研究基金项目(2020Y0238,云南省重点应用和基础 常见的一种老年痴呆症，占所有痴呆症的60%~ 研究基金项目(2018FA036). 通信作者：吴海锋.E-mail:whf5469@gmail.com 70%山。AD的形成原因尚未完全研究清楚四，目

DOI: 10.11992/tis.202007041 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20210412.1113.002.html 迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 孔伶旭1 ，吴海锋1,2，曾玉1,2，陆小玲1 ，罗金玲1 （1. 云南民族大学 电气信息工程学院，云南 昆明 650500; 2. 云南省高校智能传感网络及信息系统创新团队，云 南 昆明 650500） 摘 要：早期轻度认知障碍 (early mild cognitive impairment, EMCI) 是阿尔兹海默症 (Alzheimer’s disease, AD) 发生前的必经阶段，EMCI 的准确诊断对 AD 早期预防和治疗都具有积极作用。通过静息态功能性磁共振 成像 (rest-state functional magnetic resonance imaging，rs-fMRI) 来诊断 EMCI 的深度学习方法性能主要依赖如何提 取特征值，而传统提取方法存在特征信息易损失和训练网络时间过长等问题。针对该问题，本文采用迁移学习 的特征提取方法来对 EMCI 分类，首先从 rs-fMRI 中提取兴趣区 (region of interest, ROI) 时间序列，以此完成源数 据的降维，然后利用 MobileNet 迁移网络从 ROI 中提取瓶颈特征，最后将该特征输入到设计的分类顶层网络以 得到最后分类结果。在实验中，采用阿尔茨海默病神经影像学数据库 (Alzheimer’s disease neuroimaging initi￾ative，ADNI) 的数据进行测试，实验结果表明，本文的方法比传统方法的分类精度提高了约 10%，而分类时间 大约只有传统方法的 25%。 关键词：轻度认知障碍；rs-fMRI；迁移学习；阿尔茨海默症；MobileNet；深度学习；机器学习；兴趣区 中图分类号：TP391.41 文献标志码：A 文章编号：1673−4785(2021)04−0662−11 中文引用格式：孔伶旭, 吴海锋, 曾玉, 等. 迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 [J]. 智能系统学报, 2021, 16(4): 662–672. 英文引用格式：KONG Lingxu, WU Haifeng, ZENG Yu, et al. Transfer learning-based feature extraction method for the classifica￾tion of rs-fMRI early mild cognitive impairment[J]. CAAI transactions on intelligent systems, 2021, 16(4): 662–672. Transfer learning-based feature extraction method for the classification of rs-fMRI early mild cognitive impairment KONG Lingxu1 ，WU Haifeng1,2 ，ZENG Yu1,2 ，LU Xiaoling1 ，LUO Jinling1 (1. School of Electrical and Information Technology, Yunnan Minzu University, Kunming 650500, China; 2. Program for Innovative Research Team (in Science and Technology) in University of Yunnan Province, Kunming 650500, China) Abstract: Early mild cognitive impairment (EMCI) is a necessary stage before Alzheimer’s disease (AD). Thus, accur￾ate diagnosis of EMCI will help the early prevention and treatment of AD. The performance of the deep learning meth￾od for the diagnosis of EMCI through rest-state functional magnetic resonance imaging (rs-fMRI) mainly depends on how feature values are extracted. However, traditional extraction methods have problems, such as loss of feature inform￾ation and long training network time. To address these problems, this paper proposes a transfer learning-based feature extraction method for EMCI classification. First, the region of interest (ROI) time series is extracted from rs-fMRI to complete the dimensional reduction of source data. Second, bottleneck features are extracted from the ROI by using a transfer learning MobileNet. Lastly, a final classification result is obtained from those entered features into a designed top-layer net. The data of the Alzheimer’s Disease Neuroimaging Initiative are tested through experiments. Experiment￾al results show that compared with traditional methods, the classification accuracy of the proposed method is enhanced by around 10%, and 75% or so of classification time is saved. Keywords: EMCI; rs-fMRI; transfer learning; Alzheimer’s disease; MobileNet; deep learning; machine learning; region of interest 阿尔兹海默症 (Alzheimer's disease，AD) 是最 常见的一种老年痴呆症，占所有痴呆症的 60%~ 70%[1]。AD 的形成原因尚未完全研究清楚[1] ，目 收稿日期：2020−07−24. 网络出版日期：2021−04−12. 基金项目：国家自然科学基金项目 (61762093)；云南省教育厅 科学研究基金项目 (2020Y0238)；云南省重点应用和基础 研究基金项目 (2018FA036). 通信作者：吴海锋. E-mail：whf5469@gmail.com. 第 16 卷第 4 期 智 能 系 统 学 报 Vol.16 No.4 2021 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2021

第4期 孔伶旭，等：迁移学习特征提取的s-fMRI早期轻度认知障碍分类 ·663· 前还没有任何药物可以阻止或逆转其发展，只有 1相关工作 在AD早期时通过一些治疗来改善症状和干预其 进一步的恶化，从而减轻患者的病情和延长存 AD症被视为一种神经退化性疾病，疾病早 活时间。因此，AD的早期诊断对于该疾病的治 期的症状常被误认为是正常的老化，错过了最佳 疗具有非常积极的作用。在AD发病之前，患者 诊断时机。AD症的前期诊断一般通过病史收集 会经历早期轻度认知障碍(early mild cognitive 和行为观察获得，耗时又耗力。若要较为准确的 impairment,EMCI),该阶段是老年正常认知衰退 诊断，则需要进行详细的神经心理学检查才有可 和痴呆症严重认知衰退的中间阶段，此时的大脑 能判断是否存在认知障碍。随着机器学习技术 已具有轻微的认知和记忆障碍，但不会影响患者 的发展，人们发现作为一种辅助诊断方法，机器 学习可以提高诊断的效率和准确率。 的日常生活，因此在临床检测中很难被发现。已 在传统的机器学习分类技术中，支持向量机 有研究表明，患有EMCI的个体患AD的风险高 于正常人，约为正常人的10倍。因此，准确诊 (support vector machine,.SVM)是一类具有较高分 类准确率的诊断方法，但SVM的准确率依赖于 断EMCI对AD的治疗有着十分积极的作用。 提取的特征值，当特征值本身未能准确反映疾病 目前，较准确的EMCI诊断方法为生物标志 的特征，则其准确率往往会达到一个瓶颈。近年 物诊断，如通过脑脊髓液完成，然而脑脊髓液抽 来随着深度学习的兴起，出现了很多可以自动从 取属有创诊断，且诊断过程也较为复杂。另外一 分类数据中提取有效特征值的方法，如堆叠自动 种对EMCI的诊断方法是让患者完成神经心理学 编码器(stacked auto-encoders,SAE)和CNNl6 问卷四，再经神经心理学医师进行评估，但这种诊 等，这些方法均使得分类准确率得到了很大的提 断往往带有一定主观性，只能作为一种辅助诊断 高。通常，深度学习的网络较为复杂，权重数量 方式。近年来，随着神经影像技术的发展，具有 巨大，且需要海量的训练数据作支持，这都使得 无创的核磁共振成像(magnetic resonance imaging, 深度学习的训练耗时耗力。然而，公开的AD病 MRI)和功能性磁共振成像(functional magnetic 症数据非常有限，AD早期病症的数据更为稀少， resonance imaging,fMRI)）技术被越来越多的用于 因此深度学习的分类准确率将严重依赖于疾病数 AD的诊断中s。fMRI反映了受试者执行特定任 据的完备性。为了解决该问题，近年来迁移学习被 务时血氧水平依赖(blood oxygen level dependent, 提出来对AD进行诊断，例如AlexNet"和VGG16m BOLD)信号的波动情况，相比MRI数据，其不仅 等。由于迁移学习网络已在其他数据库进行了预 包含结构性信息还包含功能性信息，只是获取 训练，只需在AD数据库中只训练其顶层即可，因 fMRI数据需要设计合理的实验任务。为避免实 此可以缩短训练时间，并可减少分类对训练数据 验任务因素对MRI数据的影响，越来越多的研 的依赖。然而，迁移学习的预训练网络是否对 究o表明静息态fMRI(resting state fMRI,.rs- EMCI的诊断有效，目前仍无文献进行报道，这也 fMRI)可替代fMRI来完成EMCI的诊断。由 是本文关注的一个重点。 于在rs-fMRI数据获取时受试者不用完成任何 机器学习可以同神经影像学相结合以完成疾 特定任务，因此避免了实验任务对数据所带来的 病的诊断，常用的影像技术包括电子计算机断层 影响。 扫描(computed tomography,CT)、正电子发射型计 本文采用深度学习的分类方法，通过rs 算机断层显像(positron emission computed tomo- fMRI数据来进行EMCI分类，以辅助AD的早期 graphy,PET)、MRI和fMRIUS]等，其中又以 发现。首先将大脑划分成若干个兴趣点(region of MRI和fMRI的低辐射和无创性而得到了广泛的 interest,.RO),依照ROI从rs-fMRI数据中抽取 关注。对于MRI,其成像较为清晰，且包含信息 出时间序列来形成一个二维矩阵，再用一个二维 丰富，因此被广泛应用于对AD的诊断。通过 卷积神经网络(convolutional neural networks, 对皮质体积、皮质厚度及皮质下体积等脑部结构 CNN)从该二维矩阵中提取特征信息，以此进行 数据，MRI可以较准确预测MCI到AD的转变。 后面的分类。同时，为了提高运算速度和减少训 然而，对EMCI患者来说，其脑部结构变化并不明 练时间，CNN采用迁移学习网络，用一种轻量化 显，因此仅使用MRI数据对EMCI的检测还是具 CNN网络一拥有从ImageNet数据库中预训 有一定限制。最近有研究表明，AD还表现在某 练权重的MobileNet来提取ROI的特征信息。 些脑区功能连接的变化上0，而MRI又恰恰能反

前还没有任何药物可以阻止或逆转其发展，只有 在 AD 早期时通过一些治疗来改善症状和干预其 进一步的恶化[2] ，从而减轻患者的病情和延长存 活时间。因此，AD 的早期诊断对于该疾病的治 疗具有非常积极的作用。在 AD 发病之前，患者 会经历早期轻度认知障碍 (early mild cognitive impairment，EMCI)，该阶段是老年正常认知衰退 和痴呆症严重认知衰退的中间阶段，此时的大脑 已具有轻微的认知和记忆障碍，但不会影响患者 的日常生活，因此在临床检测中很难被发现。已 有研究表明，患有 EMCI 的个体患 AD 的风险高 于正常人，约为正常人的 10 倍 [3-5]。因此，准确诊 断 EMCI 对 AD 的治疗有着十分积极的作用。 目前，较准确的 EMCI 诊断方法为生物标志 物诊断，如通过脑脊髓液完成[6] ，然而脑脊髓液抽 取属有创诊断，且诊断过程也较为复杂。另外一 种对 EMCI 的诊断方法是让患者完成神经心理学 问卷[7] ，再经神经心理学医师进行评估，但这种诊 断往往带有一定主观性，只能作为一种辅助诊断 方式。近年来，随着神经影像技术的发展，具有 无创的核磁共振成像 (magnetic resonance imaging， MRI) 和功能性磁共振成像 (functional magnetic resonance imaging，fMRI) 技术被越来越多的用于 AD 的诊断中[8]。fMRI 反映了受试者执行特定任 务时血氧水平依赖 (blood oxygen level dependent, BOLD) 信号的波动情况，相比 MRI 数据，其不仅 包含结构性信息还包含功能性信息，只是获取 fMRI 数据需要设计合理的实验任务[9]。为避免实 验任务因素对 fMRI 数据的影响，越来越多的研 究 [ 1 0 ] 表明静息态 fMRI(resting state fMRI, rs￾fMRI) 可替代 fMRI 来完成 EMCI 的诊断。由 于在 rs-fMRI 数据获取时受试者不用完成任何 特定任务，因此避免了实验任务对数据所带来的 影响。 本文采用深度学习的分类方法，通 过 rs￾fMRI 数据来进行 EMCI 分类，以辅助 AD 的早期 发现。首先将大脑划分成若干个兴趣点 (region of interest, ROI)[11] ，依照 ROI 从 rs-fMRI 数据中抽取 出时间序列来形成一个二维矩阵，再用一个二维 卷积神经网络 (convolutional neural networks， CNN) 从该二维矩阵中提取特征信息，以此进行 后面的分类。同时，为了提高运算速度和减少训 练时间，CNN 采用迁移学习网络，用一种轻量化 CNN 网络−拥有从 ImageNet 数据库[12] 中预训 练权重的 MobileNet 来提取 ROI 的特征信息。 1 相关工作 AD 症被视为一种神经退化性疾病，疾病早 期的症状常被误认为是正常的老化，错过了最佳 诊断时机。AD 症的前期诊断一般通过病史收集 和行为观察获得，耗时又耗力。若要较为准确的 诊断，则需要进行详细的神经心理学检查才有可 能判断是否存在认知障碍[13]。随着机器学习技术 的发展，人们发现作为一种辅助诊断方法，机器 学习可以提高诊断的效率和准确率。 在传统的机器学习分类技术中，支持向量机 (support vector machine, SVM) 是一类具有较高分 类准确率的诊断方法[14] ，但 SVM 的准确率依赖于 提取的特征值，当特征值本身未能准确反映疾病 的特征，则其准确率往往会达到一个瓶颈。近年 来随着深度学习的兴起，出现了很多可以自动从 分类数据中提取有效特征值的方法，如堆叠自动 编码器 (stacked auto-encoders, SAE)[15] 和 CNN[16] 等，这些方法均使得分类准确率得到了很大的提 高。通常，深度学习的网络较为复杂，权重数量 巨大，且需要海量的训练数据作支持，这都使得 深度学习的训练耗时耗力。然而，公开的 AD 病 症数据非常有限，AD 早期病症的数据更为稀少， 因此深度学习的分类准确率将严重依赖于疾病数 据的完备性。为了解决该问题，近年来迁移学习被 提出来对 AD 进行诊断，例如 AlexNet[16] 和 VGG16[17] 等。由于迁移学习网络已在其他数据库进行了预 训练，只需在 AD 数据库中只训练其顶层即可，因 此可以缩短训练时间，并可减少分类对训练数据 的依赖。然而，迁移学习的预训练网络是否对 EMCI 的诊断有效，目前仍无文献进行报道，这也 是本文关注的一个重点。 机器学习可以同神经影像学相结合以完成疾 病的诊断，常用的影像技术包括电子计算机断层 扫描 (computed tomography, CT)、正电子发射型计 算机断层显像 (positron emission computed tomo￾graphy， PET)、 MRI 和 fMRI[ 1 8 ] 等，其中又以 MRI 和 fMRI 的低辐射和无创性而得到了广泛的 关注。对于 MRI，其成像较为清晰，且包含信息 丰富，因此被广泛应用于对 AD 的诊断[19]。通过 对皮质体积、皮质厚度及皮质下体积等脑部结构 数据，MRI 可以较准确预测 MCI 到 AD 的转变。 然而，对 EMCI 患者来说，其脑部结构变化并不明 显，因此仅使用 MRI 数据对 EMCI 的检测还是具 有一定限制。最近有研究表明，AD 还表现在某 些脑区功能连接的变化上[20] ，而 fMRI 又恰恰能反 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·663·

·664· 智能系统学报 第16卷 映功能连接特性，因此可以使用fMRI数据来有 息，因此是一个Nr×Nx×Nr×2的四维数据，其 效诊断AD和EMCI。然而，采集fMRI通常需要 中Nr表示时间维度，Nx、Ny和N2分别表示脑区 被试者完成特定的实验任务，因此fMRI数据又 的3个空间维度。目前，常用的CNN大多是针对 往往与完成的任务有关。其实，大脑即使在不完 二维图像的分类网络，因此s-fMRI并不能直接拿 成任何特定任务时，各脑区仍然在相互作用，存 来作为输入。当然，由于AD影像数据的高维特 在一个默认的功能网络，而这种默认模式在一些 性，近年来还出现了一些三维CNN网络2，但作 认知障碍的大脑疾病中通常遭到了破坏，因此s 为四维的rs-fMRI仍然无法被直接使用，需要进 fMRI也逐渐地用在EMCI诊断中P。与fMRI数 行降维。 据相比，rs-fMRI的获取不需要被试者完成预先设 一种常用的降维方式是使用自动解剖标记 定好的实验动作，仅需要被试者保持休息状态， (automated anatomical labeling,AAL)2图谱来得到 因此避免了人为因素对数据的干扰。 一个N,×Na的二维ROI时间序列，其中Na表示 通常，rS-fMRI为一四维数据，用于深度分类 ROI的数量。此时，原来的rs-fMRI将从原来的四 网络需先降维。常用的一种降维方式是，将脑区 维降至二维，数据量得到了减少。然而，为了从 划分成一些ROL,从这些ROI中提取BOLD信号， ROI时间序列数据提取特征值，仍然需要训练， 再从这些BOLD信号提取特征值，如利用SAE2四 以SAE方法为例2，设该网络共有N个隐藏层， 或受限玻尔兹曼机(restricted Boltzmann machine, 其每层隐藏层的神经元数量分别为S,S2,…,SN, RBM)2)提取特征值，最后利用这些特征值进行 那么该网络总共的权重数量为 分类。由于输入数据的降维不可避免带来信息丢 WsAE=2 NiNASS2…SN (1) 失，而不降维又容易产生较复杂的分类网络，因 从式(1)看到，由于SAE采用的是全连接网 此，在rs-fMRI中如何解决分类网络的数据输人 络，因此其权重的数量与神经元数量和隐藏层数 是本文需要关注的另一个重点。 相关，当这两者数量增大时将不可避免使得整个 网络权重数变得庞大。当然，CNN也可以自动提 2问题提出 取特征值，目前的CNN利用卷积运算对权重进行 由于深度学习能自动提取特征值，且具有较 共享，相比全连接层可以减少权重数量。假设 高的分类准确率，因此本文将采用深度学习的方 个CNN网络共有Nc个卷积层，其中每个卷积层 法来进行EMCI的诊断。同时，由于rs-fMRI无需 分别由L1,L2,…,Lw个特征图组成，特征图的大小分 完成任何实验任务，本文也采用rs-fMRI数据来 别为F1×F1,F2×F2,…,F×F,所使用的卷积核 进行诊断。 尺寸分别为M1×M1,M2×M2,…,M×MN,若步长 将rs-fMRI应用于深度学习的EMCI诊断首 (stride)为l时，那么该网络的总共的权重数量为 先需要解决数据输入的问题，如图1所示，既要保 WaN=∑FF,L,(M,M+b) (2) 证输入到分类网络的数据降维后应包含丰富的分 类信息，又能降低分类网络的复杂性，以确保较 其中b是偏置数。式(2)的权重与其层数密切相 少的训练时间。 关，通常CNN在深度学习中的层数都较多，即使 rs-fMRI 权重实现共享但权重数依然庞大。 AAL Mask 利用脑区功能性连接网络理论来提取特征值 的方法可以进一步对数据降维20，其本质是求统 提取 求相关 函数 计相关系数，若x和y,分别为任意两个ROI在第 输入端 t时刻BOLD信号，那么其相关函数可表示为 T-1 2D或3DCNN SAE,RBM或CNN 分类网络 (3) 维度不匹配 训练时间长 仁0 瞬时信息损失 1分类器 因此，对于一个N,×Na的二维ROI时间序列 图1特征提取的相关问题 求相关以后，其维度将变为心×W,- ,相比原 2 Fig.1 Issues related to feature extraction ROI序列，数量得到了减少。然而由式(3)可知， 若用y表示一个被测试的rs-fMRI信号，则 R,是一个时间统计平均值，虽然去掉了时间维度 该信号不仅包含脑区结构像信息，还包含时间信 N,但也去掉了ROI数据的瞬时量，不可避免地

映功能连接特性，因此可以使用 fMRI 数据来有 效诊断 AD 和 EMCI。然而，采集 fMRI 通常需要 被试者完成特定的实验任务，因此 fMRI 数据又 往往与完成的任务有关。其实，大脑即使在不完 成任何特定任务时，各脑区仍然在相互作用，存 在一个默认的功能网络，而这种默认模式在一些 认知障碍的大脑疾病中通常遭到了破坏，因此 rs￾fMRI 也逐渐地用在 EMCI 诊断中[21]。与 fMRI 数 据相比，rs-fMRI 的获取不需要被试者完成预先设 定好的实验动作，仅需要被试者保持休息状态， 因此避免了人为因素对数据的干扰。 通常，rs-fMRI 为一四维数据，用于深度分类 网络需先降维。常用的一种降维方式是，将脑区 划分成一些 ROI，从这些 ROI 中提取 BOLD 信号， 再从这些 BOLD 信号提取特征值，如利用 SAE[22] 或受限玻尔兹曼机 (restricted Boltzmann machine， RBM)[23] 提取特征值，最后利用这些特征值进行 分类。由于输入数据的降维不可避免带来信息丢 失，而不降维又容易产生较复杂的分类网络，因 此，在 rs-fMRI 中如何解决分类网络的数据输入 是本文需要关注的另一个重点。 2 问题提出 由于深度学习能自动提取特征值，且具有较 高的分类准确率，因此本文将采用深度学习的方 法来进行 EMCI 的诊断。同时，由于 rs-fMRI 无需 完成任何实验任务，本文也采用 rs-fMRI 数据来 进行诊断。 将 rs-fMRI 应用于深度学习的 EMCI 诊断首 先需要解决数据输入的问题，如图 1 所示，既要保 证输入到分类网络的数据降维后应包含丰富的分 类信息，又能降低分类网络的复杂性，以确保较 少的训练时间。 2D 或 3D CNN SAE, RBM 或 CNN 分类网络 AAL Mask 求相关 函数 提取 ROI 维度不匹配 训练时间长 瞬时信息损失 rs-fMRI ... 输入端 分类器 图 1 特征提取的相关问题 Fig. 1 Issues related to feature extraction 若用 Y 表示一个被测试的 rs-fMRI 信号，则 该信号不仅包含脑区结构像信息，还包含时间信 NT ×NX ×NY ×NZ NT NX NY NZ 息，因此是一个 的四维数据，其 中 表示时间维度， 、 和 分别表示脑区 的 3 个空间维度。目前，常用的 CNN大多是针对 二维图像的分类网络，因此 rs-fMRI并不能直接拿 来作为输入。当然，由于 AD 影像数据的高维特 性，近年来还出现了一些三维 CNN网络[24] ，但作 为四维的 rs-fMRI 仍然无法被直接使用，需要进 行降维。 NT ×NA NA NS S 1,S 2,··· ,S N 一种常用的降维方式是使用自动解剖标记 (automated anatomical labeling，AAL)[25] 图谱来得到 一个 的二维 ROI 时间序列，其中 表示 ROI 的数量。此时，原来的 rs-fMRI 将从原来的四 维降至二维，数据量得到了减少。然而，为了从 ROI 时间序列数据提取特征值，仍然需要训练， 以 SAE 方法为例[22] , 设该网络共有 个隐藏层， 其每层隐藏层的神经元数量分别为 ， 那么该网络总共的权重数量为 WSAE=2NTNAS 1S 2 ···S Ns (1) NC L1,L2,··· ,LNc F1 × F1,F2 × F2,··· ,FNc × FNc M1 × M1, M2 × M2,··· , MNc × MNc 从式 (1) 看到，由于 SAE 采用的是全连接网 络，因此其权重的数量与神经元数量和隐藏层数 相关，当这两者数量增大时将不可避免使得整个 网络权重数变得庞大。当然，CNN 也可以自动提 取特征值，目前的 CNN 利用卷积运算对权重进行 共享，相比全连接层可以减少权重数量。假设一 个 CNN 网络共有 个卷积层，其中每个卷积层 分别由 个特征图组成，特征图的大小分 别为 ，所使用的卷积核 尺寸分别为 ，若步长 (stride) 为 1 时，那么该网络的总共的权重数量为 WCNN = ∑Nc i=1 FiFiLi(MiMi +b) (2) 其中 b 是偏置数。式 (2) 的权重与其层数密切相 关，通常 CNN 在深度学习中的层数都较多，即使 权重实现共享但权重数依然庞大。 xt yt t 利用脑区功能性连接网络理论来提取特征值 的方法可以进一步对数据降维[20] ，其本质是求统 计相关系数，若 和 分别为任意两个 ROI 在第 时刻 BOLD 信号，那么其相关函数可表示为 Rxy = 1 T ∑T−1 t=0 xtyt (3) NT ×NA NA ×(NA −1) 2 Rxy NT 因此，对于一个 的二维 ROI 时间序列 求相关以后，其维度将变为 ，相比原 ROI 序列，数量得到了减少。然而由式 (3) 可知， 是一个时间统计平均值，虽然去掉了时间维度 ，但也去掉了 ROI 数据的瞬时量，不可避免地 ·664· 智 能 系 统 学 报 第 16 卷

第4期 孔伶旭，等：迁移学习特征提取的s-MRI早期轻度认知障碍分类 ·665· 带来了部分信息丢失。因此，如何在数据降维、 瓶颈层函数f无ek(),以此得到瓶颈层特征： 信息丢失以及训练时间寻找平衡将是本文主要研 F=foaneck(Wh,XT) (5) 究的一个问题。 其中F即是从ROI时间序列提取的特征值。若 目标网络的顶层()经训练后，使得X,及其对 3方法 应标签Dr满足 3.1总体框架 Dr fo two,F) (6) 本文使用rs-fMRI数据以及迁移学习的 则本迁移学习任务完成，其中w是目标网络 CNN网络来对EMCI进行诊断，方法总体框架如 的顶层输出的权重矢量。 图2所示，把患有EMCI和正常控制组(normal 图3给出了式(6)的迁移学习过程，图中预训 control,NC)的rs-fMRI数据进行配准、头动校正、 练部分通常无需在本地端完成，即使瓶颈层的权 颅骨剥离、归一化、平滑及滤波等预处理操作，然 重w。非常庞大，但由于可由第三方预先完成而获 后使用AAL对完成预处理数据提取ROI得到相 得，因此可大幅减少提取特征的训练时间。更重 应的二维时间序列，随后输入到已预训练的迁移 要的是，为保证提取瓶颈特征的有效性，训练和 网络，以此得到瓶颈(bottneck)特征，最后将该特 获取瓶颈层权重w。往往在一个非常巨大的源数 征输入到设计好的TOP层中得到分类结果，完成 据集中完成，如ImageNet数据库，因此相比单 纯无迁移的CNN,迁移网络可以解决目标数据集 疾病诊断。 不足的情形，而目前获取大规模EMCI的rs-fMRI 数据仍存在一定困难。 rs-fMRI 提取ROI 源数据集X ROI时间序列X, 迁移学习 Bottleneck特征 预训练 顶层 容限形 CNN瓶颈层 迁移至 MobileNet CNN瓶颈层 /ineck(WB.Xs) fmeck(WB:X) 分类结果 顶层 顶层 图2算法总体框架 f(·) Fig.2 Algorithm overall framework 3.2迁移学习的特征提取 输出标签Ds 输出标签D 将一个具有脑区空间和时间维度的四维s 预训练 fMRI信号直接作为分类器的输入，维度较高，可 图3迁移学习提取ROI特征 从其中提取ROI时间序列来降维，但从ROI时间 Fig.3 Transfer learning to extract ROI features 序列提取特征值，仍需训练。如前所述，SAE和 其实，图3的EMCI目标网络训练仅仅对一 CNN网络提取特征将面临权重数庞大和训练时 顶层网络进行训练，而顶层只是一个浅层神经网 间增多的问题，而采用相关法提取特征又容易丢 络，其权重w°数量并不大，因此可保证训练能在 失瞬时信息，因此本文考虑采用迁移学习方法从 短时间内完成。另外，由于瓶颈层特征F来源于 ROI提取特征值。 ROI时间序列，因此相比于求相关系数的特征值 设X,和D分别是一源数据集中的二维图像 提取方法，其瞬时特征也得到了保留。当然，虽 矢量和对应标签，将一CNN网络在该源数据集中 然ak(⊙的权重可由预训练得到，但特征F也需 进行预训练，使其满足： 通过feek(O的计算得到，因此太复杂的可迁移 Ds=fopwi,fomneck(wo.Xs) (4) CNN会增大特征提取的计算量，本文将选用一种 式中：fp)和无nek()分别是该预训练CNN网络 轻型的CNN网络来实现迁移学习。 的顶层和瓶颈层函数；w和。分别是顶层和瓶 3.3 MobileNet网络 颈层的权重矢量。 作为一种轻型的CNN网络，Mobilenet'2a使用 预训练完成后，将由四维rs-fMR数据张量Y 深度可分离卷积替代原有的传统卷积以减少计算 提取出来ROI时间序列X,输入到预训练完成的 量，本文将采用该网络来作为迁移学习函数

带来了部分信息丢失。因此，如何在数据降维、 信息丢失以及训练时间寻找平衡将是本文主要研 究的一个问题。 3 方法 3.1 总体框架 本文使 用 rs-fMRI 数据以及迁移学习 的 CNN 网络来对 EMCI 进行诊断，方法总体框架如 图 2 所示，把患有 EMCI 和正常控制组 (normal control，NC) 的 rs-fMRI 数据进行配准、头动校正、 颅骨剥离、归一化、平滑及滤波等预处理操作，然 后使用 AAL 对完成预处理数据提取 ROI 得到相 应的二维时间序列，随后输入到已预训练的迁移 网络，以此得到瓶颈 (bottneck) 特征，最后将该特 征输入到设计好的 TOP 层中得到分类结果，完成 疾病诊断。 顶层 预训练 MobileNet 迁移学习 分类结果 AAL Mask 提取 ROI rs-fMRI ... Bottleneck 特征 ... 图 2 算法总体框架 Fig. 2 Algorithm overall framework 3.2 迁移学习的特征提取 将一个具有脑区空间和时间维度的四维 rs￾fMRI 信号直接作为分类器的输入，维度较高，可 从其中提取 ROI 时间序列来降维，但从 ROI 时间 序列提取特征值，仍需训练。如前所述，SAE 和 CNN 网络提取特征将面临权重数庞大和训练时 间增多的问题，而采用相关法提取特征又容易丢 失瞬时信息，因此本文考虑采用迁移学习方法从 ROI 提取特征值。 设 Xs 和 DS 分别是一源数据集中的二维图像 矢量和对应标签，将一 CNN 网络在该源数据集中 进行预训练，使其满足： DS = f S top{w S t , fbtneck(wb ,XS )} (4) f S top(·) fbtneck(·) w S t wb 式中： 和 分别是该预训练 CNN 网络 的顶层和瓶颈层函数； 和 分别是顶层和瓶 颈层的权重矢量。 Y XT 预训练完成后，将由四维 rs-fMRI 数据张量 提取出来 ROI 时间序列 ，输入到预训练完成的 瓶颈层函数 fbtneck(·) ，以此得到瓶颈层特征： F = fbtneck(wb,XT ) (5) F f O top(·) XT DT 其中 即是从 ROI 时间序列提取的特征值。若 目标网络的顶层 经训练后，使得 及其对 应标签 满足 DT = f O top{w O t ,F} (6) w O 则本迁移学习任务完成，其中 t 是目标网络 的顶层输出的权重矢量。 wb wb 图 3 给出了式 (6) 的迁移学习过程，图中预训 练部分通常无需在本地端完成，即使瓶颈层的权 重 非常庞大，但由于可由第三方预先完成而获 得，因此可大幅减少提取特征的训练时间。更重 要的是，为保证提取瓶颈特征的有效性，训练和 获取瓶颈层权重 往往在一个非常巨大的源数 据集中完成，如 ImageNet 数据库[12] ，因此相比单 纯无迁移的 CNN，迁移网络可以解决目标数据集 不足的情形，而目前获取大规模 EMCI 的 rs-fMRI 数据仍存在一定困难。 输出标签 DT CNN 瓶颈层 fbtneck(wb , XT ) 顶层 顶层 输出标签 DS 预训练 源数据集 XS 迁移至 ROI 时间序列 XT T top f (·) CNN 瓶颈层 fbtneck(wb , XS ) 图 3 迁移学习提取 ROI 特征 Fig. 3 Transfer learning to extract ROI features w O t F fbtneck(·) F fbtneck(·) 其实，图 3 的 EMCI 目标网络训练仅仅对一 顶层网络进行训练，而顶层只是一个浅层神经网 络，其权重 数量并不大，因此可保证训练能在 短时间内完成。另外，由于瓶颈层特征 来源于 ROI 时间序列，因此相比于求相关系数的特征值 提取方法，其瞬时特征也得到了保留。当然，虽 然 的权重可由预训练得到，但特征 也需 通过 的计算得到，因此太复杂的可迁移 CNN 会增大特征提取的计算量，本文将选用一种 轻型的 CNN 网络来实现迁移学习。 3.3 MobileNet 网络 作为一种轻型的 CNN 网络，Mobilenet[26] 使用 深度可分离卷积替代原有的传统卷积以减少计算 量，本文将采用该网络来作为迁移学习函数 第 4 期 孔伶旭，等：迁移学习特征提取的 rs-fMRI 早期轻度认知障碍分类 ·665·

·666· 智能系统学报 第16卷 x(~)。深度可分离卷积将标准卷积分解成一个 计的顶层)就可进行分类。顶层网络)设 深度卷积和一个点卷积，如图4所示。深度卷积 计如图5所示，主要包括全局平均池化层、Dro- 将单个卷积核应用于每个输人通道，点卷积使用 pout层、全连接层和输出层，其中全局平均池化 1×1卷积核来组合输出，这种分解可大幅度地减 层可将瓶颈层特征融合，Dropout层可避免网络出 少模型大小和计算量。 现过拟合。因此，该顶层的权重数量为 ×(1-r）(12) M D N→ 式中：NGAP×NGAP为瓶颈特征经过全局平均池化 (a)标准卷积 层的融合后得到的数据维度；C:为第i层全连接 层的神经元数；m为全连接层的总层数；r为Dropout DT D M→ 层的权重丢弃率。由于在顶层中，经提取和融合 (b)深度卷积 后的瓶颈层特征维度已经降至很低，且层数m值 较小，因此式(12)的权重数不会很大，保证了较 M 少的网络训练时间。 ←-N→ (c)1×1点卷积 瓶颈特征 全局平均池化层 图4深度可分离卷积 Dropout层 Fig.4 Depth separable convolution 对于一个Nr×Na的ROI时间序列来说，设其 全连接层1 顶层 输入通道为M,经过一个标准卷积层，则将产生 全连接层2 一个N×Nr×WA的特征图，W是输出通道数。若 经过一个卷积核大小为Dx×Dx×MXN的标准卷 积层，其中Dx是卷积核维度，那么该标准卷积的 全连接层m 计算成本为 输出标签 输出层 DKXDkXMXNXNTXNA (7) 在深度可分离卷积中，先使用深度卷积为每 图5顶层设计 个输入通道应用单个滤波器，那么深度卷积的计 Fig.5 Top-level design 算成本为 另外，顶层中的一些参数设定会影响最后的 DkXDkXMXNTXNA (8) 分类结果，如全连接层层数m、Dropout.层的权重 然后使用点卷积(1×1的卷积核)来创建深度 丢弃率，和全连接层的神经元数C。如何选择合 层的输出的线性组合，其计算成本为 适的参数值可通过实验来进行实际测试，这部分 M×NXN×NA (9) 的内容将在下一节实验中作详细讨论。 所以深度可分离卷积的计算成本为 3.5算法训练 DxxDxXMXNrXN+MXNXNrXNA (10) 最后给出本文EMCI分类算法训练的步骤， 因此，深度可分离卷积的乘法次数与标准卷 如下所示： 积之比为 1)预处理：对rs-fMRI信号的观测值Y进行 Dk×Dx×M×Nr×Na+MXNXN-×NA1,1 DkXD&XMXNXNTXNA ND 配准、头动校正、颅骨剥离、归一化和平滑及滤波 (11) 等，并分成训练集和验证集； 由式(Il)可知，由MobileNet得到瓶颈层所 2)ROI提取：由AAL图谱从预处理数据中提 需计算量与相同规模网络比，可大大减少。因此 取ROI时间序列Xr; 从计算量角度，选择MboileNet作为迁移网络是 3)瓶颈特征提取：由aack(wb,Xr)获取瓶颈 一个较好的选择。 特征； 3.4顶层分类网络 4)训练：在训练集中，通过式(6)训练得到顶 将ROI时间序列经预训练的瓶颈层MobileN- 层权重w2, t就得到瓶颈特征，随后再将瓶颈特征输入到设 5)验证：由验证集，通过式(6)得到分类结

fbtneck(·) 。深度可分离卷积将标准卷积分解成一个 深度卷积和一个点卷积，如图 4 所示。深度卷积 将单个卷积核应用于每个输入通道，点卷积使用 1×1 卷积核来组合输出，这种分解可大幅度地减 少模型大小和计算量。 M M DK DK DK DK ← N→ (b) 深度卷积 1 ← → . . . . . . . . . M 1 1 ← N→ (a) 标准卷积 (c) 1×1 点卷积 图 4 深度可分离卷积 Fig. 4 Depth separable convolution NT ×NA N ×NT ×NA N DK × DK × M ×N DK 对于一个 的 ROI 时间序列来说，设其 输入通道为 M，经过一个标准卷积层，则将产生 一个 的特征图， 是输出通道数。若 经过一个卷积核大小为 的标准卷 积层，其中 是卷积核维度，那么该标准卷积的 计算成本为 DK × DK × M ×N ×NT ×NA (7) 在深度可分离卷积中，先使用深度卷积为每 个输入通道应用单个滤波器，那么深度卷积的计 算成本为 DK × DK × M ×NT ×NA (8) 然后使用点卷积 (1×1 的卷积核) 来创建深度 层的输出的线性组合，其计算成本为 M ×N ×NT ×NA (9) 所以深度可分离卷积的计算成本为 DK × DK × M ×NT ×NA+M ×N ×NT ×NA (10) 因此，深度可分离卷积的乘法次数与标准卷 积之比为 DK × DK × M ×NT ×NA+M ×N ×NT ×NA DK × DK × M ×N ×NT ×NA = 1 N + 1 D2 K (11) 由式 (11) 可知，由 MobileNet 得到瓶颈层所 需计算量与相同规模网络比，可大大减少。因此 从计算量角度，选择 MboileNet 作为迁移网络是 一个较好的选择。 3.4 顶层分类网络 将 ROI 时间序列经预训练的瓶颈层 MobileN￾et 就得到瓶颈特征，随后再将瓶颈特征输入到设 f O top(·) f O top 计的顶层 就可进行分类。顶层网络 (·) 设 计如图 5 所示，主要包括全局平均池化层、Dro￾pout 层、全连接层和输出层，其中全局平均池化 层可将瓶颈层特征融合，Dropout 层可避免网络出 现过拟合。因此，该顶层的权重数量为   NGAP ×NGAP ×C1 + ∑m−1 i Ci ×Ci+1 +2Cm   ×(1−r) (12) NGAP ×NGAP i m r m 式中： 为瓶颈特征经过全局平均池化 层的融合后得到的数据维度；Ci 为第 层全连接 层的神经元数； 为全连接层的总层数； 为 Dropout 层的权重丢弃率。由于在顶层中，经提取和融合 后的瓶颈层特征维度已经降至很低，且层数 值 较小，因此式 (12) 的权重数不会很大，保证了较 少的网络训练时间。 瓶颈特征 顶层 输出标签 全局平均池化层 Dropout 层 全连接层 1 全连接层 2 全连接层 m ... 输出层 图 5 顶层设计 Fig. 5 Top-level design m r 另外，顶层中的一些参数设定会影响最后的 分类结果，如全连接层层数 、Dropout 层的权重 丢弃率 和全连接层的神经元数 Ci。如何选择合 适的参数值可通过实验来进行实际测试，这部分 的内容将在下一节实验中作详细讨论。 3.5 算法训练 最后给出本文 EMCI 分类算法训练的步骤， 如下所示： 1) 预处理：对 rs-fMRI 信号的观测值 Y 进行 配准、头动校正、颅骨剥离、归一化和平滑及滤波 等，并分成训练集和验证集； XT 2)ROI 提取：由 AAL 图谱从预处理数据中提 取 ROI 时间序列 ； 3) 瓶颈特征提取：由 fbtneck(wb,XT ) 获取瓶颈 特征; w O t 4) 训练：在训练集中，通过式 (6) 训练得到顶 层权重 ; 5) 验证：由验证集，通过式 (6) 得到分类结 ·666· 智 能 系 统 学 报 第 16 卷