【学术论文】脑-机接口研究进展

第6卷第3期 智能系统学报 Vol.6 No.3 2011年6月 CAAI Transactions on Intelligent Systems Jun.2011 doi:10.3969/i.i8gn.1673-4785.2011.03.001 脑-机接口研究进展 王斐12，张育中，宁廷会，闻时光 (1.东北大学流程工业综合自动化国家重点实验室，过宁沈阳110819；2.哈尔滨工业大学机器人技术与系统国家 重点实验室，黑龙江哈尔滨150001) 摘要：作为当前神经工程领域中最活跃的研究方向之一，脑机接口在生物医学、神经康复和智能机器人等领域具 有重要的研究意义和巨大的应用潜力.近10年来，脑机接口技术得到了长足的进步和飞速的发展，应用领域也在逐 渐扩大.在已有相关工作的基础上，介绍脑机接口系统的主要组成部分，对各组成部分常涉及到的相关基本理论和 技术作了总结和介绍，主要包括脑信号获取、脑信号预处理、特征提取、变换算法等相关技术和理论，最后对脑机接 口未来的研究方向进行了展望. 关键词：脑机接口：脑电信号：预处理：特征提取：变换算法 中图分类号：TP391.4文献标识码：A文章编号：16734785(2011)030189-11 Research progress in a brain-computer interface WANG Fei2,ZHANG Yuzhong',NING Tinghui',WEN Shiguang' (1.State Key Laboratory of Synthetical Automation for Process Industries,Northeastern University,Shenyang 110819,China;2.State Key Laboratory of Robotics and System,Harbin Institute of Technology,Harbin 150001,China) Abstract:As one of the most active research fields in neural engineering,brain-computer interface (BCI)has im- portant research significance and great potential applications in many fields including biomedicine,neurological re- habilitation,and intelligent robotics.In the last decade,BCI has made great progress and rapid development,and its application field is also gradually expanding.In this study,based on related work,the main components consis- ting of the BCI system were detailed,then related basic theories and techniques involved in these components were summarized and described including brain signal acquisition,signal preprocessing,feature extraction,and transfor- mation algorithms.Finally,an overview of the trend of future BCI development was discussed. Keywords:brain-computer interface;brain signal;pre-processing;feature extraction;transformation algorithm 脑-机接口(brain-computer interface,BCI)是基 。 环境交流难的问题，为残疾人带来了福音. 于脑神经活动与外界交流的一种全新交流方式，它 最近10年来，随着电子技术、计算机技术等学 绕开了人类神经末梢和肌肉等通常的信息通道，直 科的发展，BCI得到了快速的发展，BCI系统已逐渐 接和大脑进行沟通，通过分析脑信号将用户的运动 从实验室走进人们的实际生活中来.然而由于BCI 等意图转换为语言、设备的控制输入量等，使用户直 是个多学科交叉的研究方向，涉及到的内容较多，对 接通过脑信号与外面的环境进行实时的交互，在一 于初次进入BCI研究领域的工作者来说通常很难 定程度上解决了神经末梢、肌肉受损等患者与外界 在短时间里找到正确的研究思路，为了方便这些研 究者们快速地找到正确的研究思路，已有相关文献 收稿日期：20100803. 对BCI做了一些相关综述，但这些文献主要是就 基金项目：国家自然科学基金资助项目(60705031)：数育部博士学科 点科研基金资助项目(20070145105)；机器人技术与系统 BCI研究领域中某一个方面的研究现状做了大致的 国家重点实验室开放课题基金资助项目(SLRS2010-ZD 介绍，而且也很少涉及到BCI研究中具体的一些技 03);中央高校基本科研业务费专项资金资助项目 (N090404007). 术和理论. 通信作者：王斐.E-mail:wangfei(@ise,neu.edu.cm. 本文在前人文献的基础上系统详尽地介绍了

·190 智能系统学报 第6卷 BCI的各主要组成部分及其涉及到的一些关键技术 的命令并为人类提供更好的服务 和理论，文章首先介绍了BCI的研究意义及发展现 1.2研究现状 状；然后介绍了BCI系统的各组成部分，并详细地 BCI的研究最早可以追溯到20世纪30年代， 描述和总结了BCI各组成部分所涉及到的具体理 1929年Hans Berger发明了一种可以记录脑信号的 论和技术，主要包括到脑信号获取、脑信号预处理技 仪器，即现在的EEG,随后人们就有了利用EEG采 术、特征提取以及变换算法等几大部分，最后对BCI 集脑信号来控制设备的想法，但是由于当时条件有 未来的研究方向进行了总结 限，并没有开发出一个完整实用的系统.40年后， Jacques Vida首次提出BCI这一术语)，当时提出 1 BCI的研究意义及发展现状 的BCI概念是指基于计算机开发的能产生类似脑 1.1研究意义 功能相关信息的系统，可见当时的BCI概念所指的 BCI研究具有重要的理论意义和实际应用价 范围十分广泛，但当时Jacques Vida等人开发的系 值.在理论上，由于BCI系统本身的复杂性，如外界 统就已经属于现在被广泛认同的BCI范畴，该系统 噪音数学模型的复杂性、人类本身特性与时间关系 通过记录视觉皮质层区域的视觉诱导电位并结合一 数学模型的复杂性等，因此BCI系统对目前模式识 定的信号处理手段来辨别受试者眼睛所凝视的方 别中常用的一些特征提取算法和分类算法都是一种 向，从而来决定用户想将屏幕上光标移动的所在位 挑战，必将会促使特征提取算法和分类算法朝着更 置.正是在Jacques Vida等人这一开创性的工作基 智能化的方向发展，促进模式识别理论的发展；另外 础上及BCI具有极大实际应用价值的推动下，BCI BCI将为大脑开拓某种新的信息输出渠道，大大增 得到越来越多人的注意. 强人们对外界控制和交流信息的能力，同时其信息 Sutter等人[2利用视觉诱导电位信号成功地将 传递和控制模式的研究开发将极大丰富脑认知科学 用户选择某种符号的意图识别出来了，这种方法为 和神经信息学内容，增加对人类意识的进一步理解， 那些无法进行正常交流的患者提供了另外一种交流 使人类更进一步地了解自己. 方法，患者利用该套系统每分钟可以交流10~12个 BCI研究在工程上的意义更是重大，虽然目前 词，虽然速度与正常人还是相差很大，但对改善患者 人机接口(human-computer interface,HCI)在一定的 的生活还是有一定的作用.Wolpaw等人成功地利用 条件下可以帮助人类解决一些问题，给用户带来了 4和B节律的幅度来控制光标在一维和二维的空间 方便，但HCI在某些特殊的情况下并不能完成预定 内移动].此外，他们还针对BCI研究领域广泛认 的任务，特别是针对肢体残疾或运动受损这类患者， 为的只有侵入性BCI系统才能精确地控制机器手 其通常的信息输出通道—神经末梢和肌肉受到了 臂、假肢等设备进行复杂运动这一观点，利用头皮层 一定的损害，并不能通过这些输出通道来给机器发 上的脑电图信号（非侵入BCI系统）实时地控制光 送命令，给患者的生活带来了极大的不便，并且这类 标在二维空间进行复杂的运动，并在运动时间、准确 患者在世界上的数量是十分巨大的，每年给这些患 度等性能上和侵入性的BCI系统进行了对比，得出 者提供的大量的物力和人力，无形中也为社会增加 非侵人性的BCI系统在性能上并不低于侵人性BCI 了许多压力，如果开发一套BCI系统来辅助这类患 系统[4].这一观点表明运动功能受损、截肢等患者 者的生活，将会大大减轻社会的负担，同时也为患者 可以借助非侵入性的BCI系统利用脑信号直接来 本人的生活带来方便， 控制机器手臂、假肢等设备进行日常生活所必需的 对在特殊环境下工作的人员，例如飞行员、宇航 运动，而不需要将电极植人大脑内来进行控制，这样 员或潜水员来说，可利用BCI技术为他们增加一些 排除了患者将电极植人脑内的一定风险，同时改善 特殊的操作和控制专用设备的技能.即使对一些肢 了肢体瘫痪等患者的生活质量， 体健康的普通人们来说，BCI技术未来也将逐渐影 利用BCI控制机器手等肢体方面的研究这几 响到这些人的生活，如将BC技术引入到游戏等娱 年也取得了一定的成绩.Richard等人[S1利用脑皮层 乐行业，可以为人们提供一种全新的交互界面，从而 信号成功地操纵了机器手抓紧物体这一动作.Hoch- 让人们尽享游戏带来的欢乐，此外，将BCI技术引 berg等人I1开发了一个BCI系统，一个四肢瘫痪的 人到机器人学科中来，并将其作为人类与机器人的 病人利用该系统经过9个月的学习，可以利用脑信 一种交流方式，可以让机器人更智能化地执行人类 号在计算机屏幕的二维空间移动光标，并且可以通

第3期 王斐，等：脑机接口研究进展 ·191· 过脑信号来控制机器手的张开和握紧，抓住指定的 小.本部分主要介绍当前脑信号采集的各种手段以 物体然后移动到其他地方等一些动作. 及脑信号的常见的几种分类方法。 经过几十年的发展，世界范围研究BCI的机构 3.1脑信号采集手段 已由几个发展到数以百计的专门研究机构以及大量 目前，脑信号可以通过许多技术手段来进行测 的高校.国内外研究BCI比较著名的机构主要有 量，包括脑电场或脑磁场的记录、功能性磁振造影、 Wadsworth研究中心、NSF、GSU脑实验研究室、Graz- 正电子放射层扫描术、功能性近红外成像，但目前脑 BCI研究机构、清华大学高上凯BCI课题研究组.据 磁描记法、功能性磁振造影和正电子放射层扫描术 报道国内研究BCI的高校还有国防科技大学、中南 等由于复杂的技术要求、成本高以及有限的实时性 民族大学、北京师范大学等。 能等因素限制还不能在实际中得到广泛的应用.只 BCI研究机构在壮大的同时，国际学术交流活 有脑电场记录和功能性近红外成像这2种技术在实 动也变得日益频繁，先后召开了2次以BCI为主题 际中有一定的应用，其中记录脑电场信号应用最为 的国际性学术会议8]，EEE医学生物工程学会举 广泛 办的首届神经工程国际会议讨论的主题一半以上也 根据电极放的位置不同，脑电场记录方法又分 均是与BCI相关，在武汉举办的神经接口与控制国 为3大类，如图2所示.第1类是将电极放在头皮层 际会议上提交的大多数论文也就脑-机接口系统的 来记录脑电场信号，称为EEG;第2类是将电极放 控制信号采集、分析和处理等方面进行了重要的研 人脑皮层，称为ECoG;第3类是将电极植人大脑更 究.除此之外，在国际一些脑机接口研究机构的组 深的地方，在硬脑膜下，主要用来测量局部场势和神 织下，已成功地举办了4次国际性的BCI竞赛.这些 经元的动作电位等.第1种方法比较安全，是一种非 活动都极大地促进了脑机接口研究的发展。 侵入的测量方法，容易实现，但是只有有限的分辨率 和频率范围.第2类具有较高的分辨率和较宽的频 2BCI的基本系统组成 率范围，但是需要将电极植入脑皮层，具有一定的危 BCI基本组成如图1所示，主要是由信号获取 险性，信号长时期的稳定性也不能保证.第3类方法 模块、信号处理模块、输出设备模块等部分组成.其 具有最高的分辨率和最宽的频率范围，但同第2类 中信号处理模块包括特征产生和变换算法2个子模 一样，都是属于侵入性的测量方法，具有一定的危险 块，特征产生主要是针对神经元活动信号选取更能 性，不易实现.具体采用哪种方法是根据实际需要而 反映用户意图那些特征，特征产生模块在一定程度 定，侵入的测量方法并不绝对比非侵人的测量方法 上决定了系统的整体性能，变换算法模块主要是将 在性能上好，在某些情况下，非侵入的测量方法也能 提取得到的特征映射为用户实际所需的输出， 取得很好的性能，甚至比侵入的测量方法更好 EEG: 信号获取 特征产生 变换算法 设备超 制量等 头皮层 简单、安全 只有有限的 软组织 分辨率和频带 头骨 -ECoG: 高分辨率但危险 且需要考虑长时 硬脑膜 间检测所得到信 号的可靠性 图1BCI基本组成部分 脑皮层 …动作电位和局部场势 Fig.1 The fundamental component of BCI 高分辨率但危险，且 需要考虑长时间检测 mm 3 脑信号获取 所得到信号的可靠性 图2脑电场记录所用的3种方法 脑信号获取是BCI技术首要解决的技术之一， Fig.2 Three recording methods in the brain's 脑信号由于其信号微弱故容易受到各种与目标信号 electric field 无关的其他信号的污染，如头皮层的肌电信号、眼球 在实际中，由于安全因素，除了一部分应用在动 转动的信号所带来的噪声，这部分的噪声可以采用 物身上的BCI系统以外，其余的BCI系统都是基于 在后面部分介绍的信号预处理手段将噪声减为最

·192 智能系统学报 第6卷 EEG的.EEG信号一般通过金属电极和导体从头皮 以这个横断面的边界为中心线，分别平行和垂直这 表面固定的位置进行记录.国际脑电图学会制定了 个中心线将大脑曲面以10%和20%的间隔进行切 统一的1020国际脑电记录系统，如图3所示，此外 分，电极沿着这些交汇点等距离放置9.在具体测 的64导或128导电极帽也是根据10-20系统扩展 量时，可以采用单电极或双电极2种测量方式，单电 而成的.在此系统中，在头皮表面放置21个电极，电 极测量的最终结果是每个电极与中心电极或与其他 极的位置由下列方式确定：参考点为鼻根（鼻子的 电极的平均值的差值，而双电极测量的是2个电极 最上部，与眼睛平齐)和枕骨隆突（脑后枕骨外的突 间的电压差 出部分)，以这2个点和头顶中央构成一个横断面， 鼻根 10% 20% 头顶 20% 20% 20% 20% 20% 20% 10% 枕骨隆突 20% 枕骨隆突 10 图310-20脑电图记录系统电极分布 Fig.3 The diagram of electrode distribution in the 10-20 EEG recording system 3.2脑信号常见几种分类方法 中应用还比较少. 正常人们的脑信号是一种节律性活动，波形极不 根据是否受外界环境刺激或思想意识等行为影 规则，振幅范围在几百微伏之内，频率主要集中在低 响，还可将脑信号分为自发脑电位和诱发电位.自发 频段，范围大概分布在0.2~50Hz之间，并且这些节 脑电位是指在没有特定外加刺激的情况下大脑皮层 律性活动受思想意识和行为等影响.通常按频率段所 自发产生的具有持续的、节律性的电位，诱发电位是 处位置可将脑信号划分为delta波(0.2~3.99Hz)、 指受到外界刺激及思想意识、运动等行为影响下在 theta波(4~7.99Hz)、mu波(8~12Hz)、alpha波 大脑皮层的局部区域产生的局部性脑电位.自发脑 (8~12.99Hz)、beta波(13~29.99Hz)、gamma波 电位和诱发电位有很大的不同，大脑皮层无时无刻 (30~50Hz).每个频率段的信号都有自己的特征. 都会产生自发脑电位，而诱发电位只存在于一定的 delta波波幅为20~200uV,出现在大脑处于无梦深 条件下，且具有稳定的潜伏期；另外，自发脑电位遍 睡状态，在生理性慢波睡眠状态和病理性昏迷状态也 布于整个大脑皮层，而诱发电位只存在于大脑皮层 能见到，也是婴儿大脑的基本波形；theta波波幅为 的局部区域. 20~100山V,出现在身体全身放松状态，是学龄前儿 除了上述2种分类方法外，在BCI研究中，根据 童的基本波形，在成年人处于瞌睡的状态下也能看 脑信号产生所依赖的神经机制，有些脑信号有专门的 到；mu波和alpha波频率分布基本上一致，但二者是 术语来描述，这些信号主要有事件相关去同步化(。 有区别的，mu波产生于大脑感觉运动皮层，而alpha vent related desynchronization,ERD)、事件相关同步 波在顶、枕区活动最为明显，alpha波出现在人安静闭 化(event related synchronization,ERS)脑信号、运动 目状态下，当眼睛睁开时会被阻断，而mu波主要是 相关电位(movement related potentials,MRPs)、皮层 与肢体运动有关，可以被肢体的主动运动或被动运动 慢电位(slow cortical potentials,.SCPs)、P3O0等.ERD 阻断，且在睡眠状态下消失；beta波波幅为5~25uV, 是指某些脑信号能量会在运动前夕（大概在2前）发 主要分布在额、颢、中央区；gamma波目前在BCI接口 生衰减的现象，并符合对侧优势这一原则；ERS是指

第3期 王斐，等：脑机接口研究进展 ·193· 在运动后某些脑信号能量会增加这一现象，并在运动 后的电压可通过式(1)来简化计算： 后600s内达到最大值，也符合对侧优势这一原则. P=R-∑g, 这些信号主要有，频率段的脑信号和B频率段中的 低频信号，另外，y信号也会出现ERS这一现象， 1/dg 8g= ∑1/dg (1) MRPs是出现于运动前（大概在1.5s前）的低频信号， jest 频率范围大概为0~7z,准备电位(BP)就是一种典 式中：是指第i处电极原始的电压值（通过EEG测 型的运动相关电位，会在运动前呈下降趋势.SCPs是 量得到的初始值)；是经过拉普拉斯变换后第i处 一种慢速变化与运动无关的脑信号，可以特续300m 电极的电压值；S:是第i处电极周围电极的集合；d是 至几秒之间，在正常的脑功能中，负的SCPs常伴随着 第i处电极和第j处电极的距离。与周围电极间的距离 脑皮层网络的去极化，正的SCPs常反映脑皮层处于 直接决定着SL的空间滤波特性，当距离增加时，SL变 去促酌状态，经过大量的训练后，人们可以控制SCPs 得对较高的空间频率敏感，而对较低的空间频率变得 的正负性，从而可以用来做一些简单的控制任务 不敏感.目前常采用的SL有2种，一种是小拉普拉斯 P300是指受到一些意识中注意事物的刺激后，并在 变换方法，另一种是大拉普拉斯变换方法.小拉普拉斯 刺激后的300ms内产生一个正峰值的电位.这些信 变换方法是指周围电极取得的就是该电极周边最近的 号目前被广泛用在BCI系统中，根据BCI系统实现的 邻近电极，而大拉普拉斯变换方法周围电极取得的是 目标不同来选择不同的信号作为系统的输入信号，如 该电极周边下一个邻近电极.一般情况下，如果所需的 若开发的系统是为了帮助残疾人行走，则可能会选择 脑信号分布具有较高的局部性及一定的稳定性，常采 MRPs等信号，若开发的系统是为了与外界进行语言 用小拉普拉斯变换方法；反之，常采用大拉普拉斯变换 交流，则可能会选择P300作为系统的输入信号，当然 方法 在实际应用中为了系统的可靠性，一个系统可能会采 ICA方法是通过一定的数学手段将脑信号X分解 用多种依赖不同神经机制的脑信号作为系统的输入 为一定数目且相互独立成分的组合，分解式见式(2)： 信号 X=WS. (2) 4特征产生 式中：W为混合矩阵；S代表的就是脑信号X中的 各个独立成分.ICA是从一个全新的角度对脑信号 特征产生模块是BCI整个系统的核心模块之 进行分析处理，将分解得到的独立成分看成是大脑 一，该模块的主要作用就是通过一定的信号处理手 中若干个“等效源”，这些等效源的输出经脑容体传 段来提高脑信号的信噪比，以及通过一定的特征提 播到不同的头皮电极位置上，形成了所测得的多导 取手段和特征降维方法来提取脑信号中有用的特 脑信号.大量的研究表明ICA可以从多导脑信号中 征.该模块按照功能可以划分为信号预处理、特征提 分离出来自人体其他器官的生物电信号以及其他的 取、特征降维3个子模块.下面将对这3个模块进行 干扰成分，同时ICA还可以将脑电信号中的基本节 详细的介绍， 律分布集中在不同的独立成分中，从而通过ICA方 4.1信号预处理 法能够有效地去除人体器官的生物电信号以及其他 由于脑信号本身的微弱性以及容易受到其他信 干扰成分，从而得到高信噪比的脑信号。 号的污染，通过EEG记录所得的脑信号的信噪比是 CSP是基于多导脑电位协方差的一种脑信号预 很小的，在进行特征提取前必须先通过一定的信号 处理方法，是一种有监督的空间滤波方法，其思想是 预处理手段来提高信噪比.目前研究者们提出了多 使2类信号经过滤波后的空间成分在能量上差异最 种信号预处理技术，其中应用最为广泛的主要有表 大，也就是找到使其中一类方差最大同时另一类方 面拉普拉斯变换(SL)031、独立成分分析 差最小的投影方向.其计算的基本步骤如下， (ICA)[3)、共同空间模式(CSP)[28,7,0、共同平 1)计算每类样本正规化的协方差矩阵R。、R, 均参考(CAR)5,26,289,等算法。 见式(3)，其中X、x分别代表a类和b类第i个 SL是针对每个电极位置计算其瞬时空间电压 脑电位样本矩阵，阶数为都N×T,N为通道数，T为 分布的二阶导数，相当于一个高通的空间频率滤波 采样数 器，可以通过在头皮层上覆盖多个电极来获得高的 2)计算复合协方差矩阵R=R。+R6,并将R通 空间分辨率.通过有限次差分法，经过拉普拉斯变换 过式(4)进行奇异值分解，则可得其白化变换P如