第11卷第5期 智能系统学报 Vol.11 No.5 2016年10月 CAAI Transactions on Intelligent Systems 0ct.2016 D0I:10.11992/is.201511004 网络出版地址:htp:/nww.cnki.net/kcms/detail/23.1538.TP.20160824.0929.010.html 混合脑电信号及视觉信息的智能轮椅人机交互系统 张毅,尹春林,蔡军 (重庆邮电大学信息无障碍工程研发中心,重庆400065) 摘要:针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏,导致脑电信号有用信 息量不足造成系统误识别的问题,本文提出一种视觉信息辅助脑电信号的人机交互系统。该系统通过在脑电信号 实时操作中不断地识别眼睛状态,产生一种新的样本更新策略,更新的视觉信息作为系统的反馈,对人机交互闭环 控制系统起到有效的校正作用。通过在智能轮椅平台走一个“8”字形固定轨迹的实验,实验结果表明:视觉信息的 加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题,具有较好的稳定性和鲁棒性,表明 了该人机交互方法的可行性。 关键词:EEG:视觉信息;样本更新;人机交互 中图分类号:TP242.6文献标志码:A文章编号:1673-4785(2016)05-0648-07 中文引用格式:张毅,尹春林,蔡军.混合脑电信号及视觉信息的智能轮椅人机交互系统[J].智能系统学报,2016,11(5):648-654. 英文引用格式:ZHANG Yi,YIN Chunlin,CAI Jun..On a hybrid electroencephalograph and visual information intelligent wheel- chair human-machine interactive system [J].CAAI transactions on intelligent systems,2016,11(5):648-654. On a hybrid electroencephalograph and visual information intelligent wheelchair human-machine interactive system ZHANG Yi,YIN Chunlin,CAI Jun (Information Accessibility Engineering R&D Center,Chongqing University of Posts and Telecommunications,Chongqing 400065,China) Abstract:To address error recognition problems created by mental fatigue when a human subject partakes in a sin- gle motor imager process for a long period of time,a visual information assisted EEG (electroencephalograph)hu- man-machine interactive control system was proposed.The system produces a new sample updated strategy,with the 'state'of the eyes being recognized by the improved Adaboost algorithm in real-time and the recognition result be- ing used to decide which EEG signal to update as the model parameter for human-machine interaction.An experi- ment on controlling an intelligent wheelchair off a fixed trajectory with a '8'glyph was undertaken.The results show that visual information is adopted effectively by the intelligent wheelchair users to avoid the fatique-related er- ror recognition problem with good levels of efficiency;thus proving that the interactive method is feasible. Keywords:EEG;visual information;sample updated;human-machine interaction 脑机接口(brain computer interface,BCI)是不依高他们的自主活动能力,并在残疾人康复和正常人 赖于大脑外周神经与肌肉系统,在人脑和计算机或 辅助控制领域有着广泛的应用前景[2)。虽然脑电 外部设备之间建立起来的一种通信系统山。它能 信号控制智能轮椅的种类在增多,识别率在不断地提 够为那些失去对所有身体机能控制但思维意识正常。 高,但都是单一脑电人机交互系统,由于脑电信号(e 的残障人士提供一种新型的对外信息交流手段,提 lectro encephalo gram,EEG)的非平稳性和非线性等 问题,且受试者运动想象过程中精神需要长期处于高 收稿日期:2015-11-05.网络出版日期:2016-08-24. 度集中状态,极易疲乏,则容易造成系统的误识别,降 基金项目:科技部国际合作项目(2010DFA12160):国家自然科学基金 低系统的稳定性。在混合控制方面,国内的研究的较 项目(60905066):国家自然科学基金项目(51075420). 通信作者:尹春林.E-mail:659825946@qg.com. 少。早在20Il年,英国Essex大学的Huosheng Hu就
第 11 卷第 5 期 智 能 系 统 学 报 Vol.11 №.5 2016 年 10 月 CAAI Transactions on Intelligent Systems Oct. 2016 DOI:10.11992 / tis.201511004 网络出版地址:http: / / www.cnki.net / kcms/ detail / 23.1538.TP.20160824.0929.010.html 混合脑电信号及视觉信息的智能轮椅人机交互系统 张毅,尹春林,蔡军 (重庆邮电大学 信息无障碍工程研发中心,重庆 400065) 摘 要:针对单一脑电信号人机交互系统中受试者长时间运动想象过程中精神极易产生疲乏,导致脑电信号有用信 息量不足造成系统误识别的问题,本文提出一种视觉信息辅助脑电信号的人机交互系统。 该系统通过在脑电信号 实时操作中不断地识别眼睛状态,产生一种新的样本更新策略,更新的视觉信息作为系统的反馈,对人机交互闭环 控制系统起到有效的校正作用。 通过在智能轮椅平台走一个“8”字形固定轨迹的实验,实验结果表明:视觉信息的 加入有效地避免了单一脑电信号控制智能轮椅由于疲乏问题造成的误识别问题,具有较好的稳定性和鲁棒性,表明 了该人机交互方法的可行性。 关键词:EEG;视觉信息;样本更新;人机交互 中图分类号:TP242.6 文献标志码:A 文章编号:1673⁃4785(2016)05⁃0648⁃07 中文引用格式:张毅,尹春林,蔡军.混合脑电信号及视觉信息的智能轮椅人机交互系统[J]. 智能系统学报, 2016, 11(5):648⁃654. 英文引用格式:ZHANG Yi, YIN Chunlin, CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheel⁃ chair human⁃machine interactive system [J]. CAAI transactions on intelligent systems, 2016,11(5):648⁃654. On a hybrid electroencephalograph and visual information intelligent wheelchair human⁃machine interactive system ZHANG Yi, YIN Chunlin, CAI Jun (Information Accessibility Engineering R&D Center, Chongqing University of Posts and Telecommunications, Chongqing 400065, China) Abstract:To address error recognition problems created by mental fatigue when a human subject partakes in a sin⁃ gle motor imager process for a long period of time, a visual information assisted EEG (electroencephalograph) hu⁃ man⁃machine interactive control system was proposed. The system produces a new sample updated strategy, with the ‘state’ of the eyes being recognized by the improved Adaboost algorithm in real⁃time and the recognition result be⁃ ing used to decide which EEG signal to update as the model parameter for human⁃machine interaction. An experi⁃ ment on controlling an intelligent wheelchair off a fixed trajectory with a ‘8’ glyph was undertaken. The results show that visual information is adopted effectively by the intelligent wheelchair users to avoid the fatique⁃related er⁃ ror recognition problem with good levels of efficiency; thus proving that the interactive method is feasible. Keywords:EEG; visual information; sample updated; human⁃machine interaction 收稿日期:2015⁃11⁃05. 网络出版日期:2016⁃08⁃24. 基金项目:科技部国际合作项目(2010DFA12160);国家自然科学基金 项目(60905066);国家自然科学基金项目(51075420). 通信作者:尹春林. E⁃mail:659825946@ qq.com. 脑机接口(brain computer interface,BCI)是不依 赖于大脑外周神经与肌肉系统,在人脑和计算机或 外部设备之间建立起来的一种通信系统[1] 。 它能 够为那些失去对所有身体机能控制但思维意识正常 的残障人士提供一种新型的对外信息交流手段,提 高他们的自主活动能力,并在残疾人康复和正常人 辅助控制领域有着广泛的应用前景[2⁃5] 。 虽然脑电 信号控制智能轮椅的种类在增多,识别率在不断地提 高,但都是单一脑电人机交互系统,由于脑电信号(e⁃ lectro encephalo gram, EEG)的非平稳性和非线性等 问题,且受试者运动想象过程中精神需要长期处于高 度集中状态,极易疲乏,则容易造成系统的误识别,降 低系统的稳定性。 在混合控制方面,国内的研究的较 少。 早在 2011 年,英国 Essex 大学的 Huosheng Hu 就
第5期 张毅,等:混合脑电信号及视觉信息的智能轮椅人机交互系统 ·649· 指出未来的人机交互应是多模态融合,通过被赋予的 图2为该控制系统框图。 多功能选择行为提高其鲁棒性和可靠性)」 放天→滤波 针对上述研究,本文提出了一种新型的视觉信 Emotiv传感器 息辅助脑电信号的人机交互系统。该系统通过对脑 视觉信息 人脸 人眼 电信号进行特征提取、特征分类的同时不断地检测 定位定位 预处理 眼睛状态,把更新的视觉信息作为系统的有效输入, 信息 人眼状 不断调节模型参数使得整个人机交互系统随着视觉 智能系统 融合 态识别 动 信息的变化做相应的调整。视觉信息与脑波信号的 信 人 统 脑电信号 特征 结合,有效降低了使用者针对传统单一脑电信号由 统 分类识别 提取 于疲乏等问题造成的误识别,使得系统不受时间、使 部分识别和控制 用者状态的影响而可以简单、自然地进行人机交互。 图2系统框图 1系统架构及疲劳状态下脑电信号的 Fig.2 The system block diagram 特征 1.2 疲劳状态下脑电信号的特征 由于EEG人机交互系统受试者需要长时间进 1.1系统架构 行单一的重复想象操作,很容易造成精神的疲 本系统主要包括对信号的预处理、特征提取、特 劳[1。图3为2种状态下与精神状态有关的AF3信 征分类以及通过无线通信系统对智能轮椅的控制几 号的波形。 个部分。脑电信号采集和预处理部分都是通过 200 Emotiv SDK Headset脑波仪和其中的信号处理软件 完成的。所用的Emotiv脑波仪如图1(a)所示,电极 100 安放位置如图1(b)所示,其采样频率为128Hz。 w7 -100 -200 10 0 4 6 10 采样点数 (a)正常状态波形 (a)Emotiv脑电采集仪 200 100 -100 -200 FC FC 4 6 采样点数 CMS DRL (b)疲劳状态波形 图32种状态下AF,信号的波形 00○ Fig.3 The AF,signal waveform in the two states (b)Emotiv电极安放位置 图3所示,不同状态下的脑电波形虽然存在着 图1 Emotiv脑电采集仪及电极安放位置 一定的差异,但是却看不出2种状态下EEG信号所 Fig.1 Emotiv EEG acquisition instrument and elec- 包含的基本节律波。为了进一步研究2种状态下脑 trode placement 波信号的特征,本文对脑波信号进行了频谱分析,得
指出未来的人机交互应是多模态融合,通过被赋予的 多功能选择行为提高其鲁棒性和可靠性[8] 。 针对上述研究,本文提出了一种新型的视觉信 息辅助脑电信号的人机交互系统。 该系统通过对脑 电信号进行特征提取、特征分类的同时不断地检测 眼睛状态,把更新的视觉信息作为系统的有效输入, 不断调节模型参数使得整个人机交互系统随着视觉 信息的变化做相应的调整。 视觉信息与脑波信号的 结合,有效降低了使用者针对传统单一脑电信号由 于疲乏等问题造成的误识别,使得系统不受时间、使 用者状态的影响而可以简单、自然地进行人机交互。 1 系统架构及疲劳状态下脑电信号的 特征 1.1 系统架构 本系统主要包括对信号的预处理、特征提取、特 征分类以及通过无线通信系统对智能轮椅的控制几 个部分。 脑电信号采集和预处理部分都是通过 Emotiv SDK Headset 脑波仪和其中的信号处理软件 完成的。 所用的 Emotiv 脑波仪如图 1(a)所示,电极 安放位置如图 1 (b)所示,其采样频率为 128 Hz。 (a)Emotiv 脑电采集仪 (b) Emotiv 电极安放位置 图 1 Emotiv 脑电采集仪及电极安放位置 Fig. 1 Emotiv EEG acquisition instrument and elec⁃ trode placement 图 2 为该控制系统框图。 图 2 系统框图 Fig.2 The system block diagram 1.2 疲劳状态下脑电信号的特征 由于 EEG 人机交互系统受试者需要长时间进 行单一 的 重 复 想 象 操 作, 很 容 易 造 成 精 神 的 疲 劳[9] 。 图 3 为 2 种状态下与精神状态有关的 AF3 信 号的波形。 (a)正常状态波形 (b)疲劳状态波形 图 3 2 种状态下 AF3 信号的波形 Fig.3 The AF3 signal waveform in the two states 图 3 所示,不同状态下的脑电波形虽然存在着 一定的差异,但是却看不出 2 种状态下 EEG 信号所 包含的基本节律波。 为了进一步研究 2 种状态下脑 波信号的特征,本文对脑波信号进行了频谱分析,得 第 5 期 张毅,等:混合脑电信号及视觉信息的智能轮椅人机交互系统 ·649·
·650 智能系统学报 第11卷 到2种状态下EEG信号的频谱图。 2.2视觉控制 图4可知当受试者处于正常状态时主要以α波 EEG是一个非线性且非平稳的信号,当使用者 (8~13Hz)B波(14~30Hz)为主;疲劳时主要以a 处于疲劳状态时,大脑产生的瞬时状态信号并非是 波和0波(4~7Hz)为主,此时8波(0.5~3Hz)增 使用者本身的思想意识,这种非意识动作往往引起 多,而B波越来越少(几乎为零),波段的变化使得 人机交互系统的不稳定。所以视觉信息的有效监测 脑电信号特征值稳定性低、特征向量区分度差,严重 在引导控制信号正确运动中起着至关重要的作用。 影响了BCI系统的性能。随着时间的增长和脑电 在眼晴状态检测中,本文采用改进Adaboost算 疲劳的加剧,脑电信号的识别率更低。 法。即在特征选择时,在传统的算法中引入了特征 140 相关度的方式,这样尽量将被选出特征之间的冗余 120 信息减少到最低。设下一个待选出的特征为x,将 100 其用R(x)=max(xf),i=1,2,…,m来计算其与已 80 选出特征的相关度R(x)。这里提前设定一个合适 的阈值δ,如果R(x)>6时,表示x与已选出的特征 40 有过大的相关度,产生不了新的信息,这时x不能选 20 入将其作为特征:反之,表示x与已选特征相关度不 大,新信息能够产生足够多,则x为此时的可选特 20 40 60 80 频率/Hz 征。图5为改进前后的正负误差对比,其中, (a)正常状态频谱图 81=0.5,82=1.5。 ×10 2.5 一改进后 “改进前 1.5 0 203040 60 20 40 60 80 川练弱分类器数 频案H2 图5改进前后正负误差对比 (b)疲劳状态频谱图 Fig.5 The positive and negative error comparison be- 图42种状态下的脑波频谱图 Fig.4 The EEG spectrum in the two states fore and after improvement 由图5可见,在正负误差比方面改进后的Ada 2控制方案设计 boost不会出现太大的波动,避免了权重分配不均造 成的过适应,改进的Adaboost算法亦可用较少的特 2.1脑电信号控制 征得到较高的准确率,在图像检测速度方面得到了 脑电信号是该控制系统的基础。通过对Emotiv 很大的提升。眼晴状态检测具体步骤为:用上述改 脑电信号采集仪的各通道脑电信号的分析,发现O, 进的Adaboost算法先定位人脸,然后将人脸的上半 通道对睁闭眼脑电信号反应最明显,FC,和FC6通 部分的左右两边分别切割开,在此基础上再用一次 道对左右手运动想象脑电信号反应最明显,闭眼放 改进Adaboost算法精确定位出人眼图片,如图6。 松与左右手相比很容易被区分出来,这里不是本文 这种眼睛定位方法速度很快,2次用同样的改 重点,而左右手的区分是特征分类的难点,因此本文 进Adaboost算法,避免了第2次分类器的重构,节省 选择F,、F4、FC5、FC6、T,和Tg通道的脑电信号来提 了时间。训练目标分类器时,需要构造正负样本图 取左右手运动想象脑电信号的特征。选用一种改进 像集,本文实验中采集了50个人的左右眼状态图, 的CSSD算法作为其特征提取方法[o]提取脑电信号 图像分类器的正样本采用了左右眼各400张人眼图 特征,经过实验验证,该特征提取算法能使左右手运 像,图像分辨率归一化为40×20的灰度图像,然后 动想象脑电信号的在线平均识别率高达95.01%。 对图像的分类器进行训练。负样本为除眼晴外的人
到 2 种状态下 EEG 信号的频谱图。 图 4 可知当受试者处于正常状态时主要以 α 波 (8~13 Hz)、β 波(14~30 Hz)为主;疲劳时主要以 α 波和 θ 波(4 ~ 7 Hz) 为主,此时 δ 波(0.5 ~ 3 Hz) 增 多,而 β 波越来越少(几乎为零),波段的变化使得 脑电信号特征值稳定性低、特征向量区分度差,严重 影响了 BCI 系统的性能。 随着时间的增长和脑电 疲劳的加剧,脑电信号的识别率更低。 (a)正常状态频谱图 (b)疲劳状态频谱图 图 4 2 种状态下的脑波频谱图 Fig.4 The EEG spectrum in the two states 2 控制方案设计 2.1 脑电信号控制 脑电信号是该控制系统的基础。 通过对 Emotiv 脑电信号采集仪的各通道脑电信号的分析,发现 O1 通道对睁闭眼脑电信号反应最明显,FC5 和 FC6 通 道对左右手运动想象脑电信号反应最明显,闭眼放 松与左右手相比很容易被区分出来,这里不是本文 重点,而左右手的区分是特征分类的难点,因此本文 选择 F3 、F4 、FC5 、FC6 、T7 和 T8 通道的脑电信号来提 取左右手运动想象脑电信号的特征。 选用一种改进 的 CSSD 算法作为其特征提取方法[10] 提取脑电信号 特征,经过实验验证,该特征提取算法能使左右手运 动想象脑电信号的在线平均识别率高达95.01%。 2.2 视觉控制 EEG 是一个非线性且非平稳的信号,当使用者 处于疲劳状态时,大脑产生的瞬时状态信号并非是 使用者本身的思想意识,这种非意识动作往往引起 人机交互系统的不稳定。 所以视觉信息的有效监测 在引导控制信号正确运动中起着至关重要的作用。 在眼睛状态检测中,本文采用改进 Adaboost 算 法。 即在特征选择时,在传统的算法中引入了特征 相关度的方式,这样尽量将被选出特征之间的冗余 信息减少到最低。 设下一个待选出的特征为 x,将 其用 R(x)= max i (x,f i),i = 1,2,…,m 来计算其与已 选出特征的相关度 R(x)。 这里提前设定一个合适 的阈值 δ,如果 R(x) >δ 时,表示 x 与已选出的特征 有过大的相关度,产生不了新的信息,这时 x 不能选 入将其作为特征;反之,表示 x 与已选特征相关度不 大,新信息能够产生足够多,则 x 为此时的可选特 征。 图 5 为 改 进 前 后 的 正 负 误 差 对 比, 其 中, δ1 = 0.5,δ2 = 1.5。 图 5 改进前后正负误差对比 Fig.5 The positive and negative error comparison be⁃ fore and after improvement 由图 5 可见,在正负误差比方面改进后的 Ada⁃ boost 不会出现太大的波动,避免了权重分配不均造 成的过适应,改进的 Adaboost 算法亦可用较少的特 征得到较高的准确率,在图像检测速度方面得到了 很大的提升。 眼睛状态检测具体步骤为:用上述改 进的 Adaboost 算法先定位人脸,然后将人脸的上半 部分的左右两边分别切割开,在此基础上再用一次 改进 Adaboost 算法精确定位出人眼图片[14] ,如图 6。 这种眼睛定位方法速度很快,2 次用同样的改 进 Adaboost 算法,避免了第 2 次分类器的重构,节省 了时间。 训练目标分类器时,需要构造正负样本图 像集,本文实验中采集了 50 个人的左右眼状态图, 图像分类器的正样本釆用了左右眼各 400 张人眼图 像,图像分辨率归一化为 40×20 的灰度图像,然后 对图像的分类器进行训练。 负样本为除眼睛外的人 ·650· 智 能 系 统 学 报 第 11 卷
第5期 张毅,等:混合脑电信号及视觉信息的智能轮椅人机交互系统 .651· 脸其他区域、风景以及室内环境等任意图片800张, Adaboost对睁眼样本的识别率最高达98.7%,闭眼 将负样本统一转换为灰度图像。图7为不同光照、 识别率最高达98.2%,不管人眼样本还是非人眼样 不同姿态、不同距离下的部分人眼和非人眼样本。 本,平均识别率均在97%以上。采用此分类器可以 图7(©)为3位受试者眼晴状态的识别效果实例。 较好地识别人眼样本,为脑电信号的正确控制提供 可以看到复杂背景下迎光、背光、侧光3种光照条 可靠的校正信息。 件,大小和形状不同的眼晴状态都可以被检测到,从 表1眼睛状态识别率 而满足系统要求。 Table 1 The recognition rate of eye state % 状态分类 1 平均识别率 睁眼 98.7 97.5 97.9 96.4 97.6 闭眼 97.896.798.2 96.7 97.4 (a)定位人脸 b)分割 由于系统是对受试者的疲劳状态进行识别,所 以必须有较高的实时性。为了进一步验证系统的实 时性,本文用摄像头拍摄3段视频,分辨率为 640×480,在ntel(R)Core(TM)2 Duo CPU E7500, (c)定位人眼 2.93GHz,1.99G硬件环境,VS2010实验平台下对3 图6眼睛定位步骤 段视频进行测试,系统达到22帧/s的速度。与文 Fig.6 The steps of Eves location 献[15]中单独使用睁闭眼分类器92ms和传统Ad aboost算法49ms的检测时间相比,本文改进Ada- boost算法的检测时间达到30ms,满足实时要求。 23视觉信息辅助脑电信号样本更新策略 在智能轮椅硬件平台和VS2010软件平台和 Emotiv人机交互闭环控制过程中,眼睛状态的实时 (a)人眼样本 监测作为一种重要的反馈信息,对系统稳定性有着 重要的影响。在对眼睛状态的识别中眨眼动作是影 响系统安全的一个重要因素。本文采取2s内per clos准则设定,如果perclos:>40%,则认为受试者处 于疲劳状态,不进行任何的动作;如果perclos≤40% 则要进行眨眼频率的比较,如果每次眨眼时间为0.3~ b)非人眼样本 0.4s,或者在2次运动想象内至少检测到一次眨眼则按 照受试者的想象运动执行相应的动作。否则认为没有 进行任何运动,不对轮椅发出指令。视觉信息辅助脑 电信号人机交互系统流程图如图8。 具体步骤为: 1)人机交互系统启动,同时启动眼睛状态实时 监测程序和EEG信号采集程序。 2)运动想象脑电信号分类识别,同时监测规定 时间内眼睛状态。 (C)识别结果 3)若检测到眼睛状态则利用改进的Adaboost 图7部分人眼样本和非人眼样本及识别结果 识别并进一步判定是否符合perclos准则,若没有检 Fig.7 A part of human samples and non eye samples 测到眼晴状态则返回步骤1)。若眼晴状态与per and the recognition results clos准则匹配则将EEG信号作为更新样本,进行在 随机选取4位受试者对训练好的分类器进行测 线训练,同时向智能轮椅发送控制指令,执行前进或 试,结果如表1所示。由表1可以看出,采用改进的 者左、右转运动中的一种:若不匹配则返回步骤1)
脸其他区域、风景以及室内环境等任意图片 800 张, 将负样本统一转换为灰度图像。 图 7 为不同光照、 不同姿态、不同距离下的部分人眼和非人眼样本。 图 7(c)为 3 位受试者眼睛状态的识别效果实例。 可以看到复杂背景下迎光、背光、侧光 3 种光照条 件,大小和形状不同的眼睛状态都可以被检测到,从 而满足系统要求。 图 6 眼睛定位步骤 Fig.6 The steps of Eyes location 图 7 部分人眼样本和非人眼样本及识别结果 Fig.7 A part of human samples and non eye samples and the recognition results 随机选取 4 位受试者对训练好的分类器进行测 试,结果如表 1 所示。 由表 1 可以看出,采用改进的 Adaboost 对睁眼样本的识别率最高达 98.7%,闭眼 识别率最高达 98.2%,不管人眼样本还是非人眼样 本,平均识别率均在 97%以上。 采用此分类器可以 较好地识别人眼样本,为脑电信号的正确控制提供 可靠的校正信息。 表 1 眼睛状态识别率 Table 1 The recognition rate of eye state % 状态分类 1 2 3 4 平均识别率 睁眼 98.7 97.5 97.9 96.4 97.6 闭眼 97.8 96.7 98.2 96.7 97.4 由于系统是对受试者的疲劳状态进行识别,所 以必须有较高的实时性。 为了进一步验证系统的实 时性, 本 文 用 摄 像 头 拍 摄 3 段 视 频, 分 辨 率 为 640×480,在 Intel(R) Core(TM)2 Duo CPU E7500, 2.93 GHz,1.99 G 硬件环境,VS2010 实验平台下对 3 段视频进行测试,系统达到 22 帧/ s 的速度。 与文 献[15]中单独使用睁闭眼分类器 92 ms 和传统 Ad⁃ aboost 算法 49 ms 的检测时间相比,本文改进 Ada⁃ boost 算法的检测时间达到 30 ms,满足实时要求。 2.3 视觉信息辅助脑电信号样本更新策略 在智能轮椅硬件平台和 VS2010 软件平台和 Emotiv 人机交互闭环控制过程中,眼睛状态的实时 监测作为一种重要的反馈信息,对系统稳定性有着 重要的影响。 在对眼睛状态的识别中眨眼动作是影 响系统安全的一个重要因素。 本文采取 2 s 内 per⁃ clos 准则设定,如果 perclos>40%,则认为受试者处 于疲劳状态,不进行任何的动作;如果 perclos≤40%, 则要进行眨眼频率的比较,如果每次眨眼时间为 0.3~ 0.4 s,或者在2 次运动想象内至少检测到一次眨眼则按 照受试者的想象运动执行相应的动作。 否则认为没有 进行任何运动,不对轮椅发出指令。 视觉信息辅助脑 电信号人机交互系统流程图如图 8。 具体步骤为: 1)人机交互系统启动,同时启动眼睛状态实时 监测程序和 EEG 信号采集程序。 2)运动想象脑电信号分类识别,同时监测规定 时间内眼睛状态。 3)若检测到眼睛状态则利用改进的 Adaboost 识别并进一步判定是否符合 perclos 准则,若没有检 测到眼睛状态则返回步骤 1)。 若眼睛状态与 per⁃ clos 准则匹配则将 EEG 信号作为更新样本,进行在 线训练,同时向智能轮椅发送控制指令,执行前进或 者左、右转运动中的一种;若不匹配则返回步骤 1)。 第 5 期 张毅,等:混合脑电信号及视觉信息的智能轮椅人机交互系统 ·651·
·652. 智能系统学报 第11卷 开始 ×10 30-40 启动眼睛状 3 2030 态实时监测 前进 右 01020 想象运动 ×10 -2 0 EEG样 SVM在 在线SV 本存储 线训练 分类判断 x/mm Y (a)利用单一EEG人机交互系统 设定的 PERCLOS 返回 是否检测 4 30-40 20-30 、准则判断 N 、到眼睛 Y 女时Adaboost 识别判断 -4 -3-2 -101234 图8混合人机交互系统流程图 x/mm (b)利用混合EEG人机交互系统 Fig.8 The hybrid human-machine interaction system flow chart 图10 Emotiv脑电采集仪及电极安放位置 Fig.10 The Wheelchair track of two kinds of human 3实验结果及分析 computer interaction system 3.1系统性能验证 400 为了验证设计的混合EEG人机交互系统的性 能,通过让4位受试者使用引入视觉信息的EEG人 300 机交互系统和单一的EEG人机交互系统在智能轮 200 椅平台进行重复性实验,完成如图9所指定的路线。 本文设定的轮椅控制方式为:左右手运动想象脑电 100 信号控制智能轮椅左转和右转,闭眼放松脑电信号 控制智能轮椅前进。在轮椅运动方向与自己期望运 0-1010-2020-3030-40 动方向不一致或轮椅运动到自己期望的位置时,受 t/min (a)单一EEG完成指定路线所用时间 试者就可通过咬牙使得F,通道产生的高幅度脉冲 信号控制智能轮椅停止。通过分析,发现4位受试 200 者在相同状态下采用2种控制方式操作智能轮椅完 成该路线在不同时间段的轨迹基本一致。图10为 100 其中1位受试者利用2种控制方式操作智能轮椅完 成该路线时在不同时间段的轨迹。图11(a)为4位 0-1010-2020-3030-40 Wmin 受试者在不同时间段利用单一EEG人机交互系统 (b)混合EEG人机交互系统所用时间 完成指定路线的时间。图11(b)为4位受试者利用 图11 4位受试者在不同时间段利用两种控制方式完成 混合EEG人机交互系统完成指定路线的时间。 指定路线的时间 终点 Fig.11 The time for 4 subjects completed the specified routes at different time by using two kinds of control mode 隆碍 障碍物 图11中4个柱状条分别为4位受试者在规定 起点 的受训时间:0~10min,10~20min,20~30min,30~ 40min内完成指定路线所用的时间。由图10(b)和 图9实验路径 图11(b)可知混合EEG人机交互系统在不同时间 Fig.9 The experimental route
图 8 混合人机交互系统流程图 Fig. 8 The hybrid human⁃machine interaction system flow chart 3 实验结果及分析 3.1 系统性能验证 为了验证设计的混合 EEG 人机交互系统的性 能,通过让 4 位受试者使用引入视觉信息的 EEG 人 机交互系统和单一的 EEG 人机交互系统在智能轮 椅平台进行重复性实验,完成如图 9 所指定的路线。 本文设定的轮椅控制方式为:左右手运动想象脑电 信号控制智能轮椅左转和右转,闭眼放松脑电信号 控制智能轮椅前进。 在轮椅运动方向与自己期望运 动方向不一致或轮椅运动到自己期望的位置时,受 试者就可通过咬牙使得 F7通道产生的高幅度脉冲 信号控制智能轮椅停止。 通过分析,发现 4 位受试 者在相同状态下采用 2 种控制方式操作智能轮椅完 成该路线在不同时间段的轨迹基本一致。 图 10 为 其中 1 位受试者利用 2 种控制方式操作智能轮椅完 成该路线时在不同时间段的轨迹。 图 11(a)为 4 位 受试者在不同时间段利用单一 EEG 人机交互系统 完成指定路线的时间。 图 11(b)为 4 位受试者利用 混合 EEG 人机交互系统完成指定路线的时间。 图 9 实验路径 Fig.9 The experimental route 图 10 Emotiv 脑电采集仪及电极安放位置 Fig.10 The Wheelchair track of two kinds of human computer interaction system 图 11 4 位受试者在不同时间段利用两种控制方式完成 指定路线的时间 Fig.11 The time for 4 subjects completed the specified routes at different time by using two kinds of control mode 图 11 中 4 个柱状条分别为 4 位受试者在规定 的受训时间:0~10 min,10~20 min,20~30 min,30~ 40 min 内完成指定路线所用的时间。 由图 10(b)和 图 11(b)可知混合 EEG 人机交互系统在不同时间 ·652· 智 能 系 统 学 报 第 11 卷