第9卷第4期 智能系统学报 Vol.9 No.4 2014年8月 CAAI Transactions on Intelligent Systems Agu.2014 D0I:10.3969/j.issn.1673-4785.201310047 网络出版t地址:http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201310047.html 基于GGA-Elman网络的头部体态 语言sEMG识别 杨钟亮1,陈育苗 (1.东华大学机械工程学院,上海201620:2.东华大学服装·艺术设计学院,上海200051) 摘要:为提高头部体态语言表达“同意”与“不同意”态度的识别效果,提出结合贪心遗传算法和lman神经网络的 表面肌电识别方法。通过前导实验分别采集8名被试者点头与摇头时颈部肌肉的表面肌电信号,利用Wilcoxo秩 和检验提取具有显著性差异的10个肌电时域特征值,进而基于贪心遗传算法优化的Elman神经网络建立体态语言 识别模型。实验结果表明,该模型能成功识别自发表达“同意”与“不同意”的头部体态语言,与标准Elman神经网络 和BP神经网络的识别模型相比,相关系数更高、均方误差更小,对测试集的正确识别率提高了3.2%以上,从而验证 了该方法的可靠性。 关键词:头部运动:体态语言:肌电:肌肉;时域分析;神经网络:遗传算法:模式识别 中图分类号:TP391文献标志码:A文章编号:1673-4785(2014)04-385-07 中文引用格式:杨钟亮,陈育苗.基于GGA-Eman网络的头部体态语言sEMG识别[J].智能系统学报,2014,9(4):385-391. 英文引用格式:YANG Zhongliang,CHEN Yumiao..An sEMG approach to recognize the body language of the head based on the GGA-Elman network[J].CAAI Transactions on Intelligent Systems,2014,9(4):385-391. An sEMG approach to recognize the body language of the head based on the GGA-Elman network YANG Zhongliang',CHEN Yumiao2 (1.College of Mechanical Engineering,Donghua University,Shanghai 201620,China;2.Fashion.Art Design Institute,Donghua U. niversity,Shanghai 200051,China) Abstract:In order to improve the recognition effects of the "agreement"and "disagreement"attitudes expressed by the body language of the head movements,a surface electromyography (sEMG)approach in combination with the greedy genetic algorithm (GGA)and the Elman neural network is proposed.The sEMG signals of the neck muscles were detected while eight participants were nodding and shaking their heads respectively during a pilot experiment. By means of the Wilcoxon's signed-rank test,ten features of the sEMG time domain indices were extracted with significant differences.Furthermore,the body language recognition model was constructed based on the Elman net- work optimized by GGA.Experimental results show that the model can successfully recognize the "agreement and disagreement"attitudes spontaneously expressed by the different body languages of the head.Compared with the recognition models using the standard Elman and BP network,the correlation coefficient of this present model is higher,the mean squared error is less,and the correct recognition rate of the test set is increases by over 3.2%, which demonstrate the reliability of this approach. Keywords:head movement;body language;surface electromyography;muscle;time domain analysis;neural net- work;genetic algorithm;pattern recognition 1872年达尔文[)指出非口语线索是人类信息 收稿日期:2013-10-17.网络出版日期:2014-06-21. 交流的基础。体态语言主要通过非口语线索传达情 基金项目:国家自然科学基金资助项目(51305077):中央高校基本科研 业务费专项资金资助项目(13D110318) 感状态,占人类信息交流的55%21。其中,表情、头 通信作者:杨钟亮.E-mail:yzl@dhu.edu.cn
第 怨 卷第 源 期摇摇摇摇摇摇 摇摇摇摇摇 摇摇摇 智 能 系 统 学 报摇摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援怨 翼援源 圆园员源 年 愿 月摇摇摇摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 粤早怎援 圆园员源 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员猿员园园源苑 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿燥蚤 辕 员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员猿员园园源苑援澡贼皂造 基于 郧郧粤鄄耘造皂葬灶 网络的头部体态 语言 泽耘酝郧 识别 杨钟亮员 袁陈育苗圆 渊员援 东华大学 机械工程学院袁 上海 圆园员远圆园曰 圆援 东华大学 服装窑艺术设计学院袁上海 圆园园园缘员冤 摘 要院为提高头部体态语言表达野同意冶与野不同意冶态度的识别效果袁提出结合贪心遗传算法和 耘造皂葬灶 神经网络的 表面肌电识别方法遥 通过前导实验分别采集 愿 名被试者点头与摇头时颈部肌肉的表面肌电信号袁利用 宰蚤造糟燥曾燥灶 秩 和检验提取具有显著性差异的 员园 个肌电时域特征值袁进而基于贪心遗传算法优化的 耘造皂葬灶 神经网络建立体态语言 识别模型遥 实验结果表明袁该模型能成功识别自发表达野同意冶与野不同意冶的头部体态语言袁与标准 耘造皂葬灶 神经网络 和 月孕 神经网络的识别模型相比袁相关系数更高尧均方误差更小袁对测试集的正确识别率提高了 猿援圆豫以上袁从而验证 了该方法的可靠性遥 关键词院头部运动曰体态语言曰 肌电曰 肌肉曰 时域分析曰 神经网络曰 遗传算法曰 模式识别 中图分类号院 栽孕猿怨员 摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员源冤园源鄄猿愿缘鄄园苑 中文引用格式院杨钟亮袁陈育苗援 基于 郧郧粤鄄耘造皂葬灶 网络的头部体态语言 泽耘酝郧 识别咱允暂援 智能系统学报袁 圆园员源袁 怨渊源冤 院 猿愿缘鄄猿怨员援 英文引用格式院再粤晕郧 在澡燥灶早造蚤葬灶早袁 悦匀耘晕 再怎皂蚤葬燥援 粤灶 泽耘酝郧 葬责责则燥葬糟澡 贼燥 则藻糟燥早灶蚤扎藻 贼澡藻 遭燥凿赠 造葬灶早怎葬早藻 燥枣 贼澡藻 澡藻葬凿 遭葬泽藻凿 燥灶 贼澡藻 郧郧粤鄄耘造皂葬灶 灶藻贼憎燥则噪咱允暂援 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员源袁 怨渊源冤 院 猿愿缘鄄猿怨员援 粤灶 泽耘酝郧 葬责责则燥葬糟澡 贼燥 则藻糟燥早灶蚤扎藻 贼澡藻 遭燥凿赠 造葬灶早怎葬早藻 燥枣 贼澡藻 澡藻葬凿 遭葬泽藻凿 燥灶 贼澡藻 郧郧粤鄄耘造皂葬灶 灶藻贼憎燥则噪 再粤晕郧 在澡燥灶早造蚤葬灶早员 袁 悦匀耘晕 再怎皂蚤葬燥圆 渊 员援 悦燥造造藻早藻 燥枣 酝藻糟澡葬灶蚤糟葬造 耘灶早蚤灶藻藻则蚤灶早袁 阅燥灶早澡怎葬 哉灶蚤增藻则泽蚤贼赠袁 杂澡葬灶早澡葬蚤 圆园员远圆园袁 悦澡蚤灶葬曰 圆援 云葬泽澡蚤燥灶窑粤则贼 阅藻泽蚤早灶 陨灶泽贼蚤贼怎贼藻袁 阅燥灶早澡怎葬 哉鄄 灶蚤增藻则泽蚤贼赠袁 杂澡葬灶早澡葬蚤 圆园园园缘员袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院陨灶 燥则凿藻则 贼燥 蚤皂责则燥增藻 贼澡藻 则藻糟燥早灶蚤贼蚤燥灶 藻枣枣藻糟贼泽 燥枣 贼澡藻 寓 葬早则藻藻皂藻灶贼寓 葬灶凿 寓 凿蚤泽葬早则藻藻皂藻灶贼寓 葬贼贼蚤贼怎凿藻泽 藻曾责则藻泽泽藻凿 遭赠 贼澡藻 遭燥凿赠 造葬灶早怎葬早藻 燥枣 贼澡藻 澡藻葬凿 皂燥增藻皂藻灶贼泽袁 葬 泽怎则枣葬糟藻 藻造藻糟贼则燥皂赠燥早则葬责澡赠 渊 泽耘酝郧冤 葬责责则燥葬糟澡 蚤灶 糟燥皂遭蚤灶葬贼蚤燥灶 憎蚤贼澡 贼澡藻 早则藻藻凿赠 早藻灶藻贼蚤糟 葬造早燥则蚤贼澡皂 渊郧郧粤冤 葬灶凿 贼澡藻 耘造皂葬灶 灶藻怎则葬造 灶藻贼憎燥则噪 蚤泽 责则燥责燥泽藻凿援 栽澡藻 泽耘酝郧 泽蚤早灶葬造泽 燥枣 贼澡藻 灶藻糟噪 皂怎泽糟造藻泽 憎藻则藻 凿藻贼藻糟贼藻凿 憎澡蚤造藻 藻蚤早澡贼 责葬则贼蚤糟蚤责葬灶贼泽 憎藻则藻 灶燥凿凿蚤灶早 葬灶凿 泽澡葬噪蚤灶早 贼澡藻蚤则 澡藻葬凿泽 则藻泽责藻糟贼蚤增藻造赠 凿怎则蚤灶早 葬 责蚤造燥贼 藻曾责藻则蚤皂藻灶贼援 月赠 皂藻葬灶泽 燥枣 贼澡藻 宰蚤造糟燥曾燥灶爷 泽 泽蚤早灶藻凿鄄则葬灶噪 贼藻泽贼袁 贼藻灶 枣藻葬贼怎则藻泽 燥枣 贼澡藻 泽耘酝郧 贼蚤皂藻 凿燥皂葬蚤灶 蚤灶凿蚤糟藻泽 憎藻则藻 藻曾贼则葬糟贼藻凿 憎蚤贼澡 泽蚤早灶蚤枣蚤糟葬灶贼 凿蚤枣枣藻则藻灶糟藻泽援 云怎则贼澡藻则皂燥则藻袁 贼澡藻 遭燥凿赠 造葬灶早怎葬早藻 则藻糟燥早灶蚤贼蚤燥灶 皂燥凿藻造 憎葬泽 糟燥灶泽贼则怎糟贼藻凿 遭葬泽藻凿 燥灶 贼澡藻 耘造皂葬灶 灶藻贼鄄 憎燥则噪 燥责贼蚤皂蚤扎藻凿 遭赠 郧郧粤援 耘曾责藻则蚤皂藻灶贼葬造 则藻泽怎造贼泽 泽澡燥憎 贼澡葬贼 贼澡藻 皂燥凿藻造 糟葬灶 泽怎糟糟藻泽泽枣怎造造赠 则藻糟燥早灶蚤扎藻 贼澡藻 寓 葬早则藻藻皂藻灶贼 葬灶凿 凿蚤泽葬早则藻藻皂藻灶贼寓 葬贼贼蚤贼怎凿藻泽 泽责燥灶贼葬灶藻燥怎泽造赠 藻曾责则藻泽泽藻凿 遭赠 贼澡藻 凿蚤枣枣藻则藻灶贼 遭燥凿赠 造葬灶早怎葬早藻泽 燥枣 贼澡藻 澡藻葬凿援 悦燥皂责葬则藻凿 憎蚤贼澡 贼澡藻 则藻糟燥早灶蚤贼蚤燥灶 皂燥凿藻造泽 怎泽蚤灶早 贼澡藻 泽贼葬灶凿葬则凿 耘造皂葬灶 葬灶凿 月孕 灶藻贼憎燥则噪袁 贼澡藻 糟燥则则藻造葬贼蚤燥灶 糟燥藻枣枣蚤糟蚤藻灶贼 燥枣 贼澡蚤泽 责则藻泽藻灶贼 皂燥凿藻造 蚤泽 澡蚤早澡藻则袁 贼澡藻 皂藻葬灶 泽择怎葬则藻凿 藻则则燥则 蚤泽 造藻泽泽袁 葬灶凿 贼澡藻 糟燥则则藻糟贼 则藻糟燥早灶蚤贼蚤燥灶 则葬贼藻 燥枣 贼澡藻 贼藻泽贼 泽藻贼 蚤泽 蚤灶糟则藻葬泽藻泽 遭赠 燥增藻则 猿援圆豫袁 憎澡蚤糟澡 凿藻皂燥灶泽贼则葬贼藻 贼澡藻 则藻造蚤葬遭蚤造蚤贼赠 燥枣 贼澡蚤泽 葬责责则燥葬糟澡援 运藻赠憎燥则凿泽院澡藻葬凿 皂燥增藻皂藻灶贼曰 遭燥凿赠 造葬灶早怎葬早藻曰 泽怎则枣葬糟藻 藻造藻糟贼则燥皂赠燥早则葬责澡赠曰 皂怎泽糟造藻曰 贼蚤皂藻 凿燥皂葬蚤灶 葬灶葬造赠泽蚤泽曰 灶藻怎则葬造 灶藻贼鄄 憎燥则噪曰 早藻灶藻贼蚤糟 葬造早燥则蚤贼澡皂曰 责葬贼贼藻则灶 则藻糟燥早灶蚤贼蚤燥灶 收稿日期院圆园员猿鄄员园鄄员苑援 摇 网络出版日期院圆园员源鄄园远鄄圆员援 基金项目院国家自然科学基金资助项目渊缘员猿园缘园苑苑冤 曰中央高校基本科研 业务费专项资金资助项目渊员猿阅员员园猿员愿冤援 通信作者院杨钟亮援 耘鄄皂葬蚤造院赠扎造岳 凿澡怎援藻凿怎援糟灶援 摇 摇 员愿苑圆 年达尔文咱员暂 指出非口语线索是人类信息 交流的基础遥 体态语言主要通过非口语线索传达情 感状态袁占人类信息交流的 缘缘豫咱圆暂 遥 其中袁表情尧头
·386 智能系统学报 第9卷 部运动和姿势是体态语言情感表达的主要形式[)。 N+T 近年来,体态语言的情感识别已成为人机交互 RMS EMG2(t)dt/T (1) 的研究热点[)。大量的研究集中在如何有效识别 式中:EMG(t)为第t时刻EMG信号的采样值,T为一 高兴、悲伤、吃惊、恐惧、愤怒和厌恶这6种基本情 个采样时间段中的时间长度。本文采用RMS的最大 感[。除基本情感外,人的情感还包括如同意、不 值RMSMAX、值平均RMSMEAN以及方差RMSVAR作为特 同意,思考与兴趣等社会态度,在日常生活中的发生 征值。它们的计算量小,可以在采样的间隙完成特征 频率远远高于6种基本情感[1。其中“同意”与“不 提取,近似反映统计特征随时间的变化规律16。 同意”被视为最常见的社会态度之一,由点头与摇 n、 G代:. , 头这2种典型的头部体态语言表达[)。同表情与 姿势相比,头部运动能够灵活、准确和自发地传递人 的情感与态度,几乎完全是潜意识的。本文针对 5, 头部体态语言表达的“同意”与“不同意”情感态度 进行识别。常用的方法主要基于计算机视觉[8】,但 F.1冬l* 识别结果依赖图像和视频的质量,易受相机视角、背 景与光照等环境因素的影响]」 KM大iI 由于表面肌电(surface electromyography,sEMG) 在一定的程度上能反映神经肌肉的活动[),近年来 Wilcac.: 被视为人机交互的一种新兴输入源山,已在手 势[2]与表情[町等体态语言识别中取得了一定进 。(ih-l:·价5。 展。与计算机视觉的方法相比,该方法具有感知动 11 81列 作直接、检测动作敏感等优点,受到角度与距离的影 响较小,能提供非视觉线索9.。然而,有关头部体 T 态语言sEMG识别的文献很少,可能的原因在于头 1 中 部体态语言的表达与颈部肌肉活动密切相关,但头 图1模型的概念框架 -颈运动系统具有高度复杂性),有关颈部肌肉正 Fig.1 Conceptual framework of the model 常活动与肌力变化缺乏系统研究)。 通过Wileoxon秩和检验,比较执行点头与摇头 针对上述问题,本文提出基于贪心遗传算法 的头夹肌、胸锁乳突肌和斜方肌的各3项RMS指标 (greedy genetic algorithm,GGA)优化的Elamn神经 的差异性是否具有统计学意义,从中提取能够表征 网络(GGA-Elman)的头部体态语言sEMG识别方 “同意”与“不同意”体态语言的特征,作为构建识别 法。通过实验分析头夹肌、胸锁乳突肌和斜方肌在 模型的输入值向量。Wilcoxon秩和检验是用秩和作 表达“同意”与“不同意”时sEMG信号的幅值变化: 为统计量进行假设检验的非参数统计方法,算法原 利用Vilcoxon秩和检验提取时域指标的特征值,进 理详见文献[17],基本步骤为: 而采用GGA-Elman网络建立了识别模型,并与标准 1)建立假设。H。:差值的总体中位数M。=0: Elman模型以及BP模型进行性能比较,验证本文方 H1:M≠0;a=0.05。 法的有效性。 2)求差值并编秩。按差数的绝对值大小由小 1头部体态语言识别方法 到大编秩,再由差值的符号给秩次加符号。 3)求样本数最小组的秩和作为检验统计量T。 1.1概念框架 4)以样本含量较小组的个体数n1、2组样本含 本文方法的概念框架如图1所示。其中,表达 量之差n2-n,及T值查检验界值表。 头部体态语言的颈部肌肉sEMG特征提取与识别算 5)确定p值并做出统计推断。 法的选取,对模型的准确性和可靠性起关键作用。 当样本含量n>50时,用正态近似法作z检验: 1.2sEMG时域特征提取 当相同秩次较多时,用校正公式计算z值如下: 基于电生理学原理,提取完成一次点头与摇头 1T-n(n+1)/41-0.5 z= 动作时,颈部肌肉sEMG的均方根值(root means √/n(n+1)(2n+1)/24/-/∑(r-T)/48 quare,RMS)作为时域指标,RMS能够在时间维度上 (2) 反映sEMG振幅的变化特征,常被用于实时、无损伤 式中:T,为第j个相同秩次的个数。 地反映肌肉活动状态o],算法如下:
部运动和姿势是体态语言情感表达的主要形式咱猿暂 遥 近年来袁体态语言的情感识别已成为人机交互 的研究热点咱猿暂 遥 大量的研究集中在如何有效识别 高兴尧悲伤尧吃惊尧恐惧尧愤怒和厌恶这 远 种基本情 感咱源暂 遥 除基本情感外袁人的情感还包括如同意尧不 同意袁思考与兴趣等社会态度袁在日常生活中的发生 频率远远高于 远 种基本情感咱缘暂 遥 其中野同意冶与野不 同意冶被视为最常见的社会态度之一袁由点头与摇 头这 圆 种典型的头部体态语言表达咱远暂 遥 同表情与 姿势相比袁头部运动能够灵活尧准确和自发地传递人 的情感与态度袁几乎完全是潜意识的咱苑暂 遥 本文针对 头部体态语言表达的野同意冶与野不同意冶情感态度 进行识别遥 常用的方法主要基于计算机视觉咱愿暂 袁但 识别结果依赖图像和视频的质量袁易受相机视角尧背 景与光照等环境因素的影响咱怨暂 遥 由于表面肌电渊 泽怎则枣葬糟藻 藻造藻糟贼则燥皂赠燥早则葬责澡赠袁泽耘酝郧冤 在一定的程度上能反映神经肌肉的活动咱员园暂 袁近年来 被视为人机交互的一种新兴输入源咱员员暂 袁 已在手 势咱员圆暂与表情咱员猿暂 等体态语言识别中取得了一定进 展遥 与计算机视觉的方法相比袁该方法具有感知动 作直接尧检测动作敏感等优点袁受到角度与距离的影 响较小袁能提供非视觉线索咱怨袁员圆暂 遥 然而袁有关头部体 态语言 泽耘酝郧 识别的文献很少袁可能的原因在于头 部体态语言的表达与颈部肌肉活动密切相关袁但头 原颈运动系统具有高度复杂性咱员源暂 袁有关颈部肌肉正 常活动与肌力变化缺乏系统研究咱员缘暂 遥 针对上述问题袁本文提出基于贪心遗传算法 渊早则藻藻凿赠 早藻灶藻贼蚤糟 葬造早燥则蚤贼澡皂袁郧郧粤冤 优化的 耘造葬皂灶 神经 网络渊 郧郧粤鄄耘造皂葬灶冤 的头部体态语言 泽耘酝郧 识别方 法遥 通过实验分析头夹肌尧胸锁乳突肌和斜方肌在 表达野同意冶与野不同意冶时 泽耘酝郧 信号的幅值变化曰 利用 宰蚤造糟燥曾燥灶 秩和检验提取时域指标的特征值袁进 而采用 郧郧粤鄄耘造皂葬灶 网络建立了识别模型袁并与标准 耘造皂葬灶 模型以及 月孕 模型进行性能比较袁验证本文方 法的有效性遥 员摇 头部体态语言识别方法 员援员摇 概念框架 本文方法的概念框架如图 员 所示遥 其中袁表达 头部体态语言的颈部肌肉 泽耘酝郧 特征提取与识别算 法的选取袁对模型的准确性和可靠性起关键作用遥 员援圆 摇 泽耘酝郧 时域特征提取 基于电生理学原理袁提取完成一次点头与摇头 动作时袁颈部肌肉 泽耘酝郧 的均方根值 渊 则燥燥贼 皂藻葬灶泽 择怎葬则藻袁砸酝杂冤作为时域指标袁砸酝杂 能够在时间维度上 反映 泽耘酝郧 振幅的变化特征袁常被用于实时尧无损伤 地反映肌肉活动状态咱员园暂 袁算法如下院 砸酝杂 越 乙 贼垣栽 贼 耘酝郧圆 渊贼冤 凿贼辕栽 渊员冤 式中院耘酝郧渊贼冤为第 贼 时刻 耘酝郧 信号的采样值袁栽 为一 个采样时间段中的时间长度遥 本文采用 砸酝杂 的最大 值 砸酝杂酝粤载尧值平均 砸酝杂酝耘粤晕以及方差 砸酝杂灾粤砸作为特 征值遥 它们的计算量小袁可以在采样的间隙完成特征 提取袁近似反映统计特征随时间的变化规律咱员远暂 遥 图 员摇 模型的概念框架 云蚤早援员摇 悦燥灶糟藻责贼怎葬造 枣则葬皂藻憎燥则噪 燥枣 贼澡藻 皂燥凿藻造 通过 宰蚤造糟燥曾燥灶 秩和检验袁比较执行点头与摇头 的头夹肌尧胸锁乳突肌和斜方肌的各 猿 项 砸酝杂 指标 的差异性是否具有统计学意义袁从中提取能够表征 野同意冶与野不同意冶体态语言的特征袁作为构建识别 模型的输入值向量遥 宰蚤造糟燥曾燥灶 秩和检验是用秩和作 为统计量进行假设检验的非参数统计方法袁算法原 理详见文献咱员苑暂 袁基本步骤为院 员 冤建立假设遥 匀园 院差值的总体中位数 酝凿 越 园曰 匀员 院酝凿屹 园曰琢 越 园援园缘遥 圆 冤求差值并编秩遥 按差数的绝对值大小由小 到大编秩袁再由差值的符号给秩次加符号遥 猿冤 求样本数最小组的秩和作为检验统计量 栽 遥 源 冤以样本含量较小组的个体数 灶 员 尧圆 组样本含 量之差 灶 圆 原 灶 员及 栽 值查检验界值表遥 缘 冤确定 责 值并做出统计推断遥 当样本含量 灶 跃缘园 时袁用正态近似法作 扎 检验曰 当相同秩次较多时袁用校正公式计算 扎 值如下院 扎 越 渣 栽 原 灶渊灶 垣 员冤 辕 源 渣 原 园援缘 辕 灶渊灶 垣 员冤渊圆灶 垣 员冤 辕 圆源 辕 原 辕 撞渊子猿 躁 原 子躁 冤 辕 源愿 渊圆冤 式中院 子 躁 为第 躁 个相同秩次的个数遥 窑猿愿远窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷
第4期 杨钟亮,等:基于GGA-Eman网络的头部体态语言sEMG识别 .387 1.3基于GGA-Elman网络的识别模型 1.3.2GGA算法优化 Eman神经网络是一种典型的局部回归网络, 遗传算法(genetic algorithm,GA)是模拟生物进 它在前馈式网络的隐藏层中增加了一个承接层,赋 化过程和机理演化而来的随机化搜索最优解的方 予其动态记忆功能,使其具备适应时变特性的能力, 法。贪心算法是一种常用的求解最优化问题的简 具有识别率高、鲁棒性好等优点。一方面,考虑到 单、迅速的方法。为解决GA在运算过程中早熟收 sEMG信号的动态特性及个体差异:另一方面,El- 敛和封闭竞争问题,用贪心算法作为遗传操作的确 man网络存在局部极小问题,初始值的选择影响算 定性选择原则,以一系列局部最优解得到近似整体 法的收敛速度。因此,本文提出基于GGA-Eman网 最优解,即GCA算法[11。本文采用GGA优化E 络构建体态语言的sEMG识别模型,模型结构主要 man网络的初始权值,算法的基本步骤如下: 由Elman神经网络和GGA算法组成,如图2所示, 1)参数设定,包括个体编码串长度L、群体大 力求得到最优网络权值,提高识别效果。 小M、终止遗传代数G、贪心交叉算子P和贪心变异 用定1m4针将 算子Pm。 i4共液 2)个体二进制编码,生成初始种群。 丽瑞:的下 3)通过适应度函数计算个体适应度值。 为十祖左北 4)若最优个体适应度值达到期望误差,停止遗 尔'西出长店 传,转7);否则,转5)。 i训岁下外法应:r 5)通过贪心选择、贪心交叉与贪心变异等遗传 卜兴 操作01,产生下一代种群。 边子次止 衣:行 6)第G代内最优个体的适应度值达到期望误 差,算法终止:否则转3)。 高,i 证☆L上午斗 7)把最优个体赋予本文Elman网络W、W与 T W的初始权值。 板F代下津 1.3.3模型的评价指标 1法片 采用均方误差(mean squared error,MSE)、相关 图2算法流程图 系数R和准确率(accuracy rate,AR)来评价模型的 Fig.2 Algorithm flow chart 识别效果,它们的计算公式如下: 1.3.1 Elman神经网络结构 本文的Elman神经网络非线性状态空间的表达 sE= (P-Q,)2 式为 式中:P()是样本i中个体j的预测值,Q是个体j的 x(t)=f(Wx(t)+Wu(t-1)) 期望。M$E越小,模型的精度越高。 x(t)=(t-1) (3) R=cov(P.Q) Ly(t)=g(Wx(t)) gp·0o 式中:输入向量u为r维RMS特征;y为二维输出 式中:cov(P,Q)为协方差,op、。分别为P和Q 值,映射“同意”与“不同意”态度:t为迭代次数:x 的标准方差。一般认为R达到0.85以上,模型的泛 为k维隐藏层节点单元向量:x为k维反馈向量。 化能力较好。 W为承接层与隐藏层的连接权值:W为输入层到 AR=c/C×100% 隐藏层的连接权值:W为隐藏层到输出层的连接权 式中:c为正确识别的样本数,C为总样本数。 值:f(·)与g(·)分别为隐藏层和输出层神经元 2实验设计与方法 的活化函数f(·)采用Sigmoid函数,g(·)采用 TanH函数。使用梯度下降算法,由式(3)得 2.1实验对象 x(t)=x(t-1)=fW-x(t-1)+ 根据前导实验方法,招募了8名男性被试,保证 W-,u(t-2)) 颈部均无骨骼肌肉损伤与疾病。他们的基本信息如 式中:x,(t)依赖于不同时刻的权值W,和W,从 表1所示。实验选取了脊柱两侧的头夹肌、胸锁乳 而实现动态记忆过程。采用BP算法,以误差平方 突肌和斜方肌上部作为目标肌肉[2],采集sEMG信 和函数进行权值修正。 号,这些肌肉与头部伸、侧屈与旋转运动相关
员援猿摇 基于 郧郧粤鄄耘造皂葬灶 网络的识别模型 耘造皂葬灶 神经网络是一种典型的局部回归网络袁 它在前馈式网络的隐藏层中增加了一个承接层袁赋 予其动态记忆功能袁使其具备适应时变特性的能力袁 具有识别率高尧鲁棒性好等优点遥 一方面袁考虑到 泽耘酝郧 信号的动态特性及个体差异曰另一方面袁耘造鄄 皂葬灶 网络存在局部极小问题袁初始值的选择影响算 法的收敛速度遥 因此袁本文提出基于 郧郧粤鄄耘造皂葬灶 网 络构建体态语言的 泽耘酝郧 识别模型袁模型结构主要 由 耘造皂葬灶 神经网络和 郧郧粤 算法组成袁如图 圆 所示袁 力求得到最优网络权值袁提高识别效果遥 图 圆摇 算法流程图 云蚤早援圆摇 粤造早燥则蚤贼澡皂 枣造燥憎 糟澡葬则贼 员援猿援员 摇 耘造皂葬灶 神经网络结构 本文的 耘造皂葬灶 神经网络非线性状态空间的表达 式为 曾渊贼冤 越 枣渊宰员 曾遭渊贼冤 垣 宰圆 怎渊贼 原 员冤冤 曾遭渊贼冤 越 曾渊贼 原 员冤 赠渊贼冤 越 早渊宰猿 曾渊贼冤 冤 渊猿冤 式中院输入向量 怎 为 则 维 砸酝杂 特征曰赠 为二维输出 值袁映射野同意冶 与野不同意冶 态度曰贼 为迭代次数曰曾 为 噪 维隐藏层节点单元向量曰曾遭 为 噪 维反馈向量遥 宰员 为承接层与隐藏层的连接权值曰宰圆 为输入层到 隐藏层的连接权值曰宰猿 为隐藏层到输出层的连接权 值曰枣 渊窑冤与 早 渊窑冤分别为隐藏层和输出层神经元 的活化函数袁枣 渊窑冤采用 杂蚤早皂燥蚤凿 函数袁早 渊窑冤采用 栽葬灶匀 函数遥 使用梯度下降算法袁由式渊猿冤得 曾遭渊贼冤 越 曾渊贼 原 员冤 越 枣渊宰员 贼原员 曾遭渊贼 原 员冤 垣 宰圆 贼原员怎渊贼 原 圆冤冤 式中院曾遭渊贼冤依赖于不同时刻的权值 宰员 贼原员和 宰圆 贼原员 袁从 而实现动态记忆过程遥 采用 月孕 算法袁以误差平方 和函数进行权值修正遥 员援猿援圆 摇 郧郧粤 算法优化 遗传算法渊早藻灶藻贼蚤糟 葬造早燥则蚤贼澡皂袁郧粤冤是模拟生物进 化过程和机理演化而来的随机化搜索最优解的方 法遥 贪心算法是一种常用的求解最优化问题的简 单尧迅速的方法遥 为解决 郧粤 在运算过程中早熟收 敛和封闭竞争问题袁用贪心算法作为遗传操作的确 定性选择原则袁以一系列局部最优解得到近似整体 最优解袁即 郧郧粤 算法咱员愿鄄员怨暂 遥 本文采用 郧郧粤 优化 耘造鄄 皂葬灶 网络的初始权值袁算法的基本步骤如下院 员 冤参数设定袁包括个体编码串长度 蕴尧群体大 小 酝尧终止遗传代数 郧尧贪心交叉算子 孕糟和贪心变异 算子 孕皂 遥 圆 冤个体二进制编码袁生成初始种群遥 猿 冤通过适应度函数计算个体适应度值遥 源冤 若最优个体适应度值达到期望误差袁停止遗 传袁转 苑冤曰否则袁转 缘冤遥 缘 冤通过贪心选择尧贪心交叉与贪心变异等遗传 操作咱员怨鄄圆园暂 袁产生下一代种群遥 远 冤第 郧 代内最优个体的适应度值达到期望误 差袁算法终止曰否则转 猿冤遥 苑 冤把最优个体赋予本文 耘造皂葬灶 网络 宰员 尧宰圆 与 宰猿 的初始权值遥 员援猿援猿 摇 模型的评价指标 采用均方误差渊 皂藻葬灶 泽择怎葬则藻凿 藻则则燥则袁酝杂耘冤 尧相关 系数 砸 和准确率渊 葬糟糟怎则葬糟赠 则葬贼藻袁粤砸冤来评价模型的 识别效果袁它们的计算公式如下院 酝杂耘 越 员 灶 移 灶 员 渊孕渊蚤躁冤 原 匝躁 冤圆 式中院孕渊 蚤躁 冤是样本 蚤 中个体 躁 的预测值袁匝躁 是个体 躁 的 期望遥 酝杂耘 越小袁模型的精度越高遥 砸 越 糟燥增渊孕袁匝冤 滓孕窑滓匝 式中院 糟燥增渊孕袁匝冤 为协方差袁 滓孕 尧滓 匝 分别为 孕 和 匝 的标准方差遥 一般认为 砸 达到 园援愿缘 以上袁模型的泛 化能力较好遥 粤砸 越 糟辕悦 伊 员园园豫 式中院糟 为正确识别的样本数袁悦 为总样本数遥 圆摇 实验设计与方法 圆援员摇 实验对象 根据前导实验方法袁招募了 愿 名男性被试袁保证 颈部均无骨骼肌肉损伤与疾病遥 他们的基本信息如 表 员 所示遥 实验选取了脊柱两侧的头夹肌尧胸锁乳 突肌和斜方肌上部作为目标肌肉咱圆员暂 袁采集 泽耘酝郧 信 号袁这些肌肉与头部伸尧侧屈与旋转运动相关遥 第 源 期摇摇摇摇摇摇摇摇摇摇摇 杨钟亮袁等院基于 郧郧粤鄄耘造皂葬灶 网络的头部体态语言 泽耘酝郧 识别 窑猿愿苑窑
·388 智能系统学报 第9卷 表1被试信息的描述性统计 以防肌肉疲劳,休息l5mim,期间停止sEMG信号 Table 1 Descriptive statistics of participants information 采集。休息结束后,请该被试完成自发表达“不同 参数 最小值 最大值 平均值 标准差 意”时的摇头动作20次,同时采集sEMG信号,如图 年龄/岁 26.000 30.000 27.125 1.356 3所示。下1名被试重复上述实验步骤。 身高/cm172.000 178.000 174.000 2.000 体重/kg 65.000 75.000 69.250 3.370 颈围/mm340.000 370.000 355.000 11.952 2.2实验材料 硬件使用FlexComp Infinity 10通道生物反馈仪 和MyoScan EMG传感器,采样率为2048样本/s,输 入范围:0~2000uV;软件为BioNeuro Infiniti V5.l。 颈部两侧分别对称使用3通道sEMG传感器,根据 图3摇头动作的sEMG采集 Fig.3 sEMG collected from nod 头夹肌、胸锁乳突肌和斜方肌的解剖位置,去除皮肤 表面的油脂和角质,将50mm×30mm的一次性电极 3 实验结果分析 片沿肌腹方向,以中心相隔30~40mm距离粘贴。 3.1 2.3实验流程 RMS指标的Wilcoxon秩和检验 首先,告知实验目的与要求,被试依次签订自愿参 实验最终采集了点头与摇头动作各160次。通 加实验协议。其次,设置6通道sEMG传感器,请被试 过BioNeuro Infiniti软件对sEMG原始信号进行滤波 完成自发表达“同意”态度时的点头动作20次同时采 与降噪等预处理。截取被试每次表达“同意”与“不 集sEMG信号。 同意”情感态度的点头与摇头动作的肌电图,如图 4、5所示。 ,0 图4一次点头动作的肌电图 Fig.4 Electromyography of once nod n排
表 员摇 被试信息的描述性统计 栽葬遭造藻 员摇 阅藻泽糟则蚤责贼蚤增藻 泽贼葬贼蚤泽贼蚤糟泽 燥枣 责葬则贼蚤糟蚤责葬灶贼泽 蚤灶枣燥则皂葬贼蚤燥灶 参数 最小值 最大值 平均值 标准差 年龄辕 岁 圆远援园园园 猿园援园园园 圆苑援员圆缘 员援猿缘远 身高辕 糟皂 员苑圆援园园园 员苑愿援园园园 员苑源援园园园 圆援园园园 体重辕 噪早 远缘援园园园 苑缘援园园园 远怨援圆缘园 猿援猿苑园 颈围辕 皂皂 猿源园援园园园 猿苑园援园园园 猿缘缘援园园园 员员援怨缘圆 圆援圆摇 实验材料 硬件使用 云造藻曾悦燥皂责 陨灶枣蚤灶蚤贼赠 员园 通道生物反馈仪 和 酝赠燥杂糟葬灶 耘酝郧 传感器袁采样率为 圆 园源愿 样本辕 泽袁输 入范围院园 耀 圆 园园园 滋灾曰软件为 月蚤燥晕藻怎则燥 陨灶枣蚤灶蚤贼蚤 灾缘援员遥 颈部两侧分别对称使用 猿 通道 泽耘酝郧 传感器袁根据 头夹肌尧胸锁乳突肌和斜方肌的解剖位置袁去除皮肤 表面的油脂和角质袁将 缘园 皂皂伊猿园 皂皂 的一次性电极 片沿肌腹方向袁以中心相隔 猿园 耀 源园 皂皂 距离粘贴遥 圆援猿摇 实验流程 首先袁告知实验目的与要求袁被试依次签订自愿参 加实验协议遥 其次袁设置 远 通道 泽耘酝郧 传感器袁请被试 完成自发表达野同意冶态度时的点头动作 圆园 次袁同时采 集 泽耘酝郧 信号遥 摇 摇 以防肌肉疲劳袁休息员缘 皂蚤灶袁期间停止 泽耘酝郧 信号 采集遥 休息结束后袁请该被试完成自发表达野不同 意冶时的摇头动作 圆园 次袁同时采集 泽耘酝郧 信号袁如图 猿 所示遥 下 员 名被试重复上述实验步骤遥 图 猿摇 摇头动作的 泽耘酝郧 采集 云蚤早援猿摇 泽耘酝郧 糟燥造造藻糟贼藻凿 枣则燥皂 灶燥凿 猿 摇 实验结果分析 猿援员 摇 砸酝杂 指标的 宰蚤造糟燥曾燥灶 秩和检验 实验最终采集了点头与摇头动作各 员远园 次遥 通 过 月蚤燥晕藻怎则燥 陨灶枣蚤灶蚤贼蚤 软件对 泽耘酝郧 原始信号进行滤波 与降噪等预处理遥 截取被试每次表达野同意冶与野不 同意冶情感态度的点头与摇头动作的肌电图袁如图 源尧缘 所示遥 图 源摇 一次点头动作的肌电图 云蚤早援源摇 耘造藻糟贼则燥皂赠燥早则葬责澡赠 燥枣 燥灶糟藻 灶燥凿 窑猿愿愿窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 怨 卷
第4期 杨钟亮,等:基于GGA-Eman网络的头部体态语言sEMG识别 389 图5一次摇头动作的肌电图 Fig.5 Electromyography of once head shaking 表2为18组sEMG时域指标进行Wilcoxon秩 征向量:隐藏层数为1,隐藏层节点数为21,神经元 和检验后z值和p值的计算结果。其中,点头与摇 采用Sigmoid作为活化函数:输出层为“同意”与“不 头的配对样本在通道A(左侧头夹肌)与通道B(右 同意”2个类别,采用TanH作为活化函数:设最大迭 侧头夹肌)的RMSMAX、RMSMEAN与RMSVAR指标上, 代次数为1000。W与W2的权值个数分别为210 p=0.000,P<a,应拒绝零假设H。,表明它们之间 个,W3的权值个数为42,设定GGA的L=462、M= 均具有显著性差异:通道E(左侧胸锁乳突肌)、通 50、G=100、P.=0.9Pm=0.1,期望误差为0.001。 道F(右侧胸锁乳突肌)的RMSMAX与RMSMEAN也具 选取总体样本的80%作为训练集,20%作为测试集, 有显著性差异。然而,通道E与通道F的RMSYAR对 随机排列并编号。 应的p值分别为0.093与0.136,通道C(左侧斜方 GGA经过7代遗传,最优个体适应度值为 肌)与通道D(右侧斜方肌)所有RMS指标的p> 0.00074,小于期望误差,算法停止,如图6所示。 0.O5。实验结果表明,斜方肌的RMIS指标不能充分 3“1g 表征点头与摇头动作表达的“同意”与“不同意”情 感态度,胸锁乳突肌RMS的最大值与均值能够表征 点头与摇头动作,但离散程度相似,而头夹肌的 RMS指标的配对样本差异性最显著。 表2sEMG指标的Wilcoxon秩和检验 Table 2 Wilcoxon signed ranks test of sEMG indices #位1,的 RMSMAX RMSVAR 通道 RMSMEAN 图6最优个体适应度值的变化情况 心 Fig.6 Change of the optimal individual fitness value A -10.9720.000-10.9720.000-8.5210.000 将GGA优化得到最优初始权值赋予Elman网 B -10.9720.000-10.9720.000-10.9740.000 络,经过1000次迭代后网络成功收敛。计算训练 0.0001.0000.0001.000 0.0001.000 集输出值与期望值的MSE为0.0013,R为0.9994, D -1.4860.137 -1.3420.179-0.7620.446 对“同意”与“不同意”的AR均达到100%:模型对 E-10.3670.000-10.9720.000 -2.0640.093 测试集64个样本输出值与期望值的MSE=0.0018, F -9.7350.000-9.8660.000 -1.4890.136 R=0.9991,AR=100%。实验结果表明该模型的 根据p<0.05的规则,最终提取通道A与B的 学习效果极佳,泛化性极好。 RMSMAX、RMSMEAN与RMSVAR,通道E的RMSMAX与 3.2算法比较分析 RMSMEAN,通道F的RMSMAX-与RMSMEAN,作为本文模 为比较GGA-Elman模型的识别效果,采用标准 型的特征向量。 Elman和BP神经网络建模,输入层、输出层和隐藏 3.2模型识别结果分析 层的设置与GCA-Elman网络相同。3个模型的训 在Windows7系统上构建GGA-Elman神经网 练与测试效果如表3所示。对训练集的识别上,E 络结构。Eman网络的输人层为上述10个RMS特 man模型的MSE与R均优于BP神经网络,两者对
图 缘摇 一次摇头动作的肌电图 云蚤早援缘摇 耘造藻糟贼则燥皂赠燥早则葬责澡赠 燥枣 燥灶糟藻 澡藻葬凿 泽澡葬噪蚤灶早 摇 摇 表 圆 为 员愿 组 泽耘酝郧 时域指标进行 宰蚤造糟燥曾燥灶 秩 和检验后 扎 值和 责 值的计算结果遥 其中袁点头与摇 头的配对样本在通道 粤 渊左侧头夹肌冤与通道 月 渊右 侧头夹肌冤 的 砸酝杂酝粤载尧砸酝杂酝耘粤晕 与 砸酝杂灾粤砸 指标上袁 责 越 园援园园园袁责 约 袁应拒绝零假设 匀园 袁表明它们之间 均具有显著性差异曰通道 耘 渊左侧胸锁乳突肌冤 尧通 道 云 渊右侧胸锁乳突肌冤的 砸酝杂酝粤载与 砸酝杂酝耘粤晕也具 有显著性差异遥 然而袁通道 耘 与通道 云 的 砸酝杂灾粤砸对 应的 责 值分别为 园援园怨猿 与 园援员猿远袁通道 悦 渊左侧斜方 肌冤与通道 阅 渊右侧斜方肌冤 所有 砸酝杂 指标的 责 跃 园援园缘遥 实验结果表明袁斜方肌的 砸酝杂 指标不能充分 表征点头与摇头动作表达的野同意冶与野不同意冶情 感态度袁胸锁乳突肌 砸酝杂 的最大值与均值能够表征 点头与摇头动作袁 但离散程度相似袁而头夹肌的 砸酝杂 指标的配对样本差异性最显著遥 表 圆摇 泽耘酝郧 指标的 宰蚤造糟燥曾燥灶 秩和检验 栽葬遭造藻 圆摇 宰蚤造糟燥曾燥灶 泽蚤早灶藻凿 则葬灶噪泽 贼藻泽贼 燥枣 泽耘酝郧 蚤灶凿蚤糟藻泽 通道 砸酝杂酝粤载 扎 责 砸酝杂酝耘粤晕 扎 责 砸酝杂灾粤砸 扎 责 粤 原员园援怨苑圆 园援园园园 原员园援怨苑圆 园援园园园 原愿援缘圆员 园援园园园 月 原员园援怨苑圆 园援园园园 原员园援怨苑圆 园援园园园 原员园援怨苑源 园援园园园 悦 园援园园园 员援园园园 园援园园园 员援园园园 园援园园园 员援园园园 阅 原员援源愿远 园援员猿苑 原员援猿源圆 园援员苑怨 原园援苑远圆 园援源源远 耘 原员园援猿远苑 园援园园园 原员园援怨苑圆 园援园园园 原圆援园远源 园援园怨猿 云 原怨援苑猿缘 园援园园园 原怨援愿远远 园援园园园 原员援源愿怨 园援员猿远 摇 摇 根据 责 约 园援园缘 的规则袁最终提取通道 粤 与 月 的 砸酝杂酝粤载尧砸酝杂酝耘粤晕 与 砸酝杂灾粤砸袁通道 耘 的 砸酝杂酝粤载 与 砸酝杂酝耘粤晕袁通道 云 的 砸酝杂酝粤载与 砸酝杂酝耘粤晕袁作为本文模 型的特征向量遥 猿援圆摇 模型识别结果分析 在 宰蚤灶凿燥憎泽 苑 系统上构建 郧郧粤鄄耘造皂葬灶 神经网 络结构遥 耘造皂葬灶 网络的输入层为上述 员园 个 砸酝杂 特 征向量曰隐藏层数为 员袁隐藏层节点数为 圆员袁神经元 采用 杂蚤早皂燥蚤凿 作为活化函数曰输出层为野同意冶与野不 同意冶圆 个类别袁采用 栽葬灶匀 作为活化函数曰设最大迭 代次数为 员 园园园遥 宰员 与 宰圆 的权值个数分别为 圆员园 个袁宰猿 的权值个数为 源圆袁设定 郧郧粤 的 蕴 越 源远圆尧酝 越 缘园尧郧 越 员园园尧孕糟 越 园援怨尧孕皂 越 园援员袁期望误差为 园援园园员遥 选取总体样本的 愿园豫作为训练集袁圆园豫作为测试集袁 随机排列并编号遥 郧郧粤 经 过 苑 代遗传袁 最优个体适应度值为 园援园园园 苑源袁小于期望误差袁算法停止袁如图 远 所示遥 图 远摇 最优个体适应度值的变化情况 云蚤早援远摇 悦澡葬灶早藻 燥枣 贼澡藻 燥责贼蚤皂葬造 蚤灶凿蚤增蚤凿怎葬造 枣蚤贼灶藻泽泽 增葬造怎藻 将 郧郧粤 优化得到最优初始权值赋予 耘造皂葬灶 网 络袁经过 员 园园园 次迭代后网络成功收敛遥 计算训练 集输出值与期望值的 酝杂耘 为 园援园园员 猿袁砸 为 园援怨怨怨 源袁 对野同意冶与野不同意冶的 粤砸 均达到 员园园豫曰模型对 测试集 远源 个样本输出值与期望值的 酝杂耘越 园援园园员 愿袁 砸 越 园援怨怨怨 员袁粤砸 越 员园园豫遥 实验结果表明该模型的 学习效果极佳袁泛化性极好遥 猿援圆 摇 算法比较分析 为比较 郧郧粤鄄耘造皂葬灶 模型的识别效果袁采用标准 耘造皂葬灶 和 月孕 神经网络建模袁输入层尧输出层和隐藏 层的设置与 郧郧粤鄄耘造皂葬灶 网络相同遥 猿 个模型的训 练与测试效果如表 猿 所示遥 对训练集的识别上袁耘造鄄 皂葬灶 模型的 酝杂耘 与 砸 均优于 月孕 神经网络袁两者对 第 源 期摇摇摇摇摇摇摇摇摇摇摇 杨钟亮袁等院基于 郧郧粤鄄耘造皂葬灶 网络的头部体态语言 泽耘酝郧 识别 窑猿愿怨窑