《工程科学学报》：一种轻量型人体行为识别学习模型

《工程科学学报》录用稿，htps:/doi.org/10.13374/i,issn2095-9389.2021.03.18.001©北京科技大学2020 工程科学学报 DOI: 111 Equation Chapter1 Section1一种轻量型人体 行为识别学习模型 南静”，建中华)，宁传峰”，代伟网 1)中国矿业大学信息与控制工程学院，徐州221116 ☒通信作者，E-mail:weidai@cumt.edu.cn 版稿 摘要过去几十年，基于智能手机的人体行为识别已在智能建筑、医疗保健以及痒事等多个领域发挥了重要作用. 但智能手机CPU、存储空间等资源十分有限，因此开发一种轻量型人体行为识别学习模型成为一个研究热点.为了解 决上述问题，本文提出一种基于近邻成分分析Neighbourhood Component Analysis,.NCA),L2正则化和随机配置 网络(Stochastic configuration networks,.SCNs)的轻量型体行为换别学习模型.首先，针对人体行为特征集维数 过高且可分性差的问题，利用NCA从特征集中选择高相关性特征手集，进而提高模型建模计算过程的轻量性和识别 精度.其次，针对SCNs隐含层节点过多时容易出现过拟合的向题采用L,正则化方法增强SCNs的泛化能力，同时利 用监督机制约束产生隐含层参数的方法，极大地提高了SCS模型的轻量性.最后，将所提NCA-L2-SCNs学习模型在 UCI HAR特征集上进行验证，实验结果表明，相比于其他模型，本文所提轻量型模型对于人体行为识别具有更好的识 别精度和更快的建模速度 关键词人体行为识别：智能手机：近邻成分分析：随机配置网络：轻量型 分类号TP391.4 A lightweight human activity recognition learning model NAN Jing',JIAN Zhong-hud议，NIGN Chuan-feng,DAWe✉ 1)School of information and conrol engineering,China University of mining and technology,Xuzhou,221116,China Corresponding author,E-mail:weidai@cumt.edu.cn ABSTRACT In the past few decades,smartphone-based human activity recognition research has played an important role in many fields,including smart buildings,healthcare and the military.The CPU and storage space of smart phones,however,are very limited,so developing a lightweight human activity recognition leamning model has become a research focus and hot spot in this field.In order to address the abovementioned problems,this paper proposes a lightweight human activity recognition learning model based on near neighbor component analysis (NCA),L2 regularization and stochastic configuration networks(SCNs).In the proposed model,firstly,aiming at the problem that human activity data set exhibits high dimension and poor separability,NCA is used to select a subset of highly relevant data from the data set to improve the lightness of calculation by the learning algorithm in the modeling process and the recognition accuracy of the established model. Secondly,to prevent the occurrence of overfitting when there are too many hidden layer nodes in SCNs,L2 regularization

工程科学学报 DOI: 111Equation Chapter 1 Section 1一种轻量型人体 行为识别学习模型 南 静 1)，建中华 1)，宁传峰 1)，代 伟 1) 1) 中国矿业大学信息与控制工程学院，徐州 221116  通信作者，E-mail: weidai@cumt.edu.cn 摘 要 过去几十年, 基于智能手机的人体行为识别已在智能建筑、医疗保健以及军事等多个领域发挥了重要作用. 但智能手机 CPU、存储空间等资源十分有限, 因此开发一种轻量型人体行为识别学习模型成为一个研究热点. 为了解 决上述问题，本文提出一种基于近邻成分分析(Neighbourhood Component Analysis, NCA), L2正则化和随机配置 网络(Stochastic configuration networks, SCNs)的轻量型人体行为识别学习模型. 首先, 针对人体行为特征集维数 过高且可分性差的问题, 利用 NCA 从特征集中选择高相关性特征子集, 进而提高模型建模计算过程的轻量性和识别 精度. 其次, 针对 SCNs 隐含层节点过多时容易出现过拟合的问题，采用 L2正则化方法增强 SCNs 的泛化能力, 同时利 用监督机制约束产生隐含层参数的方法, 极大地提高了 SCNs 模型的轻量性. 最后, 将所提 NCA-L2-SCNs 学习模型在 UCI HAR 特征集上进行验证, 实验结果表明, 相比于其他模型, 本文所提轻量型模型对于人体行为识别具有更好的识 别精度和更快的建模速度. 关键词 人体行为识别；智能手机；近邻成分分析；随机配置网络；轻量型 分类号 TP391.4 A lightweight human activity recognition learning model NAN Jing1) , JIAN Zhong-hua1) , NIGN Chuan-feng1) , DAI Wei2)  1) School of information and control engineering, China University of mining and technology, Xuzhou, 221116, China  Corresponding author, E-mail: weidai@cumt.edu.cn ABSTRACT In the past few decades, smartphone-based human activity recognition research has played an important role in many fields, including smart buildings, healthcare and the military. The CPU and storage space of smart phones, however, are very limited, so developing a lightweight human activity recognition learning model has become a research focus and hot spot in this field. In order to address the abovementioned problems, this paper proposes a lightweight human activity recognition learning model based on near neighbor component analysis (NCA), L2 regularization and stochastic configuration networks (SCNs). In the proposed model, firstly, aiming at the problem that human activity data set exhibits high dimension and poor separability, NCA is used to select a subset of highly relevant data from the data set to improve the lightness of calculation by the learning algorithm in the modeling process and the recognition accuracy of the established model. Secondly, to prevent the occurrence of overfitting when there are too many hidden layer nodes in SCNs, L2 regularization 《工程科学学报》录用稿，https://doi.org/10.13374/j.issn2095-9389.2021.03.18.001 ©北京科技大学 2020 录用稿件，非最终出版稿

method is adopted to enhance the generalization ability of SCNs.At the'same time,the method of using the supervision mechanism to restrict the generation of hidden layer parameters greatly improves the lightness of the SCNs model.Finally. the proposed learning model and other learning models are verified experimentally on UCI human activity recognition dataset.The experimental results show that,compared with SCNs,the proposed L2-SCNs model reduces the lightness of the number of parameters by 20%and helps improve the accuracy of the model.The introduction of the NCA method has greatly facilitated the recognition accuracy and lightness (modeling time)of the L2-SCNs model,increasing by 3.41%and 70.24% respectively.In addition,compared with other state-of-the-art models such as support vector machine and long short memory network,the proposed model achieves the best recognition accuracy of 97.48%in the shortest time.To sum up,the model proposed in this paper is a lightweight human activity recognition model with better recognition accuracy and faster modeling speed KEY WORDS human activity recognition;smartphone;neighborhood components analysis,stochastic configuration networks;lightweight 随着微电子技术和计算机技术的快速发展，人体行为识别(Human activity recognition,.HAR)已 经成为普适计算中一个重要研究方向.其在医疗保健、智能建筑和军事等领域发挥着极其重要的作 用.例如：在医疗保健中，医生可以通过HAR系统对病人进行连续的观察，然后给出诊断和治疗方 案)，进而提高医疗资源的利用率：在智能建筑中，物业人员可以利用居住者的行为信息来提高环 境舒适度和实现能源的高效使用6在军事上，通过对军人体能训练的连续监测，可以防止由于过 度疲劳而导致意外损伤) 事实上，人体行为识别研究的源头可以追潮到20世纪90年代末倒，发展至今日，其主要分为 基于视频和基于可穿戴传感器这两大方向.基于视来织别人体行为具有一定的破坏性、成本昂贵 和容易受环境影响（如：物体遮挡）等缺点，并且某些情况下容易侵犯用户的隐私.而基于可穿 戴传感器的识别提供了一种快速、低成本、隐私性好且不易受环境影响的替代方案.文[9]首先使用 可穿戴传感器收集人体行数据，其次分别利角随桃森林(Random Forests,RF)和朴素贝叶斯模型作为 行为分类器.实验结果表明，随机森林模型实现最好的92%识别精度：文[10]将高斯随机投影方法 引入极限学习机(Extreme Learning Machine,ELM)隐含层参数分配中，以加强模型的多样性，然后 使用包含三轴加速度和陀螺仪传感器数据的2个真实数据集进行人体行为识别研究，结果表明该分 类器在两个数据集上分别实现了9⑦，3%和98.88%的识别精度.由此可知，多传感器数据的使用有助 于提高人体行为识别的识别性能但上述可穿戴传感器存在价格昂贵、部署繁琐等难题，不利于 HAR的广泛实际应用. 智能手机因内置众多传感器、价格低廉和普适性等特点成为它们的替代品，并吸引许多科研工 作者开展基于智能手机的人体行为识别研究.由于智能手机传感器数据含有噪声，因此为分类模型 提取一组鲁棒性特征是非常有必要的.而时频域特征是一种机器学习中广泛使用的鲁棒性特征.其中， 时域特征包括评均值最大值和最小值等，它们一般被用来区分lying和standing等简单行为：而 频域特征是指通过蒋原始数据转化到频域再提取的特征，它包括向量夹角和最大频率分量等.由于 频域特征注重局部的数据变化，因此被用来区分模态相近的行为.但是，在时频域特征中往往含有 一些不利于建模的特征，故需要进行特征选择.文[ll]首先使用主成分分析(Principal component analysis,PCA)从时频域特征集选择最优的特征子集，其次提出了隐马尔科夫模型(Continuous Hidden Markov Model,HMM)和SVM相结合的识别模型.比较实验的结果表明，HMM-SVM模型的识别性 能远高于HMM和SVM.文[12]使用离线提取器从候选的时频域特征集中选择对传感器方向不敏感 特征进行人体行为识别，并利用K近邻(K-nearest neighbors,K-NN)进行仿真实验，结果表明这种方法 能够用更少的特征取得相近或更好的识别性能.然而上述特征选择技术仅仅关注了特征的冗余性， 收稿日期：2021-03-16 基金项目：国家自然科学基金面上项目(61973306)，江苏省优秀青年基金项目(BK20200086)

method is adopted to enhance the generalization ability of SCNs. At the 1 same time, the method of using the supervision mechanism to restrict the generation of hidden layer parameters greatly improves the lightness of the SCNs model. Finally, the proposed learning model and other learning models are verified experimentally on UCI human activity recognition dataset. The experimental results show that, compared with SCNs, the proposed L2-SCNs model reduces the lightness of the number of parameters by 20% and helps improve the accuracy of the model. The introduction of the NCA method has greatly facilitated the recognition accuracy and lightness (modeling time) of the L2-SCNs model, increasing by 3.41% and 70.24% respectively. In addition, compared with other state-of-the-art models such as support vector machine and long short memory network, the proposed model achieves the best recognition accuracy of 97.48% in the shortest time. To sum up, the model proposed in this paper is a lightweight human activity recognition model with better recognition accuracy and faster modeling speed. KEY WORDS human activity recognition; smartphone; neighborhood components analysis; stochastic configuration networks; lightweight 随着微电子技术和计算机技术的快速发展，人体行为识别(Human activity recognition, HAR)已 经成为普适计算中一个重要研究方向. 其在医疗保健、智能建筑和军事等领域发挥着极其重要的作 用.例如：在医疗保健中，医生可以通过 HAR 系统对病人进行连续的观察，然后给出诊断和治疗方 案[1-3]，进而提高医疗资源的利用率；在智能建筑中，物业人员可以利用居住者的行为信息来提高环 境舒适度和实现能源的高效使用[4-6] . 在军事上，通过对军人体能训练的连续监测，可以防止由于过 度疲劳而导致意外损伤[7] . 事实上，人体行为识别研究的源头可以追溯到 20 世纪 90 年代末[8]，发展至今日，其主要分为 基于视频和基于可穿戴传感器这两大方向. 基于视频来识别人体行为具有一定的破坏性、成本昂贵 和容易受环境影响（如：物体遮挡）等缺点，并且在某些情况下容易侵犯用户的隐私. 而基于可穿 戴传感器的识别提供了一种快速、低成本、隐私性好且不易受环境影响的替代方案. 文[9]首先使用 可穿戴传感器收集人体行数据，其次分别利用随机森林(Random Forests, RF)和朴素贝叶斯模型作为 行为分类器. 实验结果表明，随机森林模型实现最好的 92%识别精度；文[10]将高斯随机投影方法 引入极限学习机(Extreme Learning Machine, ELM)隐含层参数分配中，以加强模型的多样性，然后 使用包含三轴加速度和陀螺仪传感器数据的 2 个真实数据集进行人体行为识别研究，结果表明该分 类器在两个数据集上分别实现了 97.35%和 98.88%的识别精度. 由此可知，多传感器数据的使用有助 于提高人体行为识别的识别性能. 但上述可穿戴传感器存在价格昂贵、部署繁琐等难题，不利于 HAR 的广泛实际应用. 智能手机因内置众多传感器、价格低廉和普适性等特点成为它们的替代品，并吸引许多科研工 作者开展基于智能手机的人体行为识别研究. 由于智能手机传感器数据含有噪声，因此为分类模型 提取一组鲁棒性特征是非常有必要的. 而时频域特征是一种机器学习中广泛使用的鲁棒性特征. 其中， 时域特征包括平均值、最大值和最小值等，它们一般被用来区分 lying 和 standing 等简单行为；而 频域特征是指通过将原始数据转化到频域再提取的特征，它包括向量夹角和最大频率分量等. 由于 频域特征注重局部的数据变化，因此被用来区分模态相近的行为. 但是，在时频域特征中往往含有 一些不利于建模的特征，故需要进行特征选择. 文[11]首先使用主成分分析(Principal component analysis, PCA)从时频域特征集选择最优的特征子集，其次提出了隐马尔科夫模型(Continuous Hidden Markov Model, HMM)和 SVM 相结合的识别模型. 比较实验的结果表明，HMM-SVM 模型的识别性 能远高于 HMM 和 SVM. 文[12]使用离线提取器从候选的时频域特征集中选择对传感器方向不敏感 特征进行人体行为识别, 并利用 K 近邻(K-nearest neighbors, K-NN)进行仿真实验, 结果表明这种方法 能够用更少的特征取得相近或更好的识别性能. 然而上述特征选择技术仅仅关注了特征的冗余性， 1收稿日期: 2021-03-16 基金项目: 国家自然科学基金面上项目(61973306); 江苏省优秀青年基金项目(BK20200086) 录用稿件，非最终出版稿

缺少对特征相关性的考虑.最近，深度学习也被广泛用于人体行为识别.文[15]首先提出了利用 卷积神经网络和递归神经网络分别提取空间域和时间域的特征的方法，其次使用长短期记忆网络模 型基于所提特征进行行为识别建模和分类.结果表明，该方法实现93.7%的识别精度.文[16]首先利 用递归框架从传感器数据中提取局部特征，然后使用长短期记忆网络模型识别人体行为，虽然深度 学习模型在特征提取方面有很大的优势，但其也有两个主要缺点：建模时间过长和需要大样本集 而智能手机资源(CPU,内存)的有限性使得基于智能手机进行人体行为识别建模的模型必须满足结构 紧致，模型轻量和建模速度快等特性，因此，深度学习不适合此类研究 近年来，Wang等提出一种具有建模速度快、实现简单和结构紧致等特点的单隐层前馈神经网 络随机学习方法.即：随机配置网络(Stochastic configuration networks,.SCNs.SCNs作为一种增量 式构建网络的学习模型，其首先在一个动态可调区间内根据不等式监督机制随机分配隐含层节点参 数：然后，利用全局最小二乘来计算网络输出权值.这种网络构建方法不仅保证了网络模型的无限 逼近性还减少了人为干预和增加了模型结构的紧致性.因此，可以说SCN酚种轻量模型.目前， SCNs已经被应用到赤铁矿磨矿过程1、光纤预警等众多领域.但SCNs在隐层节点过多时容易 出现过拟合现象，极大地降低SCNs的泛化性，进而影响SCNs的实际应 综上，针对上述问题，本文从以下两个创新点出发进行人体行为识别的研究： )针对原始人体行为特征集维数过高且可分性差，不利于建文轻量型以体行为识别模型问题 本文提出基于近邻成分分析Neighbourhood Component Analysis,N)的特征选择技术对原始的人体 行为识别特征集进行高相关性特征选择，提高特征集的可分性和降低特征集的维数，进而提高行为 识别模型建模计算过程的轻量性： 2)针对随机配置网络隐含层节点过多时会导致模型过拟合问题.使用L2正则化优化模型结构， 进而增强SCNs模型的泛化性和轻量性 本文中所提的HAR学习模型流程图如图1所示史， 采集的数据需由归一化后进行特征提取， 以去除噪声的不利影响：进而利用NCA选择高相关性最优特征子集：最后采用Lz-SCNs建立HAR 模型 录璃件 L-SCNs model Triaxial acceleration Te过ing se sensor Gyroscope sensor Data Normalization and collection Feature extraction 图1NCA-L2-SCNs模型的HAR流程图 Fig.1 HAR flow chart of NCA-L2-SCNs model 1NCA-L2-SCNs人体行为识别模型 1.1基于NCA的行为特性选择

缺少对特征相关性的考虑. 最近，深度学习也被广泛用于人体行为识别[13-14] . 文[15]首先提出了利用 卷积神经网络和递归神经网络分别提取空间域和时间域的特征的方法，其次使用长短期记忆网络模 型基于所提特征进行行为识别建模和分类. 结果表明，该方法实现 93.7%的识别精度. 文[16]首先利 用递归框架从传感器数据中提取局部特征，然后使用长短期记忆网络模型识别人体行为. 虽然深度 学习模型在特征提取方面有很大的优势，但其也有两个主要缺点：建模时间过长和需要大样本集. 而智能手机资源(CPU, 内存)的有限性使得基于智能手机进行人体行为识别建模的模型必须满足结构 紧致，模型轻量和建模速度快等特性，因此，深度学习不适合此类研究. 近年来，Wang 等提出一种具有建模速度快、实现简单和结构紧致等特点的单隐层前馈神经网 络随机学习方法. 即：随机配置网络[17](Stochastic configuration networks, SCNs). SCNs 作为一种增量 式构建网络的学习模型，其首先在一个动态可调区间内根据不等式监督机制随机分配隐含层节点参 数；然后，利用全局最小二乘来计算网络输出权值. 这种网络构建方法不仅保证了网络模型的无限 逼近性还减少了人为干预和增加了模型结构的紧致性. 因此，可以说 SCNs 是一种轻量模型. 目前， SCNs 已经被应用到赤铁矿磨矿过程[18]、光纤预警[19]等众多领域. 但 SCNs 在隐含层节点过多时容易 出现过拟合现象，极大地降低 SCNs 的泛化性，进而影响 SCNs 的实际应用. 综上，针对上述问题，本文从以下两个创新点出发进行人体行为识别的研究： 1) 针对原始人体行为特征集维数过高且可分性差，不利于建立轻量型人体行为识别模型问题. 本文提出基于近邻成分分析(Neighbourhood Component Analysis, NCA)的特征选择技术对原始的人体 行为识别特征集进行高相关性特征选择，提高特征集的可分性和降低特征集的维数，进而提高行为 识别模型建模计算过程的轻量性； 2) 针对随机配置网络隐含层节点过多时会导致模型过拟合问题. 使用 L2正则化优化模型结构， 进而增强 SCNs 模型的泛化性和轻量性. 本文中所提的 HAR 学习模型流程图如图 1 所示. 其中，采集的数据需由归一化后进行特征提取， 以去除噪声的不利影响；进而利用 NCA 选择高相关性最优特征子集；最后采用 L2-SCNs 建立 HAR 模型. Normalization and Feature extraction Testing set Training set Data collection Triaxial acceleration sensor Gyroscope sensor L2-SCNs model NCA Feature select 图 1 NCA-L2-SCNs 模型的 HAR 流程图 Fig. 1 HAR flow chart of NCA-L2-SCNs model 1 NCA-L2-SCNs 人体行为识别模型 1.1 基于 NCA 的行为特性选择 录用稿件，非最终出版稿

特征选择结果的优劣直接关系到所建人体行为识别模型的轻量性和质量好坏2，过多冗余和不 相关特征不仅对模型泛化性的提升不利，还容易增加建模难度和计算负荷.因此，本文从行为特征 之间相关性的角度出发，使用NCA从人体行为特征集中选择高相关性最优特征子集，进而提高行 为识别模型计算过程的轻量性.NCA是一种简单高效的距离度量算法12四它通过最大化留一法的分 类精度来选择对于人体行为识别模型最优的特征子集， 人体行为原始特征集为 =《6为，i=12,川，其中6eR是第1个行为特征， 9%{1,2d 是第1个行为特征的标签，（为类别数，k表示特征数行为特征6的之间的马氏距离为： d%的=VA%A购(A%-A购 22\*MERGEFORMAT ( 式中，A为马氏距离变换矩阵，T表示矩阵转置 特征被正确分类的概率为： 黄终H小版 利用留一法最大化在人体行为特征集上的分类精度特征%选择特征》 exp-A的-A P=0 ∑exp-A0-Ag） MERGEFORMAT O P= 44\*MERGEFORMAT() 其中，为为时，为0：香则为1 目标函数是使得被正确分类的行为特征数目最大，因此，做如下定义： 55\*MERGEFORMAT() 利用共轭梯度法求解A: 66\*MERGEFORMAT() 其中，即=%彤 利用优化后的A得到NCA选择后的特征子集： X=8g 77*MERGEFORMAT O 式中，X表示NCA选择的特征子集 1.2基于LzSs的行为识别模型 SCNs作种先进的网络模型，其在模型结构紧致性、建模速度等方面的高性能已经被证实 23-2训SCNs结构如图2所示.本小节针对SCNs泛化性和轻量性不足问题，基于L2正则化理论2阿，提 出了L2-SCNs模型，并将其应用于人体行为识别研究之中

特征选择结果的优劣直接关系到所建人体行为识别模型的轻量性和质量好坏[20]，过多冗余和不 相关特征不仅对模型泛化性的提升不利，还容易增加建模难度和计算负荷. 因此，本文从行为特征 之间相关性的角度出发，使用 NCA 从人体行为特征集中选择高相关性最优特征子集，进而提高行 为识别模型计算过程的轻量性. NCA 是一种简单高效的距离度量算法[21-22] . 它通过最大化留一法的分 类精度来选择对于人体行为识别模型最优的特征子集. 人体行为原始特征集为 S x f i n     i i , , 1,2,...,   % % ，其中 m i x R % 是第i 个行为特征， %f c i 1,2,...,  是第i 个行为特征的标签，c 为类别数， k 表示特征数. 行为特征 , i j x x %%之间的马氏距离为：       T , i j i j i j d x x Ax Ax Ax Ax % % % % % %    22\* MERGEFORMAT () 式中， A 为马氏距离变换矩阵，T 表示矩阵转置. 利用留一法最大化在人体行为特征集上的分类精度. 特征 i x%选择特征 j x%作为它参考点的概率为：     2 2 exp , 0 exp i j ij ii i q q i AX AX P P AX AX         % % % % 33\* MERGEFORMAT () 特征 i x%被正确分类的概率为： 1, k i ij ij j j i p p f     % 44\* MERGEFORMAT () 其中， i j % % f f  时， %f ij =0 ；否则 %f ij =1 . 目标函数是使得被正确分类的行为特征数目最大，因此，做如下定义：   i i f A p   55\* MERGEFORMAT () 利用共轭梯度法求解 A ： 2 i T T ij ij ij iq ij ij i q j f f A p x x p x x A               % %% %% 66\* MERGEFORMAT () 其中， ij i j x x x % % %   . 利用优化后的 A 得到 NCA 选择后的特征子集： X X A  %g 77\* MERGEFORMAT () 式中， X 表示 NCA 选择的特征子集. 1.2 基于 L2-SCNs 的行为识别模型 SCNs 作为一种先进的网络模型，其在模型结构紧致性、建模速度等方面的高性能已经被证实 [23-24]. SCNs 结构如图 2 所示. 本小节针对 SCNs 泛化性和轻量性不足问题，基于 L2正则化理论[25]，提 出了 L2-SCNs 模型， 录用稿件，非最终出版稿 并将其应用于人体行为识别研究之中

Hidden node 图2SCNs网络结构图 Fig.2 SCNs network structure 假设通过11节获得最优特征子集为X=《,小，x∈i∈i3 其中k,m分别 表示输入向量和输出向量的维数.首先，基于如下监督机制为L2-SCN随秘分配隐含层节点参数： e-g8L）2bδ2g9=1,2.,m 88\*MERGEFORMAT ( 其中， h·h 那么带有L个隐含层节点的L2-SCNs人体行为别模型可以表示为： 5+ 99列*MERGEFORMAT ( 式中，（表示特征x的模型输出， B,=[B,B2,B]'是第i个隐含层节点与输出层之间的输出 权值向量， ,分别表示第1个隐含层节点的输入权值和偏置 L2-SCNs人体行为识别模型的最终目标是在L2正则化的约束下使得模型输出i(x)与真实输出 ∫之间的残差为零， 即： min:/= 1010\*MERGEFORMAT() 式中，α表示正则￠养数 利用拉格朗日乘子法求解(9)式，进而得到网络的输出权值： B-[R,]-(H+H 1111\*MERGEFORMAT O +b)L g(wix+b) H= M M g(wixx+b L 式中， gwxv+b,小L为隐含层输出矩阵， Nx为行为特征对应 的真实输出矩阵，I为单位矩阵，T表示矩阵转置 1.3算法步骤 1.NCA特征选择 利用NCA从UCI HAR特征集S-(6为，1=L2心选择出最优的特征子集

Hidden node j+1 1 1 2 d 1 j m x y 图 2 SCNs 网络结构图 Fig. 2 SCNs network structure 假设通过 1.1 节获得最优特征子集为   , , , , 1,2,...,   k m X x f x f i N     i i i i ¡ ¡ ，其中 k , m 分别 表示输入向量和输出向量的维数. 首先，基于如下监督机制为 L2-SCNs 随机分配隐含层节点参数: 2 1, , , , 1,2, , . L q L g L q e g b q m      88\* MERGEFORMAT () 其中，   2 T 1, 2 T , 1, 1 L q L L q L L q T L L e h r e h h           ， q m   1,2, , ， r 和 L 是收缩参数. 那么带有 L 个隐含层节点的 L2-SCNs 人体行为识别模型可以表示为：     1 L T L i i i i i f x g w x b      99\* MERGEFORMAT () 式中，   L f x 表示特征 x 的模型输出，   T 1 2 , ,...,     i i i im  是第i 个隐含层节点与输出层之间的输出 权值向量， wL , L b 分别表示第i 个隐含层节点的输入权值和偏置. L2-SCNs 人体行为识别模型的最终目标是在 L2正则化的约束下使得模型输出   L f x 与真实输出 f 之间的残差为零，即： 2 2 1 1 min : + 2 2 L i i i i J f g       1010\* MERGEFORMAT () 式中， 表示正则化系数. 利用拉格朗日乘子法求解(9)式，进而得到网络的输出权值： 1 T T = , , , 1 2 L I     H H H f                    1111\* MERGEFORMAT () 式中，         T T 1 1 1 1 T T 1 1 L L N L N L N L g w x b g w x b H g w x b g w x b             L M O M L 为隐含层输出矩阵， T 1 T L N k f f f             M 为行为特征对应 的真实输出矩阵， I 为单位矩阵，T 表示矩阵转置. 1.3 算法步骤 1. NCA 特征选择 利 用 NCA 从 UCI HAR 特 征 集 S x f i N     i i , , 1,2,...,   % % 选 择 出 最 优 的 特 征 子 集 录用稿件，非最终出版稿