第10卷第1期 智能系统学报 Vol.10 No.1 2015年2月 CAAI Transactions on Intelligent Systems Feb.2015 D0I:10.3969/j.issn.1673-4785.201410039 网络出版地址：http://www.cnki.net/kcms/doi/10.3969/j.issn.1673-4785.201410039.html 关键肢体角度直方图的行为识别 庄伟源13，成运2，林贤明3，苏松志3，曹冬林3，李绍滋3 (1.厦门大学信息科学与技术学院，福建厦门361005：2.湖南人文科技学院通信与控制工程系，湖北娄底417000： 3.福建省仿脑智能系统重点实验室，福建厦门361005) 摘要：当前的姿态表示的行为识别方法通常对姿态的准确性做了很强的假设，而当姿态分析不精确时，这些现有 方法的识别效果不佳。提出了一种低维的、鲁棒的基于关键肢体角度直方图的人体姿态特征描述子，用于将整个动 作视频映射成一个特征向量。同时，还在特征向量中引入共生模型，用以表示肢体间的关联性。最后，设计了分层 的SVM分类器，第1层主要用于选择高判别力的肢体作为关键肢体，第2层则利用关键肢体的角度直方图并作为特 征向量，进行行为识别。实验结果表明，基于关键肢体角度直方图的动作特征具有较好的判别能力，能更好地区分 相似动作，并最终取得了更好的识别效果。 关键词：角度特征：动作识别：关键肢体：角度直方图：姿态表示：行为分析：动作特征 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2015)01-0020-07 中文引用格式：庄伟源，成运，林贤明，等.关键肢体角度直方图的行为识别[J].智能系统学报，2014,10(1)：20-26. 英文引用格式：ZHUANG Weiyuan,CHENG Yun,LIN Xianming,etal.Action recognition based on the angle histogram of key parts[J].CAAI Transactions on Intelligent Systems,2014,10(1):20-26. Action recognition based on the angle histogram of key parts ZHUANG Weiyuan'3,CHENG Yun?,LIN Xianming'3,SU Songzhi'3,CAO Donglin'3,LI Shaozi' (1.School of Information Science and Technology,Xiamen University,Xiamen 361005,China;2 Department of Communication and Control Engineering,Hunan University of Humanities,Science and Technology,Loudi 417000,China;3.Fujian Key Laboratory of the Brain-Like Intelligent Systems,Xiamen 361005,China) Abstract:The current pose-based methods usually make a strong assumption for the accuracy of pose,but when the pose analysis is not precise,these methods cannot achieve satisfying results of recognition.Therefore,this paper proposed a low-dimensional and robust descriptor on the gesture feature of the human body based on the angle histo- gram of key limbs,which is used to map the entire action video into an feature vector.A co-occurrence model is in- troduced into the feature vector for expressing the relationship among limbs.Finally,a two-layer support vector ma- chine (SVM)classifier is designed.The first layer is used to select highly discriminative limbs as key limbs and the second layer takes angle histogram of key limbs as the feature vector for action recognition.Experiment results dem- onstrated that the action feature based on angle histogram of key limbs has excellent judgment ability,may properly distinguish similar actions and achieve better recognition effect. Keywords:angle feature;action recognition;key parts;angle histogram;pose representation;action analyze;ac- tion feature 收稿日期：2014-10-24.网络出版日期：2015-01-13. 人体行为识别是计算机视觉领域的一个热门的 基金项目：国家自然科学基金资助项目(61202143)：福建省自然科学基 金资助项目(2013J05100,2010J01345,2011J01367):厦门市 研究课题，在智能视觉监控、视频检索、人机交互等 科技重点项目资助项目(3502Z20123017). 领域有着广泛的应用前景，也受到了越来越多研究 通信作者：林贤明.E-mail:lixm@xmu.cdu.cn
第 员园 卷第 员 期摇摇摇摇摇 摇摇摇 摇摇 摇摇摇 智 能 系 统 学 报摇摇摇摇摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 灾燥造援员园 翼援员 圆园员缘 年 圆 月摇摇摇摇摇摇摇摇摇摇摇 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 摇 云藻遭援 圆园员缘 阅韵陨院员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员源员园园猿怨 网络出版地址院澡贼贼责院 辕 辕 憎憎憎援糟灶噪蚤援灶藻贼 辕 噪糟皂泽 辕 凿燥蚤 辕 员园援猿怨远怨 辕 躁援蚤泽泽灶援员远苑猿鄄源苑愿缘援圆园员源员园园猿怨援澡贼皂造 关键肢体角度直方图的行为识别 庄伟源员 袁猿 袁成运圆 袁林贤明员袁 猿 袁苏松志员袁 猿 袁曹冬林员袁 猿 袁李绍滋员袁 猿 渊员援厦门大学 信息科学与技术学院袁福建 厦门 猿远员园园缘曰 圆援 湖南人文科技学院 通信与控制工程系袁湖北 娄底 源员苑园园园曰 猿援 福建省仿脑智能系统重点实验室袁福建 厦门 猿远员园园缘 冤 摘 要院当前的姿态表示的行为识别方法通常对姿态的准确性做了很强的假设袁而当姿态分析不精确时袁这些现有 方法的识别效果不佳遥 提出了一种低维的尧鲁棒的基于关键肢体角度直方图的人体姿态特征描述子袁用于将整个动 作视频映射成一个特征向量遥 同时袁还在特征向量中引入共生模型袁用以表示肢体间的关联性遥 最后袁设计了分层 的 杂灾酝 分类器袁第 员 层主要用于选择高判别力的肢体作为关键肢体袁第 圆 层则利用关键肢体的角度直方图并作为特 征向量袁进行行为识别遥 实验结果表明袁基于关键肢体角度直方图的动作特征具有较好的判别能力袁能更好地区分 相似动作袁并最终取得了更好的识别效果遥 关键词院角度特征曰动作识别曰关键肢体曰角度直方图曰姿态表示曰行为分析曰动作特征 中图分类号院栽孕猿怨员援源摇 文献标志码院粤摇 文章编号院员远苑猿鄄源苑愿缘渊圆园员缘冤园员鄄园园圆园鄄园苑 中文引用格式院庄伟源袁成运袁林贤明袁等援 关键肢体角度直方图的行为识别咱允暂援 智能系统学报袁 圆园员源袁 员园渊员冤 院 圆园鄄圆远援 英文引用格式院在匀哉粤晕郧 宰藻蚤赠怎葬灶袁 悦匀耘晕郧 再怎灶袁 蕴陨晕 载蚤葬灶皂蚤灶早袁 藻贼 葬造援 粤糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 遭葬泽藻凿 燥灶 贼澡藻 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 责葬则贼泽咱允暂援 悦粤粤陨 栽则葬灶泽葬糟贼蚤燥灶泽 燥灶 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 圆园员源袁 员园渊员冤 院 圆园鄄圆远援 粤糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶 遭葬泽藻凿 燥灶 贼澡藻 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 责葬则贼泽 在匀哉粤晕郧 宰藻蚤赠怎葬灶员袁猿袁 悦匀耘晕郧 再怎灶圆 袁 蕴陨晕 载蚤葬灶皂蚤灶早员袁猿袁 杂哉 杂燥灶早扎澡蚤员袁猿袁 悦粤韵 阅燥灶早造蚤灶员袁猿袁 蕴陨 杂澡葬燥扎蚤员袁猿 渊员援 杂糟澡燥燥造 燥枣 陨灶枣燥则皂葬贼蚤燥灶 杂糟蚤藻灶糟藻 葬灶凿 栽藻糟澡灶燥造燥早赠袁 载蚤葬皂藻灶 哉灶蚤增藻则泽蚤贼赠袁 载蚤葬皂藻灶 猿远员园园缘袁 悦澡蚤灶葬曰 圆 阅藻责葬则贼皂藻灶贼 燥枣 悦燥皂皂怎灶蚤糟葬贼蚤燥灶 葬灶凿 悦燥灶贼则燥造 耘灶早蚤灶藻藻则蚤灶早袁 匀怎灶葬灶 哉灶蚤增藻则泽蚤贼赠 燥枣 匀怎皂葬灶蚤贼蚤藻泽袁 杂糟蚤藻灶糟藻 葬灶凿 栽藻糟澡灶燥造燥早赠袁蕴燥怎凿蚤 源员苑园园园袁悦澡蚤灶葬曰 猿援 云怎躁蚤葬灶 运藻赠 蕴葬遭燥则葬贼燥则赠 燥枣 贼澡藻 月则葬蚤灶鄄蕴蚤噪藻 陨灶贼藻造造蚤早藻灶贼 杂赠泽贼藻皂泽袁 载蚤葬皂藻灶 猿远员园园缘袁 悦澡蚤灶葬冤 粤遭泽贼则葬糟贼院栽澡藻 糟怎则则藻灶贼 责燥泽藻鄄遭葬泽藻凿 皂藻贼澡燥凿泽 怎泽怎葬造造赠 皂葬噪藻 葬 泽贼则燥灶早 葬泽泽怎皂责贼蚤燥灶 枣燥则 贼澡藻 葬糟糟怎则葬糟赠 燥枣 责燥泽藻袁 遭怎贼 憎澡藻灶 贼澡藻 责燥泽藻 葬灶葬造赠泽蚤泽 蚤泽 灶燥贼 责则藻糟蚤泽藻袁 贼澡藻泽藻 皂藻贼澡燥凿泽 糟葬灶灶燥贼 葬糟澡蚤藻增藻 泽葬贼蚤泽枣赠蚤灶早 则藻泽怎造贼泽 燥枣 则藻糟燥早灶蚤贼蚤燥灶援 栽澡藻则藻枣燥则藻袁 贼澡蚤泽 责葬责藻则 责则燥责燥泽藻凿 葬 造燥憎鄄凿蚤皂藻灶泽蚤燥灶葬造 葬灶凿 则燥遭怎泽贼 凿藻泽糟则蚤责贼燥则 燥灶 贼澡藻 早藻泽贼怎则藻 枣藻葬贼怎则藻 燥枣 贼澡藻 澡怎皂葬灶 遭燥凿赠 遭葬泽藻凿 燥灶 贼澡藻 葬灶早造藻 澡蚤泽贼燥鄄 早则葬皂 燥枣 噪藻赠 造蚤皂遭泽袁 憎澡蚤糟澡 蚤泽 怎泽藻凿 贼燥 皂葬责 贼澡藻 藻灶贼蚤则藻 葬糟贼蚤燥灶 增蚤凿藻燥 蚤灶贼燥 葬灶 枣藻葬贼怎则藻 增藻糟贼燥则援 粤 糟燥鄄燥糟糟怎则则藻灶糟藻 皂燥凿藻造 蚤泽 蚤灶鄄 贼则燥凿怎糟藻凿 蚤灶贼燥 贼澡藻 枣藻葬贼怎则藻 增藻糟贼燥则 枣燥则 藻曾责则藻泽泽蚤灶早 贼澡藻 则藻造葬贼蚤燥灶泽澡蚤责 葬皂燥灶早 造蚤皂遭泽援 云蚤灶葬造造赠袁 葬 贼憎燥鄄造葬赠藻则 泽怎责责燥则贼 增藻糟贼燥则 皂葬鄄 糟澡蚤灶藻 渊 杂灾酝冤 糟造葬泽泽蚤枣蚤藻则 蚤泽 凿藻泽蚤早灶藻凿援 栽澡藻 枣蚤则泽贼 造葬赠藻则 蚤泽 怎泽藻凿 贼燥 泽藻造藻糟贼 澡蚤早澡造赠 凿蚤泽糟则蚤皂蚤灶葬贼蚤增藻 造蚤皂遭泽 葬泽 噪藻赠 造蚤皂遭泽 葬灶凿 贼澡藻 泽藻糟燥灶凿 造葬赠藻则 贼葬噪藻泽 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 造蚤皂遭泽 葬泽 贼澡藻 枣藻葬贼怎则藻 增藻糟贼燥则 枣燥则 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶援 耘曾责藻则蚤皂藻灶贼 则藻泽怎造贼泽 凿藻皂鄄 燥灶泽贼则葬贼藻凿 贼澡葬贼 贼澡藻 葬糟贼蚤燥灶 枣藻葬贼怎则藻 遭葬泽藻凿 燥灶 葬灶早造藻 澡蚤泽贼燥早则葬皂 燥枣 噪藻赠 造蚤皂遭泽 澡葬泽 藻曾糟藻造造藻灶贼 躁怎凿早皂藻灶贼 葬遭蚤造蚤贼赠袁 皂葬赠 责则燥责藻则造赠 凿蚤泽贼蚤灶早怎蚤泽澡 泽蚤皂蚤造葬则 葬糟贼蚤燥灶泽 葬灶凿 葬糟澡蚤藻增藻 遭藻贼贼藻则 则藻糟燥早灶蚤贼蚤燥灶 藻枣枣藻糟贼援 运藻赠憎燥则凿泽院葬灶早造藻 枣藻葬贼怎则藻曰 葬糟贼蚤燥灶 则藻糟燥早灶蚤贼蚤燥灶曰 噪藻赠 责葬则贼泽曰 葬灶早造藻 澡蚤泽贼燥早则葬皂曰 责燥泽藻 则藻责则藻泽藻灶贼葬贼蚤燥灶曰 葬糟贼蚤燥灶 葬灶葬造赠扎藻曰 葬糟鄄 贼蚤燥灶 枣藻葬贼怎则藻 收稿日期院圆园员源鄄员园鄄圆源援 摇 网络出版日期院圆园员缘鄄园员鄄员猿援 基金项目院国家自然科学基金资助项目渊远员圆园圆员源猿冤 曰福建省自然科学基 金资助项目渊 圆园员猿允园缘员园园袁圆园员园允园员猿源缘袁圆园员员允园员猿远苑冤 曰厦门市 科技重点项目资助项目渊猿缘园圆在圆园员圆猿园员苑冤援 通信作者院林贤明援 耘鄄皂葬蚤造院造蚤灶曾皂岳 曾皂怎援藻凿怎援糟灶援 摇 摇 人体行为识别是计算机视觉领域的一个热门的 研究课题袁在智能视觉监控尧视频检索尧人机交互等 领域有着广泛的应用前景袁也受到了越来越多研究
第1期 庄伟源，等：关键肢体角度直方图的行为识别 ·21· 学者的关注。在近20年的研究中，研究者们也提出 型151刀的基础上，提出了一个通用的、灵活的混合模 了许多人体行为特征描述方法，如局部时空兴趣 型来捕捉部位间的空间关系和共生关系，取得了很好 点[2)、密集点轨迹[)、密集3-D梯度直方图4等，用 的姿态估计效果：并且这个方法只用了5个模板，计 于行为识别研究。虽然将这些方法用于行为识别研 算复杂度低、效率高，是当前姿态估计领域中的潮流 究也取得一定的成效，但是这些方法所采用的行为 方法。本文采用该算法来估计姿态信息。 特征侧重于描述人体运动的底层或中层特征，缺乏 由于当前姿态估计算法无法精确估计所有的身 语义性和直观性s14]。通过观察肢体在时间轴上的 体部位，因此，合理设计的特征描述子可以更好地利 运动轨迹不难发现，现有这些方法对运动的描述与 用提取到的有效的姿态信息。以往的方法13]利用 人类真实的运动是不相符合的。针对这些人体运动 部位位置信息表述姿态特征。实验证明，在对不同尺 描述方法存在问题，研究者提出了基于姿态信息的 度下的动作视频做行为识别时，利用位置信息构建的 方法。Sermetcan Baysal提出的利用人体可见边缘 姿态特征分类效果不佳，但是每个部位的角度信息具 信息，并转化为若干直线表示的直线姿态表示方法。 有尺度不变性。同时选用的姿态估计算法在部位间 L.Wang刊提出了增强姿态估计进行动作识别。然 引入空间限制，这使得仅利用各部位角度信息表述姿 而这2种方法存在部分局限性：Sermetcan的方法中 态特征成为可能。因此，在设计动作特征时舍弃位置 对于模糊边缘处理区分度欠缺，的方法中对于近 信息，仅提取角度信息。另外，在动作建模层面，文献 似动作如“慢跑”、“跑步”和“走路”判别性不强。 [6-7]利用聚类算法在训练样本中生成一系列标准姿 现有的基于姿态表示的行为识别方法通常是在对 态，并在测试视频中每一帧的姿态信息中找出其最相 姿态正确分析的理想条件下进行的。而人体的姿态估 近的标准姿态。这种方法在构建标准姿态时包含了 计仍然是一个开放的研究问题，目前尚未得到很好地 所有部位信息，容易受到没有准确估计的部位信息的 解决。而当姿态估计无法得到完整准确的结果时，目 影响，不够鲁棒。考虑了另一种策略，即对每个部位 前现有的姿态估计方法也常常因此效果不佳$】。当 单独构建特征，选取关键部位并级联组成动作特征向 前姿态估计算法无法精确定位所有的身体部位时，如 量。同时，受同一肢体的上部和下部（如大臂和小臂） 何利用提取到的正确的姿态信息来设计一个高判别 的角度有相关性联系的启发，在设计特征时引入共生 力、有效的特征成为的本研究问题的核心。 关系并称之为成对肢体特征。 通过对人体运动进行剖析可以发现：人体的行 为动作可以分解为身体各个部位的运动，如：头部运 1关键肢体角度直方图的理论框架 动、手部运动、脚部运动等。但是，正如W.Yang在 图1显示了关键肢体角度直方图的基本流程。 文献[1]所阐述的，各个身体部位在不同动作中所 首先，采用Y.Yang提出的姿态估计算法对输入视频 起的作用也是各不相同的。例如“拳击”动作是两 进行姿态估计，获取每一帧各个部位点的位置信息。 只手在身体同一侧向前击出，而“挥手”动作是两只 然后，本文将具有生理关联性的部位点连接，并定义 手在身体两侧左右挥动。除了这个区别外，其他身 为肢体，利用部位点对的位置信息来计算肢体位置 体部位的结构位置均是相似的。因而，要有效区分 和角度信息。根据各个肢体对特定动作的判别力大 这2种动作，需要重点关注手部的运动信息。本文 小，选取判别力大的手臂肢体和腿部肢体共8个部 将这些具有高判别力的肢体称为关键肢体，并提出 位作为候选关键肢体。 了一个基于关键肢体的鲁棒，有效的动作特征描述 子，用于行为识别研究中。 姿态信息的动作识别方法，首先估计每一帧中人 移动 没有 的姿态信息，然后将连续帧的姿态信息转化为沿着时 选取 间轴的姿态轨迹，再将姿态轨迹映射为动作特征，用 手部 选取手部和腿部 于动作识别。随着当前姿态估计领域的发展，基于姿 态的动作识别的准确率也在显而易见地提高。目前 比较广泛使用的姿态估计方法包括Poselet[J DPMo]、Y.Yangti12)。Poselet是一个基于实例的 输入视频 姿态估计方法，通过大量的模板匹配，在图像中找出 SVM分类器 与人体肢体部位姿态相一致的块。其中Poselet的模 板数超过1OO0个，计算复杂度远高于基于DPM和 图1基于关键肢体角度直方图的动作识别算法基本流程 Y.Yang的算法。Y.Yang在DPM和标准图案模 Fig.1 The basic flow of proposed method
学者的关注遥 在近 圆园 年的研究中袁研究者们也提出 了许多人体行为特征描述方法袁如局部时空兴趣 点咱圆暂 尧密集点轨迹咱猿暂 尧密集 猿鄄阅 梯度直方图咱源暂 等袁用 于行为识别研究遥 虽然将这些方法用于行为识别研 究也取得一定的成效袁但是这些方法所采用的行为 特征侧重于描述人体运动的底层或中层特征袁缺乏 语义性和直观性咱缘鄄员源 暂 遥 通过观察肢体在时间轴上的 运动轨迹不难发现袁现有这些方法对运动的描述与 人类真实的运动是不相符合的遥 针对这些人体运动 描述方法存在问题袁研究者提出了基于姿态信息的 方法遥 杂藻则皂藻贼糟葬灶 月葬赠泽葬造咱远暂提出的利用人体可见边缘 信息袁并转化为若干直线表示的直线姿态表示方法遥 蕴援宰葬灶早咱苑暂提出了增强姿态估计进行动作识别遥 然 而这 圆 种方法存在部分局限性院杂藻则皂藻贼糟葬灶 的方法中 对于模糊边缘处理区分度欠缺袁蕴蚤 的方法中对于近 似动作如野慢跑冶尧野跑步冶和野走路冶判别性不强遥 现有的基于姿态表示的行为识别方法通常是在对 姿态正确分析的理想条件下进行的遥 而人体的姿态估 计仍然是一个开放的研究问题袁目前尚未得到很好地 解决遥 而当姿态估计无法得到完整准确的结果时袁目 前现有的姿态估计方法也常常因此效果不佳咱愿暂 遥 当 前姿态估计算法无法精确定位所有的身体部位时袁如 何利用提取到的正确的姿态信息来设计一个高判别 力尧有效的特征成为的本研究问题的核心遥 通过对人体运动进行剖析可以发现院人体的行 为动作可以分解为身体各个部位的运动袁如院头部运 动尧手部运动尧脚部运动等遥 但是袁正如 宰援 再葬灶早 在 文献咱员暂所阐述的袁各个身体部位在不同动作中所 起的作用也是各不相同的遥 例如 野拳击冶动作是两 只手在身体同一侧向前击出袁而野挥手冶动作是两只 手在身体两侧左右挥动遥 除了这个区别外袁其他身 体部位的结构位置均是相似的遥 因而袁要有效区分 这 圆 种动作袁需要重点关注手部的运动信息遥 本文 将这些具有高判别力的肢体称为关键肢体袁并提出 了一个基于关键肢体的鲁棒袁有效的动作特征描述 子袁用于行为识别研究中遥 姿态信息的动作识别方法袁首先估计每一帧中人 的姿态信息袁然后将连续帧的姿态信息转化为沿着时 间轴的姿态轨迹袁再将姿态轨迹映射为动作特征袁用 于动作识别遥 随着当前姿态估计领域的发展袁基于姿 态的动作识别的准确率也在显而易见地提高遥 目前 比较广泛使用的姿态估计方法包括 孕燥泽藻造藻贼咱怨暂 尧 阅孕酝咱 员园 暂 尧再援再葬灶早咱员员 鄄员圆 暂 遥 孕燥泽藻造藻贼 是一个基于实例的 姿态估计方法袁通过大量的模板匹配袁在图像中找出 与人体肢体部位姿态相一致的块遥 其中 孕燥泽藻造藻贼 的模 板数超过 员 园园园 个袁计算复杂度远高于基于 阅孕酝 和 再援 再葬灶早 的算法遥 再援 再葬灶早 在 阅孕酝 和标准图案模 型咱员缘 鄄员苑暂的基础上袁提出了一个通用的尧灵活的混合模 型来捕捉部位间的空间关系和共生关系袁取得了很好 的姿态估计效果曰并且这个方法只用了 缘 个模板袁计 算复杂度低尧效率高袁是当前姿态估计领域中的潮流 方法遥 本文采用该算法来估计姿态信息遥 由于当前姿态估计算法无法精确估计所有的身 体部位袁因此袁合理设计的特征描述子可以更好地利 用提取到的有效的姿态信息遥 以往的方法咱苑鄄员 猿 暂 利用 部位位置信息表述姿态特征遥 实验证明袁在对不同尺 度下的动作视频做行为识别时袁利用位置信息构建的 姿态特征分类效果不佳袁但是每个部位的角度信息具 有尺度不变性遥 同时选用的姿态估计算法在部位间 引入空间限制袁这使得仅利用各部位角度信息表述姿 态特征成为可能遥 因此袁在设计动作特征时舍弃位置 信息袁仅提取角度信息遥 另外袁在动作建模层面袁文献 咱远鄄苑暂利用聚类算法在训练样本中生成一系列标准姿 态袁并在测试视频中每一帧的姿态信息中找出其最相 近的标准姿态遥 这种方法在构建标准姿态时包含了 所有部位信息袁容易受到没有准确估计的部位信息的 影响袁不够鲁棒遥 考虑了另一种策略袁即对每个部位 单独构建特征袁选取关键部位并级联组成动作特征向 量遥 同时袁受同一肢体的上部和下部渊如大臂和小臂冤 的角度有相关性联系的启发袁在设计特征时引入共生 关系并称之为成对肢体特征遥 员摇 关键肢体角度直方图的理论框架 摇 摇 图 员 显示了关键肢体角度直方图的基本流程遥 首先袁采用 再援再葬灶早 提出的姿态估计算法对输入视频 进行姿态估计袁获取每一帧各个部位点的位置信息遥 然后袁本文将具有生理关联性的部位点连接袁并定义 为肢体袁利用部位点对的位置信息来计算肢体位置 和角度信息遥 根据各个肢体对特定动作的判别力大 小袁选取判别力大的手臂肢体和腿部肢体共 愿 个部 位作为候选关键肢体遥 图 员摇 基于关键肢体角度直方图的动作识别算法基本流程 云蚤早援员摇 栽澡藻 遭葬泽蚤糟 枣造燥憎 燥枣 责则燥责燥泽藻凿 皂藻贼澡燥凿 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆员窑
22 智能系统学报 第10卷 设计一个2层的SVM分类器。第1层分类器 特定共生模型。G=(V,E)是一个相关联部位间设 用于从候选关键肢体当中选出关键肢体，将动作者 置了一致性关系的，K个节点的关系图。(1，l)是在 躯干的水平位置信息分布直方图作为特征，根据这 图片I中L像素位置提取的特征向量（如HOG特 个特征将动作划分成两大类：非移动类和移动类。 征189)。a是m,混合的部位i的一元模板。 非移动类是指除了手部运动外，其他肢体运动较少 (L,-)是l和l的空间特征。β吗是m,混合的部 的行为，只需选用手臂作为关键肢体；移动类则是腿 位i和m,混合的部位j之间的成对弹簧限定。 部也有运动，因此需要将腿部也作为关键肢体。第 从图1左上图可见，在肢体间添加了中间部位点，以 2层SVM分类器中，为解决如图2显示的不同尺度 27个部位点位置信息取代通常的14个标准部位点 下姿态表示问题，仅选用肢体的角度信息做姿态表 (定位在身体14个关节点处，如肩、肘、手腕等)。 示，并利用角度信息定义各个肢体在每一帧中的运 其在肢体间添加了中间部位点（中上臂、中下臂 动类型。然后，设计独立肢体特征和成对肢体特征 等)。每一帧的部位点位置信息为(，=(x。,y), 2种运动类型直方图的统计策略，用以统计各个肢 v∈{1,2，…，27}。对于N帧的视频数据，可获得 体在整个视频中的不同的运动类型的出现次数。最 27×2×N的姿态信息矩阵。 后，将级联的关键肢体的角度直方图作为动作特征， 2.2姿态表示和候选关键肢体 用于做动作识别。 获取到关节点位置信息矩阵之后，需要对其进 行编码，映射为姿态特征，并从中选出关键肢体。应 用姿态估计从不同动作获取的姿态信息如图3线段 所示，相邻部位点间用线段连接后，在视觉上接近于 骨架信息。将这些线段分别定义为小臂、大臂、躯 干、小腿、大腿和头部等肢体，如用直线将右手的部 位点lh和中下臂的部位点l连接并定义为右小臂， 设为P。计算其对应的线段中点位置(xay) 和相对于水平轴的角度0。方法如下： 图2尺度变化实例 Pha=（Xdayda,0h）= Fig.2 Example of scale variation 2 2 2姿态特征与动作特征描述子 2.1姿态信息估计 人体姿态通常呈现出高形变的特点，其类内表 观差异性大，Y.Yang提出的姿态估计具有表观 变化一致性，允许姿态中人体部位发生轻微偏移，并 可以利用少数的模板有效地估计姿态。该方法和图 案结构模型一样，都运用了多成分的混合模型，其中 每个成分表示训练数据集中某种姿态数据，并在此 (a)拳击 (b)拍手 (c挥手 基础上引入共生模型来表示部位间的共生关系。该 姿态估计模型包含3个模型：混合模型、成对弹簧模 型和共生模型。混合模型是无方向图形结构的混 合：成对弹簧模型是成对部位间的空间限制：共生模 型是同一肢体上的部位在方向上的一致性限制。 姿态估计模型输入一帧图像，输出所有 部位的位置信息L(设部位i的位置为l,)。其位置 信息的计算公式为 (d)慢跑 (e)跑步 ()走路 S,L,0=∑的+∑增+ 图3应用姿态估计从不同动作获取的姿态信息 ijeE Fig.3 Using pose estimation to get different configu- ∑a×p(1,)+∑B×(4,-) ration for different human actions 实验分别对6种行为进行测试：拳击、拍手、挥 式中：岭表示部位i的特定类型，b增表示部位类型的
摇 摇 设计一个 圆 层的 杂灾酝 分类器遥 第 员 层分类器 用于从候选关键肢体当中选出关键肢体袁将动作者 躯干的水平位置信息分布直方图作为特征袁根据这 个特征将动作划分成两大类院非移动类和移动类遥 非移动类是指除了手部运动外袁其他肢体运动较少 的行为袁只需选用手臂作为关键肢体曰移动类则是腿 部也有运动袁因此需要将腿部也作为关键肢体遥 第 圆 层 杂灾酝 分类器中袁为解决如图 圆 显示的不同尺度 下姿态表示问题袁仅选用肢体的角度信息做姿态表 示袁并利用角度信息定义各个肢体在每一帧中的运 动类型遥 然后袁设计独立肢体特征和成对肢体特征 圆 种运动类型直方图的统计策略袁用以统计各个肢 体在整个视频中的不同的运动类型的出现次数遥 最 后袁将级联的关键肢体的角度直方图作为动作特征袁 用于做动作识别遥 图 圆摇 尺度变化实例 云蚤早援圆摇 耘曾葬皂责造藻 燥枣 泽糟葬造藻 增葬则蚤葬贼蚤燥灶 圆摇 姿态特征与动作特征描述子 圆援员摇 姿态信息估计 人体姿态通常呈现出高形变的特点袁其类内表 观差异性大袁再援再葬灶早 提出的姿态估计咱员员暂 具有表观 变化一致性袁允许姿态中人体部位发生轻微偏移袁并 可以利用少数的模板有效地估计姿态遥 该方法和图 案结构模型一样袁都运用了多成分的混合模型袁其中 每个成分表示训练数据集中某种姿态数据袁并在此 基础上引入共生模型来表示部位间的共生关系遥 该 姿态估计模型包含 猿 个模型院混合模型尧成对弹簧模 型和共生模型遥 混合模型是无方向图形结构的混 合曰成对弹簧模型是成对部位间的空间限制曰共生模 型是同一肢体上的部位在方向上的一致性限制遥 姿态估计模型 输入一帧图像 造则澡 袁输出所有 部位的位置信息 蕴 渊设部位 蚤 的位置为 造蚤 冤 遥 其位置 信息的计算公式为 杂 陨( ) 袁蕴袁酝 越 移蚤沂灾 遭贼蚤 蚤 垣 蚤 移袁躁沂耘 遭贼蚤 贼躁 蚤袁躁 垣 移蚤沂灾 琢皂蚤 蚤 伊 渍 陨袁造蚤 ( ) 垣 蚤 移袁躁沂耘 茁皂蚤 皂躁 蚤 伊 鬃 造蚤 原 造躁 ( ) 式中院 遭贼蚤 蚤 表示部位 蚤 的特定类型袁 遭贼蚤 贼躁 蚤袁躁 表示部位类型的 特定共生模型遥 郧 越 ( ) 灾袁耘 是一个相关联部位间设 置了一致性关系的袁运 个节点的关系图遥 渍 陨袁造蚤 ( ) 是在 图片 陨 中 造蚤 像素位置提取的特征向量渊如 匀韵郧 特 征咱员 愿鄄员怨 暂 冤遥 琢皂蚤 蚤 是 皂蚤 混合的部位 蚤 的一元模板遥 鬃 造蚤 原 造躁 ( ) 是 造蚤 和 造躁 的空间特征遥 茁皂蚤 皂躁 蚤 是 皂蚤 混合的部 位 蚤 和 皂躁 混合的部位 躁 之间的成对弹簧限定遥 从图 员 左上图可见袁在肢体间添加了中间部位点袁以 圆苑 个部位点位置信息取代通常的 员源 个标准部位点 渊定位在身体 员源 个关节点处袁如肩尧肘尧手腕等冤 遥 其在肢体间添加了中间部位点渊 中上臂尧中下臂 等冤 遥 每一帧的部位点位置信息为 造增 越 曾增袁赠增 ( ) 袁 增 沂 员袁圆袁噎袁圆苑 { } 遥 对于 晕 帧的视频数据袁可获得 圆苑 伊 圆 伊 晕 的姿态信息矩阵遥 圆援圆摇 姿态表示和候选关键肢体 获取到关节点位置信息矩阵之后袁需要对其进 行编码袁映射为姿态特征袁并从中选出关键肢体遥 应 用姿态估计从不同动作获取的姿态信息如图 猿 线段 所示袁相邻部位点间用线段连接后袁在视觉上接近于 骨架信息遥 将这些线段分别定义为小臂尧大臂尧躯 干尧小腿尧大腿和头部等肢体袁如用直线将右手的部 位点 造则澡和中下臂的部位点 造则造葬 连接并定义为右小臂袁 设为 责则造葬 遥 计算其对应的线段中点位置渊 曾则造葬袁赠则造葬 冤 和相对于水平轴的角度 兹则造葬 遥 方法如下院 责则造葬 越 渊曾则造葬袁赠则造葬袁兹则造葬冤 越 曾造则澡 垣 曾造则造葬 圆 袁 赠造则澡 垣 赠造则造葬 圆 袁贼葬灶 原员 赠造则澡 原 赠造则造葬 曾造则澡 原 曾造则造葬 ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 图 猿摇 应用姿态估计从不同动作获取的姿态信息 云蚤早援猿摇 哉泽蚤灶早 责燥泽藻 藻泽贼蚤皂葬贼蚤燥灶 贼燥 早藻贼 凿蚤枣枣藻则藻灶贼 糟燥灶枣蚤早怎鄄 则葬贼蚤燥灶 枣燥则 凿蚤枣枣藻则藻灶贼 澡怎皂葬灶 葬糟贼蚤燥灶泽 摇 摇 实验分别对 远 种行为进行测试院拳击尧拍手尧挥 窑圆圆窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷
第1期 庄伟源，等：关键肢体角度直方图的行为识别 ·23· 手、慢跑、跑步和走路，文中需要从中找出关键肢体。 M。,视频中P:的运动类型，出现的次数，统计在 通过观察可以发现，拳击、拍手和挥手之间的区别主 第k维。成对肢体特征是一种特征引入了共生关系 要集中在手部运动。而慢跑、跑步和走路的区别集 的特征，通过统计成对肢体的运动类型来表示。所 中于手部运动和腿部运动中，剩下的肢体（头和躯 谓的共生关系是：属于同一个四肢的肢体P:和肢体 干)区分度不高，提供很少的信息嫡。因此，仅选取 四肢的8个肢体作为候选关键肢体，设为P:= P(如右大臂和右小臂都属于右臂)，他们所对应的 (x:,0,),i∈{1,2，…，8}。 运动类型存在相关性。基于这种思想提出成对肢体 2.3肢体角度直方图 特征，其具体步骤如下：设每个成对肢体特征 在第1层分类器中，主要任务是将动作分为非 的维度为M:×M:,若第fn中p:的运动类型是t,:而 移动类和移动类两大类动作，本文提取了躯干的水 P为t,a,则在(k-1)×M+l)维统计。 平位置分布信息并用直方图特征表示，用来判断人 对非移动类动作（包括拳击、拍手和挥手），使 是否发生移动。 用每个部位设置10个运动类型，并使用成对肢体特 在第2层分类器中，需要将每个部位的位置映 征描述手臂部位。特征向量的维度为2×10×10， 射为特征向量。LI Wang!)]和WANG Jiang3]都采 为200维。对移动类动作（包括慢跑、跑步和走 用了相对部位特征。将躯干部位P三 路)，用独立肢体特征表示手臂部位其中每个部位 (uyum,O)作为参照点，其他部位P:映射为 包含18个运动类型，而腿部部位用成对肢体特征表 相对部位特征△p,=(x:一x水一y,8,)。这种 示，其中每个部位包含9个运动类型。对手臂应用 特征在处理尺度不同的动作视频时（图2所示，与 独立肢体特征而不是成对肢体特征的原因在于：经 摄像头的距离不同导致的人在视频中尺度不同)分 观察发现，移动类的动作中，脚部部位的姿态估计准 类效果不佳。同时由于不同动作中，人体姿态形变 确率更高，而由于手臂部位接近躯干，因此无法准确 差异较大，目前没有有效的解决位置归一化的方法。 估计手臂的所有部位，在这种情况对成对肢体特征 注意到部位的角度具有尺度不变的特性，同时由于 的干扰较大而独立肢体特征更具有鲁棒性。整个动 姿态估计模型中各个部位间存在空间限制关系，这 作向量的维度是4×18+2×9×9，为234维。特征 也为仅用肢体角度信息表述姿态提供了基础，因此 提取后同一进行归一化处理。 每个肢体表示为P:=(0)。 3 实验结果 ~段十几秒的视频当中包含着三四百帧图像信 息，如果将每一帧的关键肢体角度特征级联，所组成 实验部分采用KTH action dataset数据集[2o]做 的特征向量维度很大，并且会降低姿态识别准确率。 测试。KTH数据集包含了600个灰度视频，其中共 为了降低维度，实验当中分别对每个肢体定义M个 6类动作：拳击、拍手、挥手、慢跑、跑步和走路。这 运动类型4，，k∈{1,2，…，M)。其中具有相似角 些动作分别由25个参与者在4种不同的场景（户 度的部位P:被指定为同一运动类型。运动类型的 外、户外以及尺度变化、户外以及换其他服装和室 判别方法是：首先，将部位的角度空间（手臂肢体的 内)完成。视频空间分辨率为160×120。 角度空间大小为0~4×18+2×9×9，腿部肢体的 选用70%的视频作为训练集，并采用交叉验证 角度空间大小为T~2π)分为等长的M个区间：然 的方法用对SVM模型参数进行优化。剩下30%视 后，假设第f帧中，部位p,的角度值0。落在角度空 频作为测试集，重复4次实验取平均实验结果。在 间的第k个区间内，那么它的运动类型就判定为 姿态估计部分，人工对每个动作提取15帧图片，并 t,。具体公式如下： 标注部位点位置，用以训练姿态估计模型。在姿态 估计中，尝试加入视频姿态估计[2)的方法以引入时 t.=floor 间限制模型。实验验证部位点在某一帧的定位情况 2T/N 会受到其他帧定位质量的影响，最终可能生成低判 在一段视频当中，以帧为单位，判断每一帧上所 别力的特征。 有关键肢体的运动类型，然后通过对整个视频当中 3.1肢体运动类型的数目对比试验 不同运动类型出现次数的统计，可以构建2种直方 为验证运动类型的数目对分类效果的影响，在 图特征：独立肢体特征和成对肢体特征。独立肢体 第2层分类器中，分别改变非移动类（图4(a)和移 特征也就是独立地统计每个部位的运动类型出现的 动类运动类型的数目。由于在移动类中选取手臂部 次数。设部位P:的独立肢体特征H的维度为 位和腿部部位作为关键肢体，因此分别只改变腿部
手尧慢跑尧跑步和走路袁文中需要从中找出关键肢体遥 通过观察可以发现袁拳击尧拍手和挥手之间的区别主 要集中在手部运动遥 而慢跑尧跑步和走路的区别集 中于手部运动和腿部运动中袁剩下的肢体渊头和躯 干冤区分度不高袁提供很少的信息熵遥 因此袁仅选取 四肢的 愿 个肢体作为候选关键肢体袁 设 为 责蚤 越 曾蚤袁赠蚤袁兹蚤 ( ) 袁 蚤 沂 员袁圆袁噎袁愿 { } 遥 圆援猿摇 肢体角度直方图 在第 员 层分类器中袁主要任务是将动作分为非 移动类和移动类两大类动作袁本文提取了躯干的水 平位置分布信息并用直方图特征表示袁用来判断人 是否发生移动遥 在第 圆 层分类器中袁需要将每个部位的位置映 射为特征向量遥 蕴陨 宰葬灶早咱苑暂 和 宰粤晕郧 允蚤葬灶早咱 员猿 暂 都采 用了 相 对 部 位 特 征遥 将躯干部位 责贼燥则泽燥 越 曾贼燥则泽燥袁赠贼燥则泽燥袁兹贼燥则泽燥 ( ) 作为参照点袁其他部位 责蚤 映射为 相对部位特征 吟责蚤 越 渊曾蚤 原 曾贼燥则泽燥袁赠蚤 原 赠贼燥则泽燥袁兹蚤冤 遥 这种 特征在处理尺度不同的动作视频时渊图 圆 所示袁与 摄像头的距离不同导致的人在视频中尺度不同冤分 类效果不佳遥 同时由于不同动作中袁人体姿态形变 差异较大袁目前没有有效的解决位置归一化的方法遥 注意到部位的角度具有尺度不变的特性袁同时由于 姿态估计模型中各个部位间存在空间限制关系袁这 也为仅用肢体角度信息表述姿态提供了基础袁因此 每个肢体表示为 责 鄄 蚤 越 兹蚤 ( ) 遥 一段十几秒的视频当中包含着三四百帧图像信 息袁如果将每一帧的关键肢体角度特征级联袁所组成 的特征向量维度很大袁并且会降低姿态识别准确率遥 为了降低维度袁实验当中分别对每个肢体定义 酝 个 运动类型 贼噪袁责 鄄 蚤 袁 噪 沂 员袁圆袁噎袁 { } 酝 遥 其中具有相似角 度的部位 责 鄄 蚤 被指定为同一运动类型遥 运动类型的 判别方法是院首先袁将部位的角度空间渊手臂肢体的 角度空间大小为 园耀 源 伊 员愿 垣 圆 伊 怨 伊 怨袁腿部肢体的 角度空间大小为 仔 耀 圆仔 冤分为等长的 酝 个区间曰然 后袁假设第 枣灶 帧中袁部位 责 鄄 蚤 的角度值 兹责 鄄 蚤 落在角度空 间的第 噪 个区间内袁那么它的运动类型就判定为 贼噪袁责 鄄 蚤 遥 具体公式如下院 贼噪袁责 鄄 蚤 越 枣造燥燥则 兹责 鄄 蚤 圆仔辕 晕 ⎛ ⎝ ⎜ ⎜ ⎞ ⎠ ⎟ ⎟ 摇 摇 在一段视频当中袁以帧为单位袁判断每一帧上所 有关键肢体的运动类型袁然后通过对整个视频当中 不同运动类型出现次数的统计袁可以构建 圆 种直方 图特征院独立肢体特征和成对肢体特征遥 独立肢体 特征也就是独立地统计每个部位的运动类型出现的 次数遥 设部位 责 鄄 蚤 的独立肢体特征 匀陨灶凿 责 鄄 蚤 的维度为 酝责 鄄 蚤 袁视频中 责 鄄 蚤 的运动类型 贼噪袁责 鄄 蚤 出现的次数袁统计在 第 噪 维遥 成对肢体特征是一种特征引入了共生关系 的特征袁通过统计成对肢体的运动类型来表示遥 所 谓的共生关系是院属于同一个四肢的肢体 责 鄄 蚤 和肢体 责 鄄 躁 渊如右大臂和右小臂都属于右臂冤 袁他们所对应的 运动类型存在相关性遥 基于这种思想提出成对肢体 特征袁其具体步骤如下院设每个成对肢体特征 匀责葬蚤则 责 鄄 蚤 袁责 鄄 躁 的维度为 酝赃 灶 鄄 伊 酝灶 鄄 袁若第 枣灶 中 责 鄄 蚤 的运动类型是 贼噪袁灶 鄄 而 责 鄄 躁 为 贼造袁灶 鄄 袁则在渊 渊 噪 原 员冤 伊 酝灶 鄄 垣造冤维统计遥 对非移动类动作渊包括拳击尧拍手和挥手冤 袁使 用每个部位设置 员园 个运动类型袁并使用成对肢体特 征描述手臂部位遥 特征向量的维度为 圆 伊 员园 伊 员园袁 为 圆园园 维遥 对移动类动作 渊 包括慢跑尧 跑步和走 路冤 袁用独立肢体特征表示手臂部位其中每个部位 包含 员愿 个运动类型袁而腿部部位用成对肢体特征表 示袁其中每个部位包含 怨 个运动类型遥 对手臂应用 独立肢体特征而不是成对肢体特征的原因在于院经 观察发现袁移动类的动作中袁脚部部位的姿态估计准 确率更高袁而由于手臂部位接近躯干袁因此无法准确 估计手臂的所有部位袁在这种情况对成对肢体特征 的干扰较大而独立肢体特征更具有鲁棒性遥 整个动 作向量的维度是 源 伊 员愿 垣 圆 伊 怨 伊 怨袁为 圆猿源 维遥 特征 提取后同一进行归一化处理遥 猿摇 实验结果 实验部分采用 运栽匀 葬糟贼蚤燥灶 凿葬贼葬泽藻贼 数据集咱 圆园 暂 做 测试遥 运栽匀 数据集包含了 远园园 个灰度视频袁其中共 远 类动作院拳击尧拍手尧挥手尧慢跑尧跑步和走路遥 这 些动作分别由 圆缘 个参与者在 源 种不同的场景渊户 外尧户外以及尺度变化尧户外以及换其他服装和室 内冤完成遥 视频空间分辨率为 员远园 伊 员圆园遥 选用 苑园豫的视频作为训练集袁并采用交叉验证 的方法用对 杂灾酝 模型参数进行优化遥 剩下 猿园豫视 频作为测试集袁重复 源 次实验取平均实验结果遥 在 姿态估计部分袁人工对每个动作提取 员缘 帧图片袁并 标注部位点位置袁用以训练姿态估计模型遥 在姿态 估计中袁尝试加入视频姿态估计咱圆员暂 的方法以引入时 间限制模型遥 实验验证部位点在某一帧的定位情况 会受到其他帧定位质量的影响袁最终可能生成低判 别力的特征遥 猿援员摇 肢体运动类型的数目对比试验 为验证运动类型的数目对分类效果的影响袁在 第 圆 层分类器中袁分别改变非移动类渊图 源渊葬冤冤和移 动类运动类型的数目遥 由于在移动类中选取手臂部 位和腿部部位作为关键肢体袁因此分别只改变腿部 第 员 期摇摇摇摇摇摇摇摇摇摇摇摇摇摇 庄伟源袁等院关键肢体角度直方图的行为识别 窑圆猿窑
.24 智能系统学报 第10卷 运动类型数目（图4(b)点划线）)或手臂运动类型 表12种姿态描述结合K-Means聚类与K-NN在移动类的 数目（图4(b)虚线），保持另一关键肢体运动类型 动作的准率 数目不变。 Table 1 Accuracy of pose feature together with K-Means 100 and K_NN on Moving category:(a)angle fea- 98 ture;(b)relative position feature 96 姿态描述 慢跑 跑步 走路 94 相对位置特征 0.77 0.57 0.93 92 角度特征 0.80 0.69 0.90 90 88 实验结果如表1所示，与相对位置特征相比，角 8101214161820 运动类型数目/个 度特征可以更好地区分不同尺度下的动作。但同 (a)非移动类动作 时，这2种特征，与采用聚类算法生成标准姿态相 100,*个手臂成对部位特征+9个腿部成对特征 比，本文方法中对每个部位独立构建特征并级联成 「·。n个手臀独立特征+9个腿部成对特征 行为特征的策略可以有效降低计算复杂度，且具有 96+-18个手臂独立特征+n个腿部成对特征 0: 更高的判别力。 92 884-* g…0 3.4本文方法与当前行为识别算法对比 10 实验当中还对2种当前较为常用的分类器效果 8 进行对比：SVM分类器和Softmax Regression分类 80 681012141618202224 器，实验结果如图5的混淆矩阵所示。其中，SVM 运动类型数目/个 分类器的动作识别的平均准确率达到94.9%，而 (b)移动类动作 Softmax Regression分类器的准确率为85.4%。 图4运动类型数目对实验准确率的影响 Fig.4 The affect of the number of movement types on 拳击拍手挥手慢跑跑步走路 1.0 our methods's performance 拳击 0.57 0.00 0.00 0.D0 0.9 图4中，如果类型数目低于某个值时，分类准确 0.8 性随着类型数目的增加而提升：但如果类型数目超 拍手 0,00 .97 0.09 0.00 ,0 0.7 过某个值时，分类准确率就会下降。证明了更多的 挥手 0.03 0.00 0.9 0.00 0.00 0.00 0.6 运动类型可以更好地表示动作，但当类型数目超过 0.5 一定值时，鲁棒性会下降，姿态估计的质量对动作识 慢跑 0.00 0.00 097 0.0 0.04 0.4 别的影响更大。 0.3 3.2移动类用成对肢体特征表示手臂 跑步 0,00 0.00 0.00 0.17 0.2 同时，为验证对手臂部位的定位误差对共生关 走路 0,0 0.00 0.0 0.1 系以及分类准确性的影响，在移动类中，用成对肢体 特征表示手臂，替代原先的独立肢体特征。并且实 (a)支持向量机 拳击拍手挥手慢跑跑步走路 验过程中，固定腿部肢体运动类型数目为9，改变手 臂肢体运动类型数目。实验结果如图4(b)中实线 拳击 0.04 o oo a间 0.00 0.9 所示，由于姿态估计算法尚不够获得完整准确的结 0.8 拍手 0.07 007 0.00 0.00 0.00 0.7 果，成对肢体特征容易受到单个部位定位误差的影 0.6 响，因此鲁棒性不如独立肢体特征。 挥手 0.04 0.00 0.96 0.00 0.00 0.00 3.3 用聚类算法替代角度直方图特征 0.5 慢跑 0.00 0.00 0.13 0.0 0.4 除此之外，针对移动类动作，文中还对比了角度 0.3 特征和相对位置特征2种姿态描述子的效果，由于 跑步 0.00 0.00 0.00 0.00 0.2 相对位置特征不适合用本文的角度直方图特征，因 此应用了Sermetcant6]和LI Wang[)的方法，利用K- 走路 0.00 0.00 0.00 0.00 0.03 0.97 0.1 Means聚类[2]对所有训练集的姿态描述子进行聚 (b)Softmax回归 类，生成的聚类中心即为标准姿态。对于测试集，对 图5KTH数据集上识别效果的混淆矩阵 每帧的姿态描述子利用KNN算法，寻找最相似的标 Fig.5 Confusion matrices generated by two classifiers 准姿态，并用直方图统计各个标准姿态的出现次数
运动类型数目渊图 源渊遭冤点划线冤 冤或手臂运动类型 数目渊图 源渊遭冤虚线冤 袁保持另一关键肢体运动类型 数目不变遥 渊葬冤 非移动类动作 渊遭冤 移动类动作 图 源摇 运动类型数目对实验准确率的影响 云蚤早援源摇 栽澡藻 葬枣枣藻糟贼 燥枣 贼澡藻 灶怎皂遭藻则 燥枣 皂燥增藻皂藻灶贼 贼赠责藻泽 燥灶 燥怎则 皂藻贼澡燥凿泽鸳泽 责藻则枣燥则皂葬灶糟藻 摇 摇 图 源 中袁如果类型数目低于某个值时袁分类准确 性随着类型数目的增加而提升曰 但如果类型数目超 过某个值时袁分类准确率就会下降遥 证明了更多的 运动类型可以更好地表示动作袁但当类型数目超过 一定值时袁鲁棒性会下降袁姿态估计的质量对动作识 别的影响更大遥 猿援圆摇 移动类用成对肢体特征表示手臂 同时袁为验证对手臂部位的定位误差对共生关 系以及分类准确性的影响袁在移动类中袁用成对肢体 特征表示手臂袁替代原先的独立肢体特征遥 并且实 验过程中袁固定腿部肢体运动类型数目为 怨袁改变手 臂肢体运动类型数目遥 实验结果如图 源渊遭冤中实线 所示袁由于姿态估计算法尚不够获得完整准确的结 果袁成对肢体特征容易受到单个部位定位误差的影 响袁因此鲁棒性不如独立肢体特征遥 猿援猿摇 用聚类算法替代角度直方图特征 除此之外袁针对移动类动作袁文中还对比了角度 特征和相对位置特征 圆 种姿态描述子的效果袁由于 相对位置特征不适合用本文的角度直方图特征袁因 此应用了 杂藻则皂藻贼糟葬灶咱远暂和 蕴陨 宰葬灶早咱苑暂的方法袁利用 运鄄 酝藻葬灶泽 聚类咱圆圆暂对所有训练集的姿态描述子进行聚 类袁生成的聚类中心即为标准姿态遥 对于测试集袁对 每帧的姿态描述子利用 运晕晕 算法袁寻找最相似的标 准姿态袁并用直方图统计各个标准姿态的出现次数遥 表 员摇 圆 种姿态描述结合 运鄄酝藻葬灶泽 聚类与 运鄄晕晕 在移动类的 动作的准率 栽葬遭造藻 员摇 粤糟糟怎则葬糟赠 燥枣 责燥泽藻 枣藻葬贼怎则藻 贼燥早藻贼澡藻则 憎蚤贼澡 运鄄酝藻葬灶泽 葬灶凿 运赃晕晕 燥灶 酝燥增蚤灶早 糟葬贼藻早燥则赠院 渊 葬冤 葬灶早造藻 枣藻葬鄄 贼怎则藻曰 渊遭冤 则藻造葬贼蚤增藻 责燥泽蚤贼蚤燥灶 枣藻葬贼怎则藻 姿态描述 慢跑 跑步 走路 相对位置特征 园援苑苑 园援缘苑 园援怨猿 角度特征 园援愿园 园援远怨 园援怨园 摇 摇 实验结果如表 员 所示袁与相对位置特征相比袁角 度特征可以更好地区分不同尺度下的动作遥 但同 时袁这 圆 种特征袁与采用聚类算法生成标准姿态相 比袁本文方法中对每个部位独立构建特征并级联成 行为特征的策略可以有效降低计算复杂度袁且具有 更高的判别力遥 猿援源摇 本文方法与当前行为识别算法对比 实验当中还对 圆 种当前较为常用的分类器效果 进行对比院 杂灾酝 分类器和 杂燥枣贼皂葬曾 砸藻早则藻泽泽蚤燥灶 分类 器袁实验结果如图 缘 的混淆矩阵所示遥 其中袁 杂灾酝 分类器的动作识别的平均准确率达到 怨源援 怨豫袁而 杂燥枣贼皂葬曾 砸藻早则藻泽泽蚤燥灶 分类器的准确率为 愿缘援源豫遥 图 缘摇 运栽匀 数据集上识别效果的混淆矩阵 云蚤早援缘摇 悦燥灶枣怎泽蚤燥灶 皂葬贼则蚤糟藻泽 早藻灶藻则葬贼藻凿 遭赠 贼憎燥 糟造葬泽泽蚤枣蚤藻则泽 窑圆源窑 智 能 系 统 学 报摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 第 员园 卷