第10卷第6期 智能系统学报 Vol.10 No.6 2015年12月 CAAI Transactions on Intelligent Systems Dec.2015 D0I:10.11992.tis.201509025 一种特征加权融合人脸识别方法 孙劲光2，孟凡宇2 (1.辽宁工程技术大学电子与信息工程学院，辽宁葫芦岛125000：2.辽宁省数字化矿山装备工程技术研究中心，辽 宁阜新123000) 摘要：针对传统人脸识别算法在非限制条件下识别准确率不高的问题，提出了一种特征加权融合人脸识别方法 (DLWF)。根据人脸面部左眼、右眼、鼻子，嘴、下巴等5个器官位置，将人脸图像划分成5个局部采样区域：将得到 的5个局部采样区域和整幅人脸图像分别输入到对应的神经网络中进行网络权值调整，完成子网络的构建：利用 softmax回归求出6个相似度向量并组成相似度矩阵与权向量相乘得出最终的识别结果。经ORL和WFL人脸库上 进行实验验证，识别准确率分别达到97%和91.63%。实验结果表明：该算法能够有效提高人脸识别能力，与传统识 别算法相比在限制条件和非限制条件下都具有较高的识别准确率。 关键词：人脸识别：非限制条件：深度自信网络：局部特征：特征融合：全局特征 中图分类号：TN911.73文献标志码：A文章编号：1673-4785(2015)06-0912-09 中文引用格式：孙劲光，孟凡宇.一种特征加权融合人脸识别方法[J].智能系统学报，2015,10(6)：912-920. 英文引用格式：SUN Jinguang,MENG Fanyu.Face recognition by weighted fusion of facial features[J].CAAI Transactions on In- telligent Systems,2015,10(6):912-920. Face recognition by weighted fusion of facial features SUN Jinguang'2,MENG Fanyu2 (1.School of Electronics and Information Engineering,Liaoniing Technical University,Huludao 125000,China;2.LiaoNing Digital Mining Equipment Engineering Technology Research Center,Fuxin 123000,China) Abstract:The accuracy of face recognition is low under unconstrained conditions.To solve this problem,we pro- pose a new method based on deep learning and the weighted fusion of facial features.First,we divide facial feature points into five regions using an active shape model and then sample different facial components corresponding to those facial feature points.A corresponding deep belief network (DBN)was then trained based on these regional samples to obtain optimal network parameters.The five regional sampling regions and entire facial image obtained were then inputted into a corresponding neural network to adjust the network weight and complete the construction of sub-networks.Finally,using softmax regression,we obtained six similarity vectors of different components.These six similarity vectors comprise a similarity matrix,which is then multiplied by the weight vector to derive the final recognition result.Recognition accuracy was 97%and 91.63%on the ORL and WFL face databases,respectively. Compared with traditional recognition algorithms such as SVM,DBN,PCA,and FIP+LDA,recognition rates for both databases were improved in both constrained and unconstrained conditions.On the basis of these experimental results,we conclude that the proposed algorithm demonstrates high efficiency in face recognition. Keywords:face recognition;unconstrained condition;deep belief networks;local feature;feature fusion;overall feature 收稿日期：2015-09-17. 人脸识别一直是模式识别和计算机视觉领域的 基金项目：国家科技支撑计划资助项目(2013BAH12F02) 通信作者：孟凡字.E-mail:mengfanyul991@163.com
第 １０ 卷第 ６ 期 智 能 系 统 学 报 Ｖｏｌ．１０ №．６ ２０１５ 年 １２ 月 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ Ｄｅｃ． ２０１５ ＤＯＩ：１０．１１９９２．ｔｉｓ．２０１５０９０２５ 一种特征加权融合人脸识别方法 孙劲光１，２ ，孟凡宇２ （１．辽宁工程技术大学 电子与信息工程学院， 辽宁 葫芦岛 １２５０００； ２．辽宁省数字化矿山装备工程技术研究中心， 辽 宁 阜新 １２３０００） 摘 要：针对传统人脸识别算法在非限制条件下识别准确率不高的问题，提出了一种特征加权融合人脸识别方法 （ＤＬＷＦ ＋ ）。 根据人脸面部左眼、右眼、鼻子、嘴、下巴等 ５ 个器官位置，将人脸图像划分成 ５ 个局部采样区域；将得到 的 ５ 个局部采样区域和整幅人脸图像分别输入到对应的神经网络中进行网络权值调整，完成子网络的构建；利用 ｓｏｆｔｍａｘ 回归求出 ６ 个相似度向量并组成相似度矩阵与权向量相乘得出最终的识别结果。 经 ＯＲＬ 和 ＷＦＬ 人脸库上 进行实验验证，识别准确率分别达到 ９７％和 ９１．６３％。 实验结果表明：该算法能够有效提高人脸识别能力，与传统识 别算法相比在限制条件和非限制条件下都具有较高的识别准确率。 关键词：人脸识别；非限制条件；深度自信网络；局部特征；特征融合；全局特征 中图分类号： ＴＮ９１１．７３ 文献标志码：Ａ 文章编号：１６７３⁃４７８５（２０１５）０６⁃０９１２⁃０９ 中文引用格式：孙劲光，孟凡宇． 一种特征加权融合人脸识别方法［Ｊ］． 智能系统学报， ２０１５， １０（６）： ９１２⁃９２０． 英文引用格式：ＳＵＮ Ｊｉｎｇｕａｎｇ， ＭＥＮＧ Ｆａｎｙｕ． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｗｅｉｇｈｔｅｄ ｆｕｓｉｏｎ ｏｆ ｆａｃｉａｌ ｆｅａｔｕｒｅｓ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎ⁃ ｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ， ２０１５， １０（６）： ９１２⁃９２０． Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｂｙ ｗｅｉｇｈｔｅｄ ｆｕｓｉｏｎ ｏｆ ｆａｃｉａｌ ｆｅａｔｕｒｅｓ ＳＵＮ Ｊｉｎｇｕａｎｇ １， ２ ， ＭＥＮＧ Ｆａｎｙｕ ２ （１． Ｓｃｈｏｏｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃｓ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｌｉａｏｎｉｉｎｇ Ｔｅｃｈｎｉｃａｌ Ｕｎｉｖｅｒｓｉｔｙ， Ｈｕｌｕｄａｏ １２５０００， Ｃｈｉｎａ； ２． ＬｉａｏＮｉｎｇ Ｄｉｇｉｔａｌ Ｍｉｎｉｎｇ Ｅｑｕｉｐｍｅｎｔ Ｅｎｇｉｎｅｅｒｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｒｅｓｅａｒｃｈ Ｃｅｎｔｅｒ， Ｆｕｘｉｎ １２３０００， Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｌｏｗ ｕｎｄｅｒ ｕｎｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎｓ． Ｔｏ ｓｏｌｖｅ ｔｈｉｓ ｐｒｏｂｌｅｍ， ｗｅ ｐｒｏ⁃ ｐｏｓｅ ａ ｎｅｗ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｎｄ ｔｈｅ ｗｅｉｇｈｔｅｄ ｆｕｓｉｏｎ ｏｆ ｆａｃｉａｌ ｆｅａｔｕｒｅｓ． Ｆｉｒｓｔ， ｗｅ ｄｉｖｉｄｅ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ ｉｎｔｏ ｆｉｖｅ ｒｅｇｉｏｎｓ ｕｓｉｎｇ ａｎ ａｃｔｉｖｅ ｓｈａｐｅ ｍｏｄｅｌ ａｎｄ ｔｈｅｎ ｓａｍｐｌｅ ｄｉｆｆｅｒｅｎｔ ｆａｃｉａｌ ｃｏｍｐｏｎｅｎｔｓ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｔｏ ｔｈｏｓｅ ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ． Ａ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ （ＤＢＮ） ｗａｓ ｔｈｅｎ ｔｒａｉｎｅｄ ｂａｓｅｄ ｏｎ ｔｈｅｓｅ ｒｅｇｉｏｎａｌ ｓａｍｐｌｅｓ ｔｏ ｏｂｔａｉｎ ｏｐｔｉｍａｌ ｎｅｔｗｏｒｋ ｐａｒａｍｅｔｅｒｓ． Ｔｈｅ ｆｉｖｅ ｒｅｇｉｏｎａｌ ｓａｍｐｌｉｎｇ ｒｅｇｉｏｎｓ ａｎｄ ｅｎｔｉｒｅ ｆａｃｉａｌ ｉｍａｇｅ ｏｂｔａｉｎｅｄ ｗｅｒｅ ｔｈｅｎ ｉｎｐｕｔｔｅｄ ｉｎｔｏ ａ ｃｏｒｒｅｓｐｏｎｄｉｎｇ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｔｏ ａｄｊｕｓｔ ｔｈｅ ｎｅｔｗｏｒｋ ｗｅｉｇｈｔ ａｎｄ ｃｏｍｐｌｅｔｅ ｔｈｅ ｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ｓｕｂ⁃ｎｅｔｗｏｒｋｓ． Ｆｉｎａｌｌｙ， ｕｓｉｎｇ ｓｏｆｔｍａｘ ｒｅｇｒｅｓｓｉｏｎ， ｗｅ ｏｂｔａｉｎｅｄ ｓｉｘ ｓｉｍｉｌａｒｉｔｙ ｖｅｃｔｏｒｓ ｏｆ ｄｉｆｆｅｒｅｎｔ ｃｏｍｐｏｎｅｎｔｓ． Ｔｈｅｓｅ ｓｉｘ ｓｉｍｉｌａｒｉｔｙ ｖｅｃｔｏｒｓ ｃｏｍｐｒｉｓｅ ａ ｓｉｍｉｌａｒｉｔｙ ｍａｔｒｉｘ， ｗｈｉｃｈ ｉｓ ｔｈｅｎ ｍｕｌｔｉｐｌｉｅｄ ｂｙ ｔｈｅ ｗｅｉｇｈｔ ｖｅｃｔｏｒ ｔｏ ｄｅｒｉｖｅ ｔｈｅ ｆｉｎａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔ． Ｒｅｃｏｇｎｉｔｉｏｎ ａｃｃｕｒａｃｙ ｗａｓ ９７％ ａｎｄ ９１．６３％ ｏｎ ｔｈｅ ＯＲＬ ａｎｄ ＷＦＬ ｆａｃｅ ｄａｔａｂａｓｅｓ， ｒｅｓｐｅｃｔｉｖｅｌｙ． Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｒａｄｉｔｉｏｎａｌ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｓｕｃｈ ａｓ ＳＶＭ， ＤＢＮ， ＰＣＡ， ａｎｄ ＦＩＰ ＋ＬＤＡ， ｒｅｃｏｇｎｉｔｉｏｎ ｒａｔｅｓ ｆｏｒ ｂｏｔｈ ｄａｔａｂａｓｅｓ ｗｅｒｅ ｉｍｐｒｏｖｅｄ ｉｎ ｂｏｔｈ ｃｏｎｓｔｒａｉｎｅｄ ａｎｄ ｕｎｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎｓ． Ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｔｈｅｓｅ ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ， ｗｅ ｃｏｎｃｌｕｄｅ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ ａｌｇｏｒｉｔｈｍ ｄｅｍｏｎｓｔｒａｔｅｓ ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｉｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ． Ｋｅｙｗｏｒｄｓ： ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ； ｕｎｃｏｎｓｔｒａｉｎｅｄ ｃｏｎｄｉｔｉｏｎ； ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋｓ； ｌｏｃａｌ ｆｅａｔｕｒｅ； ｆｅａｔｕｒｅ ｆｕｓｉｏｎ； ｏｖｅｒａｌｌ ｆｅａｔｕｒｅ 收稿日期：２０１５⁃０９⁃１７． 基金项目：国家科技支撑计划资助项目（２０１３ＢＡＨ１２Ｆ０２）． 通信作者：孟凡宇． Ｅ⁃ｍａｉｌ：ｍｅｎｇｆａｎｙｕ１９９１＠ １６３．ｃｏｍ． 人脸识别一直是模式识别和计算机视觉领域的
第6期 孙劲光，等：一种特征加权融合人脸识别方法 ·913· 研究热点。人脸图像像素矩阵较大同时特征维数也 1.2基本思想 较高，进行识别难度较大，因此设计出高效的特征提 为建立人脸面部局部特征深度学习模型，首先 取器成为人脸识别的关键。其中最典型方法为主成 利用人脸面部的主要特征点将人脸分成若干子区 分分析法(principal components analysis,PCA)[),其 域：然后将这些小的子区域和整幅人脸经归一化处 思想首先，把一副图像按行或列拉直成一个高维列 理，输入到对应的DBN网络进行训练，得到各个子 向量，然后，求取整个训练样本集高维列向量的协方 区域和整幅人脸的相似度概率向量：最后将左眼、右 差矩阵，求此协方差矩阵的特征向量和特征值得到 眼、鼻子、嘴、下巴等器官和整个面部的相似度向量 投影变换矩阵，最后，把人脸图像高维特征通过投影 加权后进行分类。DLWF+分为以下4个主要阶段： 变换矩阵映射到低维空间中，得到人脸的低维表示 1)人脸面部区域划分 特征：在人脸识别研究中，利用PCA方法对高维特 利用haar方法进行人脸检测，提取出人脸面部 征进行降维处理，获得了良好的效果，是最为成功的 主要区域，并根据人脸面部主要器官左眼、右眼、鼻 线性鉴别分析方法之一。但实际的应用中，PCA方 子、嘴巴、下巴等进行子区域的划分。 法进行线性鉴别分析通常会产生小样本问题（即样 2)网络模型的构建并确定权值 本个数远小于特征维数)：被识别人脸图像是在非 利用上一步求取得到的各个区域和整幅人脸图 限制条件下提取时，应用PCA算法提取的特征并不 像分别输入到对应的子网络中，进行权值的调整，完 适合作为分类的特征。 成网络模型的构建。对各个子区域分别进行识别得 人们利用深度神经网络进行人脸识别主要分为 出识别率作为各自的权重。 2类：1)利用深度神经网络特征提取后再应用其他 3)求取面部隶属度矩阵 分类器进行识别26：2)直接在深度神经网络增加 通过将测试集不同区域的采样块分别输入到对 分类层进行识别。汤晓鸥9]等利用卷积神经网 应的子网络中，取出个区域的相似度向量，并利用求 络进行人脸验证取得了良好的效果，在LFW人脸库 得的各个相似度向量组成相似度矩阵。 上的识别率已经达到99.15%：解决了人脸识别问题 4)加权求和得出识别结果。 中的二分类问题。 将相似度矩阵进行加权得出测试图像对应于每 为了解决传统人脸识别方法在复杂背景下和人 个类别的综合评分，评分最高的类别即作为最终的 脸多姿态条件下进行识别时，识别率不高的问题，本 识别结果。 文提出了一种特征加权融合人脸识别方法。本文的 1.3基本原理 主要贡献是通过将人脸面部进行区域划分提取得到 1.3.1主动形状模型 了人脸面部的局部特征，并结合整幅人脸的全局特 主动形状模型是由Cootes等B1]在1995年提出。 征进行相似度矩阵的求取，通过各部分的贡献度不 同进行加权得出最终判别结果，提出了基于相似度 该模型主要由全局形状模型和局部纹理模型构成。 矩阵加权的深度网络模型(deep learning and weigh- 1)全局形状模型 ted fusion,DLWF)人脸识别方法。 ASM利用点分布模型表示人脸形状S:,S:= [x1y1x2y2…x。yn](n为特征点数 1 基于相似度加权评分深度网络模型 目)，其中具有N个训练样本的训练集表示为2= 1.1问题描述 {S,S2,…,Sw}。 利用传统深度信念网络[11进行人脸识别， 将训练样本对齐完成后，采用主成分分析 输入的是整张人脸的像素级特征，忽略了人脸图 (PCA)方法建立形状模型，过程如下： 像局部结构特征，网络难以学习得到人脸局部特 ①计算对齐完成后训练样本平均形状： 征[]：在自然条件下，所获得的人脸图像通常受 (1) 到背景、光照等外界因素的影响，很难确定哪些 面部器官在识别过程中所起到的比重大，哪些器 ②计算形状向量的协方差矩阵： 官起的比重小，使得在实际研究过程中对相似度 c= ∑(s.-5)(s-5) (2) 加权的权值确定变得复杂。因此本文重点解决 提取人脸局部特征的深度学习模型及多特征加 ③对C进行特征分解，得到特征值入（入≥ 权识别方法权值确定2个问题。 入+1，入k≠0，k=1,2,…,2n)和特征向量P4o
研究热点。 人脸图像像素矩阵较大同时特征维数也 较高，进行识别难度较大，因此设计出高效的特征提 取器成为人脸识别的关键。 其中最典型方法为主成 分分析法（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ，ＰＣＡ） ［１］ ，其 思想首先，把一副图像按行或列拉直成一个高维列 向量，然后，求取整个训练样本集高维列向量的协方 差矩阵，求此协方差矩阵的特征向量和特征值得到 投影变换矩阵，最后，把人脸图像高维特征通过投影 变换矩阵映射到低维空间中，得到人脸的低维表示 特征；在人脸识别研究中，利用 ＰＣＡ 方法对高维特 征进行降维处理，获得了良好的效果，是最为成功的 线性鉴别分析方法之一。 但实际的应用中，ＰＣＡ 方 法进行线性鉴别分析通常会产生小样本问题（即样 本个数远小于特征维数）；被识别人脸图像是在非 限制条件下提取时，应用 ＰＣＡ 算法提取的特征并不 适合作为分类的特征。 人们利用深度神经网络进行人脸识别主要分为 ２ 类：１）利用深度神经网络特征提取后再应用其他 分类器进行识别［２⁃６］ ；２） 直接在深度神经网络增加 分类层进行识别［７⁃８］ 。 汤晓鸥［９］ 等利用卷积神经网 络进行人脸验证取得了良好的效果，在 ＬＦＷ 人脸库 上的识别率已经达到 ９９．１５％；解决了人脸识别问题 中的二分类问题。 为了解决传统人脸识别方法在复杂背景下和人 脸多姿态条件下进行识别时，识别率不高的问题，本 文提出了一种特征加权融合人脸识别方法。 本文的 主要贡献是通过将人脸面部进行区域划分提取得到 了人脸面部的局部特征，并结合整幅人脸的全局特 征进行相似度矩阵的求取，通过各部分的贡献度不 同进行加权得出最终判别结果，提出了基于相似度 矩阵加权的深度网络模型（ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｎｄ ｗｅｉｇｈ⁃ ｔｅｄ ｆｕｓｉｏｎ，ＤＬＷＦ ＋ ）人脸识别方法。 １ 基于相似度加权评分深度网络模型 １．１ 问题描述 利用传统深度信念网络［ １０⁃１１］ 进行人脸识别， 输入的是整张人脸的像素级特征，忽略了人脸图 像局部结构特征，网络难以学习得到人脸局部特 征［ １２］ ；在自然条件下，所获得的人脸图像通常受 到背景、光照等外界因素的影响，很难确定哪些 面部器官在识别过程中所起到的比重大，哪些器 官起的比重小，使得在实际研究过程中对相似度 加权的权值确定变得复杂。 因此本文重点解决 提取人脸局部特征的深度学习模型及多特征加 权识别方法权值确定 ２ 个问题。 １．２ 基本思想 为建立人脸面部局部特征深度学习模型，首先 利用人脸面部的主要特征点将人脸分成若干子区 域；然后将这些小的子区域和整幅人脸经归一化处 理，输入到对应的 ＤＢＮ 网络进行训练，得到各个子 区域和整幅人脸的相似度概率向量；最后将左眼、右 眼、鼻子、嘴、下巴等器官和整个面部的相似度向量 加权后进行分类。 ＤＬＷＦ ＋分为以下 ４ 个主要阶段： １）人脸面部区域划分 利用 ｈａａｒ 方法进行人脸检测，提取出人脸面部 主要区域，并根据人脸面部主要器官左眼、右眼、鼻 子、嘴巴、下巴等进行子区域的划分。 ２）网络模型的构建并确定权值 利用上一步求取得到的各个区域和整幅人脸图 像分别输入到对应的子网络中，进行权值的调整，完 成网络模型的构建。 对各个子区域分别进行识别得 出识别率作为各自的权重。 ３）求取面部隶属度矩阵 通过将测试集不同区域的采样块分别输入到对 应的子网络中，取出个区域的相似度向量，并利用求 得的各个相似度向量组成相似度矩阵。 ４）加权求和得出识别结果。 将相似度矩阵进行加权得出测试图像对应于每 个类别的综合评分，评分最高的类别即作为最终的 识别结果。 １．３ 基本原理 １．３．１ 主动形状模型 主动形状模型是由 Ｃｏｏｔｅｓ 等［１３⁃１５］在 １９９５ 年提出。 该模型主要由全局形状模型和局部纹理模型构成。 １）全局形状模型 ＡＳＭ 利用点分布模型表示人脸形状 Ｓｉ， Ｓｉ ＝ ［ｘ１ ｙ１ ｘ２ ｙ２ … ｘｎ ｙｎ ］ Ｔ （ ｎ 为 特 征 点 数 目），其中具有 Ｎ 个训练样本的训练集表示为 Ω ＝ ｛Ｓ１ ，Ｓ２ ，…，ＳＮ ｝。 将训练 样 本 对 齐 完 成 后， 采 用 主 成 分 分 析 （ＰＣＡ）方法建立形状模型，过程如下： ①计算对齐完成后训练样本平均形状： Ｓ ＿ ＝ １ Ｎ∑ ｎ ｉ ＝ １ Ｓｉ (１) ②计算形状向量的协方差矩阵： Ｃ ＝ １ Ｎ － １ ∑ Ｎ ｉ ＝ １ （Ｓｉ － Ｓ ＿ ）（Ｓｉ － Ｓ ＿ ） Ｔ (２) ③对 Ｃ 进行特征分解，得到特征值 λｋ（ λｋ ≥ λｋ＋１ ，λｋ≠０，ｋ ＝ １，２，…，２ｎ）和特征向量 Ｐｋ。 第 ６ 期 孙劲光，等：一种特征加权融合人脸识别方法 ·９１３·
·914. 智能系统学报 第10卷 ④提取前t个特征值[入，入2…入，]，令 如图1所示。 -≥ (3) 式中：7为所选特征占总特征比例，一般为95%~ 98%。求得特征向量P=[p1P2…p],最终求 得全局形状模型： S=S+Pb (4) 式中：b为主分量参数，控制前t个模式系数，且 b,取值： 图1人脸面部特征点 -3√八：≤b:≤3√八 (5) Fig.1 Facial feature points 全局形状模型的作用，在搜索更新过程中，通过改变 1.3.2深度信念网络(DBN) 形状参数，找到最佳的匹配模型，将形状变化约束在 DBN模拟人大脑的组织结构，由低级到高级地 模型允许范围内。 提取数据的抽象特征I6。DBN由多个RBM堆叠 2)局部纹理模型 而成，RBM被当做是一个动力学系统在给定一组状 局部纹理模型构建过程如下： 态(v,h)下的能量定义为 ①以第i个样本第j个标定点为中心，与相邻2 点连线垂直方向一定长度范围（也称Profile邻域）， E(m,h/0)=-】 内外各取k个点的灰度值作为该点灰度信息： (12) 8=[8.1g.2…8i.2k+1门 (6) 式中：n,n分别为可见层和隐含层中神经元数目。 ②求g,梯度dg: ,为可见层第i个神经元状态，h为隐含层第j个神 dg可=[g.2-g,1…g,2站+1-g.24] (7) 经元状态，α：为可见层中第i个神经元偏置，b为隐 对dg归一化处理得 含层第j个神经元偏置，w,为可见层第i个神经元 G= dg可 (8) 与隐含层第j广个神经元之间连接权重，0表示需要训 2k |dgl 练调整模型参数0={a,b,w。 用向量形式表示为 式中：dg.1=8.(41)-8,1。 E(v,h/0)=-a"v-b"h -h"wv (13) 对训练样本集所有图像的第j个特征点进行相 同操作，求得第j个特征点的N个局部纹理G,G, 当给定模型参数0={a,b,w}时，利用式(12) 定义的能量函数，可以求出可视层v和隐含层h联 …,Gy° 合概率分布： ③得到标记点j对应的平均纹理G,和协方差矩 阵C。,即为该点的局部纹理模型。 p(,h/0)=ew0 14) (9) Z。=∑eo (15) c.h c*片26，-G6,-6 式中：Z(0)为归一化因子。 (10) 当给定可视层节点时，隐含层节点h:为0或1 局部纹理模型作用是在搜索过程中，确定每个 的条件概率分布为 特征点最佳候选点。其中，马氏距离d(G';)最小的 p(h=1/w)=o(a,+∑0g:) (16) 点，就是该特征点的最佳候选点。 p(h:=0/m)=1-p(h=1/m) (17) d(G)=(G,-G)'CG(G,-G)(11) 当给定隐含层节点时，可视层节点：为0或1 式中：G'是在j点附近采样得到，经过归一化处理 的条件概率分布为 纹理向量。 p(u:=1/h)=(6,+∑0gh) (18) 利用上述模型方法提取到的77个面部特征点
④提取前 ｔ 个特征值［λ１ λ２ … λｔ］，令 ∑ ｔ ｉ ＝ １ λｉ ∑ ２ｎ ｉ ＝ １ λｉ ≥ η (３) 式中：η 为所选特征占总特征比例，一般为 ９５％ ～ ９８％。 求得特征向量 Ｐ ＝ ［ｐ１ ｐ２ … ｐｔ］，最终求 得全局形状模型： Ｓ ＝ Ｓ ＿ ＋ Ｐｂ (４) 式中：ｂ 为主分量参数，控制前 ｔ 个模式系数，且 ｂｉ取值： － ３ λｉ ≤ ｂｉ ≤ ３ λｉ (５) 全局形状模型的作用，在搜索更新过程中，通过改变 形状参数，找到最佳的匹配模型，将形状变化约束在 模型允许范围内。 ２）局部纹理模型 局部纹理模型构建过程如下： ①以第 ｉ 个样本第 ｊ 个标定点为中心，与相邻 ２ 点连线垂直方向一定长度范围（也称 Ｐｒｏｆｉｌｅ 邻域）， 内外各取 ｋ 个点的灰度值作为该点灰度信息： ｇｉｊ ＝ ［ｇｉｊ，１ ｇｉｊ，２ … ｇｉｊ，２ｋ＋１ ］ (６) ②求 ｇｉｊ梯度 ｄｇｉｊ： ｄｇｉｊ ＝ ［ｇｉｊ，２ － ｇｉｊ，１ … ｇｉｊ，２ｋ＋１ － ｇｉｊ，２ｋ］ (７) 对 ｄｇｉｊ归一化处理得 Ｇｉｊ ＝ １ ∑ ２ｋ ｌ ＝ １ ｜ ｄｇｉｊ，ｌ ｜ ｄｇｉｊ (８) 式中： ｄｇｉｊ，ｌ ＝ ｇｉｊ，（ｌ＋１） － ｇｉｊ，ｌ 。 对训练样本集所有图像的第 ｊ 个特征点进行相 同操作，求得第 ｊ 个特征点的 Ｎ 个局部纹理 Ｇ１ｊ，Ｇ２ｊ， …，ＧＮｊ。 ③得到标记点 ｊ 对应的平均纹理 Ｇｊ和协方差矩 阵 Ｃｇｊ，即为该点的局部纹理模型。 Ｇ ＿ ｊ ＝ １ Ｎ∑ Ｎ ｉ ＝ １ Ｇｉｊ (９) Ｃｇｊ ＝ １ Ｎ ∑ Ｎ ｉ ＝ １ （Ｇｉｊ － Ｇｊ ＿ ）（Ｇｉｊ － Ｇｊ ＿ ） Ｔ (１０) 局部纹理模型作用是在搜索过程中，确定每个 特征点最佳候选点。 其中，马氏距离 ｄ（Ｇ′ｊ）最小的 点，就是该特征点的最佳候选点。 ｄ（Ｇ′ｊ） ＝ （Ｇ′ｊ － Ｇｊ ＿ ） ＴＣ －１ Ｇｊ （Ｇ′ｊ － Ｇｊ ＿ ） (１１) 式中：Ｇ′ｉｊ是在 ｊ 点附近采样得到，经过归一化处理 纹理向量。 利用上述模型方法提取到的 ７７ 个面部特征点 如图 １ 所示。 图 １ 人脸面部特征点 Ｆｉｇ．１ Ｆａｃｉａｌ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ １．３．２ 深度信念网络（ＤＢＮ） ＤＢＮ 模拟人大脑的组织结构，由低级到高级地 提取数据的抽象特征［１６］ 。 ＤＢＮ 由多个 ＲＢＭ 堆叠 而成，ＲＢＭ 被当做是一个动力学系统在给定一组状 态（ｖ，ｈ）下的能量定义为 Ｅ（ｖ，ｈ ／ θ） ＝ － ∑ ｎｖ ｉ ＝ １ ａｉ ｖｉ － ∑ ｎｈ ｊ ＝ １ ｂｊｈｊ － ∑ ｎｖ ｉ ＝ １ ∑ ｎｈ ｊ ＝ １ ｈｊｗｉ，ｊ ｖｉ (１２) 式中：ｎｖ、ｎｋ分别为可见层和隐含层中神经元数目。 ｖｉ为可见层第 ｉ 个神经元状态，ｈｊ为隐含层第 ｊ 个神 经元状态，ａｉ为可见层中第 ｉ 个神经元偏置，ｂｊ为隐 含层第 ｊ 个神经元偏置，ωｉ，ｊ为可见层第 ｉ 个神经元 与隐含层第 ｊ 个神经元之间连接权重，θ 表示需要训 练调整模型参数 θ＝ ｛ａ，ｂ，ｗ｝。 用向量形式表示为 Ｅ（ｖ，ｈ ／ θ） ＝ － ａ Ｔ ｖ － ｂ Ｔ ｈ － ｈ Ｔｗｖ (１３) 当给定模型参数 θ ＝ ｛ ａ，ｂ，ｗ｝时，利用式（１２） 定义的能量函数，可以求出可视层 ｖ 和隐含层 ｈ 联 合概率分布： ｐ（ｖ，ｈ ／ θ） ＝ １ Ｚθ ｅ －Ｅ（ｖ，ｈ／ θ） (１４) Ｚθ ＝ ∑ｖ，ｈ ｅ －Ｅ（ｖ，ｈ／ θ） (１５) 式中：Ｚ（θ）为归一化因子。 当给定可视层节点时，隐含层节点 ｈｉ为 ０ 或 １ 的条件概率分布为 ｐ（ｈｉ ＝ １ ／ ｖ） ＝ σ（ａｉ ＋ ∑ｉ ｗｉｊ ｖｉ） (１６) ｐ（ｈｉ ＝ ０ ／ ｖ） ＝ １ － ｐ（ｈｊ ＝ １ ／ ｖ） (１７) 当给定隐含层节点时，可视层节点 ｖｉ 为 ０ 或 １ 的条件概率分布为 ｐ（ｖｉ ＝ １ ／ ｈ） ＝ σ（ｂｊ ＋ ∑ ｊ ｗｉｊｈｊ） (１８) ·９１４· 智 能 系 统 学 报 第 １０ 卷
第6期 孙劲光，等：一种特征加权融合人脸识别方法 915· p(:=0/h)=1-p(:=1/h) (19) J(0)=- e 第k和k+1层隐含单元满足： p(h因Ih+)=Πp(h)I+)) (20) (24) p(h=11h+)=(b+∑Wh+) 式中：1{·}表示指示函数，花括号中表达式为真， (21) 那么函数值为1，否则函数值为0。加号后面部分为 式中：w(x)=1/(1+e),b,为第k层的偏置，W) 了防止模型过拟合所加的权衰减项。其中，入为模 为第k和k+1层之间权值，在DBN中将(h-),hD) 型参数，在实验部分确定。分析可知无法直接求取 看作为为一个RBM模型。结构如图2。 可以使J(0)最小的0的解析解，通过迭代优化算法 输出数据 标准标注信息 求解。计算代价函数梯度公式为 (●】 ●) RBM 反向传播 ,89= V ●● H p(y0=jlx0:0))]+A0 (25) RBM 微调 1.4本文研究方法(DLFW) 7 ●● 。。。DH 本文研究重点内容如下： RBM 微调 1)面部区域划分 利用主动形状模型确定人脸面部主要特征点，对 输入数据) 于每张人脸面部图像能得到一个特征点位置向量： 图2DBN结构模型 x2=（x,0,y.0,x,1y,1,…,x,a-1).(a-1） ①左眼子区域划分 Fig.2 DBN structure model 左眼区域采样框确定，根据左眼眼角确定采样 1.3.3 Softmax回归 框长，眉毛轮廓线最高点与眼晴轮廓线最低点确定 Softmax回归将只能够解决二分类问题的Logis- 采样框宽。为了获取左眼区域更多细节特征，长和 tic回归扩展至能够解决多分类问题。 宽同时向外延伸L个像素。左眼区域长宽计算公 假定Softmax回归模型训练样本来自k个不同 式如下： 的类别，共有m个，那么这m个训练样本组成的训 Wleye=-+Lleye (27) 练样本集为{(x0,y9),…,(x,ym)},则So hleve =y36-yn Llere (28) mar回归的假设函数为 式中：0为左眼区域宽，h为左眼区域长，I为 「p(yo=1xo;0)1 从原始图像矩阵I上截取的左眼区域矩阵。 ho(x())= p(y0=2x0:0) ②右眼子区域划分 右眼区域采样框确定，根据右眼眼角确定采样框 Lp(yo=kx⊙：0) 长，眉毛轮廓线最高点及眼晴轮廓线最低，点确定采样 「e7 框宽。为获取右眼区域更多细节特征，长和宽同时向 e( 外延伸L个像素。此区域长宽计算公式为 (22) ∑e( W reye=Lme (29) j= Le) hrye =y46-y2+L (30) 式中：假设向量h,(x))的每个元素p(y0=jlx; 式中：w为右眼区域宽，h为右眼区域长。 0)表示样本x0属于类别j的概率。0,02，…，0为 ③鼻子子区域划分 鼻子区域采样框确定，根据鼻子轮廓线最低点 模型参数，其中0，∈R1,将这些向量写成矩阵： 及眉毛轮廓线最前端特征点确定鼻子区域采样框 -01 长。根据鼻子轮廓线最左边特征点及最右边特征点 (23) 确定采样框的宽。长和宽同时向外延伸L个像 素。鼻子区域长宽计算公式如下： 则模型代价函数定义： W nose =xs4 -x58 Lnose (31)
ｐ（ｖｉ ＝ ０ ／ ｈ） ＝ １ － ｐ（ｖｉ ＝ １ ／ ｈ） (１９) 第 ｋ 和 ｋ＋１ 层隐含单元满足： ｐ（ｈ （ｋ） ｜ ｈ （ｋ＋１） ＝ Π ｉ ｐ（ｈ （ｋ） ｉ ｜ ｈ （ｋ＋１） ） (２０) ｐ（ｈ （ｋ） ｉ ＝ １ ｜ ｈ （ｋ＋１） ） ＝ σ（ｂ （ｋ） ｉ ＋ ∑ ｊ Ｗ （ｋ） ｉｊ ｈ （ｋ＋１） ｊ ） (２１) 式中：σ（ｘ）＝ １／ （１＋ｅ －ｘ ），ｂｉ （ｋ） 为第 ｋ 层的偏置，Ｗｉｊ （ｋ ） 为第 ｋ 和 ｋ＋１ 层之间权值，在 ＤＢＮ 中将ｐ（ｈ （ｌ－１） ，ｈ （ｌ） ） 看作为为一个 ＲＢＭ 模型。 结构如图 ２。 图 ２ ＤＢＮ 结构模型 Ｆｉｇ．２ ＤＢＮ ｓｔｒｕｃｔｕｒｅ ｍｏｄｅｌ １．３．３ Ｓｏｆｔｍａｘ 回归 Ｓｏｆｔｍａｘ 回归将只能够解决二分类问题的 Ｌｏｇｉｓ⁃ ｔｉｃ 回归扩展至能够解决多分类问题。 假定 Ｓｏｆｔｍａｘ 回归模型训练样本来自 ｋ 个不同 的类别，共有 ｍ 个，那么这 ｍ 个训练样本组成的训 练样本集为｛（ｘ （１） ，ｙ （１） ），…，（ ｘ （ｍ） ，ｙ （ｍ） ）｝，则 Ｓｏｆｔ⁃ ｍａｘ 回归的假设函数为 ｈθ（ｘ （ｉ） ） ＝ ｐ（ｙ （ｉ） ＝ １ ｘ （ｉ） ；θ） ｐ（ｙ （ｉ） ＝ ２ ｘ （ｉ） ；θ） ︙ ｐ（ｙ （ｉ） ＝ ｋ ｘ （ｉ） ；θ） é ë ê ê ê ê ê ù û ú ú ú ú ú ＝ １ ∑ ｋ ｊ ＝ １ ｅ ϑＴ ｊ ｘ（ｉ） ｅ ϑＴ １ ｘ（ｉ） ｅ ϑＴ ２ ｘ（ｉ） ︙ ｅ ϑＴ ｋ ｘ（ｉ） é ë ê ê ê ê êê ù û ú ú ú ú úú (２２) 式中：假设向量 ｈθ（ｘ （ｉ） ）的每个元素 ｐ（ ｙ （ｉ） ＝ ｊ ｜ ｘ （ｉ） ； θ）表示样本 ｘ （ｉ）属于类别 ｊ 的概率。 θ１ ， θ２ ，…，θｋ为 模型参数，其中 θｉ∈Ｒ ｎ＋１ ，将这些向量写成矩阵： θ ＝ － θ Ｔ １ － － θ Ｔ ２ － － θ Ｔ ３ － é ë ê ê ê ê ù û ú ú ú ú (２３) 则模型代价函数定义： Ｊ（θ） ＝ － １ ｍ ［∑ ｍ ｉ ＝ １ ∑ ｋ ｊ ＝ １ １｛ｙ （ｉ） ＝ ｊ｝ｌｏｇ ｅ θＴ ｊ ｘ （ｉ） Σ ｋ ｌ ＝ １ ｅ θＴ ｌ ｘ （ｉ） ］ ＋ λ ２ ∑ ｋ ｉ ＝ １ ∑ ｎ ｊ ＝ ０ θ ２ ｉｊ (２４) 式中：１｛ ·｝表示指示函数，花括号中表达式为真， 那么函数值为 １，否则函数值为 ０。 加号后面部分为 了防止模型过拟合所加的权衰减项。 其中， λ 为模 型参数，在实验部分确定。 分析可知无法直接求取 可以使 Ｊ（θ） 最小的 θ 的解析解，通过迭代优化算法 求解。 计算代价函数梯度公式为 Ñθｊ ＝ － １ ｍ∑ ｍ ｉ ＝ １ ［ｘ （ｉ） （１｛ｙ （ｉ） ＝ ｊ｝ － ｐ（ｙ （ｉ） ＝ ｊ ｜ ｘ （ｉ） ；θ））］ ＋ λθｊ (２５) １．４ 本文研究方法（ＤＬＦＷ ＋ ） 本文研究重点内容如下： １）面部区域划分 利用主动形状模型确定人脸面部主要特征点，对 于每张人脸面部图像能得到一个特征点位置向量： ｘｉ ＝ （ｘｉ，０ ，ｙｉ，０ ，ｘｉ，１ ，ｙｉ，１ ，…，ｘｉ，（ｎ－１） ，ｙｉ，（ｎ－１） ） ①左眼子区域划分 左眼区域采样框确定，根据左眼眼角确定采样 框长，眉毛轮廓线最高点与眼睛轮廓线最低点确定 采样框宽。 为了获取左眼区域更多细节特征，长和 宽同时向外延伸 Ｌｌｅｙｅ个像素。 左眼区域长宽计算公 式如下： ｗｌｅｙｅ ＝ ｘ３０ － ｘ３４ ＋ Ｌｌｅｙｅ (２７) ｈｌｅｙｅ ＝ ｙ３６ － ｙ１７ ＋ Ｌｌｅｙｅ (２８) 式中：ｗｌｅｙｅ为左眼区域宽，ｈｌｅｙｅ为左眼区域长，Ｉｌｅｙｅ 为 从原始图像矩阵 Ｉ 上截取的左眼区域矩阵。 ②右眼子区域划分 右眼区域采样框确定，根据右眼眼角确定采样框 长，眉毛轮廓线最高点及眼睛轮廓线最低点确定采样 框宽。 为获取右眼区域更多细节特征，长和宽同时向 外延伸 Ｌｒｅｙｅ个像素。 此区域长宽计算公式为 ｗｒｅｙｅ ＝ ｘ４４ － ｘ４０ ＋ Ｌｒｅｙｅ (２９) ｈｒｅｙｅ ＝ ｙ４６ － ｙ２４ ＋ Ｌｒｅｙｅ (３０) 式中：ｗｒｅｙｅ为右眼区域宽，ｈｒｅｙｅ为右眼区域长。 ③鼻子子区域划分 鼻子区域采样框确定，根据鼻子轮廓线最低点 及眉毛轮廓线最前端特征点确定鼻子区域采样框 长。 根据鼻子轮廓线最左边特征点及最右边特征点 确定采样框的宽。 长和宽同时向外延伸 Ｌｎｏｓｅ 个像 素。 鼻子区域长宽计算公式如下： ｗｎｏｓｅ ＝ ｘ５４ － ｘ５８ ＋ Ｌｎｏｓｅ (３１) 第 ６ 期 孙劲光，等：一种特征加权融合人脸识别方法 ·９１５·
·916· 智能系统学报 第10卷 h aose =ys6 -y22 +Lmowe (32) 样本隶属相似度向量生成 式中：W鼻子区域宽，h为鼻子区域长。 ④嘴子区域划分 softmax 嘴部区域采样框确定，根据嘴部特征点的左右 嘴角确定采样框长。根据嘴部轮廓最上面特征点及 RBM 最下面特征点位置确定采样框宽。并且长和宽同时 RBM 向外延伸L个像素。嘴部区域长宽计算公式为： b∈R t0 mouth=mouth (33) W∈R RBM hmouth =y4-62 Lmouth (34) a∈R" 式中：wmuh为嘴部区域宽，hh为嘴部区域长。 图4子区域网络结构 ⑤下巴子区域划分 Fig.4 Sub region network structure 下巴区域采样框确定，根据与嘴角连线平齐的 表1不同区域网络结点数 下巴轮廓线上2个特征点确定下巴采样框长，根据 Tablel Different area network node number 这2个特征点及下巴轮廓线最低点确定下巴采样框 宽。长和宽同时向外延伸L个像素。下巴区域长 结点数目左眼右眼 鼻子嘴巴下巴人脸 宽计算公式如下： 输人层”X机neX0×”a×超×用大 Wehin=x-x3+Lchin (35) hae h oouth hdin htee hchin =y6-y14 Lchin (36) 隐含层11 e×Boe×Bn×Bh×Bin×βie× 式中：whn为下巴区域宽，hhn为下巴区域长。 L L 将一个m×n的图像矩阵I按上述长宽截取5 隐含层2民XE×民×民×民×B院× 个子区域并和整幅人脸图像组成训练集即 2 L22 (leye,Inove,Imouth Ichin II (37) 隐含层3民×民×民×R×R风x民× 式中：Lee,Le,lc,Ih,ldin表示截取得到的5个 子区域像素矩阵，l表示整幅人脸图像像素矩阵。 其中，B为各层神经元的缩放系数，用来决定特 应用双线性内插法将上述区域归一化到固定大 征的降维尺度，同时也决定了特征损耗的多少。 小，经过上述步骤截取得到的5个不同区域的采样 为第i层的神经元个数。 块与整幅人脸图像一起构成了网络的训练样本集， 输出层神经元个数为将要识别的类别数。 如图3所示。 将提取得到的5个区域采样块及整个人脸分别 输入到对应的DBN网络，经过自下而上逐层提取得 到更抽象特征，输出层利用Softmax分类器求取各 区域特征属于各类别的隶属度。求得的隶属度向量 为P(PP…P。)T。将各区域求出的隶 属度向量进行组合便得到隶属度矩阵P。 P1.1P1,2P1.3P1,4P1,5P1,6 P2.1P2,2P2.3P2,4P2.5P2,6 P= (38) 图3子区域划分 Fig.3 Sub region division Pn.1 Pn.2 Pn,3 Pn.4 Pa.s Pn.6 2)构造区域网络模型 式中：6列代表6个区域，行数n代表n个类别。 由于截取得到的人脸面部5个子区域及整幅人 3)隶属度加权融合方法 脸图像大小不同，因此输人层结点个数也不相同，需 利用在上一步骤中构建的DBN网络，求出各区 要分别为5个人脸面部区域及整幅人脸图像构建相 域的正确识别率，识别率越高说明进行人脸识别时 应的DBN网络，网络结构如图4所示。 此区域起到的作用越大，识别率越低说明此区域起 隶属度求取网络是一个5层DBN网络，由1个 到的作用越小。将此识别率作为各区域权值系数确 输入层、1个输出层和3个隐含层构成。如表1所示。 定依据。具体计算公式为
ｈｎｏｓｅ ＝ ｙ５６ － ｙ２２ ＋ Ｌｎｏｓｅ (３２) 式中：ｗｎｏｓｅ鼻子区域宽，ｈｎｏｓｅ为鼻子区域长。 ④嘴子区域划分 嘴部区域采样框确定，根据嘴部特征点的左右 嘴角确定采样框长。 根据嘴部轮廓最上面特征点及 最下面特征点位置确定采样框宽。 并且长和宽同时 向外延伸 Ｌｍｏｕｔｈ个像素。 嘴部区域长宽计算公式为： ｗｍｏｕｔｈ ＝ ｘ６５ － ｘ５９ ＋ Ｌｍｏｕｔｈ (３３) ｈｍｏｕｔｈ ＝ ｙ７４ － ｙ６２ ＋ Ｌｍｏｕｔｈ (３４) 式中：ｗｍｏｕｔｈ为嘴部区域宽，ｈｍｏｕｔｈ为嘴部区域长。 ⑤下巴子区域划分 下巴区域采样框确定，根据与嘴角连线平齐的 下巴轮廓线上 ２ 个特征点确定下巴采样框长，根据 这 ２ 个特征点及下巴轮廓线最低点确定下巴采样框 宽。 长和宽同时向外延伸 Ｌｃｈｉｎ个像素。 下巴区域长 宽计算公式如下： ｗｃｈｉｎ ＝ ｘ９ － ｘ３ ＋ Ｌｃｈｉｎ (３５) ｈｃｈｉｎ ＝ ｙ６ － ｙ７４ ＋ Ｌｃｈｉｎ (３６) 式中：ｗｃｈｉｎ为下巴区域宽，ｈｃｈｉｎ为下巴区域长。 将一个 ｍ×ｎ 的图像矩阵 Ｉ 按上述长宽截取 ５ 个子区域并和整幅人脸图像组成训练集即 Ｉｌｅｙｅ，Ｉｒｅｙｅ，Ｉｎｏｓｅ，Ｉｍｏｕｔｈ ，Ｉｃｈｉｎ ，Ｉｆａｃｅ { } ∈ Ｉ (３７) 式中：Ｉｌｅｙｅ，Ｉｒｅｙｅ，Ｉｎｏｓｅ，Ｉｍｏｕｔｈ ，Ｉｃｈｉｎ表示截取得到的 ５ 个 子区域像素矩阵，Ｉｆａｃｅ表示整幅人脸图像像素矩阵。 应用双线性内插法将上述区域归一化到固定大 小，经过上述步骤截取得到的 ５ 个不同区域的采样 块与整幅人脸图像一起构成了网络的训练样本集， 如图 ３ 所示。 图 ３ 子区域划分 Ｆｉｇ．３ Ｓｕｂ ｒｅｇｉｏｎ ｄｉｖｉｓｉｏｎ ２）构造区域网络模型 由于截取得到的人脸面部 ５ 个子区域及整幅人 脸图像大小不同，因此输入层结点个数也不相同，需 要分别为 ５ 个人脸面部区域及整幅人脸图像构建相 应的 ＤＢＮ 网络，网络结构如图 ４ 所示。 隶属度求取网络是一个 ５ 层 ＤＢＮ 网络，由 １ 个 输入层、１ 个输出层和 ３ 个隐含层构成。 如表 １ 所示。 图 ４ 子区域网络结构 Ｆｉｇ．４ Ｓｕｂ ｒｅｇｉｏｎ ｎｅｔｗｏｒｋ ｓｔｒｕｃｔｕｒｅ 表 １ 不同区域网络结点数 Ｔａｂｌｅ１ Ｄｉｆｆｅｒｅｎｔ ａｒｅａ ｎｅｔｗｏｒｋ ｎｏｄｅ ｎｕｍｂｅｒ 结点数目 左眼 右眼 鼻子 嘴巴 下巴 人脸 输入层 ｗｌｅｙｅ × ｈｌｅｙｅ ｗｒｅｙｅ × ｈｒｅｙｅ ｗｎｏｓｅ × ｈｎｏｓｅ ｗｍｏｕｔｈ × ｈｍｏｕｔｈ ｗｃｈｉｎ × ｈｃｈｉｎ Ｗｆａｃｅ × ｈｆａｃｅ 隐含层 １ β １ ｌｅｙｅ × Ｌ １ β １ ｒ ｅｙｅ × Ｌ １ β １ ｎｏｓｅ × Ｌ １ β １ ｍｏｕｔｈ × Ｌ １ β １ ｃｈｉｎ × Ｌ １ β １ ｆａｃｅ × Ｌ １ 隐含层 ２ β ２ ｌｅｙｅ × Ｌ ２ β ２ ｒ ｅｙｅ × Ｌ ２ β ２ ｎｏｓｅ × Ｌ ２ β ２ ｍｏｕｔｈ × Ｌ ２ β ２ ｃｈｉｎ × Ｌ ２ β ２ ｆａｃｅ × Ｌ ２ 隐含层 ３ β ３ ｌｅｙｅ × Ｌ ３ β ３ ｒ ｅｙｅ × Ｌ ３ β ３ ｎｏｓｅ × Ｌ ３ β ３ ｍｏｕｔｈ × Ｌ ３ β ３ ｃｈｉｎ × Ｌ ３ β ３ ｆａｃｅ × Ｌ ３ 其中，β 为各层神经元的缩放系数，用来决定特 征的降维尺度，同时也决定了特征损耗的多少。 Ｌ ｉ 为第 ｉ 层的神经元个数。 输出层神经元个数为将要识别的类别数。 将提取得到的 ５ 个区域采样块及整个人脸分别 输入到对应的 ＤＢＮ 网络，经过自下而上逐层提取得 到更抽象特征，输出层利用 Ｓｏｆｔｍａｘ 分类器求取各 区域特征属于各类别的隶属度。 求得的隶属度向量 为 Ｐｉ（Ｐ１，ｉ Ｐ２，ｉ … Ｐｎ，ｉ ） Ｔ 。 将各区域求出的隶 属度向量进行组合便得到隶属度矩阵 Ｐ。 Ｐ ＝ ｐ１，１ ｐ１，２ ｐ１，３ ｐ１，４ ｐ１，５ ｐ１，６ ｐ２，１ ｐ２，２ ｐ２，３ ｐ２，４ ｐ２，５ ｐ２，６ ︙ ︙ ︙ ︙ ︙ ︙ ｐｎ，１ ｐｎ，２ ｐｎ，３ ｐｎ，４ ｐｎ，５ ｐｎ，６ é ë ê ê ê ê ê ù û ú ú ú ú ú (３８) 式中：６ 列代表 ６ 个区域，行数 ｎ 代表 ｎ 个类别。 ３）隶属度加权融合方法 利用在上一步骤中构建的 ＤＢＮ 网络，求出各区 域的正确识别率，识别率越高说明进行人脸识别时 此区域起到的作用越大，识别率越低说明此区域起 到的作用越小。 将此识别率作为各区域权值系数确 定依据。 具体计算公式为 ·９１６· 智 能 系 统 学 报 第 １０ 卷