基于模糊保险箱的人脸-人耳融合模板保护

工程科学学报，第37卷，第9期：1225-1229,2015年9月 Chinese Journal of Engineering,Vol.37,No.9:1225-1229,September 2015 D0l:10.13374/j.issn2095-9389.2015.09.017:http://journals.ustb.edu.cn 基于模糊保险箱的人脸一人耳融合模板保护 袁立四，李文明 北京科技大学自动化学院，北京100083 ☒通信作者，Emai:lyuan@usth.eu.cn 摘要鉴于人脸与人耳两种生物特征在图像获取上的相似性以及生理位置上的互补性，提出一种人脸一人耳多模态融合模 板保护方法，将两者在特征层进行融合，然后利用模糊保险箱算法对融合模板进行保护.该方案基本流程分为五部分：图像 预处理、Gabor-PCA特征提取、特征融合、融合模板加密以及融合模板解密.在由ORL人脸库和USTB人耳库3构成的人脸- 人耳多模态图像库上的认证实验结果表明所提模板防护方法的有效性，且基于融合模板保护的认证结果比基于单模板保护 的认证结果在识别率和误识率上均有所优化. 关键词生物特征模板保护：模式识别：特征提取：信息融合：模糊保险箱 分类号TP391.4 Face and ear fusion template protection based on fuzzy vaults YUAN Li,LI Wen-ming School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China Corresponding author,E-mail:lyuan@ustb.edu.cn ABSTRACT Due to biological characteristic similarity in image acquisition and physiological complementarity of the face and the ear,a face and ear multimodal fusion template protection method was proposed,in which the face and the ear were combined in the feature level and then a fuzzy vault was utilized to protect the fusion feature template.The basic flow of the scheme was divided into 5 parts:image preprocessing,Gabor-PCA feature extraction,feature fusion,fusion template encryption,and fusion template decryp- tion.On the multimodal image dataset consisted of the ORL face dataset and the USTB ear dataset 3,authentication experimental re- sults show the effectiveness of the proposed fusion template protection method.Also the fusion template protection method outperforms the unimodal template protection method on both genuine accept rate and false accept rate. KEY WORDS biometric template protection:pattern recognition;feature extraction:information fusion:fuzzy vaults 随着网络技术和信息技术的不断发展，电子商务、 合密钥和生物特征对用户进行验证.基于密钥的方法 政务和网上办公等越来越多的领域需要可靠的身份识 主要有密钥释放、密钥绑定和密钥生成.密钥释放的 别.生物特征识别技术在身份认证中的应用逐渐增 方法是将密钥和生物特征简单的叠加在一起，存储为 多，但是也暴露出其本身所固有的一些安全性和隐私 加密的生物特征模板：密钥绑定是将生物特征模板和 性方面的缺陷.因此，对生物特征模板的保护有了更 密钥按照一定的方法结合起来，只有当生物特征匹配 高的要求，并成为生物特征识别领域的一个研究热点. 成功时，密钥才能提取出来：密钥生成是从生物特征中 生物特征模板保护可分为两类▣：基于变换的方法和 提取出一个密钥，而不是从外部输入.模糊保险箱 基于密钥的方法.前者包括双因子认证和不可逆变 (fuzzy vault)☒算法是密钥绑定中比较经典的算法，分 换，该方法是通过变换，将生物特征模板转换成随机模 为加密和解密两个步骤Ba.在加密阶段，将注册生 板，然后使用随机模板进行验证：后者使用的方法是结 物特征模板与密钥结合，生成保险箱：在解密阶段，使 收稿日期：20140603

工程科学学报，第 37 卷，第 9 期: 1225--1229，2015 年 9 月 Chinese Journal of Engineering，Vol． 37，No． 9: 1225--1229，September 2015 DOI: 10． 13374 /j． issn2095--9389． 2015． 09． 017; http: / /journals． ustb． edu． cn 基于模糊保险箱的人脸--人耳融合模板保护 袁 立，李文明 北京科技大学自动化学院，北京 100083  通信作者，E-mail: lyuan@ ustb． edu． cn 摘 要 鉴于人脸与人耳两种生物特征在图像获取上的相似性以及生理位置上的互补性，提出一种人脸--人耳多模态融合模 板保护方法，将两者在特征层进行融合，然后利用模糊保险箱算法对融合模板进行保护． 该方案基本流程分为五部分: 图像 预处理、Gabor--PCA 特征提取、特征融合、融合模板加密以及融合模板解密． 在由 OＲL 人脸库和 USTB 人耳库 3 构成的人脸-- 人耳多模态图像库上的认证实验结果表明所提模板防护方法的有效性，且基于融合模板保护的认证结果比基于单模板保护 的认证结果在识别率和误识率上均有所优化． 关键词 生物特征模板保护; 模式识别; 特征提取; 信息融合; 模糊保险箱 分类号 TP391. 4 Face and ear fusion template protection based on fuzzy vaults YUAN Li  ，LI Wen-ming School of Automation and Electrical Engineering，University of Science and Technology Beijing，Beijing 100083，China  Corresponding author，E-mail: lyuan@ ustb． edu． cn ABSTＲACT Due to biological characteristic similarity in image acquisition and physiological complementarity of the face and the ear，a face and ear multimodal fusion template protection method was proposed，in which the face and the ear were combined in the feature level and then a fuzzy vault was utilized to protect the fusion feature template． The basic flow of the scheme was divided into 5 parts: image preprocessing，Gabor--PCA feature extraction，feature fusion，fusion template encryption，and fusion template decryp￾tion． On the multimodal image dataset consisted of the OＲL face dataset and the USTB ear dataset 3，authentication experimental re￾sults show the effectiveness of the proposed fusion template protection method． Also the fusion template protection method outperforms the unimodal template protection method on both genuine accept rate and false accept rate． KEY WOＲDS biometric template protection; pattern recognition; feature extraction; information fusion; fuzzy vaults 收稿日期: 2014--06--03 随着网络技术和信息技术的不断发展，电子商务、 政务和网上办公等越来越多的领域需要可靠的身份识 别． 生物特征识别技术在身份认证中的应用逐渐增 多，但是也暴露出其本身所固有的一些安全性和隐私 性方面的缺陷． 因此，对生物特征模板的保护有了更 高的要求，并成为生物特征识别领域的一个研究热点． 生物特征模板保护可分为两类［1］: 基于变换的方法和 基于密钥的方法． 前者包括双因子认证和不可逆变 换，该方法是通过变换，将生物特征模板转换成随机模 板，然后使用随机模板进行验证; 后者使用的方法是结 合密钥和生物特征对用户进行验证． 基于密钥的方法 主要有密钥释放、密钥绑定和密钥生成． 密钥释放的 方法是将密钥和生物特征简单的叠加在一起，存储为 加密的生物特征模板; 密钥绑定是将生物特征模板和 密钥按照一定的方法结合起来，只有当生物特征匹配 成功时，密钥才能提取出来; 密钥生成是从生物特征中 提取出一个密钥，而不是从外部输入． 模糊保 险 箱 ( fuzzy vault) ［2］算法是密钥绑定中比较经典的算法，分 为加密和解密两个步骤［3 － 6］． 在加密阶段，将注册生 物特征模板与密钥结合，生成保险箱; 在解密阶段，使

·1226· 工程科学学报，第37卷，第9期 用待认证生物特征模板来提取密钥，如果与已注册的 两个阶段.在注册阶段，首先利用Gabor滤波器分别 生物特征模板一致，则会得到正确的密钥，从而实现 对人脸和人耳注册图像进行Gabor变换，然后利用主 认证. 元分析法对Gabor特征进行降维，由于人脸和人耳特 为了保持人脸认证所具有的非打扰式的特点，并 征模板是同质的，所以可以将两者进行特征层融合，生 鉴于人脸与人耳两种生物特征在图像获取上的相似性 成融合特征模板.接下来，利用模糊保险箱算法对融 以及生理位置上互补性仞，将人脸与人耳生物特征相 合模板进行加密，并将结果存储在保险箱V中.在认 结合进行身份认证，在一定程度上解决人脸认证中受 证阶段，将待认证的人脸图像和人耳图像经过Gabor 姿态、年龄、表情等因素的影响.在认证过程中，利用 变换和主元分析特征提取后进行特征层融合，然后将 模糊保险箱算法对人脸一人耳融合特征模板进行保 融合模板与模糊保险箱中的数据进行比较，最终输出 护.图1所示为系统结构图.本系统分为注册和认证 匹配结果：释放密钥或是提示认证失败. 用户密钥K 注册人脸图像Gahor变换 P心A特征提取 特征层触合 模糊保险箱 加密 注册人耳图像Gahr变换 PCA特征提取 注册阶段 数据库 杂凑子 认证阶段 (chaff point) 待认证人脸图像→Gahr变换 PCA特征提取 特征层融合 模糊保险箱 解密 重构多项式 待认证人耳图像→Gabor3变换 PCA特征提取 结果匹配 获得密钥k 图1基于模糊保险箱算法的多特征融合的生物特征模板保护系统框图 Fig.I Multimodal template protection system diagram based on data transformation and fuzzy vaults 段，选择关于x的多项式p来加密密钥K,然后计算注 1保护策略 册生物特征模板s在多项式p上的投影p(s),这样(s, 利用模糊保险箱对生物特征模板进行保护时分为 P(s)就构成了一个有限点集，即为真实点集.接下来 加密和解密两个阶段.加密过程的主要作用是将注册 随机生成一个杂凑点集，与真实点集一起构成一个数 生物特征模板利用密钥进行转换形成真实点集，并与 据集合V,即是保险箱.在V中，杂凑点的数量要远远 添加的杂凑点集共同构成保险箱：解密过程的主要作 大于真实点的数量.模板加密过程的具体流程如图2 用是将待认证生物特征模板通过保险箱提取密钥，当 所示，具体步骤如下所述 释放出正确密钥时，则表明待认证模板与注册模板一 (I)对密钥K进行CRC循环冗余校验编码网 致，从而得到认证结果 密钥是一组随机生成的128位的二进制密钥K,采用 1.1加密过程 CRC-16进行校验，最终得到一个16位的校验码C. 模糊保险箱算法定义在有限域F上.在加密阶 在原来128位随机密钥K后连接上16位校验码，构成 密钥K Y 循环冗余校验 构造多项式 保險箱 训练图像 训练图像 变换 PCA降维特征融合《PCA降维一 图2。模糊保险箱模板加密流程图 Fig.2 Template encryption diagram of the fuzzy vault

工程科学学报，第 37 卷，第 9 期 用待认证生物特征模板来提取密钥，如果与已注册的 生物特征模板一致，则会得到正确的密钥，从而实现 认证． 为了保持人脸认证所具有的非打扰式的特点，并 鉴于人脸与人耳两种生物特征在图像获取上的相似性 以及生理位置上互补性［7］，将人脸与人耳生物特征相 结合进行身份认证，在一定程度上解决人脸认证中受 姿态、年龄、表情等因素的影响． 在认证过程中，利用 模糊保险箱算法对人脸--人耳融合特征模板进行保 护． 图 1 所示为系统结构图． 本系统分为注册和认证 两个阶段． 在注册阶段，首先利用 Gabor 滤波器分别 对人脸和人耳注册图像进行 Gabor 变换，然后利用主 元分析法对 Gabor 特征进行降维，由于人脸和人耳特 征模板是同质的，所以可以将两者进行特征层融合，生 成融合特征模板． 接下来，利用模糊保险箱算法对融 合模板进行加密，并将结果存储在保险箱 V 中． 在认 证阶段，将待认证的人脸图像和人耳图像经过 Gabor 变换和主元分析特征提取后进行特征层融合，然后将 融合模板与模糊保险箱中的数据进行比较，最终输出 匹配结果: 释放密钥或是提示认证失败． 图 1 基于模糊保险箱算法的多特征融合的生物特征模板保护系统框图 Fig． 1 Multimodal template protection system diagram based on data transformation and fuzzy vaults 图 2 模糊保险箱模板加密流程图 Fig． 2 Template encryption diagram of the fuzzy vault 1 保护策略 利用模糊保险箱对生物特征模板进行保护时分为 加密和解密两个阶段． 加密过程的主要作用是将注册 生物特征模板利用密钥进行转换形成真实点集，并与 添加的杂凑点集共同构成保险箱; 解密过程的主要作 用是将待认证生物特征模板通过保险箱提取密钥，当 释放出正确密钥时，则表明待认证模板与注册模板一 致，从而得到认证结果． 1. 1 加密过程 模糊保险箱算法定义在有限域 F 上． 在加密阶 段，选择关于 x 的多项式 p 来加密密钥 K，然后计算注 册生物特征模板 s 在多项式 p 上的投影 p( s) ，这样( s， p( s) ) 就构成了一个有限点集，即为真实点集． 接下来 随机生成一个杂凑点集，与真实点集一起构成一个数 据集合 V，即是保险箱． 在 V 中，杂凑点的数量要远远 大于真实点的数量． 模板加密过程的具体流程如图 2 所示，具体步骤如下所述． ( 1) 对密钥 K 进行 CＲC 循环冗余校验编码［8］． 密钥是一组随机生成的 128 位的二进制密钥 K，采用 CＲC--16 进行校验，最终得到一个 16 位的校验码 C． 在原来 128 位随机密钥 K 后连接上 16 位校验码，构成 ·1226·

袁立等：基于模糊保险箱的人脸一人耳融合模板保护 ·1227· 最终的码字，记为Kc (2)在有限域F(26)上，将K共144位二进制数 4 分为9段，每段两个字节，从高位到低位分别记为「s, 2 r634r3,r2r,1o根据这些值，构建出如下多 项式： 0 p(x)=rs+rx+rsx+rxxx+ro -1 (1) -3 (3)由于人脸、人耳图像均使用Gabor--PCA方法 -4F 进行特征提取，特征向量中特定位置的数值具有一定 的意义，因此这种特征向量属于有序的数据集.将融 -53040-30-20-1001020304050 第一维度特征模板值 合特征模板数据通过上述构建的多项式p(x)投影，就 图3杂凑子与真实点的分布（圆图为真实点，星号为杂凑子） 会得到如下点集： Fig.3 Distribution of chaff points and vault points (circles are genu- {Sp(s)],52p(s)],…,5p(s)],…,5p(s)]}. ine points and asterisks are chaff points) 其中，[sp(s)]={ap(sa)],[sap(sa)],, 1.2解密过程 gp(sg],…,5p(sz)]},i=1,2,…,N,j=1,2, 之前的加密过程中，得到了模糊保险箱.在解密 …,L,N为所有注册模板的个数，L为特征模板的维 阶段，对于待认证特征模板t,如果t与注册模板s的 数，s:表示第i个特征模板，p(s）表示模板s:中的每 大多数点重合，那么t的大多数点就会落在多项式 个分量在多项式p(·)上的投影.保险箱中的真实点 p(·)上，使用纠错码方法，那么t就能重构出多项式 集即由这组数据构成 p(·),进而获取密钥K.如果t与s有相当大的比例 (4)在保险箱中添加杂凑点集(C,9(C)),其中C 不重合，那么重构出多项式p(·)是相当困难的.解密 为杂凑点向量，9(C)为其在多项式g(·)上的投影向 过程的具体流程如图4所示 量.在本文中，为每个注册模板设定若干个杂凑子向 为了重构多项式p(),至少需要特征模板中的9 量.同时，为保证安全性，要求杂凑子向量的个数M 个点（因为p()为八次多项式）.为了从保险箱中获 N.这些杂凑点的构造原则是在有限域F(2)中，但 得至少9个真实点，需要注册模板和待认证模板中的 不能落在多项式上，即g(C)≠p(C),并且与真实点有 元素进行逐个比对，获取候选点.在比对过程中，需要 足够远的距离.图3为真实点和杂凑点的分布示意 设定阈值来判别待认证模板与保险箱中已加密模板是 图.横轴表示特征模板的第一个维度，纵轴表示经过 否属于同一类别.在实验中，设定一个阈值山。，计算待 投影后的值.圆圈表示真实点，星号代表杂凑子.选 认证模板与保险箱中注册模板的最小欧式距离，若距 取了5个真实点，每种颜色属于不同的类别，每个真实 离小于d。,则认为是匹配上的点.匹配完成之后，滤去 点附加20个杂凑子，同一颜色的表示为同一类的真实 了大部分的杂凑子，可以得到至少9个真实点，将获得 点与杂凑子.为防止通过杂凑子推导出真实点，在这 的点集存储起来，记为R,为下一步的恢复密钥做 里杂凑子是随机分布的.经过上述操作，密钥就被隐 准备 藏在保险箱中.攻击者如果不能提供真实的特征点 在加密阶段，密钥被分为8个16位的二进制串， 集，就很难从保险箱中获取密钥 并作为多项式的系数隐藏起来，所以在解密阶段要想 循环冗 保险箱 余校验 密钥K? 匹配 选取候 选点 重构多项式 结果 p气x=T+r,x+…+rxtr 待认证 待认证 样本 样本 变换 Gabor PCA公HeAL 降维 1融合 降维 图4模糊保险箱解密流程图 Fig.4 Decryption diagram of the fuzzy vault

袁 立等: 基于模糊保险箱的人脸--人耳融合模板保护 最终的码字，记为 KC ． ( 2) 在有限域 F( 216 ) 上，将 KC共 144 位二进制数 分为 9 段，每段两个字节，从高位到低位分别记为 r8， r7，r6，r5，r4，r3，r2，r1，r0 ． 根据这些值，构建出如下多 项式: p( x) = r8 x 8 + r7 x 7 + r6 x 6 + r5 x 5 + r4 x 4 + r3 x 3 + r2 x 2 + r1 x + r0 ． ( 1) ( 3) 由于人脸、人耳图像均使用 Gabor--PCA 方法 进行特征提取，特征向量中特定位置的数值具有一定 的意义，因此这种特征向量属于有序的数据集． 将融 合特征模板数据通过上述构建的多项式 p( x) 投影，就 会得到如下点集: { ［s1，p( s1 ) ］，［s2，p( s2 ) ］，…，［si，p( si ) ］，…，［sN，p( sN) ］} ． 其中，［si，p ( si ) ］= { ［si1，p ( si1) ］，［si2，p ( si2 ) ］，…， ［sij ，p( sij ) ］，…，［siL，p( siL ) ］} ，i = 1，2，…，N，j = 1，2， …，L，N 为所有注册模板的个数，L 为特征模板的维 数，si 表示第 i 个特征模板，p( si ) 表示模板 si 中的每 个分量在多项式 p(·) 上的投影． 保险箱中的真实点 集即由这组数据构成． 图 4 模糊保险箱解密流程图 Fig． 4 Decryption diagram of the fuzzy vault ( 4) 在保险箱中添加杂凑点集( C，q( C) ) ，其中 C 为杂凑点向量，q( C) 为其在多项式 q(·) 上的投影向 量． 在本文中，为每个注册模板设定若干个杂凑子向 量． 同时，为保证安全性，要求杂凑子向量的个数 M N． 这些杂凑点的构造原则是在有限域 F( 216 ) 中，但 不能落在多项式上，即 q( C) ≠p( C) ，并且与真实点有 足够远的距离． 图 3 为真实点和杂凑点的分布示意 图． 横轴表示特征模板的第一个维度，纵轴表示经过 投影后的值． 圆圈表示真实点，星号代表杂凑子． 选 取了 5 个真实点，每种颜色属于不同的类别，每个真实 点附加 20 个杂凑子，同一颜色的表示为同一类的真实 点与杂凑子． 为防止通过杂凑子推导出真实点，在这 里杂凑子是随机分布的． 经过上述操作，密钥就被隐 藏在保险箱中． 攻击者如果不能提供真实的特征点 集，就很难从保险箱中获取密钥． 图 3 杂凑子与真实点的分布( 圆圈为真实点，星号为杂凑子) Fig． 3 Distribution of chaff points and vault points ( circles are genu￾ine points and asterisks are chaff points) 1. 2 解密过程 之前的加密过程中，得到了模糊保险箱． 在解密 阶段，对于待认证特征模板 t，如果 t 与注册模板 s 的 大多数点 重 合，那 么 t 的大多数点就会落在多项式 p(·) 上，使用纠错码方法，那么 t 就能重构出多项式 p(·) ，进而获取密钥 K* ． 如果 t 与 s 有相当大的比例 不重合，那么重构出多项式 p(·) 是相当困难的． 解密 过程的具体流程如图 4 所示． 为了重构多项式 p(·) ，至少需要特征模板中的 9 个点( 因为 p(·) 为八次多项式) ． 为了从保险箱中获 得至少 9 个真实点，需要注册模板和待认证模板中的 元素进行逐个比对，获取候选点． 在比对过程中，需要 设定阈值来判别待认证模板与保险箱中已加密模板是 否属于同一类别． 在实验中，设定一个阈值 d0，计算待 认证模板与保险箱中注册模板的最小欧式距离，若距 离小于 d0，则认为是匹配上的点． 匹配完成之后，滤去 了大部分的杂凑子，可以得到至少 9 个真实点，将获得 的点集 存 储 起 来，记 为 Ｒ，为下一步的恢复密钥做 准备． 在加密阶段，密钥被分为 8 个 16 位的二进制串， 并作为多项式的系数隐藏起来，所以在解密阶段要想 ·1227·

·1228· 工程科学学报，第37卷，第9期 恢复密钥，就得首先进行多项式的重构.本文使用拉 校验码r'≠。，则说明选取的9个初始点不全是真实 格朗日插值法进行多项式重构，在R中任取9个候选 点，继续从R中选取点进行上述操作，直到获取满足 点，即为(g,h),i=1,2,…,9,其中g:是从注册模板 条件的点集.如果遍历R没有获得满足r'=。的点 中选取的特征点，h是其在多项式p(·)上的投影.针 集，则可判断认证失败，该用户为非法用户 对候选点，采取的拉格朗日插值法进行重构，如下 2实验结果与分析 所示： (x-82）(x-g3）…(x-8g） 2.1图像库简介 p(国）=(g1-8(g,-g…g-8+ 在实验中，我们使用ORL人脸库与USTB人耳子 (x-g1）(x-83）…(x-gg） 库3共同构成一个多模态图像库.ORL人脸库包括 （82-8)(8-8…(g2-8),+…+ 40个人，每人10幅，共400幅人脸图像，存在表情、20° (x-g1）(x-g2）…(x-gs） 8,-81)8-8a…(8,-8), (2) 以内轻微角度变化，如图5(a)所示.USTB人耳子库3 包括79人，每人10幅，共790幅图像，存在20°以内轻 化简上式，获得候选多项式为p(x)=x+ 微角度变化，如图5(b)所示.本文在USTB人耳子库 rx+…+fx+后.接下来将，i,…,i分别表示 3中随机挑选20个对象来与0RL人脸库中的20个对 为16位字符串形式，然后将这8个字符串串联起来， 象进行组合，每人5幅图像进行训练，为每一张人脸图 得到一个128位的字符串，记为K=Ir7I…lr], 像配上一张人耳图像，作为一对样本。实验结果采用 然后将K进行CRCH6校验，获得其校验码r:若校 识别率(genuine accept rate,简称GAR)和误识率(false 验码=。，则表明K就是密钥，从而实现认证.若 accept rate,简称FAR)来评价. 图5人脸图像及其对应的人耳图像.()ORL人脸库示例：(b)STB人耳子库3示例 Fig.5 Example images of the multimodal dataset:(a)ORL face dataset:(b)USTB ear dataset 3 2.2人脸一人耳特征提取与融合 首先，分别对人脸和人耳源图像进行直方图修正， 使得图像具有统一的均值和方差，同时在一定程度上 消除光照的影响.接下来利用Gabor小波变换来提 取人脸和人耳不同尺度和方向的信息.图6所示为一 幅人脸图像在5个尺度、4个方向上的20个幅值图 谱.将这20幅幅值图谱展开成向量并串联起来构成 人脸图像对应的Gabor特征，由于其维度很高，所以进 一步利用主元分析法进行降维，形成最终的特征模板. 因为获得的人脸Gabor特征和人耳Gabor特征是 同质的，可以将两者在特征层进行融合@，生成融合 特征模板.设所得特征向量分别为s和s,接下来 图6经过Gabor变换后的人脸幅值图谱 对特征向量进行归一化处理： Fig.6 Face magnitude representation after the Gabor wavelet transfor- ∫Stacrom=(se-uie）/oc, mation (3) somm=(se-ueai）/oor 2.3认证性能 式中ua和4分别是注册样本集中人脸和人耳的均 测试了人脸特征模板、人耳特征模板和融合特征 值向量，σ和σ.分别为人脸和人耳的标准差向量. 模板在不同特征维数下的认证性能，正确识别率和误 采用特征积融合的方法，获得融合后的特征模板： 识率如表1所示（实验环境为Window XP操作系统， (4) CPU Intel Core 2 Duo,2.16 GHz memory 2 Gb,Matlab

工程科学学报，第 37 卷，第 9 期 恢复密钥，就得首先进行多项式的重构． 本文使用拉 格朗日插值法进行多项式重构，在 Ｒ 中任取 9 个候选 点，即为( gi，hi ) ，i = 1，2，…，9，其中 gi 是从注册模板 中选取的特征点，hi 是其在多项式 p(·) 上的投影． 针 对候选 点，采 取 的 拉 格 朗 日 插 值 法 进 行 重 构，如 下 所示: p* ( x) = ( x － g2 ) ( x － g3 ) …( x － g9 ) ( g1 － g2 ) ( g1 － g3 ) …( g1 － g9 ) h1 + ( x － g1 ) ( x － g3 ) …( x － g9 ) ( g2 － g1 ) ( g2 － g3 ) …( g2 － g9 ) h2 + … + ( x － g1 ) ( x － g2 ) …( x － g8 ) ( g9 － g1 ) ( g9 － g2 ) …( g9 － g8 ) h9 ( 2) 化简上式，获 得 候 选 多 项 式 为 p* ( x) = r * 8 x 8 + r * 7 x 7 + … + r * 1 x + r * 0 ． 接下来将 r * 8 ，r * 7 ，…，r * 1 分别表示 为 16 位字符串形式，然后将这 8 个字符串串联起来， 得到一个128 位的字符串，记为 K* =［r * 8 | r * 7 | …| r * 1 ］， 然后将 K* 进行 CＲC--16 校验，获得其校验码 r'． 若校 验码 r' = r * 0 ，则表明 K* 就是密钥，从而实现认证． 若 校验码 r'≠r * 0 ，则说明选取的 9 个初始点不全是真实 点，继续从 Ｒ 中选取点进行上述操作，直到获取满足 条件的点集． 如果遍历 Ｒ 没有获得满足 r' = r * 0 的点 集，则可判断认证失败，该用户为非法用户． 2 实验结果与分析 2. 1 图像库简介 在实验中，我们使用 OＲL 人脸库与 USTB 人耳子 库 3 共同构成一个多模态图像库． OＲL 人脸库包括 40 个人，每人 10 幅，共 400 幅人脸图像，存在表情、20° 以内轻微角度变化，如图 5( a) 所示． USTB 人耳子库 3 包括 79 人，每人 10 幅，共 790 幅图像，存在 20°以内轻 微角度变化，如图 5( b) 所示． 本文在 USTB 人耳子库 3 中随机挑选 20 个对象来与 OＲL 人脸库中的 20 个对 象进行组合，每人 5 幅图像进行训练，为每一张人脸图 像配上一张人耳图像，作为一对样本． 实验结果采用 识别率( genuine accept rate，简称 GAＲ) 和误识率( false accept rate，简称 FAＲ) 来评价． 图 5 人脸图像及其对应的人耳图像． ( a) OＲL 人脸库示例; ( b) USTB 人耳子库 3 示例 Fig． 5 Example images of the multimodal dataset: ( a) OＲL face dataset; ( b) USTB ear dataset 3 2. 2 人脸--人耳特征提取与融合 首先，分别对人脸和人耳源图像进行直方图修正， 使得图像具有统一的均值和方差，同时在一定程度上 消除光照的影响． 接下来利用 Gabor 小波变换［9］来提 取人脸和人耳不同尺度和方向的信息． 图 6 所示为一 幅人脸图像在 5 个尺度、4 个方向上的 20 个幅值图 谱． 将这 20 幅幅值图谱展开成向量并串联起来构成 人脸图像对应的 Gabor 特征，由于其维度很高，所以进 一步利用主元分析法进行降维，形成最终的特征模板． 因为获得的人脸 Gabor 特征和人耳 Gabor 特征是 同质的，可以将两者在特征层进行融合［10］，生成融合 特征模板． 设所得特征向量分别为 sface和 sear，接下来 对特征向量进行归一化处理: sface_norm = ( sface － μface ) /σface， sear_norm = ( sear － μear ) /σear { ． ( 3) 式中，μface和 μear分别是注册样本集中人脸和人耳的均 值向量，σface和 σear分别为人脸和人耳的标准差向量． 采用特征积融合的方法，获得融合后的特征模板: sfusion = sface_norm sear_norm ． ( 4) 图 6 经过 Gabor 变换后的人脸幅值图谱 Fig． 6 Face magnitude representation after the Gabor wavelet transfor￾mation 2. 3 认证性能 测试了人脸特征模板、人耳特征模板和融合特征 模板在不同特征维数下的认证性能，正确识别率和误 识率如表 1 所示( 实验环境为 Window XP 操作系统， CPU Intel Core 2 Duo，2. 16 GHz memory 2 Gb，Matlab ·1228·

袁立等：基于模糊保险箱的人脸一人耳融合模板保护 ·1229· 2012h). 减小小样本误差对实验的影响 表1不同特征模板维度下识别率和误识率的比较 参考文献 Table 1 Genuine accept rate and false accept rate obtained under differ- ent template dimensions [Jain A K,Nandakumar K,Nagar A.Biometric template security EURASIP J Adv Signal Process,2008,2008:113 特征模板维数 所用模态 识别率/% 误识率/% Uludag U,Pankanti S,Jain A K.Fuzzy vault for fingerprints / 人脸 76% 12% Proceedings of 5th International Conference On Audio-and Vedio- 15 人耳 78% 9% based Biometric Person Authentication.New York,2005:310 人脸一人耳融合 81% 5% B] Nandakumar K,Jain A K.Fingerprint-ased fuzzy vault:imple- 人脸 90% 8% mentation and performance.IEEE Trans Inf Forensics Secur, 20 人耳 93% 6% 2007,2(4):744 人脸一人耳融合 95% 3% Lee Y J,Bae K,Lee S F,et al.Biometric key binding:fuzzy 人脸 92% 7% vault based on iris images /Proceedings of International Confer- 25 人耳 95% 6% ence on Biometric.Seoul,2007:800 人脸一人耳融合 96% 2% 5] Nandakumar K,Jain A K.Multibiometric template security using fuzzy vault /Proceedings of the 2nd IEEE International Confer- 从表1可以看出，随着特征模板维数的增加，识别 ence on Biometrics:Theory,Application and Systems.Washington 效果越来越好，当维数达到20维时，识别率已经取得 DC,2008:1 较好的效果.另外，在相同的特征模板维度下，基于多 6]Nagar A,Nandakumar K,Jain A K.Securing fingerprint tem- plate:fuzzy vault with minutiae descriptors /Proceedings of the 模态特征融合模板的保护方法的识别率明显优于基于 19th International Conference on Pattern Recognition.Florida, 单模态人脸和单模态人耳模板的保护方法，并且误识 2008:1 率有了一定的降低. 7]Mu Z C,Yuan L,Zeng H.Biometric Identification Technology: Ear Automatic Recognition.Beijing:Science Press,2012 3结论 (穆志纯，袁立，曾慧.生物特征识别技术：人耳自动识别 在特征融合和模糊保险箱的基础上，提出了一种 北京：科学出版社，2012) 8]Liu HJ,Zhang NT.Design of rapid CRC algorithm based upon 人脸一人耳融合生物特征模板保护方法.基于模糊保 table-ookingup methods.Commun Technol,2002(4):8 险箱算法的生物特征模板保护分为加密和解密两个阶 (刘会杰，张乃通.基于查表法的快速CRC算法设计.通信技 段.加密阶段将注册生物特征模板进行加密，转换成 术，2002(4)：8) 真实点集，并隐藏在杂凑点集中，真实点集与杂凑点集 Zhu J K,Vai M I,Mak P U.Gabor wavelets transform and ex- 共同构成保险箱：解密阶段将待认证生物特征模板通 tended nearest feature space classifier for face recognition /Pro- 过保险箱提取密钥，并根据密钥进行认证.在由USTB ceedings of the 3rd International Conference on Image and Graph- ics.Hong Kong,2004,246 人耳库3和ORL人脸库构成的多模态图像库上的认 [10]Yazdanpanah A P.Faez K,Amirfattahi R.Multimodal biometric 证结果表明，该生物特征模板保护方案取得了较好的 system using face,ear and gait biometrics /Proceedings of the 效果.在下一步的研究中，将进一步优化加密算法和 10th International Conference on Information Science,Signal Pro- 解密算法以缩短认证时间：同时扩大实验样本的范围， cessing and Their Application.Kuala Lumpur,2010:251

袁 立等: 基于模糊保险箱的人脸--人耳融合模板保护 2012b) ． 表 1 不同特征模板维度下识别率和误识率的比较 Table 1 Genuine accept rate and false accept rate obtained under differ￾ent template dimensions 特征模板维数 所用模态 识别率/% 误识率/% 人脸 76% 12% 15 人耳 78% 9% 人脸--人耳融合 81% 5% 人脸 90% 8% 20 人耳 93% 6% 人脸--人耳融合 95% 3% 人脸 92% 7% 25 人耳 95% 6% 人脸--人耳融合 96% 2% 从表 1 可以看出，随着特征模板维数的增加，识别 效果越来越好，当维数达到 20 维时，识别率已经取得 较好的效果． 另外，在相同的特征模板维度下，基于多 模态特征融合模板的保护方法的识别率明显优于基于 单模态人脸和单模态人耳模板的保护方法，并且误识 率有了一定的降低． 3 结论 在特征融合和模糊保险箱的基础上，提出了一种 人脸--人耳融合生物特征模板保护方法． 基于模糊保 险箱算法的生物特征模板保护分为加密和解密两个阶 段． 加密阶段将注册生物特征模板进行加密，转换成 真实点集，并隐藏在杂凑点集中，真实点集与杂凑点集 共同构成保险箱; 解密阶段将待认证生物特征模板通 过保险箱提取密钥，并根据密钥进行认证． 在由 USTB 人耳库 3 和 OＲL 人脸库构成的多模态图像库上的认 证结果表明，该生物特征模板保护方案取得了较好的 效果． 在下一步的研究中，将进一步优化加密算法和 解密算法以缩短认证时间; 同时扩大实验样本的范围， 减小小样本误差对实验的影响． 参 考 文 献 ［1］ Jain A K，Nandakumar K，Nagar A． Biometric template security． EUＲASIP J Adv Signal Process，2008，2008: 113 ［2］ Uludag U，Pankanti S，Jain A K． Fuzzy vault for fingerprints / / Proceedings of 5th International Conference On Audio- and Vedio￾based Biometric Person Authentication． New York，2005: 310 ［3］ Nandakumar K，Jain A K． Fingerprint-based fuzzy vault: imple￾mentation and performance． IEEE Trans Inf Forensics Secur， 2007，2( 4) : 744 ［4］ Lee Y J，Bae K，Lee S F，et al． Biometric key binding: fuzzy vault based on iris images / / Proceedings of International Confer￾ence on Biometric． Seoul，2007: 800 ［5］ Nandakumar K，Jain A K． Multibiometric template security using fuzzy vault / / Proceedings of the 2nd IEEE International Confer￾ence on Biometrics: Theory，Application and Systems． Washington DC，2008: 1 ［6］ Nagar A，Nandakumar K，Jain A K． Securing fingerprint tem￾plate: fuzzy vault with minutiae descriptors / / Proceedings of the 19th International Conference on Pattern Ｒecognition． Florida， 2008: 1 ［7］ Mu Z C，Yuan L，Zeng H． Biometric Identification Technology: Ear Automatic Ｒecognition． Beijing: Science Press，2012 ( 穆志纯，袁立，曾慧． 生物特征识别技术: 人耳自动识别． 北京: 科学出版社，2012) ［8］ Liu H J，Zhang N T． Design of rapid CＲC algorithm based upon table-lookingup methods． Commun Technol，2002( 4) : 8 ( 刘会杰，张乃通． 基于查表法的快速 CＲC 算法设计． 通信技 术，2002( 4) : 8) ［9］ Zhu J K，Vai M I，Mak P U． Gabor wavelets transform and ex￾tended nearest feature space classifier for face recognition / / Pro￾ceedings of the 3rd International Conference on Image and Graph￾ics． Hong Kong，2004，246 ［10］ Yazdanpanah A P． Faez K，Amirfattahi Ｒ． Multimodal biometric system using face，ear and gait biometrics / / Proceedings of the 10th International Conference on Information Science，Signal Pro￾cessing and Their Application． Kuala Lumpur，2010: 251 ·1229·