基于二维和三维信息融合的人耳识别

D0:10.13374h.issn1001-053x2013.11.020 第35卷第11期 北京科技大学学报 Vol.35 No.11 2013年11月 Journal of University of Science and Technology Beijing Nov.2013 基于二维和三维信息融合的人耳识别 李阳，穆志纯区 北京科技大学白动化学院，北京100083 ☒通信作者，E-mail:mu@ies.ustb.edu.cn 摘要针对人耳识别中存在姿态、光照变化等问题，提出信息融合的方法，将二维人耳和三维人耳的信息进行融合， 以克服姿态、光照对人耳识别的影响.对于二维人耳，由于姿态等的变化会导致人耳图像数据在高维空间中呈现出非线 性流形结构，采用等距映射这种流形学习算法进行特征提取，对三维深度人耳则采用3D局部二值模式进行特征提取， 然后分别进行二维和三维人耳识别，最后在决策层进行融合识别.在79人的人耳数据库上进行了实验，每人8幅带姿 态的二维人耳图像和6幅带光照的三维人耳深度图像实验结果表明，与单独的二维人耳和三维人耳识别相比，融合之 后的识别效果和认证效果均有很大的改善 关键词模式识别：信息融合：二维：三维：映射：人耳 分类号TP391.4 2D and 3D information fusion based ear recognition LI Yang,MU Zhi--chun☒ School of Automation and Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China XCorresponding author,E-mail:mu@ies.ustb.edu.cn ABSTRACT In order to solve pose and illumination variation problems in ear recognition,an information fusion method was proposed to fuse 2D and 3D ear information at the decision level.For a 2D ear,the ear images will become nonlinear manifold structure due to pose variation,so the manifold learning method,isometric mapping(Isomap),was used to extract features.For a 3D ear,the 3D local binary pattern(3DLBP)method was adopted for feature extraction. Then 2D ear recognition and 3D ear recognition were implemented separately.Finally,results from the 2D and 3D were fused at the decision level.Experiments were done on a database of 79 persons,one of which has eight 2D ears with pose variation and six 3D ears with illumination variation.It is found that both the recognition rate and verification rate are significantly improved compared with 2D ear recognition and 3D ear recognition alone. KEY WORDS pattern recognition;information fusion;two dimensional;three dimensional;mapping:ears 人耳识别技术是一种有效的生物特征识别方 的生理位置，尤其是在只能获得人脸侧面图像的情 法，具有良好的应用前景，受到了国内外众多研究 况下进行远距离身份识别时，人耳显得尤为重要 者越来越多的关注口.与人脸相比，人耳具有稳定 日前，国内外关于人耳识别技术的研究越来越 的结构特征，这些特征在人生的相当长的一段时间 多，但是大多是基于二维图像的，研究者提出了很 内都保持不变，不会随着年龄的变化而改变，而且 多用于二维人耳识别的方法【A-).文献[4提出 人耳不会受到表情变化所带来的影响四：与虹膜和 了基于小波变换的人耳识别方法，文献⑤提出了 指纹相比，人耳图像的获取是在非打扰的方式下进 基于力场转换的人耳识别方法，文献[6]提出了基 行的2-).此外，人耳具有丰富的结构特征和独特 于独立分量分析的人耳识别方法.这些研究结果表 收稿日期：2012-11-15 基金项目：国家自然科学基金资助项目(60973064)：北京市自然基金资助项目(4102039)：北京市重点学科资助项目(Xk100080537): 教育部博士点基金资助项目(20100006110014)

1 35 ò 1 11 Ï  ® ‰ E Œ Æ Æ  Vol. 35 No. 11 2013 11  Journal of University of Science and Technology Beijing Nov. 2013 Äu‘Ún‘&EKÜ<£O o §;X ®‰EŒÆgÄzƧ® 100083 Ï&Šö§E-mail: mu@ies.ustb.edu.cn Á ‡ é<£O¥3^!1ìCz¯K§JÑ&EKܐ{§ò‘<Ún‘<&E?1Kܧ ±ŽÑ^!1ìé<£OKǑ. éu‘<§du^Cz¬<ãêâ3p‘m¥¥yњ‚ 56/(§æ^åNù«6/ÆSŽ{?1AÆJ§én‘Ý<Kæ^ 3D ÛÜŠª?1AÆJ§ ,￾©O?1‘Ún‘<£O§￾3ûü￾?1KÜ£O. 3 79 <<êâ¥þ?1 ¢§z< 8 ̑^ ‘<ãÚ 6 ̑1ìn‘<Ýã. ¢(JL²§†üÕ‘<Ún‘<£Oƒ'§K܃ ￾£OJÚyJþkéŒUõ. '… ª£O¶&EKܶ‘¶n‘¶N¶< ©aÒ TP391.4 2D and 3D information fusion based ear recognition LI Yang, MU Zhi-chun School of Automation and Electrical Engineering, University of Science and Technology Beijing, Beijing 100083, China Corresponding author, E-mail: mu@ies.ustb.edu.cn ABSTRACT In order to solve pose and illumination variation problems in ear recognition, an information fusion method was proposed to fuse 2D and 3D ear information at the decision level. For a 2D ear, the ear images will become nonlinear manifold structure due to pose variation, so the manifold learning method, isometric mapping (Isomap), was used to extract features. For a 3D ear, the 3D local binary pattern (3DLBP) method was adopted for feature extraction. Then 2D ear recognition and 3D ear recognition were implemented separately. Finally, results from the 2D and 3D were fused at the decision level. Experiments were done on a database of 79 persons, one of which has eight 2D ears with pose variation and six 3D ears with illumination variation. It is found that both the recognition rate and verification rate are significantly improved compared with 2D ear recognition and 3D ear recognition alone. KEY WORDS pattern recognition; information fusion; two dimensional; three dimensional; mapping; ears <£OEâ´«k)ÔAÆ£O {§äkûA^ µ§É IS ¯õïÄ ö5õ'5 [1] . †<òƒ'§<äk­½ (AƧù AÆ3<)ƒãžm SѱØC§Ø¬‘X #Cz UC§ … <جÉLœCz¤‘5KǑ [1]¶†Ú «ƒ'§<ã¼´3š‹6ªe? 1 [2−3] . d §<äk´L(AÆÚÕA )n § Ù´3U¼<òý¡ãœ ¹e?1ål°£Ož§<w Ǒ­‡. 8 §IS 'u<£OEâïÄ5 õ§´Œõ´Äu‘ã§ïÄöJÑ é õ^u‘<£O{ [4−6] . ©z [4] JÑ ÄuÅC†<£O{§©z [5] JÑ Äuå|=†<£O{§©z [6] JÑ Ä uÕá©þ©Û<£O{. ù ïÄ(JL ÂvFϵ2012-11-15 Ä7‘8µI[g,‰ÆÄ7℄ϑ8 (60973064); ®½g,Ä7℄ϑ8 (4102039); ®½­:Ɖ℄ϑ8 (Xk100080537); ÜƬ:Ä7℄ϑ8 (20100006110014) DOI:10.13374/j.issn1001-053x.2013.11.020

·1528 北京科技大学学报 第35卷 明，在受控条件下的人耳识别率可以达到90%以上 1基于等距映射算法的二维人耳特征提取 但是二：维人耳识别仍然存在着一系列的问题需要解 等距映射算法1o(isometric mapping,Isomap) 决，比如姿态和光照变化问题.此于人耳面积相对 是流形学习算法中的一种，是非线性降维算法，它 较小，即使轻微的角度变化都有可能会对获取到的 是一种基于全局的优化算法，采用的是测地距离 人耳图像数据产生很大的影响.并且在获取人耳图 米度量高维空间样本点之间的距离.等距映射算 像时，此于人或者摄像机的角度变化都会使得采集 法是对多维尺度分析算法(multidimensional scaling, 到的人耳并不是正面人耳图像，而是具有姿态变化 MDS)的扩展，基本思想是保持样本点之间的距离 的人耳图像.另外，此于人耳沟回比较多，光照的变 不变.相对于多维尺度分析算法，它的改进之处在 化会对人耳图像产生很大的影响.Chang等[可的研 于采用测地距离衡量样本点之间的距离，而多维尺 究表明人耳识别受姿态影响比较大，识别率甚至会 度分析算法则采用欧式距离.图1展示了欧式距离 降到30%以下.文献[8]在带有姿态和光照的数据 和测地距离. 库上的研究也得出了类似的结论.因此，如何能够 很好地解决人耳识别中存在的姿态和光照变化的问 题，是越来越多研究者们关心的问题 根据文献[9]的研究，人脸图像会随着姿态、光 照等的变化而在高维观测空间中呈现出非线性流形 结构.与人脸类似，人耳也存在同样的情况，此于人 耳角度的变化，会使得人耳图像数据在高维人耳图 像空间中呈现出非线性流形结构，如果用线性降维 方法，如主所分分析(PCA)和独立所分分析(ICA) 进行特征提取，则无法揭示出数据集中包含的非线 图1 欧式距离与测地距离（虚线为欧式距离，实线为测地 性性质，存在局限性.通过流形学习研究高维数据 距离) 集中蕴含的非线性几何结构，发现数据点之间内在 Fig.1 Euclidean distance and geodesic distance (the dash 的本质几何结构，能够有助于解决高维数据集的非 line represents Euclidean distance,the solid line represents 线性问题，相对于线性特征提取方法，流形学习在 geodesic distance) 处理带姿态人耳数据时具有明显的优势. 此于人耳是三维物体，从三维人耳数据中提取 假设人耳样本集为X,包含N个样本点x,i= 的人耳信息姿态影响较小，并且不受光照的影响， 1,2,·,N.等距映射算法的基本步骤有三步 具有更好的稳定性.三维深度图像相对于二维灰度 (1)构造邻域图G.计算每个样本点x:与所有 图像有更清晰的边界，并且对噪声的鲁棒性也好些， 其他样本点之间的欧式距离d(x,x),如果与 最重要的是它不受光照变化的影响.因此，利用三 x:的距离是所有距离中最小的k个点中的一个或 维深度图像进行人耳识别，对于克服姿态和光照变 者该距离小于给定值：时，认为这两个样本点是相 化的影响是有帮助的 邻的，相应的邻域被称为邻域或ε邻域，此时 图G有边xx,并且边的权值为这两个样本点之 针对人耳识别中存在的姿态和光照问题，本文 间的欧式距离d(x,x) 采用基于二维三维信息融合的方法，将二维人耳识 别和三维人耳识别在决策层上进行融合识别.对于 (2)计算最短路径.当图G有边x)时，最短路 二维人耳，采用能够处理非线性数据的流形学习方 径dc(a,x)=d(a,x):否则，设dc(x,x)=oo, 对l=1,2,…,N,有 法进行特征提取，通过流形学习方法，揭示数据之 间的非线性流形结构，发现数据之间的本质关系， dc(zi,zj)=min {dc(xi,xj),dc(xi;)da(zL,xj)} 有助于解决姿态问题.对于三维人耳，本文采用三 (1) 维人耳深度图像，利用3D局部二值模式进行特征 根据最短路径构造最短路径距离矩阵： 提取.在二维和三维人耳特征提取的基础上，对二 Dc={d(x,x)},i=1,2,…,N,j=1,2,…,N. 维人耳和三维人耳分别进行识别，最后在决策层上 进行融合识别，以克服姿态和光照变化对人耳识别 该矩阵是此所有样本点之间最短路径的平方组所 的影响，实现鲁棒的人耳识别 的.式中N表示样本点的个数

· 1528 ·  ® ‰ E Œ Æ Æ  1 35 ò ²§3ɛ^‡e<£Onj±ˆ 90%±þ. ´‘<£OE,3XX¯KI‡) û§'X^Ú1ìCz¯K. du<¡Èƒé §=‡ÆÝCzÑkŒU¬é¼ <ãêâ)éŒKǑ. ¿…3¼<㠞§du<½öÅÆÝCzѬæ8 <¿Ø´¡<㧠´äk^Cz <ã. , §du<£'õ§1ìC z¬é<ã)éŒKǑ. Chang  [7] ï ÄL²<£OÉ^KǑ'Œ§£OÇ$¬ ü 30%±e. ©z [8] 3‘k^Ú1ìêâ ¥þïÄǑÑ aq(Ø. Ïd§XÛU é/)û<£O¥3^Ú1ìCz¯ K§´5õïÄö‚'%¯K. Šâ©z [9] ïħ<ò㬑X^!1 ìCz 3p‘*ÿm¥¥yњ‚56/ (. †<òaq§<Ǒ3Óœ¹§du< ÆÝCz§¬<ãêâ3p‘<ã m¥¥yњ‚56/(§XJ^‚5ü‘ {§X̤©©Û (PCA) ÚÕᤩ©Û (ICA) ?1AÆJ§K{«Ñêâ8¥¹š‚ 55Ÿ§3ہ5. ÏL6/ÆSïÄp‘êâ 8¥%¹š‚5AÛ(§uyêâ:ƒmS3 ŸAÛ(§U kÏu)ûp‘êâ8š ‚5¯K§ƒéu‚5AÆJ{§6/ÆS3 ?n‘^<êâžäk²w`³. du<´n‘ÔN§ln‘<êâ¥J <&E^KǑ§¿…ØÉ1ìKǑ§ äk­½5. n‘Ýãƒéu‘Ý ãkß>.§¿…éD(°•5Ǒ § ­‡´§ØÉ1ìCzKǑ. Ïd§|^n ‘Ýã?1<£O§éuŽÑ^Ú1ìC zKǑ´kÏ. é<£O¥3^Ú1ì¯K§© æ^Äu‘n‘&EKܐ{§ò‘<£ OÚn‘<£O3ûü￾þ?1KÜ£O. éu ‘<§æ^U ?nš‚5êâ6/ÆS {?1AÆJ§ÏL6/ÆS{§«ê⃠mš‚56/(§uyêâƒmŸ'X§ kÏu)û^¯K. éun‘<§©æ^n ‘<Ýã§|^ 3D ÛÜŠª?1AÆ J. 3‘Ún‘<AÆJÄ:þ§é ‘<Ún‘<©O?1£O§￾3ûü￾þ ?1KÜ£O§±ŽÑ^Ú1ìCzé<£O KǑ§¢y°•<£O. 1 ÄuåNŽ{‘<AÆJ åNŽ{ [10](isometric mapping, Isomap) ´6/ÆSŽ{¥«§´š‚5ü‘Ž{§§ ´«ÄuÛ`zŽ{§æ^´ÿ/ål 5Ýþp‘m:ƒmål. åNŽ {´éõ‘ºÝ©ÛŽ{ (multidimensional scaling, MDS) *§ÄgŽ´±:ƒmål ØC. ƒéuõ‘ºÝ©ÛŽ{§§U?ƒ?3 uæ^ÿ/ålïþ:ƒmål§ õ‘º ݩێ{Kæ^îªål. ã 1 « îªål Úÿ/ål. ã 1 îªål†ÿ/ål (J‚Ǒîªål§¢‚Ǒÿ/ ål) Fig.1 Euclidean distance and geodesic distance (the dash line represents Euclidean distance, the solid line represents geodesic distance) b<8Ǒ X§¹ N ‡: xi , i = 1, 2, · · · , N. åNŽ{ÄÚ½knÚ. (1) Eã G. OŽz‡: xi †¤k Ù:ƒmîªål d(xi , xj )§XJ xj † xi ål´¤kål¥ k ‡:¥‡½ öTålu‰½Š ε ž§Ǒùü‡:´ƒ §ƒA¡Ǒ k- ½ ε- §dž ã G k> xixj§¿…>ŠǑùü‡:ƒ mîªål d(xi , xj ). (2) OŽá´». ã G k> xixj ž§á´ » dG(xi , xj ) = d(xi , xj )¶ÄK§ dG(xi , xj ) = ∞§ é l = 1, 2, · · · , N§k dG(xi , xj ) = min {dG(xi , xj ), dG(xi , xl) + dG(xl , xj )} . (1) Šâá´»Eá´»ålÝ µ DG =  d 2 G(xi , xj ) , i = 1, 2, · · · , N, j = 1, 2, · · · , N. TÝ ´d¤k:ƒmá´»²|¤ . ª¥ N L«:‡ê.

第11期 李阳等：基于二维和三维信息融合的人耳识别 ·1529· (3)计算低维嵌入.对距离矩阵DG运用传统多 228229228 -2-1-2 维尺度分析算法.设1N=(1,1,·,1)为全1的N 227230231 -3 231230230 100 维列向量.I为N维单位向量.记H=I-1N1/N 为中心化矩阵 -3100 1-2-1-2 B=-HDGH/2,B的最大d个特征值为1， 2,·,入，特征值对应的特征向量为山1,2，·， 0 1 1000+120 ua,由特征向量构成矩阵Ua=[u1,u2,·,ual,Aa 0 0 0 0 0 *0 是由最大d个特征值的平方根构成的对角阵A:= 0000101 +133 diag(,v2,·,va,于是d维低维嵌入为 0 10 10 +202 Y=(y1,2,…,yd）=UaAa. (2) 等距映射算法中需要选择的参数有两个，一个 120 0 133 202 是邻域大小参数k,另一个是特征空间维数山.k 选取过大会导致降维以后的数据点出现很混乱的现 象，而如果k值较小，则映易使步骤(2)中构造的 图23DLBP描述子计算过程 邻域图G不连通，从而无法计算最短路径，因此选 Fig.2 Computational process of 3DLBP 取合适的k值对算法的效果是很重要的.特征维数 d的范围可以通过剩余方差与特征维数的关系来确 XSM=∑-2 Si+Mi (3) 定 2 基玉D局部二值模武的三维人耳特征 式中，S和M(i=1,2,3,4)分别对应两幅人耳深 度图像的四个3DLBP直方图. 提取 3人耳数据库 LBP(local binary pattern)描述子是用米对图 实验采用的人耳数据分别来自北京科技大学 像中的每个像素点（最外一圈除外）及其邻域的像 (USTB)人耳识别实验室的带姿态人耳数据库和来 素点之间的关系进行描述的，基本LBP算子是作 自University of Notre Dame(UND)的三维人耳数 用在3×3邻域上的，以中心点的像素值作为阅值， 据库.由于采用的是决策层融合，在融合之前，二 将邻域点的像素值与阅值进行比较，大于等于阅值 维人耳识别和三维人耳识别可认为是相对独立的， 则为1，否则为0，然后将得到的一系列二进制编 因此采用文献[13-14类似的做法，将两个数据库 码按照一定的顺序进行排列，组成一个八位的二进 的二维人耳和三维人耳进行随机配对，组成一个虚 制序列，将这个二进制数转换成对应的十进制数， 拟的个体.文献[13]采用人脸、人耳和步态进行多 作为对中心像素点的描述叫.可以看出，LBP算 模态融合实验，其中人脸数据来自于ORL人脸数 子仅能对邻域像素点与中心像素点差值的正负进行 据库，人耳数据来自于USTB人耳数据库，而步态 描述，并不能对差值的大小进行描述.与人脸类 似②，本文采用三位二进制对差值的大小进行描 数据则来自CASIA数据库；文献[14的人耳、人 脸多模态融合识别，人耳采用的是SEARCH人耳 述.3D局部二值模式(3DLBP)是对LBP描述子的 数据，而人脸采用的是ORL人脸数据.图3展示了 进一步扩充，不仅可以描述邻域像素点和中心像素 本文实验所使用的二维人耳数据和三维人耳数据 点差值的正负，而且可以描述差值的大小，最终得 到四层的八位二进制序列，将每一层的二进制转换 成相应的十进制，得到四个十进制数，作为对中心 像素点的描述.图2描述了3DLBP描述子的计算 过程 对除了最外一圈的所有像素点进行3DLBP描 述子计算，各得到四个十进制数的描述，然后对所 (a) (b) 有描述子的各层十进制数进行统计，得到四个统计 直方图，利用直方图的卡方统计来对两幅人耳图像 图3人耳示例.(a)二维人耳：(b)三维人耳 的相似性进行度量，即 Fig.3 Ear samples:(a)2D ear;(b)3D ear

1 11 Ï o µÄu‘Ún‘&EKÜ<£O · 1529 · (3) OŽ$‘i\. éålÝ DG $^DÚõ ‘ºÝ©ÛŽ{.  1N = (1, 1, · · · , 1)T Ǒ 1  N ‘•þ. I Ǒ N ‘ü •þ. P H = I−1N 1 T N /N Ǒ¥%zÝ . B = −HDGH/2, B Œ d ‡AƊǑ λ1, λ2, · · · , λd §AƊéAAƕþǑ u1, u2, · · · , ud §dAƕþ¤Ý Ud = [u1, u2, · · · , ud] , Λd ´dŒ d ‡AƊ²Š¤éÆ Λd = diag ￾√ λ1, √ λ2, · · · , √ λd
§u´ d ‘$‘i\Ǒ Y = (y1, y2, · · · , yd) = UdΛd. (2) åNŽ{¥I‡ÀJëêkü‡§‡ ´Œëê k§,‡´AÆm‘ê d. k ÀLŒ¬ü‘±￾êâ:Ñyé·Ïy § XJ k Š§KN´Ú½ (2) ¥E ã G Øëϧl {OŽá´»§ÏdÀ Ü· k ŠéŽ{J´é­‡. AƑê d ‰ŒŒ±ÏL{†AƑê'X5( ½. 2 Äu3DÛÜŠªn‘<  A Æ J LBP(local binary pattern) £ãf´^5éã ¥z‡ƒ: ( Ø ) 9ٍ ƒ:ƒm'X?1£ã§Ä LBP Žf´Š ^3 3 × 3 þ§±¥%:ƒŠŠǑKŠ§ ò:ƒŠ†KŠ?1'§ŒuuKŠ KǑ 1§ÄKǑ 0§,￾òX?›? èUì½^S?1ü§|¤‡l ? ›S§òù‡?›ê=†¤éA›?›ê§ ŠǑé¥%ƒ:£ã [11] . Œ±wѧLBP Ž f=U鍃:†¥%ƒ:ŠK?1 £ã§¿ØU銌?1£ã. †<òa q [12]§©æ^n ?›éŠŒ?1£ ã. 3D ÛÜŠª (3DLBP) ´é LBP £ãf ?Ú*¿§Ø=Œ±£ãƒ:Ú¥%ƒ :ŠK§ …Œ±£ãŠŒ§ª o￾l ?›S§òz￾?›=† ¤ƒA›?›§o‡›?›ê§ŠǑé¥% ƒ:£ã. ã 2 £ã 3DLBP £ãfOŽ L§. éØ  ¤kƒ:?1 3DLBP £ ãfOŽ§ˆo‡›?›ê£ã§,￾é¤ k£ãfˆ￾›?›ê?1ÚO§o‡ÚO †ã§|^†ãkÚO5éüÌ<ã ƒq5?1Ýþ§= ã 2 3DLBP £ãfOŽL§ Fig.2 Computational process of 3DLBP χ 2 (S,M) = X i (Si − Mi) 2 Si + Mi . (3) ª¥§Si Ú Mi(i = 1, 2, 3, 4) ©OéAüÌ< Ýão‡ 3DLBP †ã. 3 <ê⥠¢æ^<êâ©O5g®‰EŒÆ (USTB) <£O¢¿‘^<êâ¥Ú5 g University of Notre Dame (UND) n‘<ê â¥. duæ^´ûü￾Kܧ3K܃ § ‘<£OÚn‘<£OŒǑ´ƒéÕ᧠Ïdæ^©z [13-14] aq‰{§òü‡ê⥠‘<Ún‘<?1‘Åé§|¤‡J [‡N. ©z [13] æ^<ò!<ÚÚ?1õ KÜ¢§Ù¥<òêâ5gu ORL <òê ⥧<êâ5gu USTB <ê⥧ Ú êâK5g CASIA ê⥶©z [14] <!< òõKÜ£O§<æ^´ SEARCH < ê⧠<òæ^´ ORL <òêâ. ã 3 « ©¢¤^‘<êâÚn‘<êâ. ã 3 <«~. (a) ‘<¶(b) n‘< Fig.3 Ear samples: (a) 2D ear; (b) 3D ear

·1530 北京科技大学学报 第35卷 USTB人耳数据库共有79人，每人8幅人耳 (2)增加特征维数d=i+1,重复步骤(1)，直 图像，采用彩色CCD摄像机拍摄，摄像机与人耳 到特征维数达到60 距离为1.5m,拍摄人头完整图像，以摄像机与人耳 通过实验，得到剩余方差和特征维数的关系图 垂直时为0°，从5°开始到40°，每隔5°采集一幅 如图4所示： 图像.图3(a)展示的是切割以后的二维人耳图像. 0.7m UND3D人耳数据库是目前公开可用的限大的 0.6 三维人耳库，该人耳库共有415人，所有数据都是 0.5 使用Minolta910激光扫描仪扫描左侧人脸获取的， 包含X、Y、Z三个坐标的深度图像.本文从所有 415人中随机选取了79人带有光照变化的人耳进 行实验，每个人6幅图像.图3(b)展示的是从三维 0.2 扫描数据中切割出的人耳深度图像. 0.1 4实验 10 2030405060 特征维数 本文对二维人耳和三维人耳在决策层上进行 图4剩余方差和特征维数的关系 融合识别，采用的融合方法为贝叶斯融合方法.对 Fig.4 Relationship between residual variance and dimension 于一般的决策层融合方法，各个分类器输出的结果 只有“是”与“否”，即待识别样本要么属于某个类， 从图4可以看出，随系特征维数的增加，剩余 要么不属于，而贝叶斯融合方法则以概率的形式来 方差是呈现下降的趋势的，下降到一定的程度后会 描述待识别样本属于某个类的概率，进行融合以后， 趋于平缓，甚至出现小幅的上升.特征维数在30附 将该样本识别为概率限大的那一个类 近剩余方差能够达到限小值，也就是说选取特征维 利用贝叶斯算法进行融合，比较重要的一步 数为30即可以保证降维以后的低维嵌入能够限多 是关于后验概率的计算，这里采用特征之间的距 地保留原始数据的信息，因此本文在以后的实验中 离来计算后验概率.将测试样本R的特征和物练 选取的特征维数为30. 样本特征进行比对，得到特征之间的距离D= 实验时，二维和三维均选取一幅人耳图像作为 (d1,d2,·,dw),其中N为物练样本数量，则后验 测试样本，其余作为物练样本.对于二维人耳，邻域 概率为 大小选择为7，特征维数为30维，利用特征之间的 P(wiR)= 1/ 欧式距离度量特征之间的相似性.对于三维人耳， (4) 含W9 采用卡方统计度量特征之间的相似性.首先，采用 贝叶斯和融合方法进行决策层融合，CMC(cumula- 对于二维人耳，本文首选通过实验确定特征维 tive match characteristic)曲线如图5所示. 数d,选取d分别从1到60，并计算相对应的剩 1.00日 余方差，然后画出特征维数和剩余方差之间的关系 0.98 0.96片 图.具体过程如下 0.94 (1)当d=i时，计算此时的低维嵌入，记 00.92 为Y(),计算低维嵌入点之间的欧式距离，记为 三0.90# Dy(),将Dy()和等距映射第二步中得到的DG 0.88 分别按列排成一个列向量，记为D()和D6,按 0.86卡 +-2D 下式计算： 0.84 一*3D 0.82 日-2D+3D r 1-corrcoef(Dy(i),D)2; (5) 0.80 020406080100120140160180200 排序，RANK R(i)=r(2,1). (6) 图5 人耳识别的CMC曲线 式中，R()表示维数为i时的剩余方差.剩余方差 Fig.5 CMC curves of ear recognition 越小，则说明低维嵌入所保留的原始数据的信息越 从CMC曲线中可以看出，二维人耳识别与三 多 维人耳识别融合之后的识别效果要好于单独的二维

· 1530 ·  ® ‰ E Œ Æ Æ  1 35 ò USTB <êâ¥
k 79 <§z< 8 Ì< ã§æ^çÚ CCD Åû§ņ< ålǑ 1.5 m§û<Þ㧱ņ< R†žǑ 0 ◦§l 5 ◦ m© 40◦§z… 5 ◦ æ8Ì ã. ã 3(a) «´ƒ±￾‘<ã. UND3D <ê⥴8 úmŒ^Œ n‘<¥§T<¥
k 415 <§¤kêâÑ´ ^ Minolta 910 -1×£¤×£†ý<ò¼§ ¹ X!Y !Z n‡‹IÝã. ©l¤k 415 <¥‘ÅÀ 79 <‘k1ìCz<? 1¢§z‡< 6 Ìã. ã 3(b) «´ln‘ ×£ê⥃Ñ<Ýã. 4 ¢ ©é‘<Ún‘<3ûü￾þ?1 KÜ£O§æ^Kܐ{ǑdKܐ{. é u„ûü￾Kܐ{§ˆ‡©aìÑÑ(J k “´” † “Ä”§=£O‡oáu,‡a§ ‡oØáu§ dKܐ{K±VÇ/ª5 £ã£Oáu,‡aVǧ?1Kܱ￾§ òT£OǑVǁŒ‡a. |^dŽ{?1Kܧ'­‡Ú ´'u￾VÇOŽ§ùpæ^Aƃmå l5OŽ￾VÇ. òÿÁ R AÆÚÔö AÆ?1'é§Aƃmål D = (d1, d2, · · · , dN )§Ù¥ N ǑÔöêþ§K￾ VÇǑ P (ωi |R) = 1/d2 i P N j=1 ￾ 1/d2 j
. (4) éu‘<§©ÄÀÏL¢(½AƑ ê d§À d ©Ol 1  60§¿OŽƒéA {§,￾xÑAƑêڐ{ƒm'X ã. äNL§Xe. (1)  d = i ž§OŽdž$‘i\§P Ǒ Y (i)§OŽ$‘i\:ƒmîªål§PǑ DY (i)§ò DY (i) ÚåN1Ú¥ DG ©OUü¤‡•þ§PǑ D′ Y (i) Ú D′ G§U eªOŽµ r = 1 − corrcoef(D′ Y (i), D′ G) 2 ; (5) R(i) = r(2, 1). (6) ª¥, R(i) L«‘êǑ i ž{. { §K`²$‘i\¤3©êâ&E õ. (2) O\AƑê d = i + 1§­EÚ½ (1)§† AƑêˆ 60. ÏL¢§{ÚAƑê'Xã Xã 4 ¤«µ ã 4 {ÚAƑê'X Fig.4 Relationship between residual variance and dimension lã 4 Œ±wѧ‘XAƑêO\§{ ´¥yeüª³§eü½§Ý￾¬ ªu²…§$ÑyÌþ,. AƑê3 30 N C{U ˆŠ§ǑÒ´`ÀAƑ êǑ 30 =Œ±yü‘±￾$‘i\U õ /3©êâ&E§Ïd©3±￾¢¥ ÀAƑêǑ 30. ¢ž§‘Ún‘þÀÌ<ãŠǑ ÿÁ§Ù{ŠǑÔö. éu‘<§ ŒÀJǑ 7§AƑêǑ 30 ‘§|^Aƃm îªålÝþAƃmƒq5. éun‘<§ æ^kÚOÝþAƃmƒq5. Äk§æ^ dÚKܐ{?1ûü￾KܧCMC (cumula￾tive match characteristic) ­‚Xã 5 ¤«. ã 5 <£O CMC ­‚ Fig.5 CMC curves of ear recognition l CMC ­‚¥Œ±wѧ‘<£O†n ‘<£OK܃￾£OJ‡uüÕ‘

第11期 李阳等：基于二维和三维信息融合的人耳识别 .1531· 和三维人耳识别，二维人耳识别、三维人耳识别以 表2除同的贝叶斯融合算法（随机配对1） 及2D+3D融合的人耳识别的RANK1识别率分别 Table 2 Results of different Bayes fusion methods (random 为92.41%、86.08%以及100%，可见融合以后的识别 match 1) 率越单独的二维人耳识别和三维人耳识别有了很大 融合算法 RANK1识别率/%FAR=0.001时的认证率/% 的提升，能够达到100%. 和融合方法 96.20 93.67 积融合方法 94.94 92.41 同时，本文进行了认证实验，实验结果由ROC 投票法 97.47 94.94 (receiver operating characteristic)曲线展示，如图6 所示. 表3 除同的贝叶斯融合算法（随机配对2） 1.0 0.9 Table 3 Results of different Bayes fusion methods (random 0.8 match 2) 0.7 融合算法 RANK1识别率/%FAR=0.001时的认证率/% 0.6 和融合法 100.00 94.94 0.5 积融合方法 94.94 92.41 0.4 投票法 98.73 96.20 0.3 0.2 +2D+3D 表4 除司的贝叶斯融合算法（随机配对3） 0.1 一*一2D 0-3D Table 4 Results of different Bayes fusion methods (random 10 103 102 10 10 match 3) 错误接受率，FAR 融合算法RANK1识别率/%FAR=0.0O1时的认证率/% 图6 人耳识别的ROC曲线 和融合方法 98.73 97.47 Fig.6 ROC curves of ear verification 积融合方法 94.94 93.67 投票法 98.73 96.20 从图6的ROC曲线中可以看出，在错误接受 率FAR=0.001时，二维人耳的认证率为89.87%，三 三次随机配对加上初始配对的四次实验结果 维人耳的认证率为51.23%，而融合之后的认证率达 虽然有所不同，但是变化的幅度很小，说明实验得 到了98.73%，融合之后的认证率也有了很大的提升 到的识别率和认证率并非随机配对而得到的偶然结 除了贝叶斯和融合方法以外，本文还运用了贝叶斯 果 的积融合方法以及投票法进行融合识别，实验结果 如表1所示 5 结论 表1除同的贝叶斯融合算法 小对人耳识别中存在的姿态、光照等问融，提 Table 1 Result of different Bayes fusion methods 出从二维三维信息融合的角度出发，将二维人耳 融合算法RANK1识别率/%FAR=0.001时的认证率/% 和三维人耳先单独进行识别，最后在决策层上进 和融合方法 100.00 98.73 积融合方法 94.94 94.94 行融合识别.对于二维人耳，由于姿态等的变化会 投票法 97.47 96.20 射致人耳图像数据在高维空间中呈现出非线性流形 结构，采用等距映射这种流形学习算法进行特征提 为了去除随机配对所带米的偶然因素，进行了 取，对解决姿态变化有一定的帮助.从三维人耳数 多次随机配对.随机配对的过程为： 据中提取的人耳受光照、姿态等影响越小，具有很 (1)产生两组随机数分别存放在a和b中，这 好的稳定性，采用3DLBP算法提取三维深度人耳 两组随机数范围都是1到79，并且是不稳复的 特征，不仅能够表征中心像素点和邻域像素点的差 (2)比越a和b中数据，如果a()=b()=k, 值正负，还能表征差值的大小.本文采用了决策层 i,j,k=1,2…,79,则将二维人耳库中的第i个个 融合，在79人带姿态和光照变化数据库上进行了 体和三维人耳库中的第j个个体进行配对，构造出 实验，包括识别实验和认证实验.实验结果表明，融 个新的个体，作为随机配对以后的第k个个体 合以后的识别率和认证率越单独的二维人耳和三维 稳复进行(1)和(2)即可进行多次随机配对，本 人耳识别有很大的提升，采用二维三维融合的方法 文进行了三次随机配对，然后按照同样的融合方法 能够很好地解决姿态和光照变化对人耳识别造成的 进行实验，实验结果如表2表4所示. 影响，提高了人耳识别的鲁棒性

1 11 Ï o µÄu‘Ún‘&EKÜ<£O · 1531 · Ún‘<£O§‘<£O!n‘<£O± 9 2D+3D KÜ<£O RANK1 £OÇ©O Ǒ 92.41%!86.08%±9 100%§Œ„Kܱ￾£O ÇüÕ‘<£OÚn‘<£Ok éŒ J,§U ˆ 100%. Ӟ§©?1 y¢§¢(Jd ROC (receiver operating characteristic) ­‚«§Xã 6 ¤«. ã 6 <£O ROC ­‚ Fig.6 ROC curves of ear verification lã 6  ROC ­‚¥Œ±wѧ3†ØÉ Ç FAR=0.001 ž§‘<yÇǑ 89.87%§n ‘<yÇǑ 51.23%§ K܃￾yLj  98.73%§K܃￾yÇǑk éŒJ,. Ø dÚKܐ{± §©„$^ d ÈKܐ{±9Ý{?1KÜ£O§¢(J XL 1 ¤«. L 1 ØÓdK܎{ Table 1 Result of different Bayes fusion methods K܎{ RANK1 £OÇ/% FAR=0.001 žyÇ/% ÚKܐ{ 100.00 98.73 ÈKܐ{ 94.94 94.94 Ý{ 97.47 96.20 Ǒ ؑÅ餑5ó,σ§?1 õg‘Åé. ‘ÅéL§Ǒµ (1) )ü|‘Åê©O3 a Ú b ¥§ù ü|‘ÅꉌѴ 1  79§¿…´Ø­E. (2) ' a Ú b ¥êâ§XJ a(i) = b(j) = k, i, j, k = 1, 2, · · · , 79§Kò‘<¥¥1 i ‡‡ NÚn‘<¥¥1 j ‡‡N?1é§EÑ ‡#‡N§ŠǑ‘Åé±￾1 k ‡‡N. ­E?1 (1) Ú (2) =Œ?1õg‘Åé§ ©?1 ng‘Åé§,￾UìÓKܐ{ ?1¢§¢(JXL 2∼ L 4 ¤«. L 2 ØÓdK܎{ (‘Åé 1) Table 2 Results of different Bayes fusion methods (random match 1) K܎{ RANK1 £OÇ/% FAR=0.001 žyÇ/% ÚKܐ{ 96.20 93.67 ÈKܐ{ 94.94 92.41 Ý{ 97.47 94.94 L 3 ØÓdK܎{ (‘Åé 2) Table 3 Results of different Bayes fusion methods (random match 2) K܎{ RANK1 £OÇ/% FAR=0.001 žyÇ/% ÚKܐ{ 100.00 94.94 ÈKܐ{ 94.94 92.41 Ý{ 98.73 96.20 L 4 ØÓdK܎{ (‘Åé 3) Table 4 Results of different Bayes fusion methods (random match 3) K܎{ RANK1 £OÇ/% FAR=0.001 žyÇ/% ÚKܐ{ 98.73 97.47 ÈKܐ{ 94.94 93.67 Ý{ 98.73 96.20 ng‘Åé\þ©éog¢(J Ǒ,k¤ØÓ§´CzÌÝé§`²¢ £OÇÚyÇ¿š‘Åé ó,( J. 5 (Ø é<£O¥3^!1ì¯K§J Ñl‘n‘&EKÜÆÝÑu§ò‘< Ún‘<küÕ?1£O§￾3ûü￾þ? 1KÜ£O. éu‘<§du^Cz¬ <ãêâ3p‘m¥¥yњ‚56/ (§æ^åNù«6/ÆSŽ{?1AÆJ §é)û^Czk½Ï. ln‘<ê â¥J<É1ì!^KǑ§äké ­½5§æ^ 3DLBP Ž{Jn‘Ý< AƧØ=U LÆ¥%ƒ:ڍƒ: ŠK§„ULÆŠŒ. ©æ^ ûü￾ Kܧ3 79 <‘^Ú1ìCzêâ¥þ?1 ¢§)£O¢Úy¢. ¢(JL²§K ܱ￾£OÇÚyÇüÕ‘<Ún‘ <£OkéŒJ,§æ^‘n‘Kܐ{ U é/)û^Ú1ìCzé<£OE¤ KǑ§Jp <£O°•5.