基于三维人耳形变模型的三维人耳重建

D0I:10.13374/i.issn1001-053x.2013.05.018 第35卷第5期 北京科技大学学报 Vol.35 No.5 2013年5月 Journal of University of Science and Technology Beijing May 2013 基于三维人耳形变模型的三维人耳重建 李琛)，穆志纯)区，张锋)，张保庆 1)北京科技大学自动化学院，北京100083 2)中华人民共和国公安部第一研究所，北京100048 ☒通信作者，E-mail:mu@ies.ustb.edu.cn 摘要基于对已有三维人耳重建工作和形变模型理论的研究，充分结合人耳自身的结构特征，提出了一种新的三维人 耳重建方法一一基于人耳形变模型的方法.首先使用中垂线法完成了外耳轮廓特征点的定位：提出分级三角网格法， 解决了样本耳基于生理特征的稠密对应问题：再借鉴广义普鲁克分析的思想，在三维空间内实现了精确全自动的三维人 耳形状对齐：最后训练得到了三维人耳形变模型.所提方法只需一幅二维图像，即可获得足够稠密的三维人耳模型.在 UND三维人耳数据库和USTB三维重建人耳数据库上的大量实验证明所提方法的有效性和优越性 关键词模式识别；人耳；图像重构：三维计算机图形 分类号TP391.4 Efficient 3D ear reconstruction by employing the 3D ear morphable model LI Chen),MU Zhi-chun),ZHANG Feng?),ZHANG Bao-qing) 1)School of Automation Electrical Engineering,University of Science and Technology Beijing,Beijing 100083,China 2)The First Research Institute,The Ministry of Public Security of The People's Republic of China,Beijing 100048,China Corresponding author,E-mail:mu@ies.ustb.edu.cn ABSTRACT Based on studies on the existing three-dimensional (3D)ear reconstruction method and morphable model theory,considering the unique structure of human ears,a novel 3D ear reconstruction method was proposed,which is based on the 3D ear morphable model.First,ear feature points on the contour were located by the perpendicular bisector method.Then,the dense match of 3D ear samples based on physiological characteristics was realized by a hierarchical triangle mesh method.The generalized Procrustes analysis was performed,and the ear shape alignment was achieved accurately and automatically in the 3D space.Finally,the 3D ear morphable model was trained by using 3D ear data from the University of Notre Dame (UND)3D ear dataset.This method can reconstruct the corresponding dense 3D model using only one 2D ear image.Extensive experimental results on UND collection J2 dataset and USTB ear image database for reconstruction show that the proposed method is effective and advantageous. KEY WORDS pattern recognition;ears;image reconstruction;three dimensional computer graphics 生物特征识别具有唯一性、不易被窃取和仿造 人耳与人脸、指纹、虹膜、掌纹等一样，具备 等优点，为日益严峻的身份盗用和公共安全问题提 作为人体识别特征必须具备的普遍性、可采集性、 供了更有效的解决途径，在智能监控、访问控制、刑唯一性和稳定性)，此外，人耳还具有以下的优越 事勘查、人机交互等方面具有广泛的应用前景.基 性：首先，采集方式非打扰，人耳的采集是一种被 于指纹、虹膜、掌纹、人脸等生物特征的身份识别 动采集方式，较为友好，不似虹膜、掌纹、指纹等需 问题已被研究者们广泛研究. 要被采集对象的配合，且比人脸采集更易于被采集 收稿日期：2012-09-12 基金项目：国家自然科学基金资助项目(60973064)：北京市自然科学基金资助项目(4102039)：国家自然科学基金资助项目 (61170116):中央高校基本科研业务费专项(FRF-TP-12-093A)

第 卷 第 期 年 月 北 京 科 技 大 学 学 报 基于三维人耳形变模型的三维人耳重建 李 ,深 , 穆志纯 因, 张 锋 , 张保庆 北京科技大学 自动化学院, 北京 中华人 民共和国公安部第一研究所 , 北京 困 通信作者, , 摘 要 基于对 己有三维人耳重建工作和形变模型理论的研究, 充分结合人耳 自身的结构特征, 提出了一种新的三维人 耳重建方法 — 基于人耳形变模型的方法 首先使用中垂线法完成了外耳轮廓特征点的定位 提出分级三角 网格法, 解决了样本耳基于生理特征的稠密对应问题 再借鉴广义普鲁克分析的思想, 在三维空间内实现了精确全 自动的三维人 耳形状对齐 最后训练得到了三维人耳形变模型 所提方法只需一幅二维图像 , 即可获得足够稠密的三维人耳模型 在 三维人耳数据库和 三维重建人耳数据库上的大量实验证明所提方法的有效性和优越性 关键词 模式识别 人耳 图像重构 三维计算机 图形 分类号 石, 贷 `, 对 孔 一、。 `困, 艺月二魂万` 矿 , 万月万` 刀 。一。` 。` , 盯 , , , , , , 困 , 刀 ￡ 一 , , , , , 勿 饰 , , 生物特征识别具有唯一性 、不易被窃取和仿造 等优点, 为 日益严峻的身份盗用和公共安全问题提 供 了更有效的解决途径, 在智能监控 、访 问控制 、 事勘查 于指纹 、人机交互等方面具有广泛的应用前景 、 虹膜 、掌纹 、人脸等生物特征的身份识别 问题 己被研究者们广泛研究 人耳与人脸 、指纹 、虹膜 、掌纹等一样 , 具备 作为人体识别特征必须具备 的普遍 性 、 可采集性 、 唯一性和稳定性 此外, 人耳还具有以下 的优越 性 首先, 采集方式非打扰 , 人耳的采集是一种被 动采集方式 , 较为友好 , 不似虹膜 、掌纹 、指纹等需 要被采集对象的配合 , 且 比人脸采集更易于被采集 刑基 收稿 日期 一 一 基金项 目 国家 自然 科学基金 资助项 目 北京市 自然科学基 金资助项 目 国家 自然科学基金资助项 目 中央高校基本科研业务费专项 一 一 一 DOI :10.13374/j .issn1001 -053x.2013.05.018

第5期 李琛等：基于三维人耳形变模型的三维人耳重建 ·695 对象接受；第二，生理位置特殊，当人脸转为侧面 三维人耳模型后使用捆绑调整算法进行优化，该方 时，人耳恰处于视角正面，在已见报道的研究工作 法可获得的三维空间点数目大约为2000~3000个 中，通过三维扫描设备采集的人头部数据，通常既 随后Sun等12探讨了基于Daisy快速局部描述子 包含人脸数据，又包含人耳数据2-3到；第三，结构 的三维人耳重建方法.实验证明，该方法可以获得 特征丰富，且不似人脸易受年龄增加和表情变化的 大约30008000个三维空间点，模型更为稠密，且 影响.因此，基于人耳的身份识别已经成为一种有 计算效率略有提高.Cadavid小组提出了一种基于 效的非接触式身份识别方式，即可以成为人脸识别 SFS理论的三维人耳重建方法13到，从一组视频序 的有效补充，也可以作为一种独立的识别方式，被 列中提取信息，实现了基于单幅图片的三维人耳重 广大研究者所关注【4-6列 建 人耳作为三维物体，其深度信息具有更好的鉴 以上几个研究组的工作极大地推动了三维人 别性，从三维人耳数据中提取的人耳结构信息受人 耳重建研究的发展，但仍存在不足：Liu等提出的 耳姿态变化的影响较小.Yan和Bowyeri的研究表 方法需要手动在两幅不同角度的人耳图片上均匀地 明：与二维人耳识别方法相比，三维人耳识别具有 选择特征点，重建的三维点个数为300600个，实 更高的准确性，因而近年来越来越多的研究者致力 验结果显示内耳沟回部分的重建效果一般，较难满 于三维人耳识别的研究7-).进行三维人耳识别需 足实际人耳识别系统的要求：Zeng等提出的方法 要解决的首要问题是三维人耳数据的获取，三维激 获得了较稠密的三维空间点，但获取的点个数不稳 光扫描仪是一种重要的三维数据获取方式，它能获 定，且计算量大、耗时长，距离实际系统对实时性 取较高精度的三维数据：但由于其采集方式不够灵 的需要仍有一定差距；Cadavid等提出的基于SFS 活、扫描过程中限制条件较多且体积较为庞大，使 理论的重建方法，由于需要利用图像中场景的光照 其难以应用于非打扰式的远距离身份识别.通过监 和反射信息来进行重建，因而对图像的质量和拍摄 控摄像机采集图像是更为便捷和常用的非打扰式身 环境要求较高，对光照尤其敏感，另外SFS问题中 份识别的原始数据获取方式，因此通过三维重建从 待求参数比方程个数多，在使用该方法进行三维重 二维图像中获取三维信息，更适合于半受控和非受 建时，通常需要加入约束条件，从而导致SFS算法 控情况下的三维信息获取 本身不稳定，精确性和鲁棒性还有待提高 1 相关研究工作和本文思路 除以上几个研究组的工作之外，2010年英国 南安普顿大学的Mark Nixion研究组也进行了和三 1.1三维人耳重建 维人耳重建相关的研究14，他们结合3D形变模 目前，在基于二维图像的三维人耳重建方面的 型(3 D morphable model)理论，使用美国圣母大学 相关研究还较少，尚没有成熟的理论和方法可供使 (University of Notre Dame,UND)人耳库中的l60 用，对该领域进行了初步探讨的研究组有香港理工 个样本作为训练集，重建了人头部侧面的模型.由 大学David Zhang研究小组、北京科技大学穆志纯 于该研究组所重建的人头部侧面区域包含了人耳区 研究组和迈阿密大学Steven Cadavid研究组，已 域，因而认为它也是已有的三维人耳重建工作之一， 有的研究工作可分为基于SFM(structure from mo- 但是，作为三维人耳重建研究，该工作存在以下不 tion)理论的重建和基于SFS(shape from shading) 足：(1)人耳区域的特征点个数很少：(2)由于人耳 方法的重建 只是作为头部侧面的一部分，重建时没有考虑人耳 Liu等[o提出了一种半自动的三维人耳重建 自身的结构特点，因此人耳部分的重建效果难以衡 方法，将两幅不同角度的人耳图像分为四个子区域， 量 手动均匀地在每个子区域内选择特征点，然后通过 1.2形变模型概述及本文思路 极几何约束和灰度相关约束在对应极线上寻找匹配 三维形变模型方法，是由德国Max-Planck研究 点，最后用SFM算法重建出三维人耳模型.该方法 所的Blanz和Vetter提出的[11，它是一种基于统计 首次尝试了使用SFM理论重建三维人耳，并取得 学的建模方法，其基本思想是线性组合，即某一类 了一定的效果.Zeng等)提出了一种基于双目视 对象基底的线性组合可以用来表示该类对象，该方 觉原理的全自动准稠密三维人耳重建方法，采用基 法使用单幅二维图像即可生成对应的三维模型.三 于SIFT(scale invariant feature transform)的特征点 维形变模型方法在三维人脸重建领域已被广泛和深 提取与匹配方法获得种子点，再用三角原理重建出 入的研究，主要的研究小组包括德国Max-Planck研

第 期 李 深等 基于三维人耳形变模型的三维人耳重建 · 对象接受 第二 , 生理位置特殊 , 当人脸转为侧面 时, 人耳恰处于视角正面 , 在 已见报道的研究工作 中, 通过三维扫描设备采集的人头部数据 , 通常既 包含人脸数据, 又包含人耳数据 “一 第三, 结构 特征丰富, 且不似人脸易受年龄增加和表情变化的 影响 因此 , 基于人耳 的身份识别 己经成为一种有 效的非接触式身份识别方式, 即可 以成为人脸识别 的有 效补充, 也可 以作为一种独立 的识别方式, 被 广大研究者所关注 一“ 人耳作为三维物体, 其深度信息具有更好的鉴 别性, 从三维人耳数据中提取的人耳结构信息受人 耳姿态变化 的影响较小 和 阂 的研究表 明 与二维人耳识别方法相比, 三维人耳识别具有 更高的准确性 , 因而近年来越来越多的研究者致力 于三维人耳识别的研究 一 进行三维人耳识别需 要解决的首要 问题是三维人耳数据的获取 , 三维激 光扫描仪是一种重要的三维数据获取方式 , 它能获 取较高精度 的三维数据 但 由于其采集方式不够灵 活 、扫描过程中限制条件较多且体积较为庞大, 使 其难 以应用于非打扰式的远距离身份识别 通过监 控摄像机采集图像是更为便捷和常用的非打扰式身 份识别的原始数据获取方式, 因此通过三维重建从 二维图像 中获取三维信息, 更适合于半受控和非受 控情况下的三维信息获取 相关研究工作和本文思路 三维人耳重建 目前, 在基于二维图像 的三维人耳重建方面的 相关研究还较少 , 尚没有成熟的理论和方法可供使 用, 对该领域进行 了初步探讨的研究组有香港理工 大学 研究小组 、北京科技大学穆志纯 研究组和迈阿密大学 研究组 , 已 有的研究工作可分为基于 理论的重建和基于 方法的重建 等 提出了一种半 自动的三维人耳重建 方法 , 将两幅不同角度的人耳图像分为四个子区域 , 手动均匀地在每个子区域内选择特征点, 然后通过 极几何约束和灰度相关约束在对应极线上寻找匹配 点, 最后用 算法重建 出三维人耳模型 该方法 首次尝试了使用 理论重建三维人耳 , 并取得 了一定的效果 等 ' 提 出了一种基于双 目视 觉原理的全 自动准稠密三维人耳重建方法 , 采用基 于 的特征点 提取与匹配方法获得种子点, 再用三角原理重建出 三维人耳模型后使用捆绑调整算法进行优化 , 该方 法可获得的三维空间点数 目大约为 。个 随后 等 ` 探讨了基于 快速局部描述子 的三维人耳重建方法 实验证 明, 该方法可以获得 大约 个三维空间点, 模型更为稠密, 且 计算效率略有提高 小组提 出了一种基于 理论的三维人耳重建方法 , 从一组视频序 列中提取信息 , 实现 了基于单幅图片的三维人耳重 建 以上几个研 究组的工作极大地推 动了三 维人 耳重建研究的发展 , 但仍存在不足 等提 出的 方法需要手动在两幅不 同角度的人耳图片上均匀地 选择特征点, 重建 的三 维点个数为 个, 实 验结果显示 内耳沟 回部分 的重建效果一般, 较难满 足实际人耳识别系统 的要求 等提 出的方法 获得了较稠密的三维空间点, 但获取的点个数不稳 定 , 且计算量大 、 耗时长 , 距离实 际系统对实时性 的需要仍有一定差距 记 等提 出的基于 理论的重建方法, 由于需要利用图像中场景的光照 和反射信息来进行重建, 因而对图像的质量和拍摄 环境要求较高 , 对光照尤其敏感, 另外 问题中 待求参数 比方程个数多, 在使用该方法进行三维重 建时, 通常需要加入约束条件 , 从而导致 算法 本身不稳定, 精确性和鲁棒性还有待提高 除以上几个研究组 的工作之外, 年英 国 南安普顿大学 的 研究组也进行了和三 维人耳重建相关 的研究 , 他们结合 形变模 型 理论 , 使用美 国圣母大学 , 人耳库中的 个样本作为训练集 , 重建了人头部侧面 的模 型 由 于该研究组所重建的人头部侧面区域包含了人耳 区 域, 因而认为它也是 已有的三维人耳重建工作之一 但是 , 作为三维人耳重建研究, 该工作存在 以下不 足 人耳区域的特征点个数很少 由于人耳 只是作为头部侧面的一部分 , 重建时没有考虑人耳 自身的结构特 点, 因此人耳部分的重建效果难以衡 量 形变模型概述及本文思路 三维形变模型方法, 是 由德国 研究 所 的 和 提 出的 '“ , 它是一种基于统计 学的建模方法 , 其基本思想是线性组合, 即某一类 对象基底的线性组合可以用来表示该类对象 , 该方 法使用单幅二维 图像即可生成对应的三维模型 三 维形变模型方法在三维人脸重建领域已被广泛和深 入的研究, 主要的研究小组包括德国 一 研

,696 北京科技大学学报 第35卷 究所的Blanz和Vetter研究组，英国南安普顿大学时，综合考虑了x、y、z三个方向上坐标的分布特 的Mark Nixon研究组，北京工业大学的尹宝才研 点.由于三维数据在xOy平面上呈阵列状排列，考 究组，清华大学的丁晓青研究组以及中科院计算所 虑到这一特性，在x、y方向上应用最近邻插值的方 的陈熙林、高文、柴秀娟研究组等 法；对于深度z坐标，由于人耳表面起伏多变，本 在三维人耳重建领域，基于形变模型方法的研 文使用三次样条插值来实现之方向的插值，整个样 究仍处于起步阶段，尤其在国内，已发表的工作中 条曲线具有很好的光滑性，恰好可以光滑地模拟人 尚未出现这方面的研究成果.研究表明，人脸的结 耳表面高低起伏的深度变化.最后采用高斯平滑对 构和纹理特征与人耳有很大区别，基于二维图像的 原始的三维人耳扫描数据进行降噪处理， 三维人脸重建方法并不能直接应用于三维人耳模型 3基于分级三角网格的稠密对应 的重建16).受三维人脸形变模型研究的启发，通过 对三维重建理论和已有三维人耳重建方法的深入了 人耳三维样本数据间能够进行线性运算是建 解，并结合人耳自身的结构特征，本文提出了三维 立形变模型的基础，为实现线性运算，需要在三维 人耳形变模型及基于它的三维人耳重建方法，该方 人耳数据间建立点与点的稠密对应.由于不同人的 法只需要一幅二维人耳图像作为输入，即可重建出 耳朵长宽形状均存在差异，因此不是简单的空间坐 其对应的三维人耳形状 标位置上的对应，而应该满足以下两个特点：(1)生 研究基于形变模型的重建方法有几个关键问 理对应，即点和点之间的对应是基于生理特征的对 题需要解决：一是样本数据对齐问题，需要消除样 应，例如，样本耳A的耳洞对应样本耳B的耳洞，A 本数据的姿态、位置等影响，仅保留形状信息；二 的耳屏间切迹同样也要对应B的耳屏间切迹；（②） 是稠密对应问题，指实现训练集中所有三维样本数 稠密性，点对应必须达到像素级稠密的程度 据间基于生理位置的对应：三是如何根据输入的单 在基于形变模型的人脸重建研究中，常用光流 幅图片来重建三维人耳，即模型参数的求解.结合 及其改进算法或网格重采样19！等方法进行稠密对 人耳自身的结构特点，本文针对以上关键问题均创 应，光流计算更多应用于同一个物体不同帧的视频 新性地提出了相应的解决方案.主要研究内容包括： 分析中，因为它的前提是两幅图像间的连续光滑变 对原始的三维人耳样本数据进行预处理：根据人耳 化，而形变模型中，需要对应的是差异较大的不同 的结构特征，提出基于分级三角网格的稠密对应方 个体，因此光流对应效果并不理想19，而网格重采 法；对齐稠密对应后的三维人耳形状，消除姿态、 样等方法是结合人脸的形状特征提出的，并不能适 位置等因素的影响；构建三维人耳形变模型并进行 用于人耳.考虑到人耳形状的特殊性：类似于扇形， 模型优化，实现基于单幅二维人耳图片的三维人耳 且不像人脸那样左右对称，本文提出了一种基于分 重建 级三角网格的稠密对应方法，实现不同人耳间基于 生理特征的点稠密对应，步骤如下 2数据预处理 第1步中垂线法确定外耳特征点：人耳最明 本课题使用的数据是美国圣母大学数据库17) 显的特征就是外耳轮廓，包含着丰富的鉴别信息， 的子集J2,这些数据是使用Minolta Vivid910深度 但是外耳轮廓除了起点和终点之外，其他位置没有 扫描仪获得的.三维扫描仪在获取点云数据时，由 明显的特征.本文提出了一种中垂线定位规则：首 于发丝遮挡、光照影响、不平滑的表面结构及扫描 先定位外耳轮廓的起点和终点，称为1点和2点： 设备本身的缺陷等因素影响，常会出现数据丢失或 接着作1、2点连线的中垂线交外耳轮廓与3点；依 者失真.例如，在耳洞或者发丝遮挡区域容易出现 次连接1、3和2、3，重复上述步骤.进一步的研究 数据丢失形成空洞，而在局部表面不光滑的区域则 表明，外耳轮廓点取33个能更好地拟合外耳，尤其 容易产生毛刺.因而在构建形变模型之前，先要对 是耳垂和耳尖部位不太规则的轮廓. 原始的三维数据进行补洞和平滑的预处理 第2步确定内耳特征点：内耳蕴含了丰富的 本文研究三维人耳的重建，首先需要从侧脸图 鉴别信息，且结构特征明显，这里直接根据生理特 像中准确提取人耳区域，这里本文用改进的Ad 征选择了五个明显的内耳特征点，分别为外耳轮廓 aboost算法[18)从二维侧脸图像中检测并提取人耳 起止点连线的中点、耳屏间切迹、屏轮切迹、耳轮 区域，然后根据二维人耳坐标在三维数据中分割出 脚与对耳轮交点以及对耳轮前脚与耳轮脚的交点. 人耳的三维数据.对原始的三维人耳数据进行补洞 第3步粗网格划分：用得到的外耳和内耳特

· · 北 京 科 技 大 学 学 报 第 卷 究所的 和 研究组, 英国南安普顿大学 的 议 研 究组 , 北京工业大学的尹宝才研 究组, 清华大学 的丁晓青研究组以及中科院计算所 的陈熙林 、高文 、柴秀娟研究组等 在三维人耳重建领域 , 基于形变模型方法的研 究仍处于起步阶段 , 尤其在国内, 已发表的工作中 尚未出现这方面的研究成果 研究表 明, 人脸 的结 构和纹理特征与人耳有很大区别, 基 于二维 图像 的 三维人脸重建方法并不能直接应用于三维人耳模型 的重建 受三维人脸形变模型研究的启发 , 通过 对三维重建理论和 已有三维人耳重建方法的深入 了 解 , 并结合人耳 自身 的结构特征, 本文提 出了三维 人耳形变模型及基于它 的三维人耳重建方法 , 该方 法只需要一幅二维人耳 图像作为输入, 即可重建 出 其对应的三维人耳形状 研究基 于形变模型 的重建方法有几个关键 问 题需要解决 一是样本数据对齐 问题 , 需要消除样 本数据的姿态 、 位置等影响, 仅保留形状信息 二 是稠密对应 问题 , 指实现训练集 中所有三维样本数 据 间基于生理位置的对应 三是如何根据输入的单 幅 图片来重建三维人耳 , 即模型参数 的求解 结合 人耳 自身的结构特点, 本文针对 以上关键 问题均创 新性地提 出了相应的解决方案 主要研究内容包括 对原始的三维人耳样本数据进行预处理 根据人耳 的结构特征 , 提出基于分级三角网格的稠密对应方 法 对齐稠密对应后的三维人耳形状 , 消除姿态 、 位置等 因素的影响 构建三维人耳形变模型并进行 模型优化 , 实现基于单幅二维人耳 图片的三维人耳 重建 时 , 综合考虑了 、夕、 三个方 向上坐标 的分布特 点 由于三维数据在 平面上呈阵列状排列, 考 虑到这一特性 , 在 、夕方向上应用最近邻插值的方 法 对于深度 坐标 , 由于人耳表面起伏多变 , 本 文使用三 次样条插值来实现 方 向的插值 , 整个样 条 曲线具有很好 的光滑性, 恰好可以光滑地模拟人 耳表面高低起伏 的深度变化 最后采用 高斯平滑对 原始 的三维人耳扫描数据进行降噪处理 数据预处理 本课题 使用 的数据是美国圣母大学数据库 ' 的子集 , 这些数据是使用 深度 扫描仪获得的 三维扫描仪在获取点云数据 时, 由 于发丝遮挡 、光照影响 、不平滑 的表面结构及扫描 设备本身 的缺陷等因素影响, 常会 出现数据丢失或 者失真 例如 , 在耳洞或者发丝遮挡 区域容易出现 数据丢失形成空洞, 而在局 部表面不光滑的区域则 容易产生毛刺 因而在构建形变模型之前 , 先要对 原始 的三维数据进行补洞和平滑 的预处理 本文研究三维人耳的重建 , 首先需要从侧脸 图 像中准确提取人耳区域 , 这里本文用改进 的 七算法 从二维侧脸图像中检测并提取人耳 区域 , 然后根据二维人耳坐标在三维数据 中分割出 人耳的三维数据 对原始的三维人耳数据进行补洞 基于分级三角网格的稠密对应 人耳三维样本数据间能够进行线性运 算是建 立形变模型的基础 , 为实现线性运算 , 需要在三维 人耳数据 间建立 点与点的稠密对应 由于不 同人的 耳朵长宽形状均存在差异 , 因此不是简单的空间坐 标位置上的对应 , 而应该满足 以下两个特 点 生 理对应 , 即点和点之间的对应 是基于生理特征的对 应, 例如, 样本耳 的耳洞对应样本耳 的耳洞, 的耳屏 间切迹 同样也要对应 的耳屏 间切迹 稠密性, 点对应必须达到像素级稠密的程度 在基于形变模型的人脸重建研究中, 常用光流 及其改进算法或网格重采样 `” 等方法进行稠密对 应 , 光流计算更多应用于同一个物体不同帧的视频 分析中, 因为它的前提是两幅图像间的连续光滑变 化 , 而形变模型中, 需要对应的是差异较大的不 同 个体, 因此光流对应效果并不理想 `”, 而网格重采 样等方法是结合人脸 的形状特征提 出的, 并不能适 用于人耳 考虑到人耳形状 的特殊性 类似于扇形 , 且不像人脸那样左右对称 , 本文提出了一种基于分 级三角 网格 的稠密对应方法, 实现不同人耳间基于 生理特征的点稠密对应 , 步骤如下 第 步 中垂线法确定外耳特征点 人耳最 明 显的特征就是外耳轮廓, 包含着丰富的鉴别信息 , 但是外耳轮廓 除了起点和终点之外, 其他位置没有 明显 的特征 本文提出了一种 中垂线定位规则 首 先定位外耳轮廓 的起点和终点, 称为 点和 点 接着作 、 点连线的中垂线交外耳轮廓与 点 依 次连接 、 和 、 , 重复上述步骤 进一步的研究 表 明, 外耳轮廓点取 个能更好地拟合外耳, 尤其 是耳垂和耳尖部位不太规则的轮廓 第 步 确定 内耳特征点 内耳蕴含 了丰富的 鉴别信息, 且结构特征明显, 这里直接根据生理特 征选择了五个明显的内耳特征点, 分别为外耳轮廓 起止点连线的中点 、耳屏间切迹 、屏轮切迹 、耳轮 脚与对耳轮交点以及对耳轮前脚与耳轮脚的交点 第 步 粗网格划分 用得到的外耳和内耳特

第5期 李琛等：基于三维人耳形变模型的三维人耳重建 .697, 征点对人耳进行三角网格划分，得到由41个三角 片；对内耳和内耳延伸区域的10个三角面片，每个 面片组成的粗网格，如图1所示 三角面片细分为784个小三角面片.全部42个三 第4步网格细分：粗网格显然无法实现像素 角面片细分后，形成一组由10661个顶点构成的密 级对应，本文对粗网格中的每个三角面片进行细分 集三角网格结构 考虑到内耳区域及内耳延伸区域三角面片的面积比 对于每个样本人耳都采用上述统一的规则细 外耳区域三角面片的面积大，因而将外耳区域的32 分，从而保证了各样本耳之间建立起基于生理位置 个三角面片，每个三角面片细分为400个小三角面 的像素级稠密对应.图1为粗网格划分的流程图 图1基于分级三角网格的稠密对应 Fig.1 Dense correspondence using the hierarchical triangle mesh method 在二维图像上取得稠密对应后，通过双线性插 本课题需要解决人耳在三维空间里的姿态归一化问 值将二维上的点稠密对应反应到三维数据上，实现 题.以往研究者们通常在未确定人脸样本间的点对 三维人耳样本数据间的点与点稠密对应.抽取稠密 应关系之前，先进行形状对齐，这种对齐较为粗 对应后的三维人耳样本形状向量，表述如下： 略.本文提出借鉴广义普鲁克分析的思想进行形状 对齐.不同于以往的方法，本文方法能实现三维空 S=(.1,h.1,2.1,…,.n,h.n,2.n)TeR3x1 间里的形状对齐，并且形状对齐是在实现稠密对应 (1) 后才进行的，因此对齐效果更为精确.基于普鲁克 式中，i=1,2,…,m,m为样本总数，n为每个 分析的形状对齐是一个循环求解的过程，具体步骤 样本上点的个数.形状向量里点的排列规则是固定 如下. 的，即不同形状向量里同一位置上的坐标代表的都 第1步求平均形状.要进行形状对齐，一般 是同一生理点的空间坐标值 需要先选定一个参考形状，称为平均形状（或平均 4基于广义普鲁克分析的形状对齐 耳).本文选择采用普鲁克均值作为平均形状的初 始值，避免了从样本集中任意选择参考形状对最终 三维数据在获取时，图像的中心被定为坐标原 模型造成的影响.普鲁克均值表示如下： 点，由于美国圣母大学人耳库采集的是人侧面图像， 人耳作为其中较小的组成部分，在不同扫描样本中 S0= (2) 所处的位置千差万别：另外，由于被采集对象坐姿 i=1 及生理特征的差异，各人耳样本的姿态也存在差异. 定义平均形状如下： 构建三维人耳形变模型需要对原始三维人耳数据进 行统计分析，因此需要对原始三维形状进行对齐， 5=S0 (3) 消除位置、姿态等差异带来的影响. 式中，m是样本人耳的个数，S:代表第i个耳朵 考虑到人耳是三维物体，为了提高模型精度， 为了后面计算方便，将每个样本人耳S:和平均耳

·698· 北京科技大学学报 第35卷 S均变换成矩阵的形式，矩阵大小是n×3.即矩阵 第i个耳朵的形状向量 的每一行表示一个三维空间点的x,y,z坐标 第3步求解旋转、尺度和位移三个参数.使 第2步将所有样本形状都对齐到平均形状. 对齐后的样本人耳形状和平均形状距离最近，也就 对齐的过程就是消除姿态、位置、尺度等因素的影 是使Qn(S,)-S2最小，则有 响.在本课题里，即使得所有样本耳在三维空间里 和平均形状位于同一位置且姿态一致，这里采用一 n=argmin llQn(S:,n)-512. (5) 个3D相似变换，如下式所示： 这里对：的求解，我们采用四元数方法 第4步循环求解最优参数.第3步求出对齐 Sik cRSik +t. (4) 后的三维样本耳，接着再重复步骤1~3，直到平均 式中，角标k代表第i个耳朵形状向量中的第k个 耳不再变化.形状对齐前后的三维人耳如图2所示. 点，c是尺度因子，R是旋转矩阵，t是平移变换， 从图2(b)可以看出，归一化后所有人耳均位于三维 设，=(R,c,t),用S=Qn(S,)表示对齐后的 空间的同一位置且姿态一致. Z/mm -1200 30、2/mm 25 -1400 20 15y -1600 10 5 -1800 -2000 20 100 Y/mm 0 0 50 -20 Y/mm -50-1000 0x/mm -40 0 -20 00x/m 2030 (a) (b) 图2基于广义普鲁克分析的形状对齐，()原始三维样本耳的空间分布和姿态：(b)归一化后的三维样本耳空间分布和姿态 Fig.2 Shape alignment based on 3D Procrustes analysis:(a)original distribution and pose of a 3D ear in the 3D space;(b) sample ear pose and distribution in the 3D space after the shape alignment 5三维人耳形变模型建立和模型优化 均耳与一组主元的线性组合叠加成的，每个主元对 5.1模型建立 应的线性组合系数，就是由主元张成的空间里各点 三维人耳样本间建立起稠密对应关系且消除 的坐标，即形状系数 了位置和姿态影响后，它们的线性组合就可以近似 5.2模型优化 表示一个真实的人耳模型，如下式所示： 模型优化指根据输入的特定二维图像建立三 维模型的过程，其关键是根据输入图像求解形变 S=>aiSi (6) 模型中的形状系数，使由该组系数合成的三维模 =1 型在同一视角上与输入图像误差最小，最为相像. 式中，a:是线性组合系数.根据形变模型理论，训 在形变系数求解方面，人脸领域已有不少成功的方 练三维形变模型，就是寻找一组用于线性近似的最 法 佳正交基，考虑到样本耳数量较大，且具有相关 本文借鉴基于稀疏特征点的形变模型思想[20， 性，在三维人耳形变模型(3 D ear morphable model, 根据待重建人耳图像上少数主要特征点的形变量来 3DEMM)构建阶段，本文采用主成分分析的方法进 确定全局形变量，从而得到形变系数.具体方法是， 行变换，得到三维人耳的形变模型如下： 在人耳图像上取33个外耳特征点、5个内耳特征点 S=5+Pa 和耳洞点作为关键特征点.对于每个二维关键特征 (7) 点，在三维形状中都有其对应的三维点，这些三维 式中，S是特定的三维人耳模型， P 点即可构成稀疏的三维形状向量.由于样本耳之间 (1,02,…,0m)是主元矩阵，a=(Q1,2,…,am) 的稠密对应已经建立，因此每个特征点在不同人耳 是形状系数.可以看到，三维人耳形变模型是由平 形状向量中所处的位置是固定的，按同样的索引规

· · 北 京 科 技 大 学 学 报 第 卷 亏均变换成矩阵的形式, 矩阵大 小是 , 即矩阵 的每一行表示一个三维空间点的 , , , 之坐标 第 步 将所有样本形状都对齐到平均形状 对齐 的过程就是消除姿态 、位置 、尺度等因素的影 响 在本课题里 , 即使得所有样本耳在三维空间里 和平均形状位于 同一位置且姿态一致 , 这里采用一 个 相似变换 , 如下式所示 第 乞个耳朵的形状 向量 第 步 求解旋转 、尺度和位移三个参数 使 对齐后的样本人耳形状和平均形状距离最近 , 也就 是使 。 、, 、一亏'最小, 则有 。, 一 。 , 。一亏 又、 、 式中, 角标 认 代表第 乞个耳朵形状 向量 中的第 无个 点 , 是尺度 因子 , 是旋转矩阵, 亡是平移变换 , 设 刀, , ,句, 用 民 。 `,刀, 表示对齐后的 这里对 ”, 的求解 , 我们采用 四元数方法 第 步 循环求解最优参数 第 步求出对齐 后的三维样本耳, 接着再重复步骤 , 直到平均 耳不再变化 形状对齐前后的三维人耳如图 所示 从图 可以看出, 归一化后所有人耳均位于三维 空间的同一位置且姿态一致 一 一 一 一 一 一 一 图 基于广义普鲁克分析的形状对齐 原始三维样本耳的空间分布和姿态 归一化后的三维样本耳空间分布和姿态 三维人耳形变模型建立和模型优化 模型建立 三 维人耳样本 间建立起稠密对应关系且消除 了位置和姿态影响后 , 它们 的线性组合就可以近似 表示一个真实的人耳模型, 如下式所示 一艺乞 、夙 式中, `是线性组合系数 根据形变模型理论 , 训 练三维形变模型 , 就是寻找一组用于线性近似的最 佳 正交基 , 考虑到样 本耳数量较大 , 且具有相关 性 , 在三维人耳形变模型 , 构建阶段, 本文采用主成分分析的方法进 行变换 , 得到三维人耳的形变模型如下 式 中 , 是 特 定 的 三 维人 耳 模 型 , 尸 , 。 , … , 。二 是主元矩阵, 。 , , … , 。 是形状系数 可以看到, 三维人耳形变模型是由平 均耳与一组主元的线性组合叠加成 的, 每个主元对 应的线性组合系数, 就是 由主元张成 的空间里各点 的坐标 , 即形状系数 模型优化 模型优化指根据 输入的特定二维 图像建立三 维模型 的过程 , 其关键是根据输入 图像求解形变 模型 中的形状系数, 使 由该组系数合成 的三维模 型在 同一视角上与输入图像误差最小 , 最 为相像 在形变系数求解方面, 人脸领域 己有不少成功的方 法 本文借鉴基于稀疏特征点的形变模型思想 , 根据待重建人耳图像上少数主要特征点的形变量来 确定全局形变量, 从而得到形变系数 具体方法是, 在人耳图像上取 个外耳特征点 、 个内耳特征点 和耳洞点作为关键特征点 对于每个二维关键特征 点, 在三维形状中都有其对应的三维点, 这些三维 点即可构成稀疏的三维形状向量 由于样本耳之 间 的稠密对应 已经建立, 因此每个特征点在不 同人耳 形状 向量中所处的位置是固定的, 按 同样的索引规