第7卷第5期 智能系统学报 Vol.7 No.5 2012年10月 CAAI Transactions on Intelligent Systems 0ct.2012 D0I:10.3969/j.issn.1673-4785.201204016 网络出版t地址：htp://www.cnki.net/kcma/detail/23.1538.TP.20120907.1706.002.html 增强现实光照方向估计方法评述与展望 郑毅123，郑苹4 (1.南京航空航天大学民航/飞行学院，江苏南京210016；2.山东工商学院信息与电子工程学院，山东烟台 264005;3.山东工商学院智能信息处理山东省高校重点实验宝，山东烟台264005；4.华中科技大学图像识别与人 工智能研究所，湖北武汉430074)】 摘要：光照一致性是增强现实中实现虚实融合的重要方面，实时地估计出户外场景中的光照方向，对实现户外场 景光照一致性和增强真实感具有重要意义.针对光照方向估计问题，首先归纳了户外场景光照方向估计的特点，把 现有的光照方向估计方法分为借助光测球等特殊标定物的估算方法、立体视觉法和人工智能法3类方法.然后总结 了各类方法的基本原理和有代表性的研究工作，并且比较了各类方法的优缺点和适用范围.最后，根据实际应用中 存在的问题和挑战，展望了户外增强现实系统光照方向估计的研究方向， 关键词：增强现实；光照一致性；光照方向估计：立体视觉；人工智能 中图分类号：TP391.41文献标志码：A文章编号：16734785(2012)05038909 Comments and perspectives on illumination direction estimation methods in augmented reality ZHENG Yi'2.3,ZHENG Ping (1.College of Civil Aviation,Nanjing University of Aeronautics and Astronautics,Nanjing 210016,China;2.School of Information and E- lectronic Engineering,Shandong Institute of Business and Technology,Yantai 26400,China;3.Key Laboratory of Intelligent Information Processing in Universities of Shandong,Shandong Institute of Business and Technology,Yantai 264005,China;4.Institute for Pattem Rec- ognition and Artificial Intelligence,Huazhong University of Science and Technology,Wuhan 430074,China) Abstract:Illumination consistency plays an important role in merging virtual objects into real scenes for augmented reality.Real-time illumination direction estimation for outdoor scenes is important for both illumination consistency and high realism of augmented reality.Aiming at problems of illumination direction estimation,characteristics of il- lumination direction estimation for outdoor scenes are generalized,and the taxonomy of illumination direction esti- mation methods is presented.Existing illumination direction estimation methods consist of light probe sphere based method,stereo vision based method and artificial intelligence based method.Relevant fundamental principles and typical algorithms are concluded,and their advantages and disadvantages are compared in detail.Finally,accord- ing to existing problems and challenges in actual applications,future research trends of illumination direction esti- mation for outdoor augmented reality systems are foreseen. Keywords:augmented reality;illumination consistency;illumination direction estimation;stereo vision;artificial intelligence 增强现实是虚拟现实研究领域的重要分支，是一 技术，并能支持用户与其进行交互121.国家科技部 种能把计算机产生的虚拟物体或系统提示信息叠加 “863”计划信息技术领域办公室指出，虚实融合是虚 到真实场景中，实现对真实场景有效扩充和增强的新 拟现实技术的重要发展方向，在复杂产品设计、重大 收稿日期：2012-04-20.网络出版日期：20120907. 工程论证等诸多领域具有重要的应用价值3).光照一 基金项目：国家自然科学基金资助项目(60970105,61173173)：山东 致性是增强现实中实现虚实融合的一个重要方 省住房和城乡建设厅科技计划项目(2011YK060);山东省 高等学校科研计划项目(J11LG12). 面4.为了实现虚拟物体与真实场景的光照一致性， 通信作者：郑毅.E-mail:zhengyi@nuaa.ed血.cm, 首先需要由场景图像估算出光照参数，然后利用计算
·390· 智能系统学报 第7卷 机图形学的光照算法计算真实场景光照对虚拟物体 的夹角，光源的倾角Y是光源的入射光线与Z轴正 的影响，如明暗、反射、阴影效果等.因此，在增强现实 方向的夹角.其中，XOZ平面是成像平面，Y轴正方 光照一致性研究中，估计真实场景的光照参数是对虚 向指向用户. 拟物体进行真实感绘制的前提.光照参数包括光源类 1.2户外光照方向估计的特点 型、数量、光照方向和光照强度等。 光照方向估计是计算机视觉的研究重点，除了 迄今为止，国内外研究者的研究工作主要集中 增强现实外，还涉及到人脸识别4、图像篡改鉴 在室内环境下，对户外环境中的光照一致性研究相 别182]等领域，是一个具有共性的研究课题.但在 对较少.户外增强现实系统常用于城市建设6]、地 户外增强现实领域中，光照方向估计具有自己的特 理信息系统与导航7]、航空维修9、遗址重现 点，即户外光源的复杂性、户外场景的随机性、光照 遥操作机器人]和信息化武器装备[213]等领域，为 方向的三维性和算法的实时性。 了实现场景光照一致性和增强真实感，需要实时地 估计出户外场景中的光照方向， 1)户外光源的复杂性是指户外存在太阳光、天 空光、环境光等自然光源和多种类型的人工光源，并 1户外光照模型与光照方向估计 且户外场景中物体的几何复杂性、丰富的材质表面 1.1户外光照模型 反射特性会影响光线的传播路径，因此户外光照情 户外存在太阳光、天空光、环境光等自然光源和 况比实验室中可以控制光源强度和方向的人工光源 多种类型的人工光源，而且户外物体复杂的几何外 情况更复杂. 形、丰富的纹理特征和表面反射特性也会影响光线 2)户外场景的随机性是指随着用户视点的移 的传播路径，因此户外环境中的光照情况非常复杂 动，用户观察到的场景图像会发生变化，场景中目标 多种自然光源和人工光源作用于户外环境，共同决 的几何信息和表面反射特性是未知的，这与室内目 定户外环境中物体的光照情况.图1是户外环境中 标的几何信息和表面反射特性是已知的、可作为系 光照模型示意图 统工作的先验知识是截然不同的. 次太阳光 3)光照方向的三维性是指在增强现实系统呈 法向量 环境光 现给用户的三维场景中，光照方向包括光源的偏角 反射光 和倾角，如图2所示.在人脸识别和图像篡改鉴别领 域中，光照方向通常只有二维性，仅指光源的倾角， 物体表面而 不包括光源的偏角。 图1户外光照模型 4)算法的实时性是指能够实时检测出真实场 Fig.1 Outdoor illumination model 景的光照变化，保证虚拟物体的光照随着真实场景 光照变化实时改变，否则虚拟物体光照变化的延迟 0光源 会使用户立刻察觉到虚拟物体外观与周围环境不协 调，影响虚拟物体与真实场景的无缝融合 人射光线 2光照方向估计方法 在室内环境中，可以事先获得场景中物体的几 何、材质和纹理等信息，并且能够方便地控制光源类 型、数量、光照方向和光照强度等参数，便于测试和 仿真.因此，国内外研究者们对光照方向估计的研究 图2光源的偏角？和倾角Y 主要针对室内情况，并且大多数研究是在假设场景 Fig.2 Tilt angle r and slant angle y of an illuminant 中只存在类型已知的单一光源的前提下展开的，对 光源的光照方向包括偏角和倾角，定义如图2 所示.光源的偏角？是光源的入射光线与XOZ平面 户外光照方向估计的研究相对较少 在一些户外增强现实系统中，用户利用全球定
第5期 郑毅，等：增强现实光照方向估计方法评述与展望 .391· 位系统确定自已的位置，结合系统工作时间，计算太 光照方向和光照强度的估算方法[26].这种方法使用 阳光的光照方向.这种方法虽然简单、直接，但是只 表面同时具有漫反射特性和镜面反射特性的光测 能估算出用户所在位置的太阳光的光照方向；如果 球，不需要光测球半径和位置作为先验知识，而是通 场景中还存在其他类型的照明光源，那么这种方法 过光测球的立体图像对求出光测球半径和中心位 就不再适用.本文后续章节没有对这种方法进一步 置，然后分离光测球图像中的漫反射分量和镜面反 归纳总结 射分量，前者用于估计场景中光源的光照强度，后者 2.1光照方向估计方法分类 用于估计光源的光照方向.之后，他们又换用具有明 根据是否需要借助光测球等特殊标定物，可以 亮表面的光测球，通过光测球立体图像对的镜面反 把光照方向估计方法分为两大类，即借助光测球等 射面片匹配误差最小化方法，能够估算出场景中多 特殊标定物的估算方法与不需要特殊标定物的估算 个面光源的尺寸和位置信息[.在文献[2627]的 方法.其中，不需要特殊标定物的估算方法又可以细 研究基础上，Zhou等构建了一个估计场景光照参数 分为立体视觉法和人工智能法.图3是光照方向估 的通用框架，能够同时估算场景中多个不同类型光 计方法分类图 源的光照参数[8].Ma等采集具有镜面反射特性的 光照方向估计方法 已知尺寸的光测球的图像，通过最大最小距离法估 计光源数量和高光区域的形心位置，并利用c均值 聚类法优化形心位置，然后通过高光区域形心位置 借助光测球等 不需要特殊标 和用户视点位置计算出场景中多个光源的光照方 特殊标定物 定物 向291 在这类方法中，光测球的几何尺寸和表面反射 特性可以作为估算场景光照参数的先验知识.但是， 工 体视觉法 智能法 光测球携带不便，而且场景图像中会出现光测球；当 用户视点移动时，场景会发生变化，需要采集光测球 图像来重新估算场景的光照参数，因此这类方法在 图3光照方向估计方法分类 使用中存在较大的局限性 Fig.3 Taxonomy of illumination direction estimation 2.1.2立体视觉法 methods 2.1.1借助光测球等特殊标定物的估算方法 使用几何尺寸和表面反射特性已知的光测球作 早期大多数研究者们借助几何尺寸和表面反射 为标定物，可以为估算场景光照参数提供一些已知 特性已知的光测球来估算场景中的光照参数.Zhang 条件：但是，在实际应用中光测球携带不方便，而且 等利用最小二乘法和迭代方法确定光测球上关键点 有时不希望场景图像中出现光测球.利用场景中的 的三维几何信息，然后估算出场景中多个光源的光 明暗、阴影或局部几何信息，通过立体视觉方法，也 照方向和光照强度等参数).这种方法需要已知光 可以为估算场景中的光照参数提供条件， 测球的半径.C.S.Bouganis等把光测球图像分割成 Zheng等假设场景中的物体具有朗伯表面反射 若干子区域，每个子区域对应一个虚拟光源，利用相 特性，使用沿图像轮廓的明暗信息，可以估算出光源 邻子区域虚拟光源的差别来估计光照参数24).这种 的偏角和倾角，并能够重建物体的三维形状「[∞).K, 方法鲁棒性好，精度高，但是必须使用具有朗伯表面 Hara等提出了2种根据单一视图估计光源位置的 反射特性的光测球作为标定物.Feng使用2个具有 方法，这2种方法不需要假设光源位于无限远处，因 朗伯表面反射特性的光测球作为标定物，通过图像 此适用于室内光源的光照方向估计3].第1种方法 分析和空间解析几何，能够估算出场景中的光照参 要求场景中物体表面具有均匀漫反射特性，使用迭 数2s).但是eng的方法属于后处理，不能实时得到 代松弛法分离镜面反射分量和漫反射分量，通过拟 满足光照一致性的虚实融合图像， 合漫反射分量估算光源位置.第2种方法以镜面反 Zou等提出了一种能够同时确定多个光源的 射分量图像作为输入，通过线性化Torrance-Sparrow
·392 智能系统学报 第7卷 镜面反射模型和最优化采样相关系数，能够同时估 用于户外场合： 算出镜面反射参数和光源位置，但是由于缺少漫反 2.1.3人工智能法 射分量信息，因此鲁棒性较差.这2种方法都要求已 准确估计出场景中的光照方向，需要已知场景 知场景三维几何信息，并且场景中只存在单一的点 图像、场景深度信息和场景中物体的表面反射率.缺 光源.Xe等分2步来估计自然照明条件下单一点 少其中任意一个信息，光照方向恢复就会成为不适 光源的光照方向和光照强度，首先把采集到的场景 定问题.对于工作于户外环境的增强现实系统来说， 图像投影到一个基于球面谐波基函数的正交线性子 视，点会随着用户走动而发生改变，场景也会随之变 空间，然后在这个低维子空间中计算光照参数[32]. 化，因此场景是动态变化的.对于动态场景而言，场 但是，这种方法需要已知场景的三维几何信息，并且 景中物体的几何尺寸、表面反射率在绝大多数情况 只适用于光照方问与摄像机轴的夹角小于55°的情 下是未知的.在这种情况下，估算场景光照方向属于 况.M.Bingham等利用场景中阴影和特征点之间的 不适定问题.在没有先验知识作为约束条件使不适 对应关系来检测场景中的光照信息，进而确定光源 定问题适定化的情况下，神经网络和支持向量机等 的三维空间坐标3].但是该方法假设场景中只存在 人工智能方法是较好的解决工具 1个光源，并且要求物体的阴影投射到平坦表面上 田英利等提出了一种使用神经网络估计光照参 在实际应用中，户外可能存在多个不同类型的光源， 数的方法，该方法适用于场景中存在多个光源的情 并且物体阴影可能会投射在上下交叠的其他物体 况9].但是，该方法需要事先使用标定物图像对神 上，因此这种方法仅适用于实验室理论研究，不适用 经网络进行训练.当视点发生移动时，原先训练得到 于户外情况 的网络权值不再适用，需要重新采集标定物图像进 立体视觉法也可以用于场景中存在多个光源的 行训练，运算量较大，难以满足户外光照估计的实时 情况.I.Sato等利用入射光产生的阴影信息，能够估 性要求.S.Y.Cho等在研究从明暗恢复形状问题时， 算出复杂场景的光照分布34].但是，这种方法要求 提出了一种估计场景光照参数的混合反射模型，适 产生遮挡阴影的2个物体的形状已知，并且接受阴 用于场景中物体表面反射率未知、图像中含有较多 影投射的物体的表面反射率也是已知量.Wang等不 噪声并且存在较强镜面反射的情况[0.该模型使用 需要在场景中放置光测球，只需已知场景的局部几 前馈神经网络归一化漫反射项，使用径向基函数神 何信息，再结合场景中的明暗和阴影信息，就可以从 经网络归一化镜面反射项，但这2种神经网络在使 单一场景图像中估算出多个方向光源的光照方 用前都需要训练，难以满足户外动态场景光照参数 向3s1.之后，Wang等对算法进行了改进，将明暗和 估计的实时性要求.S.Karungaru等提出了一种遗传 阴影信息同时处理，减少了运算时间[].山等综合 算法和神经网络相结合的场景光照参数估计方 利用场景中的明暗、阴影和高光区域等信息，提出了 法12]，该方法使用遗传算法筛选神经网络的输入 一种新的方向光源参数估计算法37].与文献[35]的 数据，可以加速神经网络的训练和运行速度.但是该 方法相比，该方法不需要假设物体表面具有朗伯表 方法也仅适用于视点固定的情况，当视点变化时，需 面反射特性，因此可用于纹理场景的光照恢复.姚远 要重新训练神经网络，才能得到适用于新场景的网 等提出了一种使用普通定位标记的场景光源实时检 络权值.C.K.Chow等提出了一种表层输入实值输 测方法].该方法能够确定光源位置，估算光源的 出回归网络，结合场景深度信息，能够以较高精度估 光照强度和颜色，并且能够在运行过程中创建一个 计出场景中的光照方向3但是，该方法所用的场 或多个虚拟光源来模拟与真实场景一致的光照效 景深度信息是由三维扫描仪获得的，这增加了系统 果.但该方法依赖场景中的定位标记，因此只适合在 的成本和复杂度；并且这种表层输入实值输出回归 室内建模虚拟光源，不适用于户外场合 网络实质上是径向基函数神经网络，使用前需要进 对于户外增强现实系统来说，场景会随着用户 行训练.当视点变化时，场景也会发生变化，同样需 视点移动而发生变化，户外场景中的明暗、阴影或局 要重新训练神经网络，以得到适用于新场景的网络 部几何信息有时难以准确获取，因此这类方法较少 权值.因此，这种神经网络也不能满足户外动态场景
第5期 郑毅，等：增强现实光照方向估计方法评述与展望 ·393· 光照方向估计的实时性要求。 人脸识别中复杂的、非线性光照方向的分类问题，分 除了神经网络外，人工智能范畴内的其他方法 类准确率达到89.16%.但是，支持向量机在使 也被用于估计场景中的光照方向.P.Nius等提出 用前也需要训练，也不能满足户外动态场景光照方 了一种根据单一图像估计光照方向的方法4).该方 向估计的实时性要求。 法使用颜色和边缘信息，提取多个具有朗伯表面反 2.2研究现状评价 射特性物体的封闭轮廓，利用轮廓的亮度值，估计出 将上述3类光照方向估计方法的特点、局限性 对应于每一个封闭轮廓的光照方向，然后使用贝叶 和适用范围进行比较，如表1所示.由表1可以看 斯网络推理确定概率最大的光照方向为场景光源的 出，最初研究者们大多借助几何尺寸和表面反射率 光照方向.这种方法要求提取的物体轮廓是封闭的， 已知的光测球来估算场景的光照参数，此时光照方 因此适用范围受到限制.M.Chantler等提出了一种 向估计问题已知信息充足，属于适定问题.为了提高 能够同时进行表面纹理特征分类和光照方向估计的 光照方向估计算法的实用性，摆脱对类似光测球等 分类器5]，这种分类器是利用与光照方向相关的纹 标定物的依赖，Zheng和I.Sato等众多研究者们对 理特征构建的，能够估计出光源的偏角和倾角，分类 不需场景物体的几何、材质、纹理等先验知识的光照 准确率可以达到98%.但是它在使用前必须训练， 方向估计方法展开研究，取得了一系列研究成果；但 在场景动态变化时不能实时估计光照方向.文献 此时光照方向估计问题缺少足够的求解信息，属于 [46]研究表明，在一定假设条件下朗伯凸表面图像 不适定问题，可能会估算出错误的光照参数.为了能 可表示为该凸表面9个球面谐波基图像的线性组 够在缺少相关信息情况下提高不适定问题的求解准 合，这9个线性组合系数反映了图像光照情况.卿来 确度，研究者们提出使用人工智能方法来估算场景 云等利用文献[46]的方法估计图像的光照系数，并 光照参数，使用的数学工具有反向传播神经网络、径 将该系数用于光照方向估计与光照补偿，其中光照 向基函数神经网络和支持向量机等；但是它们在使 方向估计也是利用分类器完成的，分类器在使用前 用前都需要训练，不能满足户外动态场景光照方向 也必须训练4].孙雪梅等提出采用支持向量机解决 估计的实时性要求。 表1光照方向估计方法比较 Table 1 Comparison of illumination direction estimation methods 方法 特点 局限性 适用范围 需要携带光测球；场景图像中出现光 借助光测球等特殊标 利用光测球图像获取光照参数 测球：视点移动时，需要重新采集光测室内和户外环境 定物的估算方法 球图像来估算光照参数 利用明暗、阴影或局部几何信息要求场景中的明暗、阴影或局部几何 立体视觉法 室内环境 获取光照参数 信息已知，或易于获取 使用神经网络或支持向量机等方视点移动时，需要重新训练，才能得到 人工智能法 室内和户外静态场景 法获取光照参数 适用于新场景的网络权值，实时性差 3 总结与展望 根据当前的研究现状和应用需求，光照方向估 计存在的主要问题和挑战有： 增强现实中的光照方向估计问题的提出，已有 1)实时性问题.立体视觉法和人工智能法都存 近20年的时间，这期间有大量的研究者针对不同的 在运算量大的问题，导致算法实时性较差，对于立体 应用环境提出了各自的解决方法，但是光照方向估 视觉法而言，由于需要从场景图像中获取明暗、阴影 计问题并没有得到全面解决，它仍然是一项颇具挑 或局部几何信息，因此算法耗时较长.对于人工智能 战性的研究课题 法而言，当场景随着用户视点移动而发生变化时，所