第4卷第3期 智能系统学报 Vol.4 No.3 2009年6月 CAAI Transactions on Intelligent Systems Jun.2009 doi10.3969/j.issn.1673-4785.2009.03.002 基于学习的超分辨率重建技术 刘琚，乔建苹2 (1.山东大学信息科学与工程学院，山东济南250100：2.山东师范大学传播学院，山东济南250014) 摘要超分辨率重建是图像处理和计算机图形学频域的热点研究问题主要介绍基于学习的超分辨率重建技术的 基本理论和研究进展，包括基于支撑向量机、流形学习和独立分量分析等几种典型的基于学习的超分辨率重建技术 以及作者的最新研究结果，最后对未来可能的发展做了展望， 关键词超分率重建：支持向量机：流形学习：独立分量分析 中图份类号：：TP391.4文献标识码：A文章编号：1673-4785(2009)03-019909 Learning-based super-resolution reconstruction LIU Ju',QIAO Jian-ping? (1.School of Information Science and Enginering Shandong Univerity Jinan 250100.China:2.Schodl d Communication Shan- dong Normal Univerity.Ji'nan 250014.China) AbstractSuper-resolution reconstruction is an important problem in image processing and computer graphics.This paper introduces key mathematical principles and the latest progress in leaming-based super-resolution.Several typical artificial intelligent techniques,such as support vector machines,manifold leaming,independent compo- nent analysis and so on,were analyzed.Finally,areas meriting further investigation were outlined. Keywords:super-resolution reconstruction;suppot vector machines;manifold learning;independent component a- nalysis 随着多媒体通信和信息处理技术的发展，人们 感、医学和公安系统等领域都具有非常重要的实际 对图像分辨率的要求越来越高.然而许多成像系统 应用价值 受其物理条件的限制，所得到的图像往往分辨率很 超分辨率重建技术是指融合多幅包含相似信息 低；而且会有退化变形和受噪声污染，图像的视觉效 但存在不同细节的低分辨率图像，得到一幅或多幅 果难以满足人们的需要.如果采用改善物理硬件的 高分辨率图像，以弥补原始单源观测图像承载信息 方法来获取人们满意的高分辨率图像，则成本较高， 的局限性.它是一门综合了信号处理、人工智能和传 而且有时难于实现.因此有必要考虑一种能够克服 感器等技术的现代高新技术，近年来已成为国际上 这些限制的新措施来提高图像空间分辨率.超分辨 图像处理领域最活跃的研究课题之一. 率重建技术就在这种背景下应运而生.该技术弥补 1超分辨率重建 了硬件方面的不足，从软件的角度提高图像的分辨 率，增强图像的可用性.因此这种技术一经提出，便 1.1低分辨率成像的数学模型型 引起了许多学者的广泛重视和关注，目前在电视、遥 为了实现对未知高分辨率图像的重建，首先需 要对图像获取的退化过程进行分析和建模。 收稿日期：2008-07-16. 数字图像在采集过程中可能会受到光学模糊、 基金项目：因家自然科学基金资助项目(60572105,60872024)'：教 运动模糊、下采样引起的信号混叠，以及采集图像过 育部博士点专项基金资助项目(20050422017)）：高等学 校科书 新工程重大项自培育资金项目(708059：山东 程中环境噪声和系统散弹噪声的影响，从而使图像 省自然科学基金资助项目(Y2007G04). 通信作者：乔建苹Eei:.jpriao@sdh.edu.on. 受到污染.Elad提出一种矩阵-向量的方法来描述 低分辨率图像的成像模型：
超分辨率重建技术是指融合多幅包含相似信息 但存在不同细节的低分辨率图像,得到一幅或多幅 高分辨率图像,以弥补原始单源观测图像承载信息 的局限性.它是一门综合了信号处理、人工智能和传 感器等技术的现代高新技术,近年来已成为国际上 图像处理领域最活跃的研究课题之一. LIU Ju',QIAO Jian-ping² 第4卷第3期 育部博士点专项基金资助项目(20050422017) ;高等学 校科技创新工程重大项目培育资金项目(708059);山东 省自然科学基金资助项目(Y2007G04). 通信作者: 乔建苹.E-mail: jpriao@ sdh.edu.on. 2009年6月 nalysis 为了实现对未知高分辨率图像的重建,首先需 要对图像获取的退化过程进行分析和建模. 1超分辨率重建 感、医学和公安系统等领域都具有非常重要的实际 应用价值. 摘 要:超分辨率重建是图像处理和计算机图形学领域的热点研究问题.主要介绍基于学习的超分辨率重建技术的 基本理论和研究进展,包括基于支撑向量机、流形学习和独立分量分析等几种典型的基于学习的超分辨率重建技术 以及作者的最新研究结果,最后对未来可能的发展做了展望. 关键词:超分辨率重建;支持向量机;流形学习;独立分量分析 中图分类号: TP391.4 文献标识码: A 文章编号: 1673-4785(2009) 03-0199-09 doi: 10.3969/j.issn.1673-4785.2009.03.002 (1. School of Information Science and Enginering,Shandong Univerity,Ji'nan 250100,China;2. Schodl d Communication,Shandong Normal Univerity,Ji'nan 250014,China) CAAI Transactions on Intelligent Systems 智 能 系 统 学 报 Learning-based super-resolution reconstruction AbstractSuper-resolution reconstruction is an important problem in image processing and computer graphics. This paper introduces key mathematical principles and the latest progress in leaming-based super-resolution. Several typical artificial intelligent techniques,such as support vector machines,manifold leaming,independent component analysis and so on,were analyzed. Finally,areas meriting further investigation were outlined. Keywords: super-resolution reconstruction;suppot vector machines;manifold learning;independent component aVol.4 No.3 收稿日期: 2008-07-16. 基金项目: 国家自然科学基金资助项目(60572105,60872024) ;教 Jun.2009 数字图像在采集过程中可能会受到光学模糊、 运动模糊、下采样引起的信号混叠,以及采集图像过 程中环境噪声和系统散弹噪声的影响,从而使图像 受到污染.Elad 提出一种矩阵-向量的方法来描述 低分辨率图像的成像模型: 随着多媒体通信和信息处理技术的发展,人们 对图像分辨率的要求越来越高.然而许多成像系统 受其物理条件的限制,所得到的图像往往分辨率很 低;而且会有退化变形和受噪声污染,图像的视觉效 果难以满足人们的需要.如果采用改善物理硬件的 方法来获取人们满意的高分辨率图像,则成本较高, 而且有时难于实现.因此有必要考虑一种能够克服 这些限制的新措施来提高图像空间分辨率.超分辨 率重建技术就在这种背景下应运而生.该技术弥补 了硬件方面的不足,从软件的角度提高图像的分辨 率,增强图像的可用性.因此这种技术一经提出,便 引起了许多学者的广泛重视和关注,目前在电视、遥 基于学习的超分辨率重建技术 1.1低分辨率成像的数学模型 刘 琚',乔建苹2 (1.山东大学信息科学与工程学院,山东济南250100;2.山东师范大学传播学院,山东济南250014)
200 智能系统学报 第4卷 y=D HWx +ng. (1) 目前，超分辨率重建大致可以分为2个方向：基 式中：x表示高分辩率图像，y表示第k帧低分辨图 于重构的方法和基于学习的方法.基于重构的超分 像，n。表示零均值加性高斯噪声.Ds、H。和W。分别 辨率算法是通过一定程度的模糊和下采样对图像获 表示下采样矩阵，模糊矩阵和几何变换矩阵.考虑所 取过程进行建模，从而假定由高分辨率图像可以生 有帧，矩阵-向量方程表示如下： 成低分辨率图像.然而随着分辩率提高倍数的增加， 「DH1W 对于大的放大倍数，这些方法通常不能很好地重构 : (2) 图像的高频信息， 1.2关键技术的发展 图1模拟了低分辨率图像序列的成像过程 Baker等72指出基于重构的超分辨率技术在 分辩率增强大约8~16倍时，简单的平滑约束很容 几何变换 模湖 下采 易使期望的高分辨率图像由于高频信息的丢失过于 平滑；因此引入了基于识别的先验知识，作为识别决 策集的函数.基于识别的先验是对特定的目标、场景 儿何变换 模糊 下采样 或图像集合进行学习得到的，即通过计算低分辨率 输人图像和高分辨率训练图像的高斯金字塔、拉普 拉斯金字塔、水平一二阶梯度、垂直一二阶梯度得到 父结构，然后再以某种测度作为衡量标准，建立低分 辨率输入图像的像素与最匹配的高分辨率像素及高 图1低分辩率图像的成像过程 分辨率训练图像间的关系，然后与超分辨率重构约 Fig.1 LR image acquisition model 束合并估计最大后验概率(maximum a posterior 超分辨率重建就是利用已有的观测数据和其他 probability,MAP)的解.此方法获得了比传统的基于 相关信息，通过建立的数学模型获取在一定准则下 重构的超分辨率方法更好的效果，这就是基于学习 x的较好估计，它是成像过程的逆过程.欠采样矩阵 的超分辨率方法.该类方法不仅克服了基于重构的 D的逆和分辨率增强因子有间接的关联关系，其求 方法在分辨率提高倍数方面的局限性，而且可以实 解可以通过适当数量的低分辨率图像的额外信息进 现单幅图像的超分辨率重建， 行估计：模糊矩阵H。可以用成像系统的点扩展函 Freemant3]等提出基于例子的方法，其基本思 数(point spread function,PSF)表示；而加性噪声则 想是先学习低分辨率图像与高分辨率图像之间的关 需要根据一定的滤波方法对其进行别除和抑制。此 系，然后利用这种关系来指导对图像进行超分辨率 外，由于图像的明暗亮度与相应景物表面的辐射亮 该文采用马尔可夫网络学习训练库中与低分辨率图 度成正比，不同的低分辨率图像间可能存在的辐射 像不同区域对应的高分辨率图像的精细细节，然后 亮度差异等都可能影响重建结果 利用学习得到的关系预测图像的细节信息.该算法 超分辨率重建技术最早出现于20世纪60年 把图像分成小的块，并假设每个图像块对应马尔可 代，Harris)和Goodman2提出将带限信号外推的方 夫网络上的1个节点，把变元分配给居中的节点，且 法对偶地运用到光学图像的超分辨率重建中，奠定 马尔可夫网络上的任意2个节点在统计量上是相互 了超分辨率赖以存在的数学基础.随后许多人对其 独立的，然后生成训练库，运用传播算法求解马尔可 进行了研究，并相继提出了各种复原方法，如长椭球 夫网络.在预测阶段，将低分辨率小块和高分辨率小 波函数法引、线性外推法)、叠加正弦模板法)等 块连接起来作为1个搜索向量，在训练集合中查找 这些方法虽然有较好的仿真效果，但在实际应用中 匹配，寻找最近邻居.当一个匹配找到时，相应的高 并没有获得理想的结果.80年代初，Tsai和Huang6 分辨率小块即为输出.另外，在训练库中寻找匹配块 首次提出了利用多帧低分辨率退化图像进行空间分 的搜索算法采用了基于树的逼近最邻近搜索.Bih 辨率增强的概念.80年代后期以来，人们在超分辨 o即14等对此方法进行了改进，通过有效组织图像块 率图像重建方法研究上取得了突破性进展，不仅在 数据库来提高匹配效率.Sun1]等则提出通过主要 理论上说明了超分辨率存在的可能性，而且提出和 轮廓先验增强图像质量.与上述使用概率模型的方 发展了很多有实用价值的方法， 法相比，Chang16等认为高分辨率和低分辨率图像
第3期 刘琚，等：基于学习的超分辨率重建技术 201 块间可以构成具有相似局部几何结构的流形，提出 结构，将高维空间中的数据在低维空间中重新表示， 了基于流形学习的方法；Su]等对此方法中的邻居 而超分辨率的定义是由低分辨率图像重建高分辨率 保持问题进行了讨论；Tai]等则利用多尺度张量 图像；若将图像或图像块看作空间中的点，那么，超 投票理论来估计未知的高分辨率图像；Joshi)等提 分辨率的目的可以表述为将低维空间中的数据在高 出融合不同尺寸的图像进行分辨率增强 维空间中重新表示.由此可以将超分辨率看作流形 对于人脸这类特殊图像的超分辩率重建，继 学习的逆过程，前者是从低维向高维转换，而后者则 Baker等首次提出“人脸幻想”的概念之后，Gun 是从高维向低维转换，进而可以运用流形学习的思 uk等人[202]利用一种与KL变换相似的降维技术 想和方法解决超分辨率问题 将像素域的超分辨率问题转换到低维子空间，即人 香港科技大学的Chang等学者[16最早将流形 脸空间，以降低超分辨率算法的计算量.他们首先对 学习的思想用于超分辨率，提出一种基于邻域嵌入 高分辨率人脸图像库和相应欠采样后的低分辨率人 的超分辨率重建算法.其基本思想是，假设高分辩率 脸图像库进行训练得到高、低分辨率人脸空间，然后 和低分辨率图像块可以构成具有相似局部几何结构 将采集得到的多帧低分辨率人脸图像在低分辨率人 的流形，借助于由一组低分辨率图像及其对应的高 脸空间投影，得到相应的多个人脸特征，通过建立低 分辨率图像组成的训练集来估计未知的超分辨率图 分辨率人脸特征和高分辨率人脸特征间的MAP模 像.理想情况下，每一个高分辨率图像块不仅和其对 型，迭代估计高分辨率人脸特征，实现超分辨率人脸 应的低分辨率图像块有关，而且和其邻域块也应该 识别. 保持某种块间联系.第一个特性决定了重建的准确 Liu等人[a提出了结合主分量分析(principal 性，而后一个特性则决定了重建图像的局部保持特 component analy8is,PCA)与马尔可夫框架实现单帧 性和平滑性.为了满足这两点需要，该算法具有以下 超分辨率重建的算法.在该算法中，3种约束条件被 3个特性：1)每一个高分辨率图像块由训练集中的 提出：语义约束、全局约束和局部约束.他们将期望 多个图像块有关；2)低分辨率图像块间的局部关系 的高分辨率图像分为2个部分：概貌部分和细节部 在对应的高分辨率图像块中保持不变；3)高分辨率 分.首先采用PCA的方法，借助特征向量空间得到 图像块间的邻居关系通过交叠来保持，以增强局部 了期望高分辨率图像的概貌部分：然后分块建立训 保持特性和平滑性，该算法分为矢量集形成和超分 练图像与期望高分辨率人脸的概貌之间的非参数马 辨率重建2部分.首先，将训练集中的高分辨率图像 尔可夫框架，通过能量最小化，得到期望高分辨率人 和低分辨率图像分成若干相互交叠图像块，以高分 脸细节部分的最优解：最后融合图像概貌和细节得 辨率图像块组成的空间作为观测空间(DB_H),对 到很想的高分辨率人脸图像，但该方法得到的结果 应的低分辨率图像块组成的空间为内在低维空间 较为平滑.Li2]等利用多层感知网络重建高分辨 (DB_L),每个块的特征向量用亮度变化值（一阶和 率人脸图像；Gupta24]等提出一种同时进行人脸恢 二阶梯度)来表征.训练图像的特征向量集形成矢 复和识别的方法；Jia]等提出人脸表情幻想的超分 量集.然后将每个图像块对应的特征向量看作空间 辨率算法；Peng2)等则将二维人脸幻想的方法扩展 中的一点，该点可以用邻近点的线性组合来表示，且 应用于三维人脸建模中；Wag等人)提出了基于 观测空间和低维空间的相应数据点具有相同的权 特征脸的人脸超分辨率幻想方案，利用PCA将低分 值.最后根据低分辨率图像块的特征向量得到的权 辨率输入图像建模为一些低分辨率训练图像的线性 值和矢量集DB_H中的矢量重建出高分辨率图像. 组合，保持融合系数不变，用相应的高分辨率训练图 后来，Ming等人[3考虑了训练图像选择的问 像代替低分辨率训练图像，从而估计出期望的高分 题，提出不同类型的图像的直方图是不一样的：因而 辨率图像 可以利用直方图的欧氏距离选择训练图像，然后在 2基于学习的超分辨率重建方法 流形学习的框架下进行超分辨率重建.Su等人1切 则对“邻近邻居问题”进行了探讨，研究了不同的下 2.1基于流形学习的超分辨率重建技术 采样因子和下采样方法对邻居保持的影响，指出用 流形学习别是一种非线性的降维方法.它以 一阶和二阶梯度作为特征提取的方法不能很好地保 微分几何学作为理论基础，结合神经科学提供的生 持邻居特性：因而需要寻求更好的可以保持邻居特 物学依据，其目的是找出隐藏在高维数据中的低维 性的特征表示或者选择更好的重建函数来提高算法
202 智能系统学报 第4卷 的性能.Sug等人)将流形学习中的局部保持投 光照敏感的缺点.算法流程如图2所示.将该算法应 影(locality presorring projection,PP)方法用于人脸 用于自然图像、文本图像和指纹图像进行超分辨率， 幻想，以更清楚地定义未知测试图像与训练图像间 自然图像重建结果如图3所示.可以看出与传统的 的映射函数 基于学习的SR算法相比，该方法考虑了光照的角 作者本人在文献[34]中提出一种不随光照变 度和强度等因素的影响，不仅有效克服了算法对光 化的图像表示方法一对数-小波变换(Lg-WT), 照变化的敏感性；而且在增强图像分辨率的同时消 并将其应用于超分辨率重建，构造低维嵌套空间，然 除了光照的影响，实现了图像增强，尤其是阴影效应 后在流形学习的框架下重建高分辨率图像，同时进 的消除，同时对加性高斯白噪声具有一定的鲁棒性。 行图像增强，消除阴影效应，有效克服了传统方法对 训练 图像 Log(+8) DB_H exp() 初始 计 HR 模糊 Log-WI 特和 DB J 图像 下采样 矢成 币建 约块 LR y最近 像 Log-WI 特征 权值 失量 邻欠量 计算 图2基于LgWT的超分辨率重建方案流程图 Fig.2 Schematic diagram of the Log-WT SR algorithm a1像 b)Bicubic语值 (c】茶于例子的方法 d基于局部嵌人的方法c)某丁og-WT的方法 图3超分辨率重建结果比较 Fig.3 SR results of different methods 2.2基于支持向量机的超分辨率重建技术 盲超分辨率图像重建.作者提出一种基于支持向量机 支持向量机(support vector machine,SVM)是建 的盲超分辨率图像重建算法@，其基本思想是假设 立在统计学习理论的VC维(VC dimension)理论和 模糊函数类型已知，且可由某一参数来表征，从模式 结构风险最小原理基础上的，根据有限的样本信息 识别的角度出发，参数辨识可以看作多类分类问题， 在模型的复杂性（即对特定训练样本的学习精度） 即从模糊图像中提取出可以代表该图像模糊程度的 和学习能力（即无错误地识别任意样本的能力）之 特征向量，然后采用机器学习的方法训练这些特征矢 间寻求最佳折衷，以期获得最好的推广能力54如. 量与对应的模糊参数的映射关系，最后用于盲超分辨 与传统统计学相比，支持向量机能很好地解决有限 率重建.整个算法流程如图4所示。 数量样本的高维模型的构造问题，而且具有良好的 文章中采用Sobel算子和局部方差从训练图像 通用性和快速的运算速度， 中提取能够表征模糊参数信息的特征向量，其原理 由于在很多实际应用中，系统的点扩展函数 为：造成图像退化的点扩展函数可以等效成低通滤 (PSF)并不能精确知道或者根本不知道；因此进行超 波器，图像的低频区域几乎不含有或含有很少的模 分辨率的首要一步是进行模糊辨识，然后实施重建. 糊函数的信息，同时具有不同参数的点扩展函数的 在点扩展函数未知的情况下进行超分辨率重建称为 截至频率是不同的；因而对经不同模糊函数模糊的
第3期 刘琚，等：基于学习的超分辨率重建技术 .203· 图像进行边缘检测后得到的图像包含了模糊函数参 域含有很少的模糊函数的信息，对识别的作用很小， 数的信息.Sobl算子作用后产生的图像包含了模糊 因而只选用图像的非平坦区域形成模糊图像的特征 函数的信息，并且由于它检测的边缘较宽，能最大程 矢量集， 度地保留模糊参数的信息.另外，由于图像的平坦区 训练 模糊 特征天 图像 (参数日) 量形成 SVM 降质 特征欠 最大比例 降晰参 图像 量形成 分类 选择器 数蟒识 图4 基于SVM的模糊多数辨识算法流程图 Fig.4 Schematic diagram of the SVM based blur identification algorithm 以Lena为训练图像，将测试图像Panda进行散 图(b)为作者所提出的算法的结果[] 焦模糊、下采样和压缩后，产生低分辨率图像， 图54]为对应散焦半径为2.5的低分辨率图像的 辨识曲线，图中横轴为设置的模糊函数参数（即散 焦半径)可能的取值，纵轴为SVM输出结果统计，即 每一个候选参数出现的比例，曲线最高点对应的横 坐标即为辩识出来的观测图像的散焦半径.基于 SVM的算法对训练样本的依赖性小，并且对光照， 压缩以及各种噪声等具有一定的鲁棒性.其性能取 {a)线性话彼实验结果 )个义方法的实验结果 决于2个重要因素：一个是特征提取的有效性，另一 图6基于SVM盲重建图像 个是分类器的准确性.可以通过寻找更合理的特征 Fig.6 SVM based blind SR results 提取方法以及运用其他模式识别的工具诸如隐马尔 2.3基于独立分量分析的超分辨率重建技术 可夫模型、神经网络等以提高算法的性能， 独立分量分析(independent component analysis, 1.0 ICA)[]是在研究盲源分离过程中出现的一种新兴 RBF-SVM scaling=0.5 e-RBF-SVM scaling=1.0 的信号处理和数据分析方法.其起源是人类的“鸡 0.8 -RBI-SVM scaling=1.5 尾酒会效应”[4]，自其出现便成为信号处理、数值分 +--P-SVM scaling=0.5 P-SVM scaling=1.0 析及神经网络等领域的热点研究问题.盲源分离是 -P-SVM scaling=1.5 在对彼此独立的源信号的混合过程及各个源信号本 WAS 身均未知的情况下，根据信号的统计特性从几个混 合观测信号中恢复出这些未知的源信号，实现混叠 0.2 信号的盲分离，从而提取出各个源信号.ICA可以根 据信号的统计特性从多个观测信号中恢复出未知的 4 6 候选参数 独立源成分，目前已在模式识别、特征提取、生物医 图5基于SVM参数辨识曲线 学信号处理等方面获得广泛应用.作者在文献[45] Fig.5 SVM based blur identification curves 提出一种基于ICA的人脸超分辩率图像重建算法， 图6为从实际拍摄的视频序列中取连续的11 其基本思想是，假设P个独立分量张成空间D,则 帧图像来重建一幅高分辨率图像的实验结果.取中 每幅图像可以看作空间中的一点，即可以由这些独 间帧为参考帧，分辨率倍数提高4倍.首先将图像由 立分量线性组合而成.利用ICA从高分辨率训练图 RGB空间转换到YUV空间，对U、V分量用双线性 像中提取出独立分量，同时估计ICA系数的先验， 插值，Y分量应用超分辨率算法.CCD相机的降质主 给定一幅低分辨率图像，结合最大后验概率(MAP) 要由散焦引起，采用基于SVM的参数辨识算法，估 估计理论求出ICA系数，然后ICA反变换得到高分 计散焦半径为1.8.图6(a)为双线性插值的结果； 辨率图像的近似估计.该算法有效实现了人脸超分