第7卷第5期 智能系统学报 Vol.7 No.5 2012年10月 CAAI Transactions on Intelligent Systems 0ct.2012 D0I:10.3969/i.issn.16734785.201206021 网络出版地址：http://www.cnki.ne/kcms/detail/23.1538.TP.20120921.1545.002.html 基于感知视觉重要性的立体图像质量评价 姜峰，郭美思，刘绍辉，赵德斌 (哈尔滨工业大学计算机科学与技术学院，黑龙江哈尔滨150001) 摘要：视觉心理、生理因素是有效、准确评价图像质量的重要依据.尽管在计算层面已有众多视觉心理、生理计算 模型及方法为其提供支持，但在图像质量评价任务中如何分析各种孤立方法之间的内在关系进而使之有效协同，是 使得评价结果更符合人主观评测的关键.从图像质量评价的角度出发，功能上将人眼的视觉注意区域定义并数学形 式化为视觉初期注意区域与视觉转移期的劣质区域；同时考虑人眼的感知冗余特性，结合JND感知冗余模型，进而 提出了图像质量评价范畴下的视觉感知模型PVSSIM..以此为依据，将感知视觉的方法在二维图像数据库中验证其 可行性，并将其引入到立体图像质量评价中.实验结果表明，提出的客观评价方法与传统方法相比，充分考虑到了图 像质量评价任务中各种视觉心理、生理因素的协同，与人主观的图像质量评价相比具有更高的相关度，评价方法在 立体图像库中能很好地与主观评价相吻合，达到了预期的效果. 关键词：图像质量评价：立体图像评价：JND:视觉心理：生理模型：感知视觉 中图分类号：TP391文献标志码：A文章编号：16734785(2012)05041409 Quality assessment of stereoscopic images based on the significance of perceptual vision JIANG Feng,GUO Meisi,LIU Shaohui,ZHAO Debin (Department of Computer Science and Technology,Harbin Institute of Technology,Harbin 150001,China) Abstract:The visual psychological and physiological factors are crucial for the assessment on image quality.There are many visual,psychological and physiological calculation models used to support the assessment of image quality, however,how to analyze the intrinsic relations among various isolated methods and further effectively coordinate them in the task of image quality assessment is the key to making the assessment results more conform to subjective assess- ment of human.The definition and formalization of visual attention areas as saliency in the early vision period and poor-quality area for vision transformation periods were examined from an image quality angle.Simultaneously,the property of perceptual redundancy of human eyes,JND(just noticeable distortion)perception redundancy model,and vision perception model PVSSIM of image equality assessment will be examined.Based on the research findings,fea- sibility of vision perception methods are verified using a two-dimensional image database study through the introduc- tion of image stereoscopic.The experimental results confirm that,in comparison with traditional methods,the raised objective assessment method sufficiently considers the coordination of various psychological and physiological factors in the task of image quality assessment,it is more relevant to the subjective image quality assessment of human.In the stereoscopic image database,the assessment method may properly coincide with the subjective assessment,the expectable effect is realized. Keywords:image quality assessment;stereoscopic image;just noticeable distortion(JND);visual psychology;physiological model;perceptual vision 在信息、媒体、通讯高速发展的时代，人们已经不满足于二维平面图像带来的亭受.2010年我国举 行的第16届亚运会，首次实现了综合运动会的三维 收稿日期：201206-18.网络出版日期：201209-21. 传播，这些都为立体图像视频的欢迎做好了铺垫.随 基金项目：国家自然科学基金资助项目(61100096)；国家“973”计划 资助项目(2009CB320905). 着人们生活水平的提高，3DTV、3D电影、家庭影院 通信作者：姜峰.E-mail:fiang@hit.ed.cm 等都在人们的日常生活中越来越普及.在这种强大
第5期 姜峰，等：基于感知视觉重要性的立体图像质量评价 ·415 的市场需求的情况下，立体图像视频已经成为当前 性Ia].Roushain等提出了无参的方法评价非对称的 研究的热点。 JPEG压缩图像，基于图像对在固定块的划分作为 立体图像的2幅图像（左视和右视）是通过2 3D人工产品的特性，获得的块被分成平坦块（无轮 个很近的摄像机（近似两眼之间的距离）采集的.为 廓)和活跃块（有轮廓），利用这2个特征评估立体 了节省带宽和存储空间，左右视图像会被相应压缩 对的质量4.基于差异图，Kim等提出了3D立体视 虽然3D图像的获取技术在不断出现，但这些技术 频质量评价方法.首先进行主观实验作为3D质量 和图像压缩一样，极大地影响了3D的感知质量.在 准则，然后根据色差及其在时间上的平均变化来实 每个环节中，原始图像都会产生失真的可能性.与传 现该方法5].Olsson等提出了一个基于深度图的方 统的2D图像/视频不同，3D图像/视频在采集、压 法16，在预处理阶段，他们在不同深度层次上合成 缩、存储、传输、重建过程中需要克服新的挑战，因为 2D立体对，层次是根据相机距离和焦距信息来选择 三维图像能利用左、右眼观察到的具有视差的图像 的，在每个层次中，像素根据文献[17]的算法识别， 对，在大脑中融合出真实的立体感觉.三维图像有时 编码噪音都用MSSM的方法评价16.国内的研究 会给用户带来梯形失真、鬼影效应、木偶戏效应、硬 机构也在此方向做了很多类似的研究，并得出一些 纸板效应、切形变、眩晕等特有的现象，因此研究适 重要的结论[20] 于人眼的3D图像质量评价方法就显得非常重要. 2 感知视觉重要性方法 1图像质量评价 参考图像 立体技术14]的不断涌现，为研究立体图像提 供了技术保障.从当前的国内外研究现状来看，可以 JND模型 失真图像 将立体图像质量评价方法分为以下3种类别：第1 种是基于2D图像评价方法的立体图像评价；第2 消除冗余过程 种是基于2D评价方法融合3D信息的立体图像评 新的失真图像 价；第3种是基于3D分析的立体图像质量评价. 1)第1种质量评价方法的思想是基于最新的 2D质量评价方法来评价3D图像质量.近年来，2D 亮度比较 对比度比较 结构比较 图像质量评价方法主要有PSNR、MSE、SSM) MSSIM6]、P-SSM71、IWSSIM81、VASSIM9等.You 等[1已经将上述的一些方法应用到立体图像评价 仅内容重要图 中，并研究了其性能.立体图像中的失真图像对被单 显著图 检测 独分开作为2D方法的输入，最后的分数是左、右图 像分数的平均值.实验结果显示，以上方法对立体图 既内容重要图又劣质图 像评价是有效的，虽然基于以上方法的立体图像评 质量图 价性能没有2D图像性能好. 排序 仅劣质图 2)第2种质量评价方法的思想是将立体图像 融合 的差异图或深度图以不同的方式融合在标准框架 中.You等使用3种不同的方法融合视差图来得到 最后分数 最后的质量评价分数[to].Yang等根据立体图像对 的绝对差异图来进行立体图像质量评价u1.Hewage 图1基于视觉重要性的图像质量评价框架 Fig.1 The framework of image quality assessment based 和Martini提出的方法计算原始和受损的深度图的 on the significance of perceptual vision 轮廓，然后这些轮廓被二值化，继而使用PSNR方法 人眼感知冗余特性是由于图像的亮度对比和空 评价图像质量[2].Xig等提出了从立体图像中计算 间掩藏效应产生的.JND(just noticeable distortion) 出深度图的方法，然后通过原始和受损的深度图像 模型能模拟HVS的亮度对比度和空间掩藏效应等 得出SSIM map被赋予相应的权值，这个方法的分数 是带权深度图的平均值] 特性，能表示人眼的感知冗余，在感知冗余评估上与 人眼相吻合.另一方面，在一副图像中，只有部分区 3)第3种方法的主要思想是提取3D的感知特
416 智能系统学报 第7卷 域能引起视觉注意.这部分区域可以是视觉初期注 00000 00100 00100 010-10 831 8300 00380 03030 意到的内容重要性区域，也可以是视觉转移时注意 00 000 130-3-1 -1-303 08080 到的质量不好区域.因此，本文从这2个方面来检测 -1 -3 -8-3-1 00-3-80 0-8-300 03030 00000 00-10000-100 010-10 视觉重要性区域.对于不同的区域来说，观看者注意 图24个方向的高通滤波器 程度是不同的，对不同的区域训练出不同的权值，然 Fig.2 The high-pass filters in 4 directions 后形成视觉感知模型VPM(vision perception mod- 而a(b,(x,y))和B(b（x,y)被定义为： ©l).基于感知视觉重要性的图像质量评价框架如图 a(bg(x,y)=b(x,y)×0.0001+0.115, 1所示. B(b(x,y)）=u-b(x,y）×0.01, 2.1感知冗余 55 图像的感知冗余主要是由于亮度对比度和空间 b,(x,y)=2∑p(x-3+i,y-3+i)*B(i》 掩盖效应引起的.在JND得出的可见性门限阈值 式中：b,(x,y)为平均背景亮度，通过滤波B实现， 内，图像的变化在人眼中是察觉不到的；然而超出这 如图3所示. 个阈值，人们就能察觉到图像的失真。 为使图像质量评价更加符合人眼特性，如果像 素值在ND的可见性门限阈值内，则将待测图像的 像素值修改成参考图像的像素值；否则，待测图像的 像素值会相应地增加或减少ND的值.本文采用的 是空域JND模型2，具体过程如下， 图3低通加权滤波器 1)利用模型计算参考图像的JND值Sd Fig.3 The low-pass filter 2)利用JND特性修改失真图像.如果原始图像 函数2(b,（(x,y)计算可见门限值，如式(3)： O(x,y)和失真图像D(x,y)的差值在门限阈值内， f2(b(x,y)= 则D(x,y)=O(x,y);否则，失真图像的像素值减去 门限阈值： 五×[1-(7n+e14,x,)≤127： D(x,y）=D(x,y）-Sd(x,y) y×[bg(x,y）-127]+e,b(x,y）>127. 如果原始图像像素值大于失真图像像素值，则失真 (3) 图像的像素值加上门限阈值： 2.2视觉重要性模型 D(x,y）=D(x,y）+S(x,y). 视觉注意是指对图像的某一部分特别注意，而 本文利用空间JND模型来得到能感知冗余的 能引起注意的区域包括内容重要性的显著区域和劣 可见性门限阈值，如式(1)： 质区域.本文方法将图像分为4个部分区域：既是显 Sjnd =maxifi(be(x,y),mg(x,y))f(b(x,y)). 著区域又是劣质区域、仅是显著区域、仅是劣质区 (1) 域、既不是显著区域又不是劣质区域.然后，将这4 式中：f(b(x,y),m(x,y)和f左(b(x,y))分别是 个部分区域分别赋予不同的权值来形成视觉重要性 估计空间掩盖和亮度对比的函数，而(b(x,y), 模型(vision significance model,VSM). m(x,y）)定义为 2.2.1显著性模型 f(b.(x,y）),m.(x,y）)= 显著区域是指在图像中能提取出图像的重要内 m(x,y）×a(b.(x,y))+B(b(x,y）)). 容的区域，可以依据图像在频域中的特性来提取.根 式中：m(x,y)是像素(x,y)在4个方向上亮度变化 据信息论的观点，图像信息能被分解为两部分：新颖 的最大加权平均值，如式(2)： 部分和先验部分.不同的图像在频谱对数曲线中有 m(x,y）=m0a(x,）1, 共同的曲线趋势，而频谱上的频谱冗余部分即是图 =12p(x-3+i,y-3+)*G(i,). 像的新颖部分，由此来构造图像的显著区域2] g=16台 设I(x,y)为一输人图像，A(u,)和P(u,v)分 (2) 别是经过傅里叶变换后的频谱和相谱，对数频谱 式中：G,(i,)是检测纹理的高通滤波器，如图2 L(u,)为 所示 L(u,v)=In(A(u,v)). 式中：A(“,)是对数频谱的一般形式，相当于给定
第5期 姜峰，等：基于感知视觉重要性的立体图像质量评价 417 的先验部分.而A(u,)的平均频谱A（u,v)可以用 (步长从1到4000)以得到最好的增益，在客观分 局部滤波器来近似A(u,)的形状： 数和主观分数之间的相关系数值最大时，就可得到 A (u,v)=h (u,v)*L(u,v). 该尺度的3个权值，每个尺度上都是这样训练得到 滤波器hn(u,)的矩阵表达形式如式(4)： 权值.本文在LVE数据库中抽取各种失真类型和 1 不同失真程度的150幅图像进行实验， H(u 通过分别分析4个尺度上的-SSM、⊙-SSM、 BI-SSM与主观分数之间相关系数的散点图得出最 1 优的T,「，、6值，其训练的结果如表1所示.实验结 综上，频谱冗余R(u,v)为 果表明，在显著区域且劣质区域的权值比仅是显著 R(u,v)=L(u,v)-A1(u,). 区域或者仅是劣质区域的权值高 此时频谱冗余意味着图像中的新颖部分，即显著部 表1不同尺度上的，，值 分.之后再通过反傅里叶变换得到显著图S(x,y), Table 1 The r,,r,and r with different scales 如式(5)： 模型 尺度1 尺度2 尺度3 尺度4 S(x,y）=g(x,y）*乎[exp(R(u,）+P(u,w)]2. -SSIM 28 3 1 (5) -SSIM 20 2 1 2 式中：g(x,y)是一个高斯滤波器，目的是通过平滑 BI-SSIM 40 > 6 产生较好的视觉效果，显著图突出了吸引人眼注意 因此，视觉重要性模型为 的物体，为了检测显著图中的前物体，可采用阈值的 (x,）=10(,）+,2y,)+ 方法，则前物体图O(x,y)定义为： 亚(x,y） 0(x,y)={0, r1,S(x,y)>T; @(x,2B(x,y）}/3. 其他. B(x,y) 式中：T=E(S(x,y))×3. 2.2.2劣质图像模型 武中0(，》=文x点名0(，).(》 在观看图像时，劣质区域同内容重要区域一样 1 1兰兰B(x,y). MXN三，），B(x,）=MXN,B 能吸引人的注意.在本文中，劣质图像区域的确定采 2.3感知视觉方法 用基于百分比的模型].参考图像和失真图像经过 感知视觉方法主要由以下4个步骤实现： SSIM获得的质量图SSM_map进行从小到大排序， 1)通过参考图像和失真图像计算出SSIM中的 若像素值f(x,y)落入前p%的集合范围内，就标 质量图； 记为图像劣质，其值为1，否则为0.将前p%的值的 2)再通过参考图像计算出JND值，消除视觉的 集合定义为集合A,则图像劣质图V(x,y)定义为： (x,y）=,aa(x,)eA: 感知冗余，突出失真区域； 3)通过显著区域和劣质区域来计算视觉重要 0,其他. 性模型VS; 2.2.3视觉重要性模型 4)最后融合到多尺度SSIM中得到最终的质量 由于提取视觉重要性的时候将图像分为4个部 评价结果。 分区域：既是显著区域又是劣质区域、仅是显著区 设M为最高的尺度，M的值取为5，w.:为第j个 域、仅是劣质区域、既不是显著区域又不是劣质区域 尺度上的VS图在空间位置i的值.则对于j=1,2,…, 因此，可以提取既是显著又是劣质的图像区域，其被定 M-1时，第j个尺度的PVSSIM的定义如式(6)： 义为双边重要区域(both importance map,BI map): B(,)=0(x,)=1,,)=1: F)=x) (6) 0,其他. ∑9a 同理，定义⊙(x,y)为仅有显著区域没有劣质区 当j=M时，第j个尺度的PVSSIM的定义如式(7)： 域，x,y)为仅有劣质区域没有显著区域将以上3个 部分的区域分别赋予不同的权值，⊙(x,y)的权值，≥ Ra)=是∑)x(3.)×s3.人 1,x,y)的权值r,≥1，B(x,y)的权值r≥1. (7) 根据不同区域赋予不同的权值，权值被训练 式中：l(X.,Y.i)、c(X.i,Yd)和s(Xi,Y)分别为
418 智能系统学报 第7卷 SSIM中的3个分量.最后的PVSSIM被定义为 3 立体图像质量评价 = Π(Fna) 目前3D图像质量评价处于探索阶段，与2D图 式中：每个尺度B:的权值与文献[6]中的多尺度 像质量评价相比，它有着独特的三维信息即立体感 SSM保持一致，尺度M=5. 三维图像技术的基本原理是利用人的左、右眼分别 2.4实验结果 观察具有视差相关性的左右视图，在人脑中融合出 本文采用的实验数据库图像是由982幅图像构 真实的立体世界.因此，本文将3D图像质量评价分 成的VE数据库[a].该数据库有5种失真类型，其 为质量评价和立体感评价。 中JPEG压缩图像有233幅，JPEG2000压缩图像有 当观看立体图像时，大脑会依据双眼产生的视 227幅，白噪声的图像有174幅，高斯模糊的图像有 差信息来融合产生立体感.绝对视差图对立体感有 174幅，快速退化的图像有174幅，还有203幅图像 很重要的影响，而影响立体视觉的因素还有很 是参考图像即无失真图像。 多，如阴影、重叠、双眼会聚、个人的经验和记忆等， 本文使用4种IQA测量性能的评估标准： 但是能直接影响立体图像中的立体感因素就是双眼 PLCC、SRCC、KRCC、RMSE来衡量提出的新方法，并 视差.图像对（具有标准视差）的绝对差异图像可以 和最近流行的客观评价方法比较.在评测中，一个较 近似为图像的轮廓线，由于图像的像素值不能为负 好的客观评价方法应该有较高的PLCC、SRCC、 值，因而取绝对差异图.若参考图像对如图5所示， KRCC和较低的RMSE.表2中详细具体地显示了当 则它的绝对差异图如图6所示 前具有代表性的各个客观质量评价方法在LVE图 像数据库上的评估指标. 表2客观图像质量评价方法在LVE库上的比较 Table 2 Comparison of the objective stereoscopic images assessment methods in LIVE 模型 PLCC SRCC KRCC RMSE SSIMsI 0.902 0.911 0.732 11.801 MSSSIM6J 0.940 0.951 0.804 9.312 (a)左视亮 (b)右视图 P-SSIM7] 0.937 0.946 0.796 9.537 IWSSIM8] 0.943 0.957 0.818 9.137 图5参考立体图像对 VASSIM!I 0.948 0.957 0.817 8.668 Fig.5 The inference images PVSSIM 0.949 0.958 0.818 8.584 图4显示了PVSSIM方法在LIVE数据库上的 散点图，每一个点代表一幅图像.从评估数据和散点 图中可以看出，基于感知视觉的方法符合人眼的特 性，与主观评价吻合 1.0 0.9 0.8 0.7 图6绝对视差图 x Fig.6 The absolute parallax 8. 在研究立体感和绝对差异图之间关系时做了以 0.3 下实验山.参考图像对来自图5，绝对差异图来自 0.2 图6.在参考图像对位于绝对差异图中值较大的区 0. 域加噪声，这时采取主观评价的方法观察图像对，立 20 0 20 4060 80100120 主观分数 体感觉几乎丧失，但质量还可以.在参考图像对位于 绝对差异图中值较小的区域加噪声，这时如果采取 图4 PVSSIM方法在LIVE库上的散点 主观评价的方法观察图像对，立体感觉几乎没有损 Fig.4 The scatters of PVSSIM in LIVE base 害，但质量会很差.如图7~8所示