联合多种边缘检测算子的无参考质量评价算法

工程科学学报，第40卷，第8期：996-1004,2018年8月 Chinese Journal of Engineering,Vol.40,No.8:996-1004,August 2018 DOI:10.13374/j.issn2095-9389.2018.08.014;http://journals.ustb.edu.cn 联合多种边缘检测算子的无参考质量评价算法 沈丽丽区，杭宁 天津大学电气自动化与信息工程学院，天津300072 ☒通信作者，E-mail:sll@u.cu.cn 摘要提出了一种联合多种边缘检测算子的无参考质量评价算法，同时考虑一阶和二阶边缘算子，避免了单一算子的局限 性.该方法首先将彩色图像转换为灰度图像，然后计算灰度图像的梯度，相对梯度以及LOG特征.本文所使用的特征分为两 部分，一部分提取相对梯度方向的标准差，另一部分利用条件嫡来量化不同特征之间的相似性和相互关系，并且考虑到人眼 特性进行多尺度计算，最后使用自适应增强(AdaBoost)神经网络进行训练和预测.在公共数据库LIVE和TD2OO8上进行实 验，结果表明新方法对失真图像的预测评分与主观评分有较高的一致性，能很好地反映图像质量的视觉感知效果，仅使用10 维特征，性能优于现有的主流无参考质量评价算法 关键词无参考图像质量评价：梯度：LOG特征：条件嫡：AdaBoost神经网络 分类号TN911.73 No-reference image quality assessment using joint multiple edge detection SHEN Li-i,HANG Ning School of Electrical and Information Engineering,Tianjin University,Tianjin 300072,China Corresponding author,E-mail:sll@tju.edu.cn ABSTRACT Before digital images become available to consumers,they usually undergo several stages of processing,which include acquisition,compression,transmission,and presentation.Unfortunately,each stage introduces certain types of distortion,such as white noise,Gaussian blur,and compression distortion,which may degrade the perceptual quality of the final image.Therefore,it is important to design an effective and robust image quality assessment method to automatically evaluate distortions in image quality.Im- age quality assessment is widely used in image compression,image deblur,image enhancement,and other image processing domains. In general,no-reference image quality assessment methods have profound practical significance and broad application value;hence,it remains the main focus of many researchers.At present,many image quality assessment methods extract features and predict image quality using single edge detection operations such as gradient or local binary pattern.However,it is difficult for a single edge detection operation to represent the whole perceptual quality of distorted images,and hence,their predictions may not be satisfactory.To elimi- nate the limitations of single edge detection operation,this paper proposes a new no-reference image quality assessment method based on a multiple edge detection operation.The paper considers first-order and second-order derivative information and utilize their similari- ty to predict image quality.The proposed method first converted color images to grayscale images,and calculated the gradient magni- tude GM),relative gradient magnitude RM),relative gradient orientation (RO),and Laplacian of Gaussian LOG)of the grayscale images.The feature vectors extracted from the maps were divided into two parts,where one part was the standard deviation of RO,and the second part utilized conditional entropy to quantify the similarity and relationship of GM,RM,and LOG.The images were naturally multiscale,and distortions affected the image structures across scales.Hence,all features at two scales were extracted:the o- riginal image scale and at a reduced resolution low-pass filtered and down sampled by a factor of 2).Lastly,an AdaBoost back-propa- gation network was used to train and establish a regression model to predict the image quality.The experiment of the proposed method 收稿日期：2017-08-22 基金项目：国家自然科学基金资助项目(61520106002,61471262)

工程科学学报,第 40 卷,第 8 期:996鄄鄄1004,2018 年 8 月 Chinese Journal of Engineering, Vol. 40, No. 8: 996鄄鄄1004, August 2018 DOI: 10. 13374 / j. issn2095鄄鄄9389. 2018. 08. 014; http: / / journals. ustb. edu. cn 联合多种边缘检测算子的无参考质量评价算法 沈丽丽苣 , 杭 宁 天津大学电气自动化与信息工程学院, 天津 300072 苣 通信作者, E鄄mail:sll@ tju. edu. cn 摘 要 提出了一种联合多种边缘检测算子的无参考质量评价算法,同时考虑一阶和二阶边缘算子,避免了单一算子的局限 性. 该方法首先将彩色图像转换为灰度图像,然后计算灰度图像的梯度,相对梯度以及 LOG 特征. 本文所使用的特征分为两 部分,一部分提取相对梯度方向的标准差,另一部分利用条件熵来量化不同特征之间的相似性和相互关系,并且考虑到人眼 特性进行多尺度计算,最后使用自适应增强(AdaBoost)神经网络进行训练和预测. 在公共数据库 LIVE 和 TID2008 上进行实 验,结果表明新方法对失真图像的预测评分与主观评分有较高的一致性,能很好地反映图像质量的视觉感知效果,仅使用 10 维特征,性能优于现有的主流无参考质量评价算法. 关键词 无参考图像质量评价; 梯度; LOG 特征; 条件熵; AdaBoost 神经网络 分类号 TN911郾 73 收稿日期: 2017鄄鄄08鄄鄄22 基金项目: 国家自然科学基金资助项目( 61520106002, 61471262) No鄄reference image quality assessment using joint multiple edge detection SHEN Li鄄li 苣 , HANG Ning School of Electrical and Information Engineering, Tianjin University, Tianjin 300072, China 苣 Corresponding author, E鄄mail: sll@ tju. edu. cn ABSTRACT Before digital images become available to consumers, they usually undergo several stages of processing, which include acquisition, compression, transmission, and presentation. Unfortunately, each stage introduces certain types of distortion, such as white noise, Gaussian blur, and compression distortion, which may degrade the perceptual quality of the final image. Therefore, it is important to design an effective and robust image quality assessment method to automatically evaluate distortions in image quality. Im鄄 age quality assessment is widely used in image compression, image deblur, image enhancement, and other image processing domains. In general, no鄄reference image quality assessment methods have profound practical significance and broad application value; hence, it remains the main focus of many researchers. At present, many image quality assessment methods extract features and predict image quality using single edge detection operations such as gradient or local binary pattern. However, it is difficult for a single edge detection operation to represent the whole perceptual quality of distorted images, and hence, their predictions may not be satisfactory. To elimi鄄 nate the limitations of single edge detection operation, this paper proposes a new no鄄reference image quality assessment method based on a multiple edge detection operation. The paper considers first鄄order and second鄄order derivative information and utilize their similari鄄 ty to predict image quality. The proposed method first converted color images to grayscale images, and calculated the gradient magni鄄 tude (GM), relative gradient magnitude ( RM), relative gradient orientation ( RO), and Laplacian of Gaussian ( LOG) of the grayscale images. The feature vectors extracted from the maps were divided into two parts, where one part was the standard deviation of RO, and the second part utilized conditional entropy to quantify the similarity and relationship of GM, RM, and LOG. The images were naturally multiscale, and distortions affected the image structures across scales. Hence, all features at two scales were extracted: the o鄄 riginal image scale and at a reduced resolution (low鄄pass filtered and down sampled by a factor of 2). Lastly, an AdaBoost back鄄propa鄄 gation network was used to train and establish a regression model to predict the image quality. The experiment of the proposed method

沈丽丽等：联合多种边缘检测算子的无参考质量评价算法 .997· was performed on two public databases,LIVE and TID2008,and the results show that the score predicted by this new method has a good correlation with the subjective quality score.Moreover,this method can reflect perceptual quality properly using only ten-dimen- sional feature vectors,and the performance of correlation coefficient can exceed some state-of-the-art no-reference image quality assess- ment algorithms. KEY WORDS no-reference image quality assessment;gradient;Laplacian of Gaussian;conditional entropy;AdaBoost network 随着数字成像技术和互联网的飞速发展，图像 图像的整体影响，而很少考虑局部的结构性损失，并 在人们日常生活中使用的越来越频繁).然而图像 且这类方法只适用于自然图像的质量评价，对于非 在采集、压缩、传输、储存等过程中总会不可避免的 自然图像的预测结果并不理想 产生失真，导致最终得到图像存在一定的降质，不能 人类视觉系统对图像的边缘结构比较敏 满足人们的需要.设计一个有效的图像质量评价方 感[9-0]，因此有许多评价算法利用边缘和结构信息 法(image quality assessment,.IQA)在图像压缩f2)】、图 来进行质量预测.如Marziliano等I-2]使用Sobel 像去模糊3)]、图像增强[]等方面都有重要的作用. 算子检测竖直方向的边缘，通过搜索灰度值的局部 图像质量评价方法可以分为主观评价和客观评价两 极值点得到边缘宽度，将所有边缘像素的平均边缘 类.前者是由若干观察者对图片的质量进行评分， 宽度作为图像模糊程度的估计.Li山等]认为原始 然后通过统计方法得到平均分值，称为平均主观得 的梯度算法不能很好的反映图像的局部结构性信 分(mean opinion score,MOS)或平均主观得分差异 息，他们将每个像素点的梯度值与其邻域梯度均值 (different mean opinion score,DMOS).后者使用一 进行比较，提出了一种改进的相对梯度特征，并将相 系列的算法代替人类视觉系统对图像质量进行预 对梯度的方差作为特征预测图像质量.Zhang 测.一般来说，主观评价的方法更加可靠，但这种方 等4)，i等[和Yue等6分别利用局部二值模式 法费时费力，稳定性较差，因此客观的质量评价方法 (local binary pattern,LBP)的改进方法提取特征来 成为研究重点.根据是否需要原始参考图像，客观 构建预测模型.目前，基于边缘信息的算法已经取 评价方法可以分为三类：全参考质量评价算法(l 得了很好的效果，这些方法大多使用单一的边缘检 reference,FR)、半参考质量评价算法(reduced refer- 测算法，具有一定的针对性，但很难反映出图像全部 ence,RR)以及无参考质量评价算法(no reference, 的纹理细节. NR).由于实际应用中往往无法获得原始参考图 本文提出了一种联合多种边缘检测算子的无参 像，所以研究无参考图像质量评价算法更加具有现 考质量评价算法，利用失真条件下一阶边缘信息和 实意义.目前主流的无参考质量评价算法分为两大 二阶边缘信息之间的相似性进行质量预测.该方法 类：基于自然场景统计(natural scene statistics,NSS) 首先提取图像的梯度，相对梯度以及L0G特征，然 的方法和基于边缘和结构性信息的方法. 后计算梯度和LOG之间的条件熵以及相对梯度和 自然图像具有相似的统计特性，而失真会造成 LOG之间的条件嫡，最后使用自适应增强(Ada- 这种统计特性的改变[)，通过计算失真图像和参考 Boost)1]神经网络进行回归预测.在LIVE7]数据 图像统计特性的差异可以进行图像质量的预测. 库和TD2008[1]数据库上进行实验，结果表明本文 Saad等提出了BLIINDS-IⅡ6算法，先使用离散余弦 提出的算法与主观DMOS值有着很高的一致性，并 变换(discrete cosine transform,DCT)将失真图像变 且性能优于主流的无参考质量评价算法. 换到频域，然后再使用广义高斯分布拟合DCT系数 1梯度特征与LOG特征 的直方图，将拟合的参数进行训练.Anush和Bovik 提出DIIVINE)算法，先将失真图像进行一种基于 1.1梯度与相对梯度 小波的多方向可控金字塔分解，然后使用广义高斯 梯度能够很好的反映出图像中微小的细节反差 分布拟合分解得到的子带系数直方图，将拟合参数 和纹理结构，所以广泛用于图像质量评价算法中，梯 作为特征进行训练.Mittal等提出了空域上的质量 度的幅值GM和方向G0可以由公式(1)~(2)计 评价算法BRISQUE8),该方法使用灰度图像的归 算.其中图像水平方向的一阶导数为1=I⑧h,竖 一化亮度系数来拟合广义高斯分布，具有极低的计 直方向的一阶导数为I=I⑧h,I代表原始图像，⑧ 算复杂性.一般来说，基于自然场景统计(NSS)的 代表卷积运算，而h,和h,分别是水平方向和垂直 方法有一定的局限性，这类方法大都只关注失真对 方向的滤波模板

沈丽丽等: 联合多种边缘检测算子的无参考质量评价算法 was performed on two public databases, LIVE and TID2008, and the results show that the score predicted by this new method has a good correlation with the subjective quality score. Moreover, this method can reflect perceptual quality properly using only ten鄄dimen鄄 sional feature vectors, and the performance of correlation coefficient can exceed some state鄄of鄄the鄄art no鄄reference image quality assess鄄 ment algorithms. KEY WORDS no鄄reference image quality assessment; gradient; Laplacian of Gaussian; conditional entropy; AdaBoost network 随着数字成像技术和互联网的飞速发展,图像 在人们日常生活中使用的越来越频繁[1] . 然而图像 在采集、压缩、传输、储存等过程中总会不可避免的 产生失真,导致最终得到图像存在一定的降质,不能 满足人们的需要. 设计一个有效的图像质量评价方 法(image quality assessment, IQA)在图像压缩[2] 、图 像去模糊[3] 、图像增强[4] 等方面都有重要的作用. 图像质量评价方法可以分为主观评价和客观评价两 类. 前者是由若干观察者对图片的质量进行评分, 然后通过统计方法得到平均分值, 称为平均主观得 分 (mean opinion score,MOS)或平均主观得分差异 (different mean opinion score,DMOS). 后者使用一 系列的算法代替人类视觉系统对图像质量进行预 测. 一般来说,主观评价的方法更加可靠,但这种方 法费时费力,稳定性较差,因此客观的质量评价方法 成为研究重点. 根据是否需要原始参考图像,客观 评价方法可以分为三类:全参考质量评价算法( full reference, FR)、半参考质量评价算法(reduced refer鄄 ence, RR)以及无参考质量评价算法( no reference, NR). 由于实际应用中往往无法获得原始参考图 像,所以研究无参考图像质量评价算法更加具有现 实意义. 目前主流的无参考质量评价算法分为两大 类:基于自然场景统计(natural scene statistics, NSS) 的方法和基于边缘和结构性信息的方法. 自然图像具有相似的统计特性,而失真会造成 这种统计特性的改变[5] ,通过计算失真图像和参考 图像统计特性的差异可以进行图像质量的预测. Saad 等提出了 BLIINDS鄄II [6] 算法,先使用离散余弦 变换(discrete cosine transform, DCT)将失真图像变 换到频域,然后再使用广义高斯分布拟合 DCT 系数 的直方图,将拟合的参数进行训练. Anush 和 Bovik 提出 DIIVINE [7]算法,先将失真图像进行一种基于 小波的多方向可控金字塔分解,然后使用广义高斯 分布拟合分解得到的子带系数直方图,将拟合参数 作为特征进行训练. Mittal 等提出了空域上的质量 评价算法 BRISQUE [8] , 该方法使用灰度图像的归 一化亮度系数来拟合广义高斯分布,具有极低的计 算复杂性. 一般来说,基于自然场景统计(NSS) 的 方法有一定的局限性,这类方法大都只关注失真对 图像的整体影响,而很少考虑局部的结构性损失,并 且这类方法只适用于自然图像的质量评价,对于非 自然图像的预测结果并不理想. 人类 视 觉 系 统 对 图 像 的 边 缘 结 构 比 较 敏 感[9鄄鄄10] ,因此有许多评价算法利用边缘和结构信息 来进行质量预测. 如 Marziliano 等[11鄄鄄12] 使用 Sobel 算子检测竖直方向的边缘,通过搜索灰度值的局部 极值点得到边缘宽度,将所有边缘像素的平均边缘 宽度作为图像模糊程度的估计. Liu 等[13] 认为原始 的梯度算法不能很好的反映图像的局部结构性信 息,他们将每个像素点的梯度值与其邻域梯度均值 进行比较,提出了一种改进的相对梯度特征,并将相 对梯 度 的 方 差 作 为 特 征 预 测 图 像 质 量. Zhang 等[14] ,Li 等[15]和 Yue 等[16] 分别利用局部二值模式 (local binary pattern, LBP)的改进方法提取特征来 构建预测模型. 目前,基于边缘信息的算法已经取 得了很好的效果,这些方法大多使用单一的边缘检 测算法,具有一定的针对性,但很难反映出图像全部 的纹理细节. 本文提出了一种联合多种边缘检测算子的无参 考质量评价算法,利用失真条件下一阶边缘信息和 二阶边缘信息之间的相似性进行质量预测. 该方法 首先提取图像的梯度,相对梯度以及 LOG 特征,然 后计算梯度和 LOG 之间的条件熵以及相对梯度和 LOG 之间的条件熵,最后使用自适应增强 ( Ada鄄 Boost) [13]神经网络进行回归预测. 在 LIVE [17] 数据 库和 TID2008 [18]数据库上进行实验,结果表明本文 提出的算法与主观 DMOS 值有着很高的一致性,并 且性能优于主流的无参考质量评价算法. 1 梯度特征与 LOG 特征 1郾 1 梯度与相对梯度 梯度能够很好的反映出图像中微小的细节反差 和纹理结构,所以广泛用于图像质量评价算法中,梯 度的幅值 GM 和方向 GO 可以由公式(1) ~ (2) 计 算. 其中图像水平方向的一阶导数为 Ix = I茚hx,竖 直方向的一阶导数为 Iy = I茚hy,I 代表原始图像,茚 代表卷积运算,而 hx 和 hy 分别是水平方向和垂直 方向的滤波模板. ·997·

.998· 工程科学学报，第40卷，第8期 GM=√+了 (1) 类的失真，高阶的LOG特征会比GM特征受到更严 重的影响，在图像质量很差的情况下甚至呈现均值 GO=arctan (2) 分布，而GM受噪声的影响有限. 人类的视皮质神经元高度敏感于图像的局部边 本文分别选取高斯模糊和白噪声失真进行讨 缘和结构性信息，图像的特征主要取决于它的局部 论.图1展示的是LIVE数据库的一张参考图像 细节[u-2].in等3]认为公式(1)和(2)提出的梯 “stream.bmp”以及原始图像经过高斯模糊和白噪声 度特征只是从全局上对图像的边缘进行描述，梯度 失真之后的GM和LOG概率分布.从图1中可以看 尤其是梯度方向应该更加突出邻域特点.该文章针 出，对于高斯模糊失真，随着图像质量的下降，GM 对这一点进行改进，为了突出邻域的结构特点，提出 和LOG的分布逐渐集中到低幅值区域，并且分布形 了相对梯度算法，并且证明了对于不同类型和不同 式越来越相似.对于白噪声失真，随着图像质量的 程度的失真，失真图像相对梯度方向的概率分布具 下降，L0G特征受到的影响很大，在失真严重的情 有一定的规律性，能够作为衡量图像质量的特征，相 况下呈现近似均值，而GM受噪声的影响不太明显. 对梯度幅度RM和相对梯度方向RO可以由公式 基于上述观察，本文尝试使用GM和LOG的相似程 (3)~(4)计算得到： 度来反映图像的质量 RM=√（亿.-IAE)+(g,-IAE)了 1.4条件熵特征 (3) 香农信息论认为，两张图像的条件嫡可以认为 RO=GO-arctan (I AVE (4) 是在已知一张图片的前提下，另一张图片的不确 x_AVE 其中，IAwE和IAwE分别由I和I经过3×3均值滤 定度，在某种程度上也可以认为是两张图片的相 波得到.本文提取R0的标准差作为第一维特征. 似程度，且嫡值越大，不确定度越高，两张图片相 1.2L0G特征 似度越低.在本文中，使用条件嫡来衡量两种边缘 LOG特征是一种十分常见的边缘检测算子，它 特征的相似性.条件熵可以利用联合嫡和链式法 反映的是图像的二阶边缘信息，具有旋转不变性和 则得出： 位移不变性等优点.一个典型的LOG特征由公式 H(X,Y)=- 艺pm（x,y)log po(,)(7) (5)~(6)给出： x=0y=0 255 L=I☒hoc (5) H(X)=- ∑px(x)log px(x) (8) x=0 huc =2 2 x8(x.ylo)+ 8(x,y1o)= H(YIX)=H(X,Y)-H(X) (9) 1x2+y2-2σ2 其中，Px(x)是随机变量X的概率密度，P(x,y)是 (6) 2To2 22 两个随机变量X和Y的联合概率密度，H(X,Y)是X 其中，L是计算得到的10G特征，g(x,1σ)=2m0 1 和Y的联合嫡.图2中展示的是将LIVE数据库中 所有失真图像的H(GMIL)值与其对应的DMOS值 做出的散点图. -)y)是二维高斯函数，hoc是相应的二 exp ( 由图2可以看出，对于白噪声失真，随着图像的 阶的滤波模板，σ是高斯函数的参数，本文中σ的 质量变差，其GM和LOG特征的条件嫡值变大，而 值设置为0.5. 对于其他四种导致边缘模糊的失真则相反，随着图 1.3失真条件下GM与LOG的特性 像的质量变差，GM和LOG特征的相似度变高，熵值 一阶边缘可以得到图像中物体表面的斜率信 变小.可以证明，GM和LOG的相似度确实可以在 息，二阶边缘可以获取图像的曲率等几何特征高阶 一定程度上反映图像的质量. 的边缘信息能够获取更精细的图像结构特征]. 同时也可以注意到，对于白噪声和高斯模糊失 对于模糊类失真（包括PEG,JPEG2000,高斯模糊 真，散点图呈现出较好的线性分布，而对于其他三种 等)，其造成的边缘展宽效应会造成边缘和结构信 失真类型，分布较为发散，这可能是因为GM不能很好 息的大量丢失，GM和LOG从两个不同的层面来表 的反映一些局部细节，本文通过引入相对梯度RM来 述边缘特征，随着图像质量的下降，可捕捉的边缘信 解决这个问题，为了研究GM和RM之间的关系，同样 息越来越少，LOG特征无法获取更精细的边缘结 提取LVE数据库中所有失真图片的H(RMIL)特征， 构，会与GM呈现越来越相似的分布.而对于噪声 并将H(GMIL)和H(RMIL)的差值与DMOS值画

工程科学学报,第 40 卷,第 8 期 GM = I 2 x + I 2 y (1) GO = arctan ( Iy I ) x (2) 人类的视皮质神经元高度敏感于图像的局部边 缘和结构性信息,图像的特征主要取决于它的局部 细节[11鄄鄄12] . Liu 等[13]认为公式(1)和(2)提出的梯 度特征只是从全局上对图像的边缘进行描述,梯度 尤其是梯度方向应该更加突出邻域特点. 该文章针 对这一点进行改进,为了突出邻域的结构特点,提出 了相对梯度算法,并且证明了对于不同类型和不同 程度的失真,失真图像相对梯度方向的概率分布具 有一定的规律性,能够作为衡量图像质量的特征,相 对梯度幅度 RM 和相对梯度方向 RO 可以由公式 (3) ~ (4)计算得到: RM = (Ix - Ix_AVE ) 2 + (Iy - Iy_AVE ) 2 (3) RO = GO - arctan ( Iy_AVE Ix ) _AVE (4) 其中,Ix_AVE和 Iy_AVE分别由 Ix 和 Iy 经过 3 伊 3 均值滤 波得到. 本文提取 RO 的标准差作为第一维特征. 1郾 2 LOG 特征 LOG 特征是一种十分常见的边缘检测算子,它 反映的是图像的二阶边缘信息,具有旋转不变性和 位移不变性等优点. 一个典型的 LOG 特征由公式 (5) ~ (6)给出: L = I茚hLOG (5) hLOG = 鄣 2 鄣x 2 g(x,y | 滓) + 鄣 2 鄣y 2 g(x,y | 滓) = 1 2仔滓 2 x 2 + y 2 - 2滓 2 滓 4 exp ( - x 2 + y 2 2滓 2 ) (6) 其中,L 是计算得到的 LOG 特征,g(x,y | 滓) = 1 2仔滓 2 exp ( - x 2 + y 2 2滓 2 ) 是二维高斯函数,hLOG是相应的二 阶的滤波模板,滓 是高斯函数的参数,本文中 滓 的 值设置为 0郾 5. 1郾 3 失真条件下 GM 与 LOG 的特性 一阶边缘可以得到图像中物体表面的斜率信 息,二阶边缘可以获取图像的曲率等几何特征,高阶 的边缘信息能够获取更精细的图像结构特征[19] . 对于模糊类失真(包括 JPEG,JPEG2000,高斯模糊 等),其造成的边缘展宽效应会造成边缘和结构信 息的大量丢失,GM 和 LOG 从两个不同的层面来表 述边缘特征,随着图像质量的下降,可捕捉的边缘信 息越来越少,LOG 特征无法获取更精细的边缘结 构,会与 GM 呈现越来越相似的分布. 而对于噪声 类的失真,高阶的 LOG 特征会比 GM 特征受到更严 重的影响,在图像质量很差的情况下甚至呈现均值 分布,而 GM 受噪声的影响有限. 本文分别选取高斯模糊和白噪声失真进行讨 论. 图 1 展示的是 LIVE 数据库的一张参考图像 “stream. bmp冶以及原始图像经过高斯模糊和白噪声 失真之后的 GM 和 LOG 概率分布. 从图 1 中可以看 出,对于高斯模糊失真,随着图像质量的下降,GM 和 LOG 的分布逐渐集中到低幅值区域,并且分布形 式越来越相似. 对于白噪声失真,随着图像质量的 下降,LOG 特征受到的影响很大,在失真严重的情 况下呈现近似均值,而 GM 受噪声的影响不太明显. 基于上述观察,本文尝试使用 GM 和 LOG 的相似程 度来反映图像的质量. 1郾 4 条件熵特征 香农信息论认为,两张图像的条件熵可以认为 是在已知一张图片的前提下,另一张图片的不确 定度,在某种程度上也可以认为是两张图片的相 似程度,且熵值越大,不确定度越高,两张图片相 似度越低. 在本文中,使用条件熵来衡量两种边缘 特征的相似性. 条件熵可以利用联合熵和链式法 则得出: H(X,Y) = - 移 255 x = 0移 255 y = 0 pXY (x,y)log pXY (x,y) (7) H(X) = - 移 255 x = 0 pX (x)log pX (x) (8) H(Y | X) = H(X,Y) - H(X) (9) 其中,pX (x)是随机变量 X 的概率密度,pXY ( x,y)是 两个随机变量 X 和 Y 的联合概率密度,H(X,Y)是 X 和 Y 的联合熵. 图 2 中展示的是将 LIVE 数据库中 所有失真图像的 H(GM | L)值与其对应的 DMOS 值 做出的散点图. 由图 2 可以看出,对于白噪声失真,随着图像的 质量变差,其 GM 和 LOG 特征的条件熵值变大,而 对于其他四种导致边缘模糊的失真则相反,随着图 像的质量变差,GM 和 LOG 特征的相似度变高,熵值 变小. 可以证明,GM 和 LOG 的相似度确实可以在 一定程度上反映图像的质量. 同时也可以注意到,对于白噪声和高斯模糊失 真,散点图呈现出较好的线性分布,而对于其他三种 失真类型,分布较为发散,这可能是因为 GM 不能很好 的反映一些局部细节,本文通过引入相对梯度 RM 来 解决这个问题,为了研究 GM 和 RM 之间的关系,同样 提取 LIVE 数据库中所有失真图片的 H(RM| L)特征, 并将 H(GM | L)和 H(RM | L)的差值与 DMOS 值画 ·998·

沈丽丽等：联合多种边缘检测算子的无参考质量评价算法 999· 0.08 0.16 (b) 0.07 一失直图像GM 0.14 一失真图像GM 一失真图像IOG 一失真图像ILOG 0.06 --参考图像GM 0.12 一-参考图像GM 一一参考图像LOG 0.05 0.10 --参考图像L0G 釜0a 0.03 0.06 0.02 0.04 0.01 0.02 15 20 25 10 15 20 25 30 框度 幅度 045 0.07 0.40 失真图像GM c 失真图像GM d 一失其图像I0C 0.06 一失真图像L0G 0.35 -一参考图像GM 0.30 -一参考图像I0G 0.05 一一参考图像GM 一-参考图像LOG 0.15 0.02 0.10 0.05 0.01 10 15 20 25 20 40 60 80 100 幅度 幅度 0.07 0.07 失真图像GM 0.06 失真图像IOC 0.06 一失真图像GM 失真图像IOG 00 一一参考图像GM 0.05 一一参考图像GM 一一参考图像L0G 一一参考图像L0G 0.04 0.03 0.02 0.02 0.01 0.01 20 40 60 80 100 20 40 60 80 100 幅度 幅度 图1LVE数据库一张原始图像及其失真图像的GM和LOG幅值概率分布，其中(a~c)为高斯模糊失真，(d~f)为白噪声失真.失真程度 依次增加，DM0S值分别为(a)20.38;(b)46.67:(c)72.87:(d)22.15:(e)39.11:()47.45 Fig.1 Probability distribution of GM and LOG for reference and distorted image in LIVE,(a-e)are Gaussian blur,(d-f)are white noise.The de- gree of distortion respective increases and the DMOS of every map is:(a)20.38;(b)46.67;(c)72.87;(d)22.15;(e)39.11;(f)47.45 出散点图，结果显示在图3中 本文的特征提取分为两部分：一部分提取RO 如图3所示，对于JPEG类型的失真，在DMOS 的标准差，另一部分提取GM、RM和LOG之间相互 值小于50时，散点图能呈现出线性关系，而在 的条件熵作为特征，即H(GMIL)、H(LIGM)、 DMOS大于50时，H(GMIL)和H(RMIL)的差值急 H(GMIL)-H(RMIL)和H(LIGM)-H(LIRM),两 速下降，最后趋近于0.造成这样的原因是：JPEG失 部分共5维特征.人类视觉系统对图像的感知是多 真产生的块效应的作用范围大于提取RM时的均值 尺度的，因此在评价模型中引入多尺度信息往往能 滤波范围，随着失真程度的加深，JPEG产生的“块” 够改善算法的性能[8,2].为了从多尺度的层面来更 的大小远大于3×3个像素点，这种情况下GM和 好地描述图像，本文采用下采样的方法再提取另外 M的差异变得很小，因此会出现上述情况.而对于 5维特征，总共10维特征 其他四种失真，H(GMIL)和H(RMIL)的差值与 2 AdaBoost神经网络 DMOS值均能呈现近似线性的关系，并且对于模糊 类失真，图像质量越差，GM和RM的差别越大，对 本文采用自适应增强神经网络(AdaBoost neu- 于噪声类的失真，图像质量越差，GM和RM的差别 ral network)进行回归.Adaboost算法是一种迭代算 越小. 法，其核心思想是将许多弱分类器联合在一起，构成

沈丽丽等: 联合多种边缘检测算子的无参考质量评价算法 图 1 LIVE 数据库一张原始图像及其失真图像的 GM 和 LOG 幅值概率分布,其中(a ~ c)为高斯模糊失真,(d ~ f)为白噪声失真. 失真程度 依次增加,DMOS 值分别为 (a) 20郾 38; (b) 46郾 67; (c) 72郾 87; (d) 22郾 15; (e) 39郾 11; (f) 47郾 45 Fig. 1 Probability distribution of GM and LOG for reference and distorted image in LIVE, (a鄄鄄c) are Gaussian blur, (d鄄鄄f) are white noise. The de鄄 gree of distortion respective increases and the DMOS of every map is: (a) 20郾 38; (b) 46郾 67; (c) 72郾 87; (d) 22郾 15; (e) 39郾 11; (f) 47郾 45 出散点图,结果显示在图 3 中. 如图 3 所示,对于 JPEG 类型的失真,在 DMOS 值小于 50 时, 散点图能呈现出线性关系, 而在 DMOS 大于 50 时,H(GM| L)和 H(RM | L)的差值急 速下降,最后趋近于 0. 造成这样的原因是:JPEG 失 真产生的块效应的作用范围大于提取 RM 时的均值 滤波范围,随着失真程度的加深,JPEG 产生的“块冶 的大小远大于 3 伊 3 个像素点,这种情况下 GM 和 RM 的差异变得很小,因此会出现上述情况. 而对于 其他四种失真, H(GM | L) 和 H(RM | L) 的差值与 DMOS 值均能呈现近似线性的关系,并且对于模糊 类失真,图像质量越差,GM 和 RM 的差别越大,对 于噪声类的失真,图像质量越差,GM 和 RM 的差别 越小. 本文的特征提取分为两部分:一部分提取 RO 的标准差, 另一部分提取 GM、RM 和 LOG 之间相互 的条件熵作为特征, 即 H ( GM | L)、 H ( L | GM)、 H(GM| L) - H(RM| L)和 H(L |GM) - H(L |RM),两 部分共 5 维特征. 人类视觉系统对图像的感知是多 尺度的,因此在评价模型中引入多尺度信息往往能 够改善算法的性能[8,20] . 为了从多尺度的层面来更 好地描述图像,本文采用下采样的方法再提取另外 5 维特征,总共 10 维特征. 2 AdaBoost 神经网络 本文采用自适应增强神经网络(AdaBoost neu鄄 ral network)进行回归. Adaboost 算法是一种迭代算 法,其核心思想是将许多弱分类器联合在一起,构成 ·999·

·1000. 工程科学学报，第40卷，第8期 (a) 6 8 4 0 00 8电 0 0 89o 0 2 o oo .o.. 0 85 000 0 98 40 60 100 20 40 60 80 100 DMOS DMOS 0 d 6 4 品88 5 98 o8 30 4 ● 8 00 88 20 40 0 80 100 20 40 60 80 100 DMOS DMOS (e) 00 0 3 89风 0 0 eo 0 ax 905 8 20 40 60 80100 DMOS 图2LIVE图像库中，不同失真类型下，所有失真图像的H(GMIL)与其对应的DMOS值的散点图.(a)JPEG2000:(b)PEG:(c)白噪 声：(d)高斯模糊：(e)快速衰落 Fig.2 Scatter plot between (GMIL)and DMOS on LIVE database with different types of distortion:(a)JPEG2000;(b)JPEG;(c)white noise;(d)Gaussian blur;(e)fast fading Rayleigh 一个强分类器.图4展示的是本文使用的Adaboost (1/K i=1 网络的基本框图.其中∫。是BP神经网络的输入， D-1×(1+Ef证-os) i=2,3.…,10 在本文中输入向量的长度n为10. (10) 该回归方法使用I0个BP(back-propagation)神 1, x>0.1 经网络作为弱分类器，每个BP神经网络有两个隐 f(x)= (11) 0. x≤0.1 藏层，每个隐含层和输入层具有相同的节点数，第一 其中，f(x)是阈值函数，K是样本总个数，B是阈值， 个隐藏层使用sigmoid函数作为激活函数，第二个隐 在本文中设置为0.1.将每个弱分类器的样本误差 藏层使用径向基函数作为激活函数.将每个BP神 进行累加得到累积误差E,: 经网络的输出通过联合函数进行加权，得到最终的 预测评分.设是第i个BP神经网络对第j个图 E,=∑DxfY-s) (12) i=1- 像质量的预测值，Yos是第j个图像的真实图像质 使用sigmoid函数得到第i个弱分类器的权值a:,其 量.第i个BP神经网络对第j个样本的误差分布 中b和c是sigmoid函数的参数，本文中b设置为1， D:,可由以下公式求出： c设置为为0.5

工程科学学报,第 40 卷,第 8 期 图 2 LIVE 图像库中,不同失真类型下,所有失真图像的 H(GM | L)与其对应的 DMOS 值的散点图. ( a) JPEG2000; ( b) JPEG; ( c) 白噪 声; (d) 高斯模糊; (e) 快速衰落 Fig. 2 Scatter plot between H(GM| L) and DMOS on LIVE database with different types of distortion: ( a) JPEG2000; ( b) JPEG; ( c) white noise; (d) Gaussian blur; (e) fast fading Rayleigh 一个强分类器. 图 4 展示的是本文使用的 Adaboost 网络的基本框图. 其中 fn 是 BP 神经网络的输入, 在本文中输入向量的长度 n 为 10. 该回归方法使用 10 个 BP(back鄄propagation)神 经网络作为弱分类器,每个 BP 神经网络有两个隐 藏层,每个隐含层和输入层具有相同的节点数,第一 个隐藏层使用 sigmoid 函数作为激活函数,第二个隐 藏层使用径向基函数作为激活函数. 将每个 BP 神 经网络的输出通过联合函数进行加权,得到最终的 预测评分. 设 Y i,j pre是第 i 个 BP 神经网络对第 j 个图 像质量的预测值,Y j MOS是第 j 个图像的真实图像质 量. 第 i 个 BP 神经网络对第 j 个样本的误差分布 Di,j可由以下公式求出: Di,j = 1/ K i =1 Di,j -1 伊 (1 + 着·f(Y i,j pre - Y j { MOS )) i =2,3,…,10 (10) f(x) = 1, x > 0郾 1 {0, x臆0郾 1 (11) 其中,f(x)是阈值函数,K 是样本总个数,着 是阈值, 在本文中设置为 0郾 1. 将每个弱分类器的样本误差 进行累加得到累积误差 Ei: Ei = j 移= 1…K Di,j 伊 f(Y i,j pre - Y j MOS ) (12) 使用 sigmoid 函数得到第 i 个弱分类器的权值 琢i,其 中 b 和 c 是 sigmoid 函数的参数,本文中 b 设置为 1, c 设置为为 0郾 5. ·1000·