第15卷第2期 智能系统学报 Vol.15 No.2 2020年3月 CAAI Transactions on Intelligent Systems Mar.2020 D0:10.11992/tis.201809042 网络出版地址：http:/kns.cnki.net/kcms/detail/23.1538.tp.20190524.0952.002.html 一种基于雨线主方向自适应的全局稀疏去雨模型 王科平，蔡凯利，王红旗，杨艺 (河南理工大学电气工程与自动化学院，河南焦作454150) 摘要：针对现有单幅图像去雨算法较少考虑风力对雨线主方向产生影响的问题，当雨线偏离垂直方向时，现 有方法未采取旋转或者只进行大致旋转，去雨后的结果图出现了雨线残留明显或背景模糊化的现象。因此，本 文提出了一种基于雨线主方向自适应的全局稀疏去雨模型。首先，将方差最小的图像块与图像库的雨线图依 据HOG特征进行匹配，将匹配度最高的雨线图主方向视作待处理雨图的雨线主方向，从而确定全局稀疏模型 的旋转角。然后，通过3个包含旋转角的稀疏正则项构建全局稀疏模型进行去雨。最后，通过颜色掩膜对全局 稀疏模型去雨后的部分背景进行保护，再与原来的CbCr通道重组，得到最终的去雨图。研究结果表明：在峰值 信噪比和结构相似性方面，本文算法均比3种典型的对比算法有所提高，且运行时间相对短。本文算法在有效 去除雨线的同时，可较大程度地保留图像的背景细节信息。 关键词：单幅图像去雨；雨线主方向；图像分块；HOG特征；全局稀疏模型；稀疏正则项；颜色掩膜；通道重组 中图分类号：TP391.4文献标志码：A文章编号：1673-4785(2020)02-0271-10 中文引用格式：王科平，蔡凯利，王红旗，等.一种基于雨线主方向自适应的全局稀疏去雨模型智能系统学报，2020， 15(2):271-280. 英文引用格式：VANG Keping,CAI Kaili,,WANG Hongqi,,etal.A global sparse rain removal model based on rain streaks main direction adaptationJ].CAAI transactions on intelligent systems,2020,15(2):271-280 A global sparse rain removal model based on rain streaks main direction adaptation WANG Keping,CAI Kaili,WANG Hongqi,YANG Yi (College of Electrical Engineering and Automation,Henan Polytechnic University,Jiaozuo 454150,China) Abstract:The existing single-image rain removal algorithms do not appropriately consider the influence of wind on the main direction of the rain streaks.When the rain streak deviates from the vertical direction,the existing methods do not take rotation or only rotate roughly,resulting in the phenomenon whereby rain streaks are residual or the background is blurred.Therefore,in this paper,we propose a global sparse rain removal model based on the rain streaks main direc- tion adaptation.First,the image block with the smallest variance and the rain streaks image of the image library are matched according to the histogram of oriented gradients(HOG)feature,and the main direction of the rain streaks im- age with the highest matching degree is regarded as the main direction of the image block,which can determine the rota- tion angle of the global sparse model:then,the global sparse model with three sparse regular terms including rotation angles is used for rain removal.After removing the rain streaks from the global sparse model,the Y-channel image is enhanced by a color mask,and thus,some parts of the background are protected.Then,together with the original CbCr- channel images,the image after treatment is further reorganized,and the final image after rain removal is obtained.The results show that compared with three typical comparison algorithms,the peak signal-to-noise ratio and the structural similarity are improved,and the running time is shorter.The proposed method can retain the background details of the image as much as possible while effectively removing the rain streaks. Keywords:single-image rain removal;main directional of the rain streaks;the image block;HOG feature;global sparse model;sparse regularization term;color mask;reorganization by the channel image 收稿日期：2018-09-21.网络出版日期：2019-05-27 机器视觉有广泛的应用领域，如目标跟踪、 基金项目：国家重点研发计划项目(2018Y℉C0604500:河南省 科技攻关项目(1721022I0270):河南省教育厅科学技 视频监控、智能交通等。大多数计算机视觉算法 术研究重点项目(15A510025):河南省高等学校重点 科研项目(17A480007). 都是假定输入为理想无噪声图像。然而，对于现 通信作者：蔡凯利.E-mail:1574272673@gq.com 实中的户外视觉系统来说，恶劣天气通常是不可
DOI: 10.11992/tis.201809042 网络出版地址: http://kns.cnki.net/kcms/detail/23.1538.tp.20190524.0952.002.html 一种基于雨线主方向自适应的全局稀疏去雨模型 王科平，蔡凯利，王红旗，杨艺 （河南理工大学 电气工程与自动化学院，河南 焦作 454150） 摘 要：针对现有单幅图像去雨算法较少考虑风力对雨线主方向产生影响的问题，当雨线偏离垂直方向时，现 有方法未采取旋转或者只进行大致旋转，去雨后的结果图出现了雨线残留明显或背景模糊化的现象。因此，本 文提出了一种基于雨线主方向自适应的全局稀疏去雨模型。首先，将方差最小的图像块与图像库的雨线图依 据 HOG 特征进行匹配，将匹配度最高的雨线图主方向视作待处理雨图的雨线主方向，从而确定全局稀疏模型 的旋转角。然后，通过 3 个包含旋转角的稀疏正则项构建全局稀疏模型进行去雨。最后，通过颜色掩膜对全局 稀疏模型去雨后的部分背景进行保护，再与原来的 CbCr 通道重组，得到最终的去雨图。研究结果表明：在峰值 信噪比和结构相似性方面，本文算法均比 3 种典型的对比算法有所提高，且运行时间相对短。本文算法在有效 去除雨线的同时，可较大程度地保留图像的背景细节信息。 关键词：单幅图像去雨；雨线主方向；图像分块；HOG 特征；全局稀疏模型；稀疏正则项；颜色掩膜；通道重组 中图分类号：TP391.4 文献标志码：A 文章编号：1673−4785(2020)02−0271−10 中文引用格式：王科平, 蔡凯利, 王红旗, 等. 一种基于雨线主方向自适应的全局稀疏去雨模型 [J]. 智能系统学报, 2020, 15(2): 271–280. 英文引用格式：WANG Keping, CAI Kaili, WANG Hongqi, et al. A global sparse rain removal model based on rain streaks main direction adaptation[J]. CAAI transactions on intelligent systems, 2020, 15(2): 271–280. A global sparse rain removal model based on rain streaks main direction adaptation WANG Keping，CAI Kaili，WANG Hongqi，YANG Yi (College of Electrical Engineering and Automation, Henan Polytechnic University, Jiaozuo 454150, China) Abstract: The existing single-image rain removal algorithms do not appropriately consider the influence of wind on the main direction of the rain streaks. When the rain streak deviates from the vertical direction, the existing methods do not take rotation or only rotate roughly, resulting in the phenomenon whereby rain streaks are residual or the background is blurred. Therefore, in this paper, we propose a global sparse rain removal model based on the rain streaks main direction adaptation. First, the image block with the smallest variance and the rain streaks image of the image library are matched according to the histogram of oriented gradients (HOG) feature, and the main direction of the rain streaks image with the highest matching degree is regarded as the main direction of the image block, which can determine the rotation angle of the global sparse model; then, the global sparse model with three sparse regular terms including rotation angles is used for rain removal. After removing the rain streaks from the global sparse model, the Y-channel image is enhanced by a color mask, and thus, some parts of the background are protected. Then, together with the original CbCrchannel images, the image after treatment is further reorganized, and the final image after rain removal is obtained. The results show that compared with three typical comparison algorithms, the peak signal-to-noise ratio and the structural similarity are improved, and the running time is shorter. The proposed method can retain the background details of the image as much as possible while effectively removing the rain streaks. Keywords: single-image rain removal; main directional of the rain streaks; the image block; HOG feature; global sparse model; sparse regularization term; color mask; reorganization by the channel image 机器视觉有广泛的应用领域，如目标跟踪、 视频监控、智能交通等。大多数计算机视觉算法 都是假定输入为理想无噪声图像。然而，对于现 实中的户外视觉系统来说，恶劣天气通常是不可 收稿日期：2018−09−21. 网络出版日期：2019−05−27. 基金项目：国家重点研发计划项目 (2018YFC0604500)；河南省 科技攻关项目 (172102210270)；河南省教育厅科学技 术研究重点项目 (15A510025)；河南省高等学校重点 科研项目 (17A480007). 通信作者：蔡凯利. E-mail：1574272673@qq.com. 第 15 卷第 2 期 智 能 系 统 学 报 Vol.15 No.2 2020 年 3 月 CAAI Transactions on Intelligent Systems Mar. 2020
·272· 智能系统学报 第15卷 避免的，它们将显著降低户外视觉系统的性能。 垂直方向时，未将待处理雨图进行旋转或只进行 由于雨、雪等动态大粒子随机分布在图像中，通 大致旋转，此时去雨的视觉效果会出现一定程度 常会影响图像局部强度，去除难度大。基于去雨 下降。 研究通常分为视频去雨和单幅图像去雨。由于视 最后一类是通过深度学习的方法进行去雨n。 频去雨的方法可利用时间相关的多帧图像信息 典型的有：基于深度卷积神经网络s16或对抗网 因而不适用于单幅图像去雨。而单幅图像去雨的 络)，利用干净图像块和雨线图像块的映射关系 方法可以应用于视频去雨中，解决视频去雨中不 训练神经网络进行去雨。总之，这些基于深度学 能较好处理背景变换过快的动态场景问题。因 习的去雨算法所得结果图视觉效果较好，但其网 此，基于单幅图像去雨的研究显得更加有挑战性 络结构复杂，训练过程中数据量大，较难满足实 和重要性。 时性要求。 现如今，单幅图像去雨已引起了学术界的较 针对现有单幅图像去雨算法很少考虑风力 大关注，可将这些单幅图像去雨方法分为3类。 对雨线主方向的影响，当雨线偏离垂直方向时， 第1类是基于稀疏编码的去雨方法B8,第2类是 去雨后的结果图出现了雨线残留明显或背景模糊 基于模型的去雨方法9，第3类是基于深度学习 化的问题，本文提出了一种基于雨线主方向自适 的去雨方法。其中，基于稀疏编码的去雨方 应的全局稀疏去雨模型。所提算法实现了有效去 法是根据雨线及背景边缘信息呈现出高频特性， 除雨线的同时，较大程度地保留背景信息的 而背景中的非边缘信息则呈现出低频特性。据 目标。 此，这类去雨算法大多将待处理雨图预处理为高 频子图和低频子图，对高频子图进行稀疏表示与 1单向全变分模型去噪 字典学习，然后将高频子图学习出的背景边缘部 般，雨图模型1可用如下的加性噪声模型 分与低频子图相加，得到最终的去雨图。这类方 表示： 法中，以Kang等为典型代表，通过稀疏表示和 r=t+s (1) 字典学习的方法来区分高频中的背景边缘与雨 式中：r∈RMxI为待处理雨图；t∈RNxI为待求的 线，但存在误将背景字典原子认为是雨线字典原 背景图；S E RMNXI为雨线图。 子，导致结果图出现模糊化的现象。后续去雨研 加性噪声模型也应用于遥感图去除条形 究有依据背景与雨线对应稀疏编码系数的不 噪声： 同向，或通过优化几何分量等切方式进行去雨，这 I(x,y)=I(x,y)+I(x,y) (2) 些方法在最后同样是加上低频分量，得到最终的 式中：Ix,y)表示含条形噪声的观测图；I(x,y)和 去雨图。以上均是基于一种稀疏模型进行单幅图 I,(x,y)分别表示待求的背景图和条形噪声图。当 像去雨，还有基于融合解析和综合稀疏模型进行 条形噪声沿垂直方向时，雨线与遥感图的条形噪 去雨⑧，对融合模型迭代一定次数后，可逐步提取 声具有方向相似性，故雨线的方向特性也可以基 出背景细节，但该方法所得的背景图存在一定量 于文献[19]所提的单向全变分(unidirectional total 的雨线残留。总之，基于稀疏编码的去雨方法效 variation,.UTV)模型进行表征，其单向全变分模型 果较理想，但其中字典原子的学习过程耗时较 的最小能量函数为 长，实时性有待进一步提高。 min E(I)=TV(I-D+XTV,(I) (3) 基于模型的去雨方法主要依据背景与雨线结 即： 构特征的差异性，直接对图像进行去雨。如： 基于引导滤波或基于McClellan变换u8)设计相 min E(I)= (4) 应的频域方向滤波器进行去雨，这些方法虽可 由式(4)对应的全变分模型可得以下结论： 有效地去除雨线，但计算复杂度较高。为了降低 1)为了有助于条形噪声的去除，可将梯度信 复杂度，通过分阶段山或基于低阶特性模型进 行去雨，均可实现有效去雨的同时，降低去雨复 息分离为沿着垂直方向的保真项、P4和 杂度的目标。另外，对待处理雨图添加稀疏先验 沿着水平方向的正则化项 dx: 项，构建稀疏约束模型进行去雨，去雨结果图 2)对保真项和正则化项应使用边缘保持范 的视觉效果也较佳。但上述去雨方法当雨线偏离 数，例如TV范数或范数等，避免背景图出现伪
避免的，它们将显著降低户外视觉系统的性能。 由于雨、雪等动态大粒子随机分布在图像中，通 常会影响图像局部强度，去除难度大。基于去雨 研究通常分为视频去雨和单幅图像去雨。由于视 频去雨的方法可利用时间相关的多帧图像信息[1-2] ， 因而不适用于单幅图像去雨。而单幅图像去雨的 方法可以应用于视频去雨中，解决视频去雨中不 能较好处理背景变换过快的动态场景问题。因 此，基于单幅图像去雨的研究显得更加有挑战性 和重要性。 现如今，单幅图像去雨已引起了学术界的较 大关注，可将这些单幅图像去雨方法分为 3 类。 第 1 类是基于稀疏编码的去雨方法[3-8] ，第 2 类是 基于模型的去雨方法[9-14] ，第 3 类是基于深度学习 的去雨方法[15-17]。其中，基于稀疏编码的去雨方 法是根据雨线及背景边缘信息呈现出高频特性， 而背景中的非边缘信息则呈现出低频特性。据 此，这类去雨算法大多将待处理雨图预处理为高 频子图和低频子图，对高频子图进行稀疏表示与 字典学习，然后将高频子图学习出的背景边缘部 分与低频子图相加，得到最终的去雨图。这类方 法中，以 Kang 等 [4] 为典型代表，通过稀疏表示和 字典学习的方法来区分高频中的背景边缘与雨 线，但存在误将背景字典原子认为是雨线字典原 子，导致结果图出现模糊化的现象。后续去雨研 究有依据背景与雨线对应稀疏编码系数的不 同 [6] ，或通过优化几何分量等[7] 方式进行去雨，这 些方法在最后同样是加上低频分量，得到最终的 去雨图。以上均是基于一种稀疏模型进行单幅图 像去雨，还有基于融合解析和综合稀疏模型进行 去雨[8] ，对融合模型迭代一定次数后，可逐步提取 出背景细节，但该方法所得的背景图存在一定量 的雨线残留。总之，基于稀疏编码的去雨方法效 果较理想，但其中字典原子的学习过程耗时较 长，实时性有待进一步提高。 基于模型的去雨方法主要依据背景与雨线结 构特征的差异性，直接对图像进行去雨[9-14]。如： 基于引导滤波[9] 或基于 McClellan 变换[18] 设计相 应的频域方向滤波器[10] 进行去雨，这些方法虽可 有效地去除雨线，但计算复杂度较高。为了降低 复杂度，通过分阶段[11] 或基于低阶特性模型[12] 进 行去雨，均可实现有效去雨的同时，降低去雨复 杂度的目标。另外，对待处理雨图添加稀疏先验 项，构建稀疏约束模型进行去雨[13-14] ，去雨结果图 的视觉效果也较佳。但上述去雨方法当雨线偏离 垂直方向时，未将待处理雨图进行旋转或只进行 大致旋转，此时去雨的视觉效果会出现一定程度 下降。 最后一类是通过深度学习的方法进行去雨[15-17]。 典型的有：基于深度卷积神经网络[15-16] 或对抗网 络 [17] ，利用干净图像块和雨线图像块的映射关系 训练神经网络进行去雨。总之，这些基于深度学 习的去雨算法所得结果图视觉效果较好，但其网 络结构复杂，训练过程中数据量大，较难满足实 时性要求。 针对现有单幅图像去雨算法很少考虑风力 对雨线主方向的影响，当雨线偏离垂直方向时， 去雨后的结果图出现了雨线残留明显或背景模糊 化的问题，本文提出了一种基于雨线主方向自适 应的全局稀疏去雨模型。所提算法实现了有效去 除雨线的同时，较大程度地保留背景信息的 目标。 1 单向全变分模型去噪 一般，雨图模型[13] 可用如下的加性噪声模型 表示： r = t + s (1) r ∈ R MN×1 t ∈ R MN×1 s ∈ R MN×1 式中： 为待处理雨图； 为待求的 背景图； 为雨线图。 加性噪声模型也应用于遥感图去除条形 噪声： I(x, y) = Iu (x, y)+ Is (x, y) (2) I(x, y) Iu (x, y) Is (x, y) 式中： 表示含条形噪声的观测图； 和 分别表示待求的背景图和条形噪声图。当 条形噪声沿垂直方向时，雨线与遥感图的条形噪 声具有方向相似性，故雨线的方向特性也可以基 于文献 [19] 所提的单向全变分 (unidirectional total variation，UTV) 模型进行表征，其单向全变分模型 的最小能量函数为 min Iu E(Iu) = TVy (Iu − I)+ ˜λTVx (Iu) (3) 即： min Iu E(Iu) = ∫ Ω ( ∂(Iu − I) ∂y + ˜λ ∂Iu ∂x ) dxdy (4) 由式 (4) 对应的全变分模型可得以下结论： ∫ Ω ∂(Iu − I) ∂y dy ∫ Ω ∂Iu ∂x dx 1) 为了有助于条形噪声的去除，可将梯度信 息分离为沿着垂直方向的保真项 和 沿着水平方向的正则化项 ； TV l1 2) 对保真项和正则化项应使用边缘保持范 数，例如 范数或 范数等，避免背景图出现伪 ·272· 智 能 系 统 学 报 第 15 卷
第2期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·273· 影现象。 每一幅雨图都存在一个雨线降落主方向，由 2 基于雨线主方向自适应的全局稀 于在同一幅雨图中雨线降落方向近似相同，雨线 的方差较小，而背景边缘方向各异，其方差较 疏去雨模型 大。为了较为准确确定雨线降落主方向，将输入 2.1自适应调节雨线主方向角度 的雨图均分为16块，取方差最小的图像块用于确 由于在YCbCr颜色空间中，雨线只出现在 定雨线降落主方向。 Y通道分量图，剩余2通道分量图几乎看不见雨 图2以“竹子”图为例进行说明，“竹子”图的 线。因此，将输入的RGB空间的雨图像转换到 第16小块方差最小，该图像块中主要呈现为墙 YCbCr空间，本文只需对Y通道分量图进行处 壁、地面等，其背景相对平滑，则该图像块受背景 理，最后进行通道重组可减少计算量。 干扰小，故可选取方差最小的图像块用于确定雨 首先，确定待处理雨图的雨线主方向。由于 线降落主方向。 受风力的影响，导致雨线在垂直方向向左或右偏 转，一般在90°±45°的范围内，即雨线降落角度 0∈[45°，135]。将长度为90°的降落区间分成9 格，每格区间长度设置为10°，以每格均值（如 50°，60°，，130)为雨线主降落方向，对应图像 库编号分别为1,12，…，。本文之所以设置区间 长度为10°，是确保每一幅雨图中即便雨线在不 (a)“竹子”Y通道 (b)方差最小 (c)I,主方向 同区域存在偏差，±5°的角度偏差仍然满足要求。 分16块 图像块 角度为90° 由于图像库中的雨线图的作用是为了确定待处理 图2图像分块匹配确定雨线主方向 雨图的雨线主方向，为了清晰显示雨线在图中的 Fig.2 Image block matching determines the main direc- tion of the rain streaks 分布情况，本文以二值图的形式进行展示所建立 的纯雨线图像库，如图1所示。 接着，将以方差最小的图像块，依据HOG特 征进行匹配，将匹配度最高的图像库中的雨线图 的主方向降落角度百视作待处理雨图的雨线主方 向降落的角度，旋转待处理雨图直到其雨线主方 向沿垂直方向，记旋转角为0。 同样，以“竹子”图为例说明，“竹子”图的第 16小块方差最小，以该图像块的HOG特征与雨 (a)L主方向 (b),主方向 (c)L主方向 角度为50 角度为60° 角度为70° 线图像库中雨图的HOG特征进行匹配，此时匹 配度最高的雨图为I,将I5的雨线主方向视作待 处理雨图的雨线主方向，记雨线主方向角百为 90°，则旋转角0=0°，此时无需旋转待处理雨图。 总之，待处理雨图的旋转角0为： 90°-0 11,I2,13,L4 0= 0° (5) (d)1主方向 (e)1主方向 (①1主方向 -|l0-90|=90°-a.16,1.18,1g 角度为80° 角度为90° 角度为100° 式中旋转角0的正负性可用来进行旋转方向 的判断，具体为： 0>0° I1,2,I3,I4 0= 0=0° 1 (6) 0<0°， 16,1,18,1g (g)I2主方向 (h)I主方向 (①I主方向 综上所述，当雨线以不同角度偏离坐标轴时， 角度为110° 角度为120° 角度为130° 旋转角0由以下3种情况确定： 图1雨线图像库 1)0>0°，需要逆时针旋转0，旋转角的大小为 Fig.1 Rain streaks image library 90°-0，从而使雨线近似沿着垂直方向降落；
影现象。 2 基于雨线主方向自适应的全局稀 疏去雨模型 2.1 自适应调节雨线主方向角度 由于在 YCbCr 颜色空间中，雨线只出现在 Y 通道分量图，剩余 2 通道分量图几乎看不见雨 线。因此，将输入的 RGB 空间的雨图像转换到 YCbCr 空间，本文只需对 Y 通道分量图进行处 理，最后进行通道重组可减少计算量。 θ ∈ [ 45◦ ,135◦ ] I1, I2, ··· , I9 首先，确定待处理雨图的雨线主方向。由于 受风力的影响，导致雨线在垂直方向向左或右偏 转，一般在 90°±45°的范围内，即雨线降落角度 。将长度为 90°的降落区间分成 9 格，每格区间长度设置为 10°，以每格均值 (如 50°，60°，···，130°) 为雨线主降落方向，对应图像 库编号分别为 。本文之所以设置区间 长度为 10°，是确保每一幅雨图中即便雨线在不 同区域存在偏差，±5°的角度偏差仍然满足要求。 由于图像库中的雨线图的作用是为了确定待处理 雨图的雨线主方向，为了清晰显示雨线在图中的 分布情况，本文以二值图的形式进行展示所建立 的纯雨线图像库，如图 1 所示。 (f) I6主方向 角度为100° (g) I7主方向 角度为110° (h) I8主方向 角度为120° (i) I9主方向 角度为130° (e) I5主方向 角度为90° (a) I1主方向 角度为50° (b) I2主方向 角度为60° (c) I3主方向 角度为70° (d) I4主方向 角度为80° 图 1 雨线图像库 Fig. 1 Rain streaks image library 每一幅雨图都存在一个雨线降落主方向，由 于在同一幅雨图中雨线降落方向近似相同，雨线 的方差较小，而背景边缘方向各异，其方差较 大。为了较为准确确定雨线降落主方向，将输入 的雨图均分为 16 块，取方差最小的图像块用于确 定雨线降落主方向。 图 2 以“竹子”图为例进行说明，“竹子”图的 第 16 小块方差最小，该图像块中主要呈现为墙 壁、地面等，其背景相对平滑，则该图像块受背景 干扰小，故可选取方差最小的图像块用于确定雨 线降落主方向。 (a) “竹子”Y 通道 分16块 (b) 方差最小 图像块 (c) I5主方向 角度为90° 图 2 图像分块匹配确定雨线主方向 Fig. 2 Image block matching determines the main direction of the rain streaks θ˜ θ 接着，将以方差最小的图像块，依据 HOG 特 征进行匹配，将匹配度最高的图像库中的雨线图 的主方向降落角度 视作待处理雨图的雨线主方 向降落的角度，旋转待处理雨图直到其雨线主方 向沿垂直方向，记旋转角为 。 I5 I5 θ˜ θ = 0 ◦ θ 同样，以“竹子”图为例说明，“竹子”图的第 16 小块方差最小，以该图像块的 HOG 特征与雨 线图像库中雨图的 HOG 特征进行匹配，此时匹 配度最高的雨图为 ，将 的雨线主方向视作待 处理雨图的雨线主方向，记雨线主方向角 为 90°，则旋转角 ，此时无需旋转待处理雨图。 总之，待处理雨图的旋转角 为： θ = 90◦ −θ,˜ I1,I2,I3,I4 0 ◦ , I5 − θ˜ −90◦ = 90◦ −θ,˜ I6,I7,I8,I9 (5) 式中旋转角 θ 的正负性可用来进行旋转方向 的判断，具体为： θ = θ > 0 ◦ , I1,I2,I3,I4 θ = 0 ◦ , I5 θ < 0 ◦ , I6 ,I7 ,I8 ,I9 (6) θ 综上所述，当雨线以不同角度偏离坐标轴时， 旋转角 由以下 3 种情况确定： θ > 0 ◦ θ 90◦ −θ˜ 1) ，需要逆时针旋转 ，旋转角的大小为 ，从而使雨线近似沿着垂直方向降落； 第 2 期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·273·
·274· 智能系统学报 第15卷 2)6=0°，此时待处理雨图的雨线主方向近似 即可对)方向的雨线梯度添加稀疏正则项进行 垂直方向，（图像库中编号为I的雨线图与方差最 约束： 小图像块的HOG特征匹配度最高，即：待处理雨 Reg (s)=Vsl (8) 图的雨线主方向在90°±5°的区间)，无需旋转待 V,是)方向上的差分算子。该项可看作式 处理雨图，即旋转角0取0°： (3)的第一个正则项的变换。 3)0<0°，需要顺时针旋转0，旋转角的大小为 3)垂直于雨线主方向（轴）上的梯度稀疏 佰-90，从而使雨线近似沿着垂直方向降落。 性：受单向总变分(UTV)的启发，背景梯度在 然后，基于雨线主方向建立优化模型，为方便 方向受雨水影响最小，即：背景梯度具有稀疏 起见，本文将垂直雨线主方向统一使用表示， 性。在自然雨图像中，雨线图s具有非负性。线 雨线主方向统一使用表示。 性叠加后，待处理含雨图的强度值最大。因 2.2全局稀疏模型的确定 此，非负性约束条件为： r≥s≥0 受文献[14]启发，本文先确定雨线主方向 (9) 由式(1)可得背景为t=r-s。因此，背景梯度 后，构建雨线主方向自适应的全局稀疏去雨模 型，该模型由3个稀疏先验项对待处理雨图进 在方向的稀疏正则项为： Reg3 (s)=IV;(r-s)ll (10) 行稀疏约束，包括一个雨线稀疏先验项，以及 式中7：是方向上的差分算子。该项对应式(3) 背景在元方向和雨线在)方向的梯度稀疏先 的第2个正则项的变换。 验项。 记D。为旋转角为0的旋转运算符，则带有 1)雨线的稀疏正则项：范数可对雨线的稀 D。的3个稀疏正则项分别为Ds,、7,(Ds)儿 疏性起到较好的稀疏约束作用，但。范数的非 II7(D(r-s)l1。 凸性会使模型收敛到局部最优解：1，范数既可以 因此，本文算法的优化模型为： 表示稀疏性又具有凸性，会使稀疏模型收敛到 min E(s)=min TV(Do(r-s))+Dasl+ 全局最优。故本文基于山范数对雨线添加稀疏 正则项： TV,(Dos))=min (l;(Do(r-s))+ (11) Reg((s)=llsll (7) iallDostl+;(Das) 2)雨线主方向（心轴方向）上的梯度稀疏性：在 式中：r≥s≥0：11、12是两个正则化参数且11>0、2>0。 该方向上，雨线梯度沿降落方向具有稀疏平滑性。 本文算法流程图如图3所示。 Y通道 颜色空间转换 雨线方向判定 (旋转角度D。) 输入含雨图 分块匹配确定 雨线主方向 带有旋转角度D。 的雨线去除模型 CbCr通道 1(Dd广s)l+Dos,+.(Dsl 由非负性得 图像重组 颜色掩膜 背景 保护背景 ,=r-5n 输出去雨图 图3本文所提方法的流程 Fig.3 The flow chart of the proposed method 采用约束条件解决式(11)对应的等价问题： 为了方便，本文将D(r-s)、Dr、Ds分别表 min (llull 22lvlh lwll} (12) 示为rn,-sn,、ro、sn.。因此，式(I2)对应的增广拉 式中：u=V:(Da(r-s)》;v=Ds;w=V,(DS)。 格朗日函数为
θ = 0 ◦ I5 90◦ ±5 ◦ θ 0 ◦ 2) ，此时待处理雨图的雨线主方向近似 垂直方向，(图像库中编号为 的雨线图与方差最 小图像块的 HOG 特征匹配度最高，即：待处理雨 图的雨线主方向在 的区间)，无需旋转待 处理雨图，即旋转角 取 ； θ < 0 ◦ θ θ˜ −90◦ 3) ，需要顺时针旋转 ，旋转角的大小为 ，从而使雨线近似沿着垂直方向降落。 xˆ yˆ 然后，基于雨线主方向建立优化模型，为方便 起见，本文将垂直雨线主方向统一使用 表示， 雨线主方向统一使用 表示。 2.2 全局稀疏模型的确定 xˆ yˆ 受文献 [14] 启发，本文先确定雨线主方向 后，构建雨线主方向自适应的全局稀疏去雨模 型，该模型由 3 个稀疏先验项对待处理雨图进 行稀疏约束，包括一个雨线稀疏先验项，以及 背景在 方向和雨线在 方向的梯度稀疏先 验项。 l0 l0 l1 l1 1) 雨线的稀疏正则项： 范数可对雨线的稀 疏性起到较好的稀疏约束作用，但 范数的非 凸性会使模型收敛到局部最优解； 范数既可以 表示稀疏性又具有凸性，会使稀疏模型收敛到 全局最优。故本文基于 范数对雨线添加稀疏 正则项： Reg(1) (s) = ∥s∥1 (7) 2) 雨线主方向 ( yˆ 轴方向) 上的梯度稀疏性：在 该方向上，雨线梯度沿降落方向具有稀疏平滑性。 即可对 yˆ 方向的雨线梯度添加稀疏正则项进行 约束： Reg(2) (s) = ∇yˆs 1 (8) ∇yˆ 是 yˆ 方向上的差分算子。该项可看作式 (3) 的第一个正则项的变换。 xˆ xˆ s r 3) 垂直于雨线主方向 ( 轴) 上的梯度稀疏 性：受单向总变分 (UTV) 的启发，背景梯度在 方向受雨水影响最小，即：背景梯度具有稀疏 性。在自然雨图像中，雨线图 具有非负性。线 性叠加后，待处理含雨图 的强度值最大。因 此，非负性约束条件为： r ⩾ s ⩾ 0 (9) t = r− s xˆ 由式 (1) 可得背景为 。因此，背景梯度 在 方向的稀疏正则项为： Reg(3) (s) = ∥∇xˆ (r− s)∥1 (10) 式中 ∇xˆ 是 xˆ 方向上的差分算子。该项对应式 (3) 的第 2 个正则项的变换。 Dθ θ Dθ ∥Dθ s∥1 ∇yˆ (Dθ s) 1 ∥∇xˆ (Dθ (r− s))∥1 记 为旋转角为 的旋转运算符，则带有 的 3 个稀疏正则项分别为 、 、 。 因此，本文算法的优化模型为： min s E (s) = min s {λ1TVx (Dθ (r− s))+λ2∥Dθ s∥1+ TVy (Dθ s) } = min s {λ1∥∇xˆ (Dθ (r− s))∥1+ λ2∥Dθ s∥1 + ∇yˆ (Dθ s) 1 } (11) 式中： r ⩾ s ⩾ 0 ； λ1、λ2是两个正则化参数且 λ1 > 0、λ2 > 0。 本文算法流程图如图 3 所示。 颜色空间转换 Y 通道 输入含雨图 CbCr 通道 图像重组 输出去雨图 分块匹配确定 雨线主方向 颜色掩膜 保护背景 雨线方向判定 （旋转角度Dθ） 由非负性得 背景 tDθ = r − sDθ 带有旋转角度Dθ 的雨线去除模型 λ1 || x (Dθ (r−s))||1 + λ2 ||Dθ s||1 + || x (Dθ s)||1 Δ Δ 图 3 本文所提方法的流程 Fig. 3 The flow chart of the proposed method 采用约束条件解决式 (11) 对应的等价问题： min s {λ1∥u∥1 +λ2∥v∥1 +∥w∥1 } (12) 式中： u = ∇xˆ (Dθ (r− s)) ； v = Dθ s ； w = ∇yˆ (Dθ s) 。 Dθ (r− s) Dθ r Dθ s rDθ − sDθ rDθ sDθ 为了方便，本文将 、 、 分别表 示为 、 、 。因此，式 (12) 对应的增广拉 格朗日函数为 ·274· 智 能 系 统 学 报 第 15 卷
第2期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·275· L(,,w,S,P1,P2,P3)= Sp.argmin (pi,V;(ro.-sp.)-u)+(p2.sp.-v)+ llull +illvll +llwll +(p1,V;(rp.-sp.)-u)+ mga-w）+号Naa-sa）-4+ min V:(Fa-sn)+ 受sa-g+2IN,a-wg=argmin号 w-+号a- (22) (p3,75sn,-w〉+ ra-wf V:(ro.-SD.)-u+ (13) a-W 式中：B、B2、B是正则化参数；P1、P2、P3分别表 由于式(22)可微，s.的子问题的闭合解可通 示3个拉格朗日乘子。采用方向乘子法来解决1 过式(23)求解： 范数问题，式(13)中的问题可以分解成4个简单 且具有闭合解的子问题。 B:+,I4,,=A-) (23) 1)u的子问题：固定”、w,最小化能量泛函 B2v-p吃+旺(BVrn,-B1+1+p)元 i=arg minllul +(pi.V;(ro.-sp.)-u)+ 式中：1表示单位矩阵。而式(23)可通过快速傅 2:-a-= 里叶变换(FFT)解决。 (14) 由非负性约束条件式(9)所得到的，可由 arg min+ ca-)-u+ 式(24)进行投影： B,I =min(ro..max(.0) (24) 式(14)可通过式(15)的软阈值方法181来 根据ADMM方法，可通过式(25)更新拉格朗 解决： 日乘子p、P2、P: sm个o-+》 (15) p1=p戊+B((r-s）-t） p陵=吃+B,(培-) (25) Shrink (a,b)=sign(a)max (lal-b,0) (16) p=p+B(s-w） 式中sign(a)为a的符号函数，即： 本文算法将式(13)对应的复杂问题分解为 a>0 4个简单的子问题，这4个子问题均具有闭合解，可 sign (a a=0 (17) 以确保算法的准确性和快速性。其中“、”、w子问 a<0 题均通过软阈值法求解，s,子问题通过FFT来解决。 2)v的子问题：固定u、w,最小化能量泛函： 2.3颜色掩膜保护背景 =argminall+5a-）+受a- 当背景和雨线的梯度相近时，无法正确区分 背景和雨线，会出现雨线残留严重或过度平滑现 18) 西mi+号-+ 象。基于此，本文受文献[20]的启发，考虑到雨 线独特的颜色信息，利用颜色掩膜将Y通道中部 式(18)的闭合解也通过软阈值方法来获得： 分深灰色背景像素保持原值。 =Shrink+度点 通过对Y通道归一化处理，雨线处像素值一 (19) 般较大，在原始Y通道中大多呈现较亮的灰白 色，而背景对应的像素大多表现出各种深浅不同 3)的子问题：固定u、”,最小化能量泛函： 的灰色。虽然无法确定像素值较大的灰白色像素 =arg minw+,g5a-）+受，a-= 一定为雨像素，但是像素值较小的黑色及深灰色 20) 像素一定不会是雨像素，这部分像素视作未受雨 arg min+ -+ 2 水影响的背景像素。设定原始Y通道像素值用 P表示，%：表示每一个像素点i的颜色与白色之 子问题(20)的闭合解给出为： 间的差异值，以及T∈[0,1]表示整幅图像的阈 =sm+套 21) 值。当像素点的w:越大，即当w:>T时，可认为 该像素为未受雨水影响的背景像素。再定义掩膜 4)sn的子问题： 图像的像素值为。其表达式为：
min u,v,w,s L(u, v,w,s, p1 , p2 , p3) = λ1∥u∥1 +λ2∥v∥1 +∥w∥1 + ⟨ p1,∇xˆ ( rDθ − sDθ ) −u ⟩ + β1 2 ∇xˆ ( rDθ − sDθ ) −u 2 2 + ⟨ p2 ,sDθ −v ⟩ + β2 2 sDθ −v 2 2 + ⟨ p3,∇yˆsDθ −w ⟩ + β3 2 ∇yˆsDθ −w 2 2 (13) β1 β2 β3 p1 p2 p3 l1 式中： 、 、 是正则化参数； 、 、 分别表 示 3 个拉格朗日乘子。采用方向乘子法来解决 范数问题，式 (13) 中的问题可以分解成 4 个简单 且具有闭合解的子问题。 1) u 的子问题：固定 v、w ，最小化能量泛函： uˆ= argmin u λ1∥u∥1 + ⟨ p1,∇xˆ ( rDθ − sDθ ) −u ⟩ + β1 2 ∇xˆ ( rDθ − sDθ ) −u 2 2 = argmin u λ1∥u∥1 + β1 2 ∇xˆ ( rDθ − sDθ ) −u+ p1 β1 2 2 (14) 式 (14) 可通过式 (15) 的软阈值方法[ 1 8 ] 来 解决： u k+1 = Shrink( ∇xˆ ( rDθ − s k Dθ ) + p k 1 β1 , λ1 β1 ) (15) Shrink(a,b) = sign(a)max(|a|−b,0) (16) 式中 sign(a) 为 a 的符号函数，即： sign(a) = 1, 0, −1, a > 0 a = 0 a < 0 (17) 2) v 的子问题：固定 u、w ，最小化能量泛函： vˆ= argmin v λ2∥v∥1 + ⟨ p2,sDθ −v ⟩ + β2 2 sDθ −v 2 2 = argmin v λ2∥v∥1 + β2 2 sDθ −v+ p2 β2 2 2 (18) 式 (18) 的闭合解也通过软阈值方法来获得： v k+1 = Shrink( s k Dθ + p k 2 β2 , λ2 β2 ) (19) 3) w 的子问题：固定 u、v ，最小化能量泛函： wˆ= argmin w ∥w∥1 + ⟨ p3,∇yˆsDθ −w ⟩ + β3 2 ∇yˆsDθ −w 2 2 = argmin w ∥w∥1 + β3 2 ∇yˆsDθ −w+ p3 β3 2 2 (20) 子问题 (20) 的闭合解给出为： w k+1 = Shrink( ∇yˆs k Dθ + p k 3 β3 , 1 β3 ) (21) 4) sDθ 的子问题： sˆDθ = argmin sDθ ⟨ p1,∇xˆ ( rDθ − sDθ ) −u ⟩ + ⟨ p2,sDθ −v ⟩ + ⟨ p3 ,∇yˆsDθ −w ⟩ + β1 2 ∇xˆ ( rDθ − sDθ ) −u 2 2 + β2 2 sDθ −v 2 2 + β3 2 ∇yˆsDθ −w 2 2 = argmin sDθ β1 2 ∇xˆ ( rDθ − sDθ ) −u+ p1 β1 2 2 + β2 2 sDθ −v+ p2 β2 2 2 + β3 2 ∇yˆsDθ −w+ p3 β3 2 2 (22) 由于式 sDθ (22) 可微， 的子问题的闭合解可通 过式 (23) 求解： ( β1∇ T xˆ ∇xˆ+β2 I+β3∇ T yˆ ∇yˆ ) s˜ k+1 Dθ = ∇ T yˆ ( β3wk+1 − p k 3 β3 ) + β2v k+1 − p k 2 +∇ T xˆ ( β1∇xˆrDθ −β1u k+1 + p k 1 ) π (23) 式中： I 表示单位矩阵。而式 (23) 可通过快速傅 里叶变换 (FFT) 解决。 s˜ k+1 由非负性约束条件式 Dθ (9) 所得到的 ，可由 式 (24) 进行投影： s k+1 Dθ = min( rDθ ,max( s˜ k+1 Dθ ,0 )) (24) p1 p2 p3 根据 ADMM 方法，可通过式 (25) 更新拉格朗 日乘子 、 、 ： p k+1 1 = p k 1 +β1 ( ∇xˆ ( rDθ − s k+1 Dθ ) −u k+1 ) p k+1 2 = p k 2 +β2 ( s k+1 Dθ −v k+1 ) p k+1 3 = p k 3 +β3 ( ∇yˆs k+1 Dθ −w k+1 ) (25) u v w sDθ 本文算法将式 (13) 对应的复杂问题分解为 4 个简单的子问题，这 4 个子问题均具有闭合解，可 以确保算法的准确性和快速性。其中 、 、 子问 题均通过软阈值法求解， 子问题通过 FFT 来解决。 2.3 颜色掩膜保护背景 当背景和雨线的梯度相近时，无法正确区分 背景和雨线，会出现雨线残留严重或过度平滑现 象。基于此，本文受文献 [20] 的启发，考虑到雨 线独特的颜色信息，利用颜色掩膜将 Y 通道中部 分深灰色背景像素保持原值。 pyi wi i T ∈ [0,1] wi wi > T mi 通过对 Y 通道归一化处理，雨线处像素值一 般较大，在原始 Y 通道中大多呈现较亮的灰白 色，而背景对应的像素大多表现出各种深浅不同 的灰色。虽然无法确定像素值较大的灰白色像素 一定为雨像素，但是像素值较小的黑色及深灰色 像素一定不会是雨像素，这部分像素视作未受雨 水影响的背景像素。设定原始 Y 通道像素值用 表示， 表示每一个像素点 的颜色与白色之 间的差异值，以及 表示整幅图像的阈 值。当像素点的 越大，即当 时，可认为 该像素为未受雨水影响的背景像素。再定义掩膜 图像的像素值为 。其表达式为： 第 2 期 王科平，等：一种基于雨线主方向自适应的全局稀疏去雨模型 ·275·