第17卷第5期 智能系统学报 Vol.17 No.5 2022年9月 CAAI Transactions on Intelligent Systems Sep.2022 D0:10.11992/tis.202108022 网络出版地址：https:/kns.cnki.net/kcms/detail/23.1538.TP.20220617.0942.002.html 水下图像增强方法研究综述 严浙平，曲思瑜2，邢文 （1.哈尔滨工程大学智能科学与工程学院，黑龙江哈尔滨150001：2.哈尔滨工程大学青岛创新发展基地，山 东青岛266000) 摘要：水下图像增强是水下有人无人设备完成深海探测任务的重要支撑技术。该技术综合应用信号处理、 图像处理以及机器学习的相关理论知识以实现对水下图像的灵活增强。在简述了水下图像增强的研究背景、 意义及热点问题的基础上，按照不基于成像模型、基于成像模型与基于学习3个方向对水下图像增强技术的发 展进行了详细的论述，重点分析了不同方法的原理和技术特点。最后，根据水下图像增强技术的难点与目前面 临的主要问题对研究方向和发展趋势进行了归纳和展望。 关键词：水下成像：图像处理；水下图像增强；水下图像复原：成像模型；生成对抗网络；卷积神经网络；图像质 量评价 中图分类号：TP391.41:TN911.73文献标志码：A文章编号：1673-4785(2022)05-0860-14 中文引用格式：严浙平，曲思瑜，邢文.水下图像增强方法研究综述队.智能系统学报，2022,17（⑤）：860-873. 英文引用格式：YAN Zheping,QU Siyu,.XING Wen..An overview of underwater image enhancement methods.CAAI transac- tions on intelligent systems,2022,17(5):860-873. An overview of underwater image enhancement methods YAN Zheping2,QU Siyu2,XING Wen'2 (1.Department of Intelligent Science and Engineering,Harbin Engineering University,Harbin 150001,China;2.Qingdao Innovation and Development Center,Harbin Engineering University,Qingdao 266000,China) Abstract:The underwater image enhancement technology plays an important role in deep-sea exploration missions for underwater manned/unmanned vehicles,which adopts relevant and comprehensive theoretical knowledge of signal pro- cessing,image processing,and machine learning to realize the flexible enhancement of underwater images.In this paper, a brief description of the research background,significance,and the hotspot of underwater image enhancement is provided first.Then,the underwater image enhancement methods are expounded,considering the image-formation-mod- el-free,image-formation-model-based,and learning-based approaches.Particularly,the design principles and technical characteristics of different methods are analyzed.Finally,considering the shortcomings of the existing methods and re- cent major challenges of the underwater image enhancement technology,the future research direction and development trend of this technology are summarized and prospected. Keywords:underwater imaging;image processing;underwater image enhancement;underwater image restoration;ima- ging model;generative adversarial network;convolutional neural network;image quality assessment 在陆地空间和资源压力日益增大的条件下，海洋安全监测等一系列水下作业任务的重要保 对于水下空间的开发变得迫切起来，海底蕴藏着证。但是，水下成像是不同于陆地上的成像机 丰富的矿产资源与化石能源，能掌握高效的水下 制，水下环境的成像是更为复杂的。首先，光线 资源开发技术的国家必将在未来发展中占尽先 在水中的传播衰减与陆地的传播衰减是不同的， 机。高质量且清晰的水下图像是海洋资源勘探和 它是一种不均匀的且依赖于波长特性的衰减。红 光是可见光中波长最长的，在传播时，红光最先 收稿日期：2021-08-17.网络出版日期：2022-06-17. 基金项目：国家自然科学基金面上项目(52071102). 消失，然后是按照波长顺序的橙光、绿光及蓝光， 通信作者：邢文.E-mail:xingwen@hrbeu.edu.cn. 这也是大多数水下的图像都呈现出蓝绿色调的原
DOI: 10.11992/tis.202108022 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20220617.0942.002.html 水下图像增强方法研究综述 严浙平1,2，曲思瑜1,2，邢文1,2 （1. 哈尔滨工程大学 智能科学与工程学院，黑龙江 哈尔滨 150001; 2. 哈尔滨工程大学 青岛创新发展基地，山 东 青岛 266000） 摘 要：水下图像增强是水下有人/无人设备完成深海探测任务的重要支撑技术。该技术综合应用信号处理、 图像处理以及机器学习的相关理论知识以实现对水下图像的灵活增强。在简述了水下图像增强的研究背景、 意义及热点问题的基础上，按照不基于成像模型、基于成像模型与基于学习 3 个方向对水下图像增强技术的发 展进行了详细的论述，重点分析了不同方法的原理和技术特点。最后，根据水下图像增强技术的难点与目前面 临的主要问题对研究方向和发展趋势进行了归纳和展望。 关键词：水下成像；图像处理；水下图像增强；水下图像复原；成像模型；生成对抗网络；卷积神经网络；图像质 量评价 中图分类号：TP391.41; TN911.73 文献标志码：A 文章编号：1673−4785(2022)05−0860−14 中文引用格式：严浙平, 曲思瑜, 邢文. 水下图像增强方法研究综述 [J]. 智能系统学报, 2022, 17(5): 860–873. 英文引用格式：YAN Zheping, QU Siyu, XING Wen. An overview of underwater image enhancement methods[J]. CAAI transactions on intelligent systems, 2022, 17(5): 860–873. An overview of underwater image enhancement methods YAN Zheping1,2 ，QU Siyu1,2 ，XING Wen1,2 (1. Department of Intelligent Science and Engineering, Harbin Engineering University, Harbin 150001, China; 2. Qingdao Innovation and Development Center, Harbin Engineering University, Qingdao 266000, China) Abstract: The underwater image enhancement technology plays an important role in deep-sea exploration missions for underwater manned/unmanned vehicles, which adopts relevant and comprehensive theoretical knowledge of signal processing, image processing, and machine learning to realize the flexible enhancement of underwater images. In this paper, a brief description of the research background, significance, and the hotspot of underwater image enhancement is provided first. Then, the underwater image enhancement methods are expounded, considering the image-formation-model-free, image-formation-model-based, and learning-based approaches. Particularly, the design principles and technical characteristics of different methods are analyzed. Finally, considering the shortcomings of the existing methods and recent major challenges of the underwater image enhancement technology, the future research direction and development trend of this technology are summarized and prospected. Keywords: underwater imaging; image processing; underwater image enhancement; underwater image restoration; imaging model; generative adversarial network; convolutional neural network; image quality assessment 在陆地空间和资源压力日益增大的条件下， 对于水下空间的开发变得迫切起来，海底蕴藏着 丰富的矿产资源与化石能源，能掌握高效的水下 资源开发技术的国家必将在未来发展中占尽先 机。高质量且清晰的水下图像是海洋资源勘探和 海洋安全监测等一系列水下作业任务的重要保 证。但是，水下成像是不同于陆地上的成像机 制，水下环境的成像是更为复杂的。首先，光线 在水中的传播衰减与陆地的传播衰减是不同的， 它是一种不均匀的且依赖于波长特性的衰减。红 光是可见光中波长最长的，在传播时，红光最先 消失，然后是按照波长顺序的橙光、绿光及蓝光， 这也是大多数水下的图像都呈现出蓝绿色调的原 收稿日期：2021−08−17. 网络出版日期：2022−06−17. 基金项目：国家自然科学基金面上项目（52071102）. 通信作者：邢文. E-mail：xingwen@hrbeu.edu.cn. 第 17 卷第 5 期 智 能 系 统 学 报 Vol.17 No.5 2022 年 9 月 CAAI Transactions on Intelligent Systems Sep. 2022
·861· 严浙平，等：水下图像增强方法研究综述 第5期 因。其次，水体中的溶解物也会对成像造成影 模型的方法是直接在像素级别进行操作的，它 响，水体中的粒子对于光有反射作用，当其反射 在继承传统图像增强方法的原理上进行改进。对 的光到达相机时会对所成的像产生散射效果，散 于基于非物理模型的方法可以大致分为空间域、 射使成像的细节变得模糊影响图像的质量。不同 变换域以及综合型的水下图像增强方法。 深度、位置、季节、气温对于水体的影响是十分复 1.1空间域法 杂的，加大了去除图像中粒子散射效果的难度。 水下图像与大气中的图像相比较具有高模 最后，当达到一定的水深时，太阳光无法到达提 糊、低对比度及颜色扭曲的特点，水下图像增强 供照明，必须引入辅助照明设备进行拍摄，此时， 方法必须针对该特点进行设计m。空间域的方法 图像中心区域会不可避免的出现亮斑，严重影响 大多是指导像素空间进行指定的分布以获得更好 了图像的对比度。由于光线的选择性衰减与水中 的视觉效果。如直方图均衡与其改进算法，它在 粒子散射问题，水下图像会表现出颜色扭曲、细 于指导各通道的像素按照指定的排列进行再分 节模糊、对比度低的问题。 布，直方图均衡算法在提高对比度上具有显著的 早期的水下图像处理是应用硬件设备辅助进 效果网具体方法如下。 行的，如偏振器法，该方法基于偏振器的原理 对于离散二维图像，像素值的归一化范围为 实现了去除散射效应的目的。在偏振器后提出了 [0,1],将其灰度级别定义为 用快速快门门限成像方法来去除水下图像的散射 P,)=%k=0,1…,L-1 n 或噪声)，该方法利用具有超高快门速度的成像 式中：P,表示灰度的分布；表示离散灰度；表示 设备快速地打开和关闭快门实现了对散射光线的 为r的像素个数；n为全部像素个数；则n与n的比 去除。Martin等提出了立体成像先验水下图像 值表示为频数，也就是像素分布概率。经过上述 增强方法，使用两个摄像机以不同的角度对同一 的处理后，就可以对直方图按照式(1)进行转换： 场景进行拍摄，进而建立起场景的立体结构，由 于水下图像的衰减与场景的立体结构是有关联 S,=T()= (1) 的，因此可降低场景成像的模糊程度。这些应用 直方图转换的函数可以是多种多样的以期望 硬件的方法普遍存在效率低、成本高、无法用于 达到满意的效果，该方法在图像较亮或较暗区 深水、难携带等弊端，难以满足现代海洋调查的 域的效果比较明显。在水下图像中，会有光照不 需求。 充足产生曝光不足的情况，直方图法能够有效去 随着图像处理技术的快速发展，利用光学成 除该现象。但是，直方图均衡及其改进方法对于 像进行水下探测展现出巨大的潜力和优势。由于 整体亮度较低的图像进行增强时，会改变其整体 不同水体类型的光吸收特性、折射特性、透明度 颜色布局，色彩失真较为严重，而且没有对数据 等参数具有显著差异性，设计能够在多种复杂条 的特性以及水下环境的特性关注，实际应用时鲁 件下对水下图像进行增强的算法是非常重要的。 棒性不强图。 国内外研究学者相继提出了许多新颖的算法和研 伽玛函数函数校正是指通过伽玛函数对图像 究思路，本文将对不基于物理模型、基于物理模型 的亮度进行调整，刘志成等提出了一种基于 与基于学习的3类水下增强算法进行总结，并梳 二维伽玛函数的光照不均匀图像自适应校正算 理现有的水下图像质量评价体系，最后，对水下 法，利用多尺度高斯函数对场景的光照分量进行 图像增强算法的未来发展趋势进行分析和展望。 提取，把低曝光的区域调亮，同时也将过度曝光 1基于传统图像增强法 区域调暗，实现图像的亮度平衡，设计了二维伽 玛函数： 水下图像增强技术是以成像系统获取的数码 F(x,y) Ox,y)=255 图像为基础，利用有效的图像增强算法建立水下 255 I(x.y)-m 图像自动增强模型，进而实现高效、准确的水下 m 图像增强。图像是携带信息最多的载体，图像 的处理技术伴随着图像的产生而产生，如今，出 式中：O(x,y)为校正后输出图像的亮度值；y为校 现了各种各样的图像增强方法，其中一部分可以 正增强的指数值；m为光照分量的亮度均值。水 被应用水下环境中。此外，国内外研究学者尝试 下图像的衰减原因复杂，不仅仅是因为光照不均 利用多种方法进行水下图像的增强，基于非物理 匀，还与多种因素相关，亮度的伽玛校正难以实
因。其次，水体中的溶解物也会对成像造成影 响，水体中的粒子对于光有反射作用，当其反射 的光到达相机时会对所成的像产生散射效果，散 射使成像的细节变得模糊影响图像的质量。不同 深度、位置、季节、气温对于水体的影响是十分复 杂的，加大了去除图像中粒子散射效果的难度。 最后，当达到一定的水深时，太阳光无法到达提 供照明，必须引入辅助照明设备进行拍摄，此时， 图像中心区域会不可避免的出现亮斑，严重影响 了图像的对比度。由于光线的选择性衰减与水中 粒子散射问题，水下图像会表现出颜色扭曲、细 节模糊、对比度低的问题。 早期的水下图像处理是应用硬件设备辅助进 行的，如偏振器法[1-2] ，该方法基于偏振器的原理 实现了去除散射效应的目的。在偏振器后提出了 用快速快门门限成像方法来去除水下图像的散射 或噪声[3] ，该方法利用具有超高快门速度的成像 设备快速地打开和关闭快门实现了对散射光线的 去除。Martin 等 [4] 提出了立体成像先验水下图像 增强方法，使用两个摄像机以不同的角度对同一 场景进行拍摄，进而建立起场景的立体结构，由 于水下图像的衰减与场景的立体结构是有关联 的，因此可降低场景成像的模糊程度。这些应用 硬件的方法普遍存在效率低、成本高、无法用于 深水、难携带等弊端，难以满足现代海洋调查的 需求。 随着图像处理技术的快速发展，利用光学成 像进行水下探测展现出巨大的潜力和优势。由于 不同水体类型的光吸收特性、折射特性、透明度 等参数具有显著差异性，设计能够在多种复杂条 件下对水下图像进行增强的算法是非常重要的。 国内外研究学者相继提出了许多新颖的算法和研 究思路，本文将对不基于物理模型、基于物理模型 与基于学习的 3 类水下增强算法进行总结，并梳 理现有的水下图像质量评价体系，最后，对水下 图像增强算法的未来发展趋势进行分析和展望。 1 基于传统图像增强法 水下图像增强技术是以成像系统获取的数码 图像为基础，利用有效的图像增强算法建立水下 图像自动增强模型，进而实现高效、准确的水下 图像增强[5]。图像是携带信息最多的载体，图像 的处理技术伴随着图像的产生而产生，如今，出 现了各种各样的图像增强方法，其中一部分可以 被应用水下环境中。此外，国内外研究学者尝试 利用多种方法进行水下图像的增强，基于非物理 模型的方法是直接在像素级别进行操作的[6] ，它 在继承传统图像增强方法的原理上进行改进。对 于基于非物理模型的方法可以大致分为空间域、 变换域以及综合型的水下图像增强方法。 1.1 空间域法 水下图像与大气中的图像相比较具有高模 糊、低对比度及颜色扭曲的特点，水下图像增强 方法必须针对该特点进行设计[7]。空间域的方法 大多是指导像素空间进行指定的分布以获得更好 的视觉效果。如直方图均衡与其改进算法，它在 于指导各通道的像素按照指定的排列进行再分 布，直方图均衡算法在提高对比度上具有显著的 效果[8] ，具体方法如下。 [0,1] 对于离散二维图像，像素值的归一化范围为 ，将其灰度级别定义为 Pr(rk) = nk n , k = 0,1,··· ,L−1 Pr rk nk rk n nk n 式中： 表示灰度的分布； 表示离散灰度； 表示 为 的像素个数； 为全部像素个数；则 与 的比 值表示为频数，也就是像素分布概率。经过上述 的处理后，就可以对直方图按照式 (1) 进行转换： S i = T(ri) = ∑k−1 i=0 ni n (1) 直方图转换的函数可以是多种多样的以期望 达到满意的效果[7] ，该方法在图像较亮或较暗区 域的效果比较明显。在水下图像中，会有光照不 充足产生曝光不足的情况，直方图法能够有效去 除该现象。但是，直方图均衡及其改进方法对于 整体亮度较低的图像进行增强时，会改变其整体 颜色布局，色彩失真较为严重，而且没有对数据 的特性以及水下环境的特性关注，实际应用时鲁 棒性不强[8]。 伽玛函数函数校正是指通过伽玛函数对图像 的亮度进行调整[9] ，刘志成等[10] 提出了一种基于 二维伽玛函数的光照不均匀图像自适应校正算 法，利用多尺度高斯函数对场景的光照分量进行 提取，把低曝光的区域调亮，同时也将过度曝光 区域调暗，实现图像的亮度平衡，设计了二维伽 玛函数： O(x, y) = 255( F(x, y) 255 )γ γ = ( 1 2 ) I(x,y)−m m O(x, y) γ m 式中： 为校正后输出图像的亮度值； 为校 正增强的指数值； 为光照分量的亮度均值。水 下图像的衰减原因复杂，不仅仅是因为光照不均 匀，还与多种因素相关，亮度的伽玛校正难以实 ·861· 严浙平，等：水下图像增强方法研究综述 第 5 期
第17卷 智能系统学报 ·862· 现水下图像的增强。因此，伽玛函数校正只能作 相比于直接的像素操作是更加准确且灵活，在此 为辅助方法。 基础上对3个分量独立操作后给到自适应的权值 l963年，Edwin.H.Land提出了Retinex理论， 后合成增强的图像，该方法将范数特性与水下图 他将视网膜理论引入到图像处理中，认为颜色是 像特性连接到一起，对浑浊水体的图像具有较好 物体本身的属性，光照无法对其改变，即物体的 的效果，但增强过程消耗时间较长。 颜色一直保持一致山。该理论描述进人入人眼的 1.3综合法 光为 水下图像有着细节模糊、颜色扭曲的特性， S(x,y)=R(x,y)·L(x,y (2) 单一方法难以实现水下图像增强的操作的。随着 对式(2)取对数就可以得到： 水下图像增强技术的发展，诸多多种算法融合的 r(x.y)=logR(x.y)=log) 增强算法被提出了，宋瑞霞等61将图像转换到 H$I空间增强，对饱和度分量进行分段伽马变换 将照射图假设为平滑图像可进一步得到： 进行增强，对于亮度分量采用正交多小波变换分 r(x,y)=logs(x,y)-log(F(x,y).S(x,y)) 式中F(x,y)是为中心环绕函数，可表示为 离出高低频带，在低频子带上进行Retinex调整， x2+y 高频子带上应用模糊增强，经过上述操作后转移 F(x.y)=Ae 回RGB空间得到增强的图像。与其不同的是，贾 其中λ和c分别表示尺度和环绕尺度，应当满足 芃等)在高频子带上使用多通道滤波方法同样 条件： 得到了较好的效果。田会娟等81提出将图像转 厂Fxad=1 移到YCbCr空间，对光照图像分量应用伽玛函数 由于Retinex理论是基于颜色一致性所设计， 变换，再经过Retinex和多尺度细节增强得到最终 在色彩恢复上取得了一定的成就。但是，水下 的结果，验证了空间转换及综合运用传统图像增 图像同时还面临着细节模糊的情况，按照Ret- 强方法在水下图像增强中的有效性。 inex理论进行照射图求取时需要高斯滤波，加重 应用空间滤波器对图像进行处理的方法发展 了图像的模糊程度，因此该方法一般也是用作辅 十分迅猛，郝志成等提出一种双边纹理滤波的 助方法。 方法用于图像的细节增强，使用多尺度双边纹理 1.2变换域法 滤波把图像分解，在此基础上，使用类似于小波 变换域是指将原图像空间中的像素与位置信 变换的多尺度自适应增强的方法得出一系列的增 息变换到其他更利于对图像进行处理的空间中， 强细节图像，最后求和即可得出增强图像。 如傅里叶变换、小波变换等。小波变换是图像处 非物理模型的方法实现起来较为容易，但只考 理中的常用方法，本质上是将图像分为高频子 虑图像本身的像素特性，不涉及水下的成像特性， 带和低频子带，图像应用中，高频子带代表着细 面临复杂多样的水下图像时表现不好，鲁棒性差。 节以及噪声的信息，而低频子带部分代表背景和 纹理的信息。可以对感兴趣的子带进行放大，不 2基于水下成像模型法 感兴趣的子带进行抑制)，实现图像的增强处理。 水下图像的衰减是与水下环境的多种因素都 基本小波变换的细节如下： 相关的，如果可以掌握全部有关的衰减参数，可 (t)=L2(R) 以根据衰减模型的逆过程将退化的水下图像还 其中()是平方可积函数，若其为基本小波函数， 原成清晰的高质量的图像，这是属于图像复原 则傅里叶变换必需满足： 范畴。根据Jaffe-McGlamey成像模型，水下场景 Cw=∫广rw(wjP.w-dw<o 进入相机的光线可由3个分量线性叠加：直接衰 为了减少噪声的影响，可以设置门限，将噪声 减分量、前向散射分量和后向散射分量，如图1 从中过滤掉，再经过重构即可得到增强图像。因 所示。其中，直接衰减分量是由所拍摄的场景直 为其对噪声的敏感特性，小波变换是作为水下图 接反射的进入到摄像机镜头中的光线；前向散射 像增强的辅助算法。 是场景反射的光线经过微小粒子的再次折射后进 针对于水中悬浮的小颗粒及水深导致的光线 入到摄像机镜头中的光线；后向散射是周围光线 衰减，Wang等1提出将图像按照范数分解成细 经过水中粒子的折射后进入到摄像机镜头中的部 节、结构及光照分量，在细节分量中，小颗粒可以 分20。这两项散射导致水下图像呈现出低对比度 被当作噪声干扰通过滤波算法去除。这样的分解 与模糊，而且引入了噪声。相对于后向散射而
现水下图像的增强。因此，伽玛函数校正只能作 为辅助方法。 1963 年，Edwin. H. Land 提出了 Retinex 理论， 他将视网膜理论引入到图像处理中，认为颜色是 物体本身的属性，光照无法对其改变，即物体的 颜色一直保持一致[11]。该理论描述进入人眼的 光为 S (x, y) = R(x, y)· L(x, y) (2) 对式 (2) 取对数就可以得到： r(x, y) = logR(x, y) = log S (x, y) L(x, y) 将照射图假设为平滑图像可进一步得到： r(x, y) = logS (x, y)−log(F(x, y)· S (x, y)) 式中 F(x, y) 是为中心环绕函数，可表示为 F(x, y) = λe − (x 2+y 2 ) c 2 其中 λ 和c分别表示尺度和环绕尺度，应当满足 条件： x F(x, y)dxdy = 1 由于 Retinex 理论是基于颜色一致性所设计， 在色彩恢复上取得了一定的成就[11]。但是，水下 图像同时还面临着细节模糊的情况，按照 Retinex 理论进行照射图求取时需要高斯滤波，加重 了图像的模糊程度，因此该方法一般也是用作辅 助方法。 1.2 变换域法 变换域是指将原图像空间中的像素与位置信 息变换到其他更利于对图像进行处理的空间中， 如傅里叶变换、小波变换等。小波变换是图像处 理中的常用方法[12] ，本质上是将图像分为高频子 带和低频子带，图像应用中，高频子带代表着细 节以及噪声的信息，而低频子带部分代表背景和 纹理的信息。可以对感兴趣的子带进行放大，不 感兴趣的子带进行抑制[13] ，实现图像的增强处理， 基本小波变换的细节如下： ψ(t) = L 2 (R) 其中 ψ(t) 是平方可积函数，若其为基本小波函数， 则傅里叶变换必需满足： Cψ = w +∞ −∞ |ψ(w)| 2 ·w −1 dw < ∞ 为了减少噪声的影响，可以设置门限，将噪声 从中过滤掉，再经过重构即可得到增强图像。因 为其对噪声的敏感特性，小波变换是作为水下图 像增强的辅助算法。 针对于水中悬浮的小颗粒及水深导致的光线 衰减，Wang 等 [14] 提出将图像按照范数分解成细 节、结构及光照分量，在细节分量中，小颗粒可以 被当作噪声干扰通过滤波算法去除。这样的分解 相比于直接的像素操作是更加准确且灵活，在此 基础上对 3 个分量独立操作后给到自适应的权值 后合成增强的图像，该方法将范数特性与水下图 像特性连接到一起，对浑浊水体的图像具有较好 的效果，但增强过程消耗时间较长。 1.3 综合法 水下图像有着细节模糊、颜色扭曲的特性， 单一方法难以实现水下图像增强的操作[15]。随着 水下图像增强技术的发展，诸多多种算法融合的 增强算法被提出了，宋瑞霞等[16] 将图像转换到 HSI 空间增强，对饱和度分量进行分段伽马变换 进行增强，对于亮度分量采用正交多小波变换分 离出高低频带，在低频子带上进行 Retinex 调整， 高频子带上应用模糊增强，经过上述操作后转移 回 RGB 空间得到增强的图像。与其不同的是，贾 芃等 [17] 在高频子带上使用多通道滤波方法同样 得到了较好的效果。田会娟等[18] 提出将图像转 移到 YCbCr 空间，对光照图像分量应用伽玛函数 变换，再经过 Retinex 和多尺度细节增强得到最终 的结果，验证了空间转换及综合运用传统图像增 强方法在水下图像增强中的有效性。 应用空间滤波器对图像进行处理的方法发展 十分迅猛，郝志成等[19] 提出一种双边纹理滤波的 方法用于图像的细节增强，使用多尺度双边纹理 滤波把图像分解，在此基础上，使用类似于小波 变换的多尺度自适应增强的方法得出一系列的增 强细节图像，最后求和即可得出增强图像。 非物理模型的方法实现起来较为容易，但只考 虑图像本身的像素特性，不涉及水下的成像特性， 面临复杂多样的水下图像时表现不好，鲁棒性差。 2 基于水下成像模型法 水下图像的衰减是与水下环境的多种因素都 相关的，如果可以掌握全部有关的衰减参数，可 以根据衰减模型的逆过程将退化的水下图像还 原成清晰的高质量的图像，这是属于图像复原 范畴。根据 Jaffe-McGlamey 成像模型，水下场景 进入相机的光线可由 3 个分量线性叠加：直接衰 减分量、前向散射分量和后向散射分量，如图 1 所示。其中，直接衰减分量是由所拍摄的场景直 接反射的进入到摄像机镜头中的光线；前向散射 是场景反射的光线经过微小粒子的再次折射后进 入到摄像机镜头中的光线；后向散射是周围光线 经过水中粒子的折射后进入到摄像机镜头中的部 分 [20]。这两项散射导致水下图像呈现出低对比度 与模糊，而且引入了噪声。相对于后向散射而 第 17 卷 智 能 系 统 学 报 ·862·
·863· 严浙平，等：水下图像增强方法研究综述 第5期 言，前向散射是比较容易去除的，通常情况下，在 于光线衰减导致的低对比度的特点，通过恢复与 场景距离摄像机足够近的时候，我们忽略前向散 短波长相关的颜色来恢复退化的图像，将暗通道 射带来的影响。具体可以用式(3)对其成像进行 先验假设应用到水下环境中，即在图像某个区域 描述2： 应该有红色像素值的存在，为暗通道先验方法在 E(I,m)=Ea(lm)+Er(I,m)+En(L,m) (3) 水下图像的应用开辟了道路。接下来，Drews等 其中（亿，m)为图像的像素坐标。等式前后的4项分 提出了水下暗通道先验法，是受暗通道先验启发 别代表最终形成的图像、直接衰减分量、前向散 结合水对于光的红色通道快速衰减得出的一种先 射分量、后向散射分量。 验方法，该方法比红通道先验更进一步揭示了图 像去雾技术与水下图像增强技术之间的联系，但 直接分量 该类方法都十分依赖于传输图像估计的准确程 ,前向散射分量 空气 …后向散射分量 度，清澈的水质条件下效果较好。2019年Akkaynak 水下 等21提出一种移除水下图像中有水效果的方法 Sea-thru,目的是恢复水下图像的准确颜色，在泳 池中的水下图像与清澈的海水中表现出色。其使 用结构-运动方法获得成像距离图，然后根据模 型可得出： 相机 Je=D.es (k 散射介质 为了得到陆地上拍摄的效果，设J,为在陆地 距离 上所拍摄的照片： J,=Jc/W 图1水下成像原理示意图 式中：W表示相机环境光的白点，此时，J,为全局 Fig.1 Schematic diagram of underwater imaging principle 白平衡量。分别使用式(4)和式(5)对后向散射 而且由于水下成像模型与有雾图像的成像模 和衰减系数进行估计： 型有很大的相似性，可以根据有雾图像的成像模 B=B(1-e)+Je成 (4) 型建立水下的成像模型： BP(z)=aeh+ce (5) I=D+B 假设此时后向散射已从图像中去除，借鉴 式中：c是R、G、B通道中的一个；I,是由摄像机直 局部空间平均颜色方法迭代估计局部空间平均 接拍摄的图像；D是前向包含场景信息的图像； 颜色，然后再采用快速的灰色世界假设精确估 B是后向散射。在这里，忽略掉了前向散射对于 计衰减系数的最终结果，该方法是依据衰减系数 成像的影响，并且这两个分量可以被假设为是指 对于成像距离的强依赖性，实现了水下图像去水 数型衰减的： 功能。 I(x)=J(x)f(x)+B(1-f(x)) Berman等2将水下颜色扭曲与低对比度两 进而可被改写成： 个问题解耦合为单独问题，其考虑水体类型与场 I Je(vDyz +B (1-e-(VBZ) 景立体结构对于衰减效果的影响，通过添加两个 式中参数Z是场景距离摄像机的距离，而且不同 全局参数：蓝红通道衰减比例与蓝绿通道衰减比 波长的光线在水下衰减率是不同的。 2011年He等2四在观察大量有雾与无雾图像 例来恢复水下图像色彩，进而使水下图像增强退 化为图像去雾问题，由于未知水体类型，依照所 时得出规律：在无雾图像中，阴影应该存在于图 有类型对图像进行增强，然后自动选出最优的增 像中的绝大部分局部块上，在某个通道中，至少 强结果。首先利用边缘探测工具选出没有物体存 存在某个像素的强度近似为0。 在的光线平滑区域，选取区域内所有像素的平均 Jhrk→0 Jdik(x,y)=min(min((x,y))) 值作为照射光，这对于去除散射是十分必要的。 式中：J为图像J中R、G、B3个通道中一个；(x,y) 使用线性去雾模型得出传输图像的估计，得到上 是局部区域2(x,y)中的位置。由于有雾图像与水 述信息后，应用式(6)对场景进行恢复： 下图像非常相似，暗通道先验的方法在水下图像 2=A+-A=A+号 Ic-A e-2 (6) 增强方面也有一定的成就，2015年Galdran等2 提出红通道先验方法，该方法针对于水下图像由 由于此时得到的多个衰减系数，我们应用全
言，前向散射是比较容易去除的，通常情况下，在 场景距离摄像机足够近的时候，我们忽略前向散 射带来的影响。具体可以用式 (3) 对其成像进行 描述[21] ： Et(l,m) = Ed(l,m)+ Ef(l,m)+ Eb(l,m) (3) 其中 (l,m) 为图像的像素坐标。等式前后的 4 项分 别代表最终形成的图像、直接衰减分量、前向散 射分量、后向散射分量。 空气 水下 相机 距离 散射介质 场景 后向散射分量 前向散射分量 直接分量 图 1 水下成像原理示意图 Fig. 1 Schematic diagram of underwater imaging principle 而且由于水下成像模型与有雾图像的成像模 型有很大的相似性，可以根据有雾图像的成像模 型建立水下的成像模型： Ic = Dc + Bc c Ic Dc Bc 式中： 是 R、G、B 通道中的一个； 是由摄像机直 接拍摄的图像； 是前向包含场景信息的图像； 是后向散射。在这里，忽略掉了前向散射对于 成像的影响，并且这两个分量可以被假设为是指 数型衰减的： I c (x) = J c (x)t c (x)+ B c (1−t c (x)) 进而可被改写成： Ic = Jce −β D c (VD)·Z + B ∞ c (1−e −β B c (VB)·Z ) 式中参数 Z 是场景距离摄像机的距离，而且不同 波长的光线在水下衰减率是不同的。 2011 年 He 等 [22] 在观察大量有雾与无雾图像 时得出规律：在无雾图像中，阴影应该存在于图 像中的绝大部分局部块上，在某个通道中，至少 存在某个像素的强度近似为 0。 Jdark → 0 Jdark(x, y) = min(min(J c (x, y))) J c J (x, y) Ω(x, y) 式中： 为图像 中 R、G、B 3 个通道中一个； 是局部区域 中的位置。由于有雾图像与水 下图像非常相似，暗通道先验的方法在水下图像 增强方面也有一定的成就，2015 年 Galdran 等 [23] 提出红通道先验方法，该方法针对于水下图像由 于光线衰减导致的低对比度的特点，通过恢复与 短波长相关的颜色来恢复退化的图像，将暗通道 先验假设应用到水下环境中，即在图像某个区域 应该有红色像素值的存在，为暗通道先验方法在 水下图像的应用开辟了道路。接下来，Drews 等 [24] 提出了水下暗通道先验法，是受暗通道先验启发 结合水对于光的红色通道快速衰减得出的一种先 验方法，该方法比红通道先验更进一步揭示了图 像去雾技术与水下图像增强技术之间的联系，但 该类方法都十分依赖于传输图像估计的准确程 度，清澈的水质条件下效果较好。2019 年 Akkaynak 等 [25] 提出一种移除水下图像中有水效果的方法 Sea-thru，目的是恢复水下图像的准确颜色，在泳 池中的水下图像与清澈的海水中表现出色。其使 用结构–运动方法获得成像距离图，然后根据模 型可得出： Jc = Dce β D c (z)z 为了得到陆地上拍摄的效果，设 Js为在陆地 上所拍摄的照片： Js = Jc/Wc 式中： Wc表示相机环境光的白点，此时， Js为全局 白平衡量。分别使用式 (4) 和式 (5) 对后向散射 和衰减系数进行估计： Bˆ c = B ∞ c (1−e −β Bz c )+ J ′ c e −β D ′ c z (4) β D c (z) = ae bz +ce dz (5) 假设此时后向散射已从图像中去除，借鉴 局部空间平均颜色方法迭代估计局部空间平均 颜色，然后再采用快速的灰色世界假设精确估 计衰减系数的最终结果，该方法是依据衰减系数 对于成像距离的强依赖性，实现了水下图像去水 功能。 Berman 等 [26] 将水下颜色扭曲与低对比度两 个问题解耦合为单独问题，其考虑水体类型与场 景立体结构对于衰减效果的影响，通过添加两个 全局参数：蓝红通道衰减比例与蓝绿通道衰减比 例来恢复水下图像色彩，进而使水下图像增强退 化为图像去雾问题，由于未知水体类型，依照所 有类型对图像进行增强，然后自动选出最优的增 强结果。首先利用边缘探测工具选出没有物体存 在的光线平滑区域，选取区域内所有像素的平均 值作为照射光，这对于去除散射是十分必要的。 使用线性去雾模型得出传输图像的估计，得到上 述信息后，应用式 (6) 对场景进行恢复： Jc = Ac + Ic − Ac e −βcZ = Ac + Ic − Ac t βc /βB B (6) 由于此时得到的多个衰减系数，我们应用全 ·863· 严浙平，等：水下图像增强方法研究综述 第 5 期
第17卷 智能系统学报 ·864· 部的衰减系数对图像进行复原，通过灰色世界 习，由于深度学习方法的不同网络、不同模型、不 假设得出最优的结果。Moghimi等m则将基于物 同结构会对增强任务产生巨大差异，本文将着重 理模型的图像增强与基于深度学习的超分辨增强 讨论不同算法对于水下图像的增强效果。 相结合，同样是将水下图像增强划分为两个阶段。 3.1基于衰减模型的学习 第一阶段，通过蓝、绿通道的衰减特性得到准确 本文在第2节讨论的水下成像衰减模型由于 的传输图像来达到水下图像去雾的效果，然后依 涉及参数多，需要强大的计算能力。神经网络可 据成像模型进行颜色的恢复，采用直方图拉伸增 以拟合各种函数，随着网络能力的不断提升，对 强图像的对比度；第二阶段，通过深度神经网络 于衰减模型的估计难度降低。通常情况下，需要 对图像进行超分辨率增强，在充分利用成像衰减 估计图像的r和B,可以通过式(7)确定： 模型的基础上，引人了深度学习技术对增强过程 J(x)= I(x)-B 进行补充，解决了图像模糊的进一步增强问题。 max(r() (7) 为了解决前文的水下图像增强方法引入的假 3基于深度学习法 设条件在某些情况下无效的问题，Wang等B4依 在10年之前，传统的图像处理方法在水下图 据衰减模型假设设计了UIE-Net端到端的水下图 像增强领域中一直是占据着主导地位，近年来， 像增强网络，使用卷积神经网络进行传输图像和 由于神经网络技术的蓬勃发展及其在各个领域上 3个通道衰减系数的估计，进而输出增强后的图 所展现出的非凡成就，基于学习的数据驱动的 像。框架中使用像素打乱策略来提升收敛的速度 方法在水下图像增强上开始大放异彩四。 和准确性，这表示水下衰减模型可以和神经网络 由于卷积网络拥有局部链接、权值共享、降 技术结合以获得更好的表现。根据衰减模型的特 采样的特点，被认为是第一个真正的采用多层次 性，Cao等B)提出用神经网络来估计背景光图像 结构网络的具有鲁棒性的深度学习方法B,如 和深度图像，从而能更准确恢复水下图像的彩色 图2所示，结构包括输入层、卷积层、池化层、全 与对比度。其分别使用5层卷积网络和多尺度双 连接层。卷积神经因为其权值共享的滑动卷积与 网络去估计背景光和场景深度，设计了两个任务 降采样特点能够有效地提取图像中的特征并进行 的损失函数： 理解。 LOSSBL 丁(BE-B) cErg 深度 高度 Lsaa-∑-∑ n 6(x)=logdea(x)-logda(x) 这个结构简单的双任务网络实现了背景光图 像和深度图像的准确估计，证明了使用神经网络 图2卷积神经网络示意图 技术估计水下成像模型参数的可行性。 Fig.2 Schematic diagram of convolutional neural network 3.2不基于衰减模型的学习 生成对抗神经网络中蕴含着零和博弈的思 依据现有水下科学知识水平可能会产生水下 想B川，网络的主要结构是一个生成器和一个鉴别 成像衰减模型建立不准确的情况，基于此种可 器，生成器的目的是生成具有给定域特征的图 能，一些学者提出了不考虑成像模型而直接应用 像，而鉴别器则力求将生成器生成图像的鉴别结 网络实现端到端的图像转换，使网络学习低质量 果置为假，可以表示为 域到高质量域的映射函数： minmax V(D,G)=Ep(o[log D(x)]+ G 徐岩等”应用小型的只有6层的卷积神经 E:-p(a[log(1-D(G(2)))] 网络实现了水下图像的增强，网络采用均方误差 式中G和D分别表示生成器和鉴别器。自2014 作为损失函数优化整个网络参数，网络的更新过 年被提出以来，生成对抗神经网络的发展十分迅 程为 速。2018年，机视觉领域文献的1/3都与生成对 aL 抗神经网络相关3，特别是针对图像风格迁移、 41=0.94L-刀0网 超分辨率、语义生成及图像增强领域。 Wg41=W+4+ 基于学习的增强算法按照其假设条件可以分 该小型网络成功实现了水下图像的增强，验 为：基于衰减模型的学习和不基于衰减模型的学 证了卷积神经网络在水下图像处理应用上的强大
部的衰减系数对图像进行复原，通过灰色世界 假设得出最优的结果。Moghimi 等 [27] 则将基于物 理模型的图像增强与基于深度学习的超分辨增强 相结合，同样是将水下图像增强划分为两个阶段。 第一阶段，通过蓝、绿通道的衰减特性得到准确 的传输图像来达到水下图像去雾的效果，然后依 据成像模型进行颜色的恢复，采用直方图拉伸增 强图像的对比度；第二阶段，通过深度神经网络 对图像进行超分辨率增强，在充分利用成像衰减 模型的基础上，引入了深度学习技术对增强过程 进行补充，解决了图像模糊的进一步增强问题。 3 基于深度学习法 在 10 年之前，传统的图像处理方法在水下图 像增强领域中一直是占据着主导地位，近年来， 由于神经网络技术的蓬勃发展及其在各个领域上 所展现出的非凡成就[28] ，基于学习的数据驱动的 方法在水下图像增强上开始大放异彩[29]。 由于卷积网络拥有局部链接、权值共享、降 采样的特点，被认为是第一个真正的采用多层次 结构网络的具有鲁棒性的深度学习方法[ 3 0 ] ，如 图 2 所示，结构包括输入层、卷积层、池化层、全 连接层。卷积神经因为其权值共享的滑动卷积与 降采样特点能够有效地提取图像中的特征并进行 理解。 宽度 高度 深度 图 2 卷积神经网络示意图 Fig. 2 Schematic diagram of convolutional neural network 生成对抗神经网络中蕴含着零和博弈的思 想 [31] ，网络的主要结构是一个生成器和一个鉴别 器，生成器的目的是生成具有给定域特征的图 像，而鉴别器则力求将生成器生成图像的鉴别结 果置为假，可以表示为 min G max D V(D,G) = Ex∼pdata (x)[logD(x)] + Ez∼pz(z)[log(1− D(G(z)))] 式中 G 和 D 分别表示生成器和鉴别器。自 2014 年被提出以来，生成对抗神经网络的发展十分迅 速。2018 年，机视觉领域文献的 1/3 都与生成对 抗神经网络相关[32] ，特别是针对图像风格迁移、 超分辨率、语义生成及图像增强领域[33]。 基于学习的增强算法按照其假设条件可以分 为：基于衰减模型的学习和不基于衰减模型的学 习，由于深度学习方法的不同网络、不同模型、不 同结构会对增强任务产生巨大差异，本文将着重 讨论不同算法对于水下图像的增强效果。 3.1 基于衰减模型的学习 t c B c J c 本文在第 2 节讨论的水下成像衰减模型由于 涉及参数多，需要强大的计算能力。神经网络可 以拟合各种函数，随着网络能力的不断提升，对 于衰减模型的估计难度降低。通常情况下，需要 估计图像的 和 ，可以通过式 (7) 确定 ： J c (x) = I c (x)− B c max(t c (x),t0) + B c (7) 为了解决前文的水下图像增强方法引入的假 设条件在某些情况下无效的问题，Wang 等 [34] 依 据衰减模型假设设计了 UIE-Net 端到端的水下图 像增强网络，使用卷积神经网络进行传输图像和 3 个通道衰减系数的估计，进而输出增强后的图 像。框架中使用像素打乱策略来提升收敛的速度 和准确性，这表示水下衰减模型可以和神经网络 技术结合以获得更好的表现。根据衰减模型的特 性，Cao 等 [35] 提出用神经网络来估计背景光图像 和深度图像，从而能更准确恢复水下图像的彩色 与对比度。其分别使用 5 层卷积网络和多尺度双 网络去估计背景光和场景深度，设计了两个任务 的损失函数： LossBL = ∑ c∈{r,g,b} (B c est − B c gt) 2 Lossdepth = 1 n ∑ x δ(x) 2 − 1 n 2 ∑ x δ(x) 2 δ(x) = logdest(x)−logdgt(x) 这个结构简单的双任务网络实现了背景光图 像和深度图像的准确估计，证明了使用神经网络 技术估计水下成像模型参数的可行性。 3.2 不基于衰减模型的学习 依据现有水下科学知识水平可能会产生水下 成像衰减模型建立不准确的情况，基于此种可 能，一些学者提出了不考虑成像模型而直接应用 网络实现端到端的图像转换，使网络学习低质量 域到高质量域的映射函数[3, 36]。 徐岩等[37] 应用小型的只有 6 层的卷积神经 网络实现了水下图像的增强，网络采用均方误差 作为损失函数优化整个网络参数，网络的更新过 程为 ∆k+1 = 0.9∆k −η ∂L ∂Wl k Wl k+1 = Wl k +∆k+1 该小型网络成功实现了水下图像的增强，验 证了卷积神经网络在水下图像处理应用上的强大 第 17 卷 智 能 系 统 学 报 ·864·