Self-supervised Low Light Image Enhancement and Denoising 论文阅读笔记
这是哈工大的一篇无监督暗图增强和去噪的论文,似乎还没有在哪个会议期刊正式发表
- 文章提出了一个能够同时进行暗图增强和去噪的框架,由两部分组成,一部分是对比度增强网络(ICE-Net),一部分是进一步增强和去噪(RED-Net)的网络,并且RED-Net可以用来配合其它的基于Retinex或者HSV的增强算法,网络结构如下:
ME-Retinex model
- 原 retinex model 把图片的亮度分解为 reflectance 和 illuminanation 的乘积
- 并基于这一理论,可以利用网络和基于先验设计的一些损失进行图片的分解:
- 本文沿用了retinex分解图像的思想,并基于“反射分量最大的通道的熵最大化”的约束设计了如下的损失函数:其中,F表示直方图均衡化操作,S表示HSV彩色空间中的S分量。文中提到,retinex model-based decomposition相当于只改变HSV彩色空间中的V值的对比度而不改变H和S值。
l
R
l_R
lR的第二项是为了抑制噪声。
- I R的分解重建工作由ICE-Net完成(但好像没有说ICE-Net的网络结构,只知道是卷积神经网络)。
RED-Net
-
同样采取retinex理论,但损失函数修改如下(上标的 ‘ 是为了与ICE-Net生成的分量相区分,这是RED-Net生成的分量;N表示取模值,G表示均值滤波器):
-
这里基于的先验是:噪声和纹理信息都具有梯度,区分噪声和细节与纹理信息的依据是,细节与纹理信息平滑后仍然具有梯度,而噪声平滑后梯度就接近0了。因此通过对 x ∗ exp (−λx) 作为损失项进行惩罚,如下图所示:
-
由于噪声的梯度值归一化后居于曲线峰值的左侧,最小化 x ∗ exp (−λx)带来的梯度方向会使得x变小,也就是抑制了噪声的梯度从而抑制了噪声;而纹理与结构信息的梯度值归一化后居于曲线峰值的右侧,最小化 x ∗ exp (−λx)带来的梯度方向会使得x变大,也就是增强了结构和纹理信息的梯度,增强了对比度。
-
此外,上面的 W W W 和 W R W_R WR 不参与梯度传播。
实验结果
- 比较了几个数据集上的NIQE、SSIM和PSNR