北大开源ECCV2018深度去雨算法：RESCAN

性能强悍，在所有评估指标下碾压state-of-the-art方法。

本文来自于ECCV2018接收的论文《Recurrent Squeeze-and-Excitation Context Aggregation Net for Single Image Deraining》。

图像中雨水条纹会严重降低能见度，导致许多当前的计算机视觉算法无法工作，比如在自动驾驶场景下图像去雨就变得非常重要。该文提出了一种基于深度卷积和递归神经网络的新型深度网络体系结构，用于单图像去雨。

该文对图像去雨的多个挑战分别提出了解决方案，取得了非常显著的算法改进。

1.由于背景信息对于定位雨水位置非常重要，该文首先使用了扩张卷积神经网络（dilated convolutional neural network ）来获取大的感受野，同时为更好地适应去雨任务修改了扩张卷积网络。

2.在大雨的图像中，雨水条纹有各种方向和形状，此时将其看作是多个雨水层的叠加。通过结合squeeze-and-excitation模块，根据强度和透明度为不同的雨水条纹层分配不同的α值。

3.由于雨水条纹层彼此重叠，因此在一个stage中不容易完全除去雨水。因此进一步将雨水分解分为多个stage。结合递归神经网络保留先前阶段中的有用信息并有利于后期的除雨。

最终算法在合成数据集和真实数据集上进行了大量实验，结果显示该文提出的方法在所有评估指标下都优于目前的state-of-the-art方法。

SCAN

结合扩张卷积和squeeze-and-excitation模块的单stage的网络架构。

SCAN的细节参数

RESCAN

结合RNN的多个stage的去雨架构。

在合成数据集上的去雨效果

合成数据集上的性能指标

相比以往算法改进异常显著。

真实数据集上的去雨效果

在真实数据集上用户调查结果

主观评价方法，通过对127幅图像6个人的投票调查，选择最佳去雨效果和保留的最佳细节的图像。RESCAN取得了压倒性优势。

代码：

https://github.com/XiaLiPKU/RESCAN

论文：

https://arxiv.org/abs/1807.05698v1