EDPN:用于模糊图像恢复的增强深度金字塔网络
重磅干货,第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容。个人能力有限,理解难免出现偏差,建议对文章内容感兴趣的读者,一定要下载原文,了解具体内容。
摘要
随着深度神经网络的发展,图像去模糊得到了很大的改善。然而,在实践中,模糊的图像经常受到其他退化的影响,如缩小和压缩。为了解决这些问题,作者提出了一种增强的深度金字塔网络(EDPN),通过充分利用退化图像中的自相似性和交叉尺度相似性来实现多次退化后的模糊图像恢复。具体来说,作者设计了两个基于金字塔的模块,即金字塔渐进转移(PPT)模块和金字塔自我关注(PSA)模块,作为提出的网络的主要组成部分。PPT模块以多个复制的模糊图像为输入,从同一幅退化图像中依次传递自尺度和跨尺度的相似信息。然后,PSA模块融合上述转移特征,利用自注意机制和空间注意机制进行后续恢复。实验结果表明,该方法明显优于现有的模糊图像超分辨率和模糊图像去块方法。在NTIRE 2021图像去模糊挑战中,EDPN在轨道1(低分辨率)中获得最佳PSNR/SSIM/LPIPS分数,在轨道2 (JPEG伪影)中获得最佳SSIM/LPIPS分数。
代码链接:https://github.com/zeyuxiao1997/EDPN
作者的贡献总结如下:
1、提出了一种模糊图像恢复网络EDPN,该网络可以对多次退化的模糊图像产生清晰的恢复结果。
2、为了充分利用同一幅退化图像的自尺度相似性和跨尺度相似性,作者设计了两个核心组件,即PPT模块和PSA模块。
3、们的方法明显优于现有的解决方案的模糊图像超分辨率和模糊图像去块。在NTIRE 2021图像去模糊挑战中,EDPN在轨道1(低分辨率)中获得最佳PSNR/SSIM/LPIPS分数,在轨道2 (JPEG伪影)中获得最佳SSIM/LPIPS分数。
框架结构
EDPN网络适用于各种图像去模糊任务。本文以模糊图像超分辨率和模糊图像去块为例。给定的模糊图像首先被复制几次,然后发送到以下组件。作者使用五个复制图像作为一个说明性的例子。
PPT模块的结构
PSA模块的结构
实验结果
对BISR的验证集进行定性比较。请放大,以便更好地显示
用于BID的red验证集的定性比较。请放大,以便更好地显示。
结论
本文提出了一种模糊图像恢复网络EDPN,用于解决模糊图像超分辨率和模糊图像去块等多种退化问题。所提出的EDPN的两个核心模块,即PPT模块和PSA模块,被证明对上述两项任务是高效的。作者相信EDPN也有潜力推进其他图像/视频恢复任务,特别是那些有多重退化的。
论文链接:https://arxiv.org/pdf/2105.04872.pdf
每日坚持论文分享不易,如果喜欢我们的内容,希望可以推荐或者转发给周围的同学。