深冲超分辨率
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
虽然单幅图像超分辨率(SISR)近年来吸引了大量的兴趣，提出的方法仅限于学习图像先验以添加高频细节。相比之下，多帧超分辨率(MFSR)提供了通过结合多幅移位图像的信号信息重建丰富细节的可能性。这一关键优势，随着爆炸摄影的日益普及，已经使MFSR成为现实世界应用的一个重要问题。针对突发超分辨率任务，作者提出了一种新的结构。作者的网络以多个有噪声的原始图像作为输入，生成一个去噪的、超分辨率的RGB图像作为输出。这是通过使用像素级光流明确地对齐输入帧的深度嵌入来实现的。然后使用基于注意力的融合模块自适应地融合所有帧的信息。为了能够对真实世界的数据进行训练和评估，作者额外引入了由智能手机突发数据和高分辨率数码单反地面真相数据集组成的the burst sr dataset。作者进行全面的实验分析，以证明所建议的架构的有效性。
作者引入了第一个由原始爆发和相应的HR地面真相组成的真实世界爆发超分辨率数据集。
作者提出了一种新的MFSR体系结构，该体系结构可以使用手持相机捕捉到的突发数据进行联合去噪、demosaising和SR。
作者的架构采用了一种基于注意力的融合方法，自适应地合并输入图像，以生成高质量的HR输出
作者进一步解决了在对真实世界数据进行训练时遇到的不对齐问题，通过引入一个损失函数，可以内部纠正这些不对齐。
框架结构
作者的burst超分辨率架构概述
输入突发中的每幅图像首先独立地通过编码器传递。然后，使用对齐模块预测的流向量将生成的特征映射弯曲到基帧(b1)坐标。然后，利用权重预测器计算的融合权重，使用基于注意力的融合模块对对齐的特征图进行融合。合并后的特征图ˆe通过解码器模块得到超分辨的RGB图像作为输出。
实验结果
作者在Amazon Mechanical Turk上进行了用户研究，比较了这四种方法。作者在20个测试图像上获得每个网络的HR预测。接下来，作者从20张测试图像中随机抽取15张200 × 200的作物。然后使用最近邻插值法将300种作物的大小调整为400 × 400。作者向参与者展示真实的人力资源形象，以及网络预测。要求被试根据所提供的单反参考图像的视觉质量对4种方法的预测结果进行排序。网络预测是匿名和随机的，以避免任何偏见。作者对每种作物进行了5个独立的排名。所有作物的平均排名(MOR)以及某一方法排名第一的次数百分比(%Top)如表6所示。作者的方法的MOR为1.81，明显优于其他所有方法。此外，作者的方法在所有方法中以53.6%的次数位居最佳，是次最佳方法的2.5倍以上。作者还报告测试集上的PSNR、lpip和SSIM分数，如第6.1节所述计算。图8也提供了定性比较。作者的方法在所有三个指标上都获得了最好的结果，在PSNR方面比HighRes-net高出1.24 dB。
结论
作者解决了现实世界的多帧超分辨率问题。作者引入了一个新的数据集BurstSR，其中包含从手持相机捕获的原始突发序列，以及使用变焦镜头获得的相应高分辨率地面真相。作者进一步提出了一种多帧超分辨率网络，通过基于注意的融合，可以自适应地结合来自多个输入图像的信息。作者的方法在真实的突发事件中得到了很好的结果，优于单帧和多帧的选择。
论文链接：https://arxiv.org/pdf/2101.10997.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。深度学习爱好者 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
深度学习爱好者 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
· 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
· 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
· 深度学习爱好者 默认每篇文章都是首发，均会添加“原创”标志