IBRNet：学习多视图图像渲染
重磅干货，第一时间送达
小白导读
论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
作者提出了一种通过插值稀疏的邻近视图集来合成复杂场景的新视图的方法。作者方法的核心是一个网络架构，其中包括一个多层感知器和一个射线转换器，它可以在连续的5D位置(3D空间位置和2D观看方向)估计亮度和体积密度，并从多个源视图动态绘制外观信息。通过在渲染时使用源视图，作者的方法回到了基于图像渲染(IBR)的经典工作，并允许作者渲染高分辨率图像。不像神经场景表示工作，优化每个场景的函数渲染，作者学习了一个通用的视图插值函数，推广到新场景。作者使用经典的体渲染来渲染图像，这是完全可微的，并且允许作者只使用多视图的图像作为监督来训练。实验表明，作者的方法优于最近的新视图合成方法，也寻求推广到新场景。此外，如果对每个场景进行微调，作者的方法与最先进的单场景神经渲染方法具有竞争力。
代码链接：https://ibrnet.github.io/
作者的方法是完全可微的，因此可以使用多视图图像进行端到端的训练。作者的实验表明,当大量的训练数据,作者的方法可以提供高分辨率的写实小说的观点对于看不见的场景包含复杂的几何形状和材料,和作者的定量评价表明,它提高了最先进的小说视图合成方法旨在推广一个新的测试场景。此外，对于任何特定的场景，作者可以微调IBRNet，以提高合成的新视图的质量，以匹配最先进的神经场景表示方法(如NeRF[39])的性能。总之，作者的贡献是:
一种新的基于学习的多视图图像渲染方法，在新场景上优于现有的一次性视图合成方法，
一种名为IBRNet的新模型架构，能够从多个视角连续预测空间中的颜色和密度，
每个场景的微调程序，达到了可与最先进的新颖的视图综合方法媲美的性能，只设计了单场景推理。
1)为了呈现一个新的目标视图，作者首先识别一组相邻的源视图并提取它们的图像特征。2)然后，对于目标视图中的每条射线，作者使用作者提出的IBRNet计算沿着射线的一组样本的颜色和密度。具体来说，对于每个样本，作者从邻近的源视图中聚合其对应的信息(图像颜色、特征和查看方向)，以产生其颜色c和密度特征fσ(注意，这些特征还不是标量密度值)。然后，作者将作者提出的射线变压器应用于射线上所有样本的密度特征，以预测标量密度。3)最后，作者使用体积渲染沿着光线累积颜色和密度来渲染它的颜色。作者的方法可以训练到端到端的重建图像颜色的L2损失。
IBRNet体积密度和颜色预测在一个连续的5 d位置(x, d)。作者首先输入{fi} 2 d图像特征提取N i = 1从所有源视图PointNet-like MLP聚合局部和全局信息,导致多视点知道特性f{0}我N i = 1和池权重{wi} N i = 1。为了预测密度，作者使用加权{wi} N i=1，将{f 0 i} N i=1集合起来，使多视图可见性推理得到密度特征fσ。作者没有直接从单个5D样品的fσ来预测密度σ，而是使用射线变压器模块来聚集沿射线的所有样品的信息。射线变压器模块取射线上所有样本的fσ并预测它们的所有密度(为简单起见，图中只突出显示了(x, d)的输出密度)。射线变压器模块能够在更大范围内进行几何推理，并改善密度预测。对于颜色预测，作者将{f 0 i} N i=1与查询射线相对于源视图的每个查看方向(即{di} N i=1)的查看方向连接起来，预测一组混合权值。输出颜色c是源视图图像颜色的加权平均值。
面向真实数据的定性比较。作者的方法可以更准确地恢复几何和外观的细节，并产生比其他方法在感知上更接近地面真相的图像。LLFF[38]难以恢复清晰和准确的边界(兰花的阴影和角的重复边缘)，也无法捕捉薄结构(霸王龙的肋骨)或部分闭塞的起源(蕨类植物的叶子)。削弱[39]渲染的图像显示不现实的噪音兰花。同时，花瓣上的纹理缺失，接近花瓣边界的区域没有很好地恢复。作者的方法在霸王龙和蕨类动物的精细结构上也比NeRF稍好，并且可以重建角的玻璃上更多的反射细节。
结论
作者提出了一个基于学习的多视图图像渲染框架，通过混合附近图像的像素和由MLP和射线变压器组成的网络推断的权重和体积密度来合成场景的新视图。这种方法结合了IBR和NeRF的优点，在复杂的场景中产生了最先进的渲染质量，而不需要预先计算几何(不像许多IBR方法)，存储昂贵的离散体积(不像神经体素表示)，或为每个新场景进行昂贵的训练(不像NeRF)。
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。深度学习爱好者 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
深度学习爱好者 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
· 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
· 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
· 深度学习爱好者 默认每篇文章都是首发，均会添加“原创”标志