展示全景的细分预测
点击上方“深度学习爱好者”，选择加"星标"或“置顶”
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
作者的目标是根据一组最近的观察数据来预测不久的将来。作者认为这种预测的能力，也就是预测的能力，对于自主代理的成功来说是不可或缺的，它们不仅需要被动地分析观察结果，而且必须实时地对观察结果作出反应。重要的是，准确的预测取决于选择的场景分解。作者认为，通过将动态场景分解为个体事物和背景事物，可以实现更好的预测。背景物体的移动主要是由于相机的运动，而前景物体的移动则是由于相机和单个物体的运动。在此分解之后，作者引入了全景分割预测。全景分割预测开辟了现有极端之间的中间地带，既可以预测实例轨迹，也可以预测未来图像帧的外观。为了解决这个任务，作者开发了一个双组件模型:一个组件通过预测里程计来学习背景事物的动态，另一个组件预测检测到的事物的动态。作者为这个新任务建立了一个排行榜，并验证了一个优于现有基线的最先进的模型。
代码链接：https://github.com/nianticlabs/panoptic-forecasting
方法概述
在给定输入帧的情况下，作者的方法预测了不可见帧IT +F的全景分割ST +F。作者的方法将场景分解为事物预测。通过对输入帧的实例分割/跟踪找到事物，之后作者预测分割掩码和每个单独实例的深度。接下来，通过使用3d刚体变换将输入帧语义弯曲到帧T + F，然后将结果通过细化模型来建模。最后，作者将来自事物的预测汇总到最终的全景分割ST +F中。不同的组件需要未来的测程，作者预期使用输入测程。
实验结果
城市景观中期全景分割预测
与Hybrid相比，作者的方法为实例类生成了更明确的轮廓(参见第1排的汽车或第4排的行人)，并且处理大动作的实例要好得多。第三排的车手根本没有被预测到。因为流不能模拟实例级的轨迹，所以在预测中事情不再完整。
失败案例
左:白色突出显示的车手被实例检测遗漏。右图:错误的里程数预测导致预测结果与目标图像不一致(目标图像中物体的轮廓以白色显示)。
结论
引入了全景分割预测的新任务。它需要预测每像素的实例级分割的东西和事物为一个未观察到的未来帧给定的输入序列的过去的帧。为了解决这一问题，作者开发了一个模型来预测物体的轨迹和外观，并通过重新投射物体的输入语义。作者证明了该方法在全景、语义和实例分割预测方面优于引人注目的基线。
论文链接：https://arxiv.org/pdf/2104.03962.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。