基于深度学习的三维重建算法：MVSNet、RMVSNet、PointMVSNet、Cascade系列...
MVSNet:香港科技大学的权龙教授团队的MVSNet（2018年ECCV）开启了学习深度做多视图三维重建的先河。2019、2020年又有多篇改进：RMVSNet(CVPR2019),PointMVSNet(ICCV2019),PMVSNet(ICCV2019),MVSCRF(ICCV2019),Cascade(CVPR2020),CVPMVSNet(CVPR2020),FastMVSNet(CVPR2020),UCSNet(CVPR2020),CIDER(AAAI2020),PVAMVSNet(ECCV2020),D2HC-RMVSNet(ECCV2020)。
一 MVSNet：目标是预测图片上每个像素的深度信息
MVSNet: Depth Inference for Unstructured Multi-view Stereo
MVSNet本质是借鉴基于两张图片cost volume的双目立体匹配的深度估计方法，扩展到多张图片的深度估计，而基于cost volume的双目立体匹配已经较为成熟，所以MVSNet在立体匹配的基础上，基于可微分的单应性变换提出适合三维重建的深度估计的cost volume。
论文实现了权龙教授多年的深度三维重建想法。
过程：
（1）输入一张reference image（为主） 和几张source images（辅助）；
（2）分别用网络提取出下采样四分之一的32通道的特征图；
（3）采用立体匹配（即双目深度估计）里提出的cost volume的概念，将几张source images的特征利用单应性变换( homography warping)转换到reference image，在转换的过程中，类似极线搜索，引入了深度信息。构建cost volume可以说是MVSNet的关键，或者说极线搜索。
（4）利用3D卷积操作cost volume，先输出每个深度的概率，然后求深度的加权平均得到预测的深度信息，用L1或smoothL1回归深度信息，是一个回归模型。
（5）利用多张图片之间的重建约束(photometric and geometric consistencies)来选择预测正确的深度信息，重建成三维点云。
该论文最重要的单应性变换( homography warping)的公式写错了，误导了好几篇后续改进的顶会论文，不过神奇地是提供的代码没有错：
二 MVSNet的后续改进论文
MVSNet开启了深度学习做三维重建的先河，2019/2020又出现了多篇对其的改进，改进思路主要是把回归网络改成cascade，即改成层级的，先预测下采样四分之一的，再利用得到的结果预测二分之一，最后输出原图片大小的深度信息，或减小深度范围，或减小cost volume的范围。
目前dtu数据集上精度已经很高了，再提高也比较难，另外由于dtu数据集的ground truth本身就是不完整的，所以和这个ground truth比的话，也有问题，结果高并不表明效果好。
还有就是tanks榜单也有问题，评价系统存在问题导致需要一些技巧才能提高排名，需要平衡点云的完整度和正确性即recall和precision，不能太稀疏，但是太稠密了错的又会多。
MVSNet后续改进论文介绍：
1.RMVSNet(CVPR2019)
Recurrent MVSNet for High-resolution Multi-view Stereo Depth Inference
权龙教授团队Yao Yao对自己的MVSNet的后续改进，主要是将3D 卷积换成了一个GRU时序网络来降低显存消耗。
代码是用tensorflow写的，和MVSNet代码合到一起了，github链接：https://github.com/YoYo000/MVSNet
2. MVSNet（pytorch版本）
这里需要特别强调一下，提出双目立体匹配GwcNet的Guo Xiaoyang 同学把原来MVSNet的tensorflow代码改成了pytorch框架，这为几乎后续所有改进MVSNet的论文提供了极大的帮助，后续的论文几乎都是在Xiaoyang Guo同学的MVSNet_pytorch上改的。而且Guo Xiaoyang同学的MVSNet_pytorch已经比原来的MVSNet的效果好了不少，而后续的改进都是对比MVSNet论文里的结果，所以真正的提升其实并不大，后续改进应该对比Guo Xiaoyang同学的MVSNet_pytorch。
MVSNet论文里的结果和Guo Xiaoyang同学的MVSNet_pytorch在DTU数据集上的对比结果，可以看出Guo Xiaoyang已经提升了不少MVSNet的效果。
Guo Xiaoyang同学的MVSNet_pytorch 链接https://github.com/xy-guo/MVSNet_pytorch
3 PointMVSNet(ICCV2019)
Point-Based Multi-View Stereo Network ，清华大学改的MVSNet_pytorch的代码，PointMVSNet github链接：https://github.com/callmeray/PointMVSNet
4 P-MVSNet(ICCV2019)
P-MVSNet: Learning Patch-wise Matching Confifidence Aggregation for Multi-View Stereo 华中科技大学P-MVSNet对MVSNet的改进主要在于采用传统三维重建算法中Patch-wise。还没有找到其代码。
5 MVSCRF(ICCV2019)
MVSCRF: Learning Multi-view Stereo with Conditional Random Fields
改进点：接入了一个CRF模块
清华大学。没有找到其代码。
6 cascade MVSNet（CVPR2020)
Cascade Cost Volume for High-Resolution Multi-View Stereo and Stereo Matching
阿里，GitHub链接：https://github.com/alibaba/cascade-stereo
改的MVSNet_pytorch的代码，主要是把MVSNet的模型改成了层级的，先预测下采样四分之一的深度，然后用来缩小下采样二分之一的深度，再用其缩小原始图片大小的深度，这样层级的方式，可以采用大的深度间隔和少的深度区间，从而可以一次训练更多数据。
另外由于双目立体匹配和MVSNet的MVS都是用了cost volume，双目立体匹配是用两张图片估计’深度'，MVS的MVSNet是用三张及以上图片预测深度，所以其实模型差不多，都是相同的，cascade MVSNet也把改进思想用到了双目立体匹配上，一篇论文做了两份工作。
7 CVP-MVSNet（CVPR2020)
Cost Volume Pyramid Based Depth Inference for Multi-View Stereo
澳大利亚国立和英伟达，github链接：https://github.com/JiayuYANG/CVP-MVSNet
也是改的MVSNet_pytorch的代码，和上一个cascade MVSNet比较类似，也是先预测出深度信息然后用来缩小更大的图片的深度，CVP-MVSNet相比cascade MVSNet也缩小了cost volume的范围。
8 Fast-MVSNet（CVPR2020)
Fast-MVSNet: Sparse-to-Dense Multi-View Stereo With Learned Propagation
and Gauss-Newton Refifinement，上海科技大学也是改的MVSNet_pytorch的代码，github链接：https://github.com/svip-lab/FastMVSNet
Fast-MVSNet采用稀疏的cost volume以及Gauss-Newton layer，目的是提高MVSNet的速度。
9 CIDER（AAAI 2020)
Learning Inverse Depth Regression for Multi-View Stereo with Correlation Cost Volume , 华科的
GitHub链接：https://github.com/GhiXu/CIDER
CIDER主要采用采用group的方式提出了一个小的cost volume
10 UCSNet（CVPR2020)
Deep Stereo using Adaptive Thin Volume Representation with Uncertainty Awareness
github链接：https://github.com/touristCheng/UCSNet
UCSNet和cascade/CVPMVSnet差不过，只是depth interval可以自动调整，最大层度的进行网络层级，通过下采样四分之一的深度结果来缩小cost volume和深度的范围，从而让模型尽可能小。
11 PVA-MVSNet（ECCV2020)
Pyramid Multi-view Stereo Net with Self-adaptive View Aggregation
北大，GitHub链接：https://github.com/yhw-yhw/PVAMVSNet
主要采用attention机制来自适应学习一些权重，比如不同view的权重。
12 D2HC-RMVSNet(ECCV2020 Spotlight)
Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency Checking
github链接(还未提供）：https://github.com/yhw-yhw/D2HC-RMVSNet
还没细看，大概和RMVSNet差不多，只不过换成用LSTM来处理cost volume，同时提出一种Dynamic Consistency Checking来后融合。
可能因为在Tanks榜单上排名较高（目前滑落到第二，论文提交时第一），所以拿了ECCV2020的Spotlight。
总结：
香港科技大学的权龙教授团队的Yao Yao把双目立体匹配的cost volume，引入了基于深度学习的三维重建领域，提出了MVSNet，并整理了DTU数据集，开创了通过深度模型预测深度进行三维重建的一个新领域。
后续提出双目立体匹配GwcNet的Guo Xiaoyang同学把原来MVSNet的tensorflow代码改成了pytorch框架，极大地增加了代码的可读性，方便了后续一系列对MVSNet的改进。也提高了改进的基点。
得特别感谢香港科技大学的权龙教授团队和Guo Xiaoyang同学。