【泡泡点云时空】GSPN:三维点云实例分割的候选框生成网络
泡泡点云时空，带你精读点云领域顶级会议文章
标题：GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud
作者：Li Yi，Wang Zhao，He Wang，Minhyuk Sung， Leonidas Guibas
来源：CVPR2018
编译：彭锐
审核：Lionheart
欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权
摘要
大家好，今天为大家带来的文章是——GSPN: Generative Shape Proposal Network for 3D Instance Segmentation in Point Cloud.
我们提出了一种新的3D目标候选框方法··(GSPN)方法来解决点云数据的实例分割问题。我们不把目标方案当作一个直接的边界框（bounding box）回归问题，而是采用一种综合分析的策略，通过对场景中有噪声的观察结果进行形状重构来生成方案。我们将GSPN合并到一个名为基于区域的点网(R-PointNet)的新的三维实例分割框架中，该框架可实现灵活的候选区域精调和实例分割生成。我们在几个3D实例分割任务上实现了最先进的性能。GSPN的成功很大程度上来自于它在对象提出过程中对几何理解的重视，这大大减少了低目标性的方案。
主要贡献
1)依据综合分析策略(analysis-bysynthesis strategy)，提出了一个候选框生成网络(Generative Shape Proposal Network, GSPN)来处理3D目标候选框；
2）提出了一个灵活的三维实例分割框架，称为基于区域的PointNet(Region-based PointNet)，利用它，我们在几个实例分割基准上取得了最先进的性能；
3）进行广泛的评估和消融研究，以验证我们的设计选择，并显示我们框架的通用性
方法概述
整个框架可以分成两部分：GSPN和R-PointNet，但是后者利用了前者的输出。
1、GSPN
GSPN采用生成object的方法去生成proposal。通过一个采样点生成和采样点编码点原始数据类似的proposals。作者称这个GSPN为CVAE方法。
由上图可看到GSPN由以下几个子网络构成：
①Center prediction network，用了K个PointNet和上下文信息，对中心点s采用球体结构选择三个尺度的scale进行输入，即c1，c2，c3，然后生成对应的目标中心
②Prior network和Recognition network也是用K个PointNet对每个目标中心生成高斯分布的参数；
③Generation network，用相同的编码器，给每个中心点生成一个分数confidence，最后通过两条平行的MLP和Deconv联合得到translate之前的点云数据
这里就是在做中心提取的工作
2. Region-based PointNet
如上图所示，对于场景中的每个种子点，GSPN将生成一个形状建议以及实例敏感特征fc^。将形状方案转换为一个轴对齐的三维边界盒bonding box，其中RoIAlign点可用于提取RoI特征，用于最终的分割生成。除了实例敏感特征fc^之外，特征中枢还使用了从预先训练的pointnet++分割网络中获得的语义特征
3.训练细节
作者在训练时先分别训练GSPN和PointNet++语义分割网络，然后固定这些参数，进行整体的R-PointNet的训练
主要结果
Abstract
We introduce a novel 3D object proposal approach named Generative Shape Proposal Network (GSPN) for instance segmentation in point cloud data. Instead of treating object proposal as a direct bounding box regression problem, we take an analysis-by-synthesis strategy and generate proposals by reconstructing shapes from noisy observations in a scene. We incorporate GSPN into a novel 3D instance segmentation framework named Region-based PointNet (R-PointNet) which allows flexible proposal refinement and instance segmentation generation. We achieve state-of-the-art performance on several 3D instance segmentation tasks. The success of GSPN largely comes from its emphasis on geometric understandings during object proposal, which greatly reducing proposals with low objectness.
泡泡网站：www.paopaorobot.org
泡泡论坛：http://paopaorobot.org/bbs/