【开源方案共享】PASS3D：精确且快速的3D点云语义分割
标题：PASS3D: Precise and Accelerated Semantic Segmentation for 3D PointCloud
作者：in Kong1, Guangyao Zhai1, Baoquan Zhong1 and Yong Liu
来源：2019 IEEE/RSJ International Conference on Intelligent Robots and Systems （IROS）
排版：particle
欢迎各位加入免费知识星球，获取PDF论文，欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享，欢迎各位加入我，我们一起每天一篇文章阅读，开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
本文来自北理苏同学的分享，该同学的其他分享：
Abstract
1、将传统的地面分割、聚类算法与深度学习方法的鲁棒性结合起来
2、提出了一个数据增强的方法，以增强网络对所有类别尤其是非刚物体的识别能力
截止到2020-9-16，代码还未开源，视频演示
PASS3D FRAMEWORK
A. Stage-1: Accelerated cluster proposal
1、地面拟合
2、基于rings的聚类
3、根据cluster的点的数量和包围盒大小，对cluster进行过滤。为了弥补点云越远越稀疏的问题，引入了自适应点数阈值
因为在地面分割时候会将地物分为地面，所以作者扩大包围盒并且将更多的点合并到refined proposals。
B. Stage-2: Point-wise semantic segmentation
1) Data preparation: Coordinate transformation
cluster分布在各个位置，神经网络很难收敛，考虑到这个问题，作者对每一个cluster的包围盒的底部任意顶点作为局部坐标系的原点，这样就把包围盒放在了八个卦限中的一个卦限，这个操作不会影响精度，使神经网络更多的考虑点的相对位置，而不是绝对位置。
Data augmentation
对于在局部坐标系中的数据不均衡问题，作者举了一个栗子:
For example, cars in training samples with heading directions along the local x-axis are more than ones along the local y-axis, which should not affect the neural network. PASS3D: Precise and Accelerated Semantic Segmentation for 3D PointCloud
为了解决这个问题，作者提出了他的方法--直接处理proposal而不是增强整个场景:
we propose a data augmentation method dealing with our proposals, which is more efficient and targeted. PASS3D: Precise and Accelerated Semantic Segmentation for 3D PointCloud
具体的方法就是对一个cluster在其局部坐标系进行旋转和镜像对称：
通过使用这种方法，我们丰富了非重复性和不对称的数据。
2) Learning-based semantic segmentation:
作者使用的backbone是PointNet2，可以灵活替换，直接对refined cluster进行处理，如果cluster的NUM>采样点N(比如1024等)，那么随机采样到N，如果NUM<采样点N，那么随机重复到N。
考虑到cluster的NUM会影响神经网络的分类处理，作者定义了一个特征：
以进行补偿。
最终输入到网络的特征向量就是：
其中xyz代表局部坐标系中的坐标，i代表归一化的反射强度，n代表cluster中的点数量。
EXPERIMENTS
1、作者使用了focal-loss，但是好像没有什么提升。
2、为什么Car的performance比较差？作者认为：
One of the possible reasons why the semantic segmentation performance of 'Car' categories is worse than others is that our stage-1 clusters the adjacent cars and trees into one proposal, resulting in a missed detection. PASS3D: Precise and Accelerated Semantic Segmentation for 3D PointCloud
3、Evaluation metrics：
iou、recall、precision
4、作者是这样评估stage-1的performance的：
evaluated by calculating the recall of point-wise foreground label.
We put 'Car’, 'Pedestrian’ and 'Cyclist’ classes as foreground while other classes as background.With only proposing about 30 clusters per frame, our method achieves 89.5% point-wise recall in 5ms.
PASS3D: Precise and Accelerated Semantic Segmentation for 3D PointCloud
5、作者通过减少传入到stage-2的点数，提升了整体速度：
We only pass about points in the entire scene to 5k the stage-2 neural network,while other methods [11], [20] usually pass all points (~30k) into the network. PASS3D: Precise and Accelerated Semantic Segmentation for 3D PointCloud
6、与SqueezeSeg对比
CONCLUSION
提出一种两阶段的语义分割方法，将传统几何方法的高效和深度学习方法的鲁棒性结合起来；提出一种数据增强方法，充分利用点云的优势，对非刚点云(行人、骑车的人)的语义分割表现得到了惊人的提升。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割（2020）
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看：点云学习历史文章大汇总
SLAM及AR相关分享