论文共读之点云匹配

论文：The Perfect Match: 3D Point Cloud Matching with Smoothed Densities

作者：Zan Gojcic   Caifa Zhou  Jan D. Wegner   Andreas Wieser

来源：CVPR 2016

提供者：znl

审核：资源组组长

摘要

我们提出3DSmoothNet，一个完整的工作流程来匹配3D点云与a siamese deep learning architecture，使用体素平滑的完全卷积层密度值（SDV）表示。通过计算兴趣点并与局部参考帧（LRF）对齐以实现旋转不变性，3D点云描述符在3DMatch基准数据集上实现了94：9％的平均召回率。该网络只有32个输出尺寸，这种非常低的输出尺寸允许近似实时对应搜索，因为SDV，LRF和学习具有完全卷积层的高度描述性特征，该方法是传感器和场景无关。3DSmoothNet仅在RGB-D室内场景上进行训练建筑物的激光扫描平均召回率为79.0％。代码，数据和预训练模型可在线获取https://github.com/zgojcic/3DSmoothNet。

1.  介绍

3D点云匹配对于处理复杂场景的多重扫描之后的处理是至关重要的，（例如，使用RGB-D传感器或激光扫描仪），场景的各个部分通常从相对较低的不同视点捕获交叠。因此，进一步处理的先决条件是将这些单独的点云片段在公共坐标系中对齐，以获得完整场景的一个大点云。

在本文中，我们提出3DSmoothNet，一种用于3D点云的深度学习方法匹配，具有低输出维度（16或32）非常快速的通信搜索，高描述性（超过所有最先进的方法20%），具有旋转不变性，并且其处理模式从建筑物的室内场景到自然的室外场景都可以很好的适用。

本文中提出了一个新的紧凑型学习网络用于3D点云匹配的特征描述符，一个主要技术新颖之处是平滑密度值（SDV）体素化作为新的输入数据表示，适用于标准深度学习库的完全卷积层。SDV的引入，一方面，它减少了输入体素网格的稀疏性，从而实现更好的梯度流动在反向传播期间，同时减少边界效应，以及平滑由于的小错误对齐估计本地参考帧（LRF）的误差。另一方面，我们假设它明确地模拟了平滑深层网络通常首先学习层，从而节省网络学习能力描述性特征。其次，我们提出了一个具有完全卷积层的Siamese网络架构，可以学习一个非常紧凑的旋转不变3D局部特征描述符。这种方法产生低维度，高度描述性特征，概括于不同的传感器模式以及从室内到室外场景。此外，我们演示了我们的低维特征描述符（只有16或32个输出尺寸）大大加快了对应搜索，从而实现了实时应用

2. 3DSmoothNet网络架构

3DSmoothNet网络架构：我们在两个片段的重叠区域中提取兴趣点。该立方体贴片（边界框兴趣点通过颜色编码），以兴趣点为中心并与估计值对齐LRF被转换为SDV体素网格并馈送到网络。3DSmoothNet由卷积（绿色矩形组成分别具有过滤器数量和过滤器大小），批量标准化（橙色），ReLU激活功能（蓝色）和al2-归一化（品红色）层。两个分支共享所有参数。fθ（Xa），正fθ（Xp）和负fθ（Xn）参数根据兴趣点进行颜色编码。

网络的计算的流程如下：

（i）给出两个原始点云；

（ii）计算LRF随机选择的球形邻域兴趣点，

（iii）将领域点变换规范表示，

（iv）进行体素化高斯平滑，

（v）使用3DSmoothNet推断每个点的局部特征的描述符

更正式地说，考虑两个重叠的点云并以矩阵形式表示为P和Q，设置为

设（P）i=:Pi矢量点云P的位于重叠区域的坐标,双射函数将点pi映射到其对应的（但最初未知的）第二点云(Q)i=:qj，在静态的假设下场景和刚性点云（忽略噪声和不同的点云分辨率），这种双射函数可以用全等变换的变换参数来描述

其中R属于SO(3),表示旋转矩阵，t属于R^3平移矢量。用点子集P^c和Q^c表示对应关系，映射函数可以

其中K 属于P^|Q'|表示置换矩阵，如果p_i等于q_j，则k_ij=1，否则为0,上式中的1表示单位向量。

网络中关键的一般是局部特征描述符的提取，下面介绍了关于特征描述符的提取思想：局部特征描述符的核心要求是其在欧几里德空间的等距下的不变性。受深度神经网络在2D图像处理中的启发使特征描述符旋转不变的一种策略是将点周围的局部3D补丁的规范方向作为一个整体部分回归。然而，但是该方式运用到3D点云中时会失败。因此，需要选择不同的方法并明确估算LRF。该方式的主要方法如下：

输入参数化：

（a）我们提取感兴趣点p的球形支撑S。

（b）根据上一步得到的支撑估计一个独特的LRF。

（c）将每个数据立方体转换为其规范表示。

（d）使用高斯进行体素化平滑内核。

(e) 标准化的3D SDV体素网格用作我们的连体3DSmoothNet体系结构的输入。

注意（d）和（e）显示3D立方体的2D切片。

3.  具体步骤

1、       Local reference frame

（1）通过如下估计协方差计算LRF：

其中p表示点云P中的一点，选择局部的球型支撑范围

式子中的r_LRF表示点云局部的搜索半径。

通过选择Z轴与Z^p估计的法向量作为对应的特征向量，来计算得到最小特征值，如下：

2、      Smoothed density value (SDV) voxelization（平滑密度值（SDV）体素化）

3、       Network architecture（网络构架）

4、       Training（训练）

4.实验结果评估

(1) SetUp：3DMatch数据集的测试部分由8组成室内场景分成几个部分重叠的片段。对于每个片段，提供了索引5000个随机抽样的特征点。我们将这些特征点用于所有描述符。

(2) Output dimensionality of 3DSmoothNet（3D SmoothNet的输出维数）：通常的目标是实现最高的匹配性能并且以输出维数尽量少，以减少运行时间并节省内存。因此，首先进行试验以寻找匹配性能和效率之间的协调折中的方式，通过下图发现3DSmoothNet的性能会随着输出尺寸的增加而逐渐饱和，因此决定实验进行处理3DSmoothNet的16和32输出维度

(3) Comparison to state-of-the-art(与最先进的技术进行比较)

下图显示了在不同维度的输出时得到的平均召回率以及和其他测试集的对比情况

实验结果显示，本文提出的方式在召回率上有一定的优势。

(4)   Rotation invariance（旋转不变性）通过旋转验证3DSmoothNet的旋转不变性3DMatch数据集的所有片段（将其命名为3DRotatedMatch）围绕所有三个轴并评估这些所选描述符的性能。各个旋转角度之间任意采样[0; 2π]，验证的结果，表中的(16 dim)和(32 dim)与非旋转变体（表1（左））相比基本保持不变（表1（右）），这证实了3DSmoothNet的旋转不变性.

平台活动指南

公众号将会推送基于PCL库的点云处理，SLAM，三维视觉，高精地图相关的文章。公众号致力于理解三维世界相关内容的干货分享。不仅组织技术交流群，并且组建github组群，可自由分享。交流提问。

1.一起学SLAM：第三期：一起来学SLAM

2.招募乐于分享的你：点云PCL运营招募啦

3.招募计算机视觉，SLAM，三维视觉，点云等相关领域博客博主，或者公司开设专栏,只要与平台主题相关，乐于分享，都可以与本平台合作经营，发布原创文章。并且可以加入微信，QQ交流群，认识更多志同道合的一起同行分享。