CamVox:一种低成本、高精度的激光雷达辅助视觉SLAM系统
标题:VCamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System
作者:Yuewen Zhu, Chunran Zheng, Chongjian Yuan, Xu Huang and Xiaoping Hong
来源:分享者
代码:https://github.com/ISEE-Technology/CamVox
本文仅做学术分享,如有侵权,请联系删除。欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈分享快乐。
论文阅读模块将分享点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享,欢迎各位加入我,我们一起每天一篇文章阅读,开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。
●论文摘要
基于相机和激光雷达融合(SLAM)技术,是一种提高整体定位精度的有效方法,尤其是在大范围的室外场景下。低成本激光雷达(如Livox lidar)的最新发展使我们能够探索低成本、高性能的SLAM系统。本文通过分析Livox激光雷达的特点,将Livox激光雷达应用到视觉SLAM(ORBSLAM2)中,提出了CamVox。基于Livox激光雷达的非重复性,提出了一种适用于非受控场景的激光雷达相机自动标定方法。长距离探测范围也有利于更有效的SLAM系统。在同一个数据集上比较了CamVox与visual SLAM(VINS mono)和lidar SLAM(LOAM)的性能。
开源代码:https://github.com/ISEE-Technology/CamVox
● 内容精华
主要贡献
本文提出了第一个Livox激光雷达辅助视觉系统(CamVox)具有优越的实时性能。我们的CamVox SLAM基于最先进的ORB-SLAM,采用Livox激光雷达作为深度传感器,具有以下新特点:
1)预处理步骤融合激光雷达和摄像头输入。通过精确的时间同步,将非重复扫描的激光雷达点中的畸变由IMU数据校正并转换为相机帧。
2) 提出的大比例尺、高精度、高精度的激光SLAM系统,可以在大比例尺的室外环境下进行高精度的点云测绘。
3) 我们利用Livox激光雷达的非重复扫描特性,在不受控制的场景下进行摄像机和激光雷达之间的自动校准。
4) CamVox的性能是根据一些主流框架进行评估的,并且显示了非常精确的轨迹结果。并公开了这项工作的硬件、代码和数据集,希望提供一个现成的CamVox(Camera+Livox lidar)SLAM解决方案。
黑色虚线是groundtruth的轨迹,蓝色、绿色、红色实线分别是Loam_Horizon、VINS和Camvox SLAM帧下的轨迹。(a) (b)(c)1:2000图1。CamVox性能示例。(a) 机器人从CamVox的轨迹;(b)来自CamVox的密集RGBD地图;(c)放大和旋转的部分(b)显示高质量的点云
主要内容
该CamVox方案是基于ORB-SLAM2(RGBD模型),采用单独的RGBD输入预处理和非受控场景下的自动标定方法。该框架利用激光雷达辅助的视觉关键帧来生成局部构图,并且由于在不同级别的捆集调整(BA)和ORBSLAM2的回环闭合进行了后端轻量级位姿图优化,因此具有很高的鲁棒性。在原始ORB-SLAM2中,关键点分为近点和远点两类,其中近点是深度上具有高度确定性的点,可用于缩放、平移和旋转估计,而远点仅用于旋转估计,因此信息量较少。与传统的激光测距仪相比,激光测距仪可以获得更精确的距离。因此,相机(用于大范围探测和跟踪的高角度分辨率)和激光雷达(远距离和精确深度测量)的优点可以以紧密耦合的方式加以利用。
(a) 机器人平台。CamVox硬件安装在这个机器人的顶部。另外还安装了一个RGBD摄像机用于比较。(b) CamVox硬件特写,包括摄像机、Livox Horizon和IMU。附加GPS/RTK用于地面真值估计。(c-d)从激光雷达点云获取的RGB图像和深度图像的示例。
CamVox SLAM流程。除了ORB-SLAM2主线程外,还使用RGBD输入预处理线程将lidar和相机数据转换为RGBD格式,并可自动/手动触发自动校准线程以进行相机和激光雷达外参校准。
预处理
预处理线程从激光雷达中提取原始点,经惯性测量单元(IMU)进行校正,并根据摄像机的外参标定将其投影到深度图像中。
用IMU校正运动失真的例子。(a) 角落场景的RGB图像;(b) 机器人移动时扫描时的原始点云;(c) 对IMU数据处理后的点云进行畸变校正。
(a) RGB摄像机,(b) Realsense D435和(c) CamVox RGBD输出。蓝色矩形显示了椰子树叶在这三张图片中的位置。很明显,典型的RGBD相机在探测距离和抗太阳光噪声方面比CamVox RGBD差得多
自校准
由于激光雷达的远程测距能力,校准精度在CamVox中至关重要。一个小的角度失配可能导致大深度的绝对偏差。控制校准目标(如棋盘)在现场并不总是可用的,需要在不受控制的场景中开发一种自动校准方法,并在发现更好的校准匹配时更新参数。由于Livox激光雷达的非重复性,只要我们能够积累几秒钟的扫描点,深度图像的分辨率就可以和相机图像一样高,并且与相机图像的对应关系变得很容易找到。因此,我们能够在几乎所有的野外场景中根据场景信息自动进行标定。当检测到机器人处于静止状态时,设置自动校准触发,以消除运动模糊。
利用反射率和深度值,通过初始外部参数将密集点云投影到成像平面上,然后进行轮廓提取以与摄像机图像轮廓进行比较。cost函数由改进的ICP算法构造,并可通过Ceres进行优化,以获得相对更精确的外部校准参数。
校准流程实例。相机和激光雷达采集的数据(保持静止并积累数秒)通过初始校准参数进行处理,形成三幅图像(灰度、反射率和深度,后两幅来自激光雷达)。对从这些图像检测到的边缘进行校准,直到获得满意的参数。
● 实验
在校准后RGB相机和点云叠加的示例 。(a) 未校准。(b) 自动校准。(c) 最好的手动校准。自动校准算法在各种场景,(d)有天然树木和草地的室外道路,(e)室外人工结构,(f)室内的部分结构
CamVox、两种主流SLAM框架和ground truth的轨迹比较如下图:
关键点阈值的评估。(a-d)通过选择不同的关键点阈值来重建点云地图。(e) 匹配点的数目作为帧序列的函数(10帧/秒)。(f) 匹配点的数目作为关键点阈值的函数,在SLAM过程的开始(第5帧)评估。
livox horizon loam,、VINS mono和CamVox的轨迹
不同方案的绝对位姿误差对比
不同方案在同一硬件平台上的耗时对比
● 总结
综上所述,我们提出CamVox作为一种新的低成本lidar辅助视觉SLAM框架,旨在将两者的优点结合起来,即相机的最佳角度分辨率和激光雷达的最佳深度和距离。利用Livox激光雷达独特的工作原理,开发了一种能够在非受控场景下进行自动标定的算法。在自动标定精度、关键点分类深度阈值和轨迹比较等方面对新框架进行了评估,并且它还可以在机载计算机上实时运行。
资源
三维点云论文及相关应用分享
【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法
3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)
PCL中outofcore模块---基于核外八叉树的大规模点云的显示
更多文章可查看:点云学习历史文章大汇总
SLAM及AR相关分享