CamVox:一种低成本、高精度的激光雷达辅助视觉SLAM系统

标题:VCamVox: A Low-cost and Accurate Lidar-assisted Visual SLAM System

作者:Yuewen Zhu, Chunran Zheng, Chongjian Yuan, Xu Huang and Xiaoping Hong

来源:分享者

代码:https://github.com/ISEE-Technology/CamVox

本文仅做学术分享,如有侵权,请联系删除。欢迎各位加入免费知识星球,获取PDF论文,欢迎转发朋友圈分享快乐。

论文阅读模块将分享点云处理,SLAM,三维视觉,高精地图相关的文章。公众号致力于理解三维视觉领域相关内容的干货分享,欢迎各位加入我,我们一起每天一篇文章阅读,开启分享之旅,有兴趣的可联系微信dianyunpcl@163.com。

论文摘要

基于相机和激光雷达融合(SLAM)技术,是一种提高整体定位精度的有效方法,尤其是在大范围的室外场景下。低成本激光雷达(如Livox lidar)的最新发展使我们能够探索低成本、高性能的SLAM系统。本文通过分析Livox激光雷达的特点,将Livox激光雷达应用到视觉SLAM(ORBSLAM2)中,提出了CamVox。基于Livox激光雷达的非重复性,提出了一种适用于非受控场景的激光雷达相机自动标定方法。长距离探测范围也有利于更有效的SLAM系统。在同一个数据集上比较了CamVox与visual SLAM(VINS mono)和lidar SLAM(LOAM)的性能。

开源代码:https://github.com/ISEE-Technology/CamVox

内容精华

主要贡献

本文提出了第一个Livox激光雷达辅助视觉系统(CamVox)具有优越的实时性能。我们的CamVox SLAM基于最先进的ORB-SLAM,采用Livox激光雷达作为深度传感器,具有以下新特点:

1)预处理步骤融合激光雷达和摄像头输入。通过精确的时间同步,将非重复扫描的激光雷达点中的畸变由IMU数据校正并转换为相机帧。

2) 提出的大比例尺、高精度、高精度的激光SLAM系统,可以在大比例尺的室外环境下进行高精度的点云测绘。

3) 我们利用Livox激光雷达的非重复扫描特性,在不受控制的场景下进行摄像机和激光雷达之间的自动校准。

4) CamVox的性能是根据一些主流框架进行评估的,并且显示了非常精确的轨迹结果。并公开了这项工作的硬件、代码和数据集,希望提供一个现成的CamVox(Camera+Livox lidar)SLAM解决方案。

黑色虚线是groundtruth的轨迹,蓝色、绿色、红色实线分别是Loam_Horizon、VINS和Camvox SLAM帧下的轨迹。(a) (b)(c)1:2000图1。CamVox性能示例。(a) 机器人从CamVox的轨迹;(b)来自CamVox的密集RGBD地图;(c)放大和旋转的部分(b)显示高质量的点云

主要内容

该CamVox方案是基于ORB-SLAM2(RGBD模型),采用单独的RGBD输入预处理和非受控场景下的自动标定方法。该框架利用激光雷达辅助的视觉关键帧来生成局部构图,并且由于在不同级别的捆集调整(BA)和ORBSLAM2的回环闭合进行了后端轻量级位姿图优化,因此具有很高的鲁棒性。在原始ORB-SLAM2中,关键点分为近点和远点两类,其中近点是深度上具有高度确定性的点,可用于缩放、平移和旋转估计,而远点仅用于旋转估计,因此信息量较少。与传统的激光测距仪相比,激光测距仪可以获得更精确的距离。因此,相机(用于大范围探测和跟踪的高角度分辨率)和激光雷达(远距离和精确深度测量)的优点可以以紧密耦合的方式加以利用。

(a) 机器人平台。CamVox硬件安装在这个机器人的顶部。另外还安装了一个RGBD摄像机用于比较。(b) CamVox硬件特写,包括摄像机、Livox Horizon和IMU。附加GPS/RTK用于地面真值估计。(c-d)从激光雷达点云获取的RGB图像和深度图像的示例。

CamVox SLAM流程。除了ORB-SLAM2主线程外,还使用RGBD输入预处理线程将lidar和相机数据转换为RGBD格式,并可自动/手动触发自动校准线程以进行相机和激光雷达外参校准。

预处理

预处理线程从激光雷达中提取原始点,经惯性测量单元(IMU)进行校正,并根据摄像机的外参标定将其投影到深度图像中。

用IMU校正运动失真的例子。(a) 角落场景的RGB图像;(b) 机器人移动时扫描时的原始点云;(c) 对IMU数据处理后的点云进行畸变校正。

(a) RGB摄像机,(b) Realsense D435和(c) CamVox RGBD输出。蓝色矩形显示了椰子树叶在这三张图片中的位置。很明显,典型的RGBD相机在探测距离和抗太阳光噪声方面比CamVox RGBD差得多

自校准

由于激光雷达的远程测距能力,校准精度在CamVox中至关重要。一个小的角度失配可能导致大深度的绝对偏差。控制校准目标(如棋盘)在现场并不总是可用的,需要在不受控制的场景中开发一种自动校准方法,并在发现更好的校准匹配时更新参数。由于Livox激光雷达的非重复性,只要我们能够积累几秒钟的扫描点,深度图像的分辨率就可以和相机图像一样高,并且与相机图像的对应关系变得很容易找到。因此,我们能够在几乎所有的野外场景中根据场景信息自动进行标定。当检测到机器人处于静止状态时,设置自动校准触发,以消除运动模糊。

利用反射率和深度值,通过初始外部参数将密集点云投影到成像平面上,然后进行轮廓提取以与摄像机图像轮廓进行比较。cost函数由改进的ICP算法构造,并可通过Ceres进行优化,以获得相对更精确的外部校准参数。

校准流程实例。相机和激光雷达采集的数据(保持静止并积累数秒)通过初始校准参数进行处理,形成三幅图像(灰度、反射率和深度,后两幅来自激光雷达)。对从这些图像检测到的边缘进行校准,直到获得满意的参数。

● 实验

在校准后RGB相机和点云叠加的示例 。(a) 未校准。(b) 自动校准。(c) 最好的手动校准。自动校准算法在各种场景,(d)有天然树木和草地的室外道路,(e)室外人工结构,(f)室内的部分结构

CamVox、两种主流SLAM框架和ground truth的轨迹比较如下图:

关键点阈值的评估。(a-d)通过选择不同的关键点阈值来重建点云地图。(e) 匹配点的数目作为帧序列的函数(10帧/秒)。(f) 匹配点的数目作为关键点阈值的函数,在SLAM过程的开始(第5帧)评估。

livox horizon loam,、VINS mono和CamVox的轨迹

不同方案的绝对位姿误差对比

不同方案在同一硬件平台上的耗时对比

● 总结

综上所述,我们提出CamVox作为一种新的低成本lidar辅助视觉SLAM框架,旨在将两者的优点结合起来,即相机的最佳角度分辨率和激光雷达的最佳深度和距离。利用Livox激光雷达独特的工作原理,开发了一种能够在非受控场景下进行自动标定的算法。在自动标定精度、关键点分类深度阈值和轨迹比较等方面对新框架进行了评估,并且它还可以在机载计算机上实时运行。

资源

三维点云论文及相关应用分享

【点云论文速读】基于激光雷达的里程计及3D点云地图中的定位方法

3D目标检测:MV3D-Net

三维点云分割综述(上)

3D-MiniNet: 从点云中学习2D表示以实现快速有效的3D LIDAR语义分割(2020)

win下使用QT添加VTK插件实现点云可视化GUI

JSNet:3D点云的联合实例和语义分割

大场景三维点云的语义分割综述

PCL中outofcore模块---基于核外八叉树的大规模点云的显示

基于局部凹凸性进行目标分割

基于三维卷积神经网络的点云标记

点云的超体素(SuperVoxel)

基于超点图的大规模点云分割

更多文章可查看:点云学习历史文章大汇总

SLAM及AR相关分享

【开源方案共享】ORB-SLAM3开源啦!

【论文速读】AVP-SLAM:自动泊车系统中的语义SLAM

【点云论文速读】StructSLAM:结构化线特征SLAM

SLAM和AR综述

常用的3D深度相机

AR设备单目视觉惯导SLAM算法综述与评价

SLAM综述(4)激光与视觉融合SLAM

Kimera实时重建的语义SLAM系统

SLAM综述(3)-视觉与惯导,视觉与深度学习SLAM

易扩展的SLAM框架-OpenVSLAM

高翔:非结构化道路激光SLAM中的挑战

SLAM综述之Lidar SLAM

基于鱼眼相机的SLAM方法介绍

(0)

相关推荐

  • CES上的中国力量

    文丨徐进凯 编辑丨小叮当 中国不仅拥有广阔的市场,还拥有如华为.大疆等诸多科技公司的配套资源,它们的存在将中国打造成了一片未来出行的沃土,而如何充分利用这片沃土,让智慧出行迅速的开花结果,也就成了自主 ...

  • 车载立体视觉应用的六大趋势

    非常荣幸与各位专家探讨车载立体视觉的发展方向,以及未来中科慧眼产品路线. 通常前视车载立体视觉的主要任务是要在1米到150米之内,实现车辆行驶环境中成像视野范围内的3D信息重建.它能够涵盖目前单目相机 ...

  • 玩起性价比,大疆要做“人民需要的智能驾驶”?

    自从和车圈外的朋友聊过许多"造车趣事"后,每次我刚和朋友提及其他的互联网科技公司,他们很快会问:"这家公司也有造车吧?"朋友下意识地反应,反而证明了造车已经火出 ...

  • 激光雷达混战:华为、大疆、初创玩家扎堆入局,在“固态”路上寻求突围

    文/智能相对论(aixdlun) 作者/leo陈 2021年,自动驾驶热潮未退去,作为"眼睛"的激光雷达同样热度不减.尤其是L2级别以上的自动驾驶功能迈入量产阶段,让激光雷达&qu ...

  • 全球首款搭载激光雷达的量产新车?L3级自动驾驶唾手可得?

    日前,小鹏汽车官方表示或将推出一款配备车规级雷达的紧凑型轿车,这也是继G3和P7以后,小鹏推出的第三款新车,预计在2021年度的上海车展或第一季度末进行亮相. 而这款新发布的新车很有可能是此前被媒体报 ...

  • 旅游小程序8种低成本实用获客引流策略

    微信小程序推出至今已经四年多,越来越多旅游商家使用小程序,建立旅游微商城,获取新客源,为游客提供便捷预订渠道等等. 另一方面,尽管刚刚过去的五一黄金周旅游数据大好,看似一片火热,但其实火热的只有OTA ...

  • 30种低成本乡村创意景观

    国家成立了乡村振兴局,乡村振兴项目今年将会迎来一个高峰. 或许很多人都会觉得打造一个乡村景观需要很多经费.其实把旧物改造在有创意的前提下做到极致,经费还是可以省下来的.接下来小编就来介绍如何用低成本打 ...

  • 独家专访丨低成本高精度实现高通量并行测序,这家初创依托自研芯片想做“不止于四代”

    近年来,由于测序技术的发展,越来越多与疾病相关的基因得到确认,作为精准医疗的核心技术,测序已经应用于产前筛查.遗传病诊断.肿瘤诊断与治疗等方面,尤其在攻克肿瘤这一难题前,基因测序给肿瘤的预防和治疗提供 ...

  • 这11种低成本,高疗效的中成药,医院不愿...

    这11种低成本,高疗效的中成药,医院不愿开,医生不愿说,收藏起来,一会该删了!   1.牙周炎---低成本高疗效----甲硝唑片   2.过敏性皮炎---低成本高疗效---小青龙颗粒   3.脚气-- ...

  • 《Adv Mater》:一种低成本的安全可持续锂离子-氧气电池!

    自可充电锂-离子电池实现了从实验室规模到商业市场的成功先例开始,近些年来各种新型能量存储设备迅速出现.对于当今最先进的锂离子电池,由于其固有的工作机制导致其在能量密度方面没有质的飞跃.因此,追求高能量 ...

  • 分享6种低成本的地摊项目,生意好一年赚30万

    在大众创业和创新的背景下,在当前的经济环境下,地摊经济在总理的大力倡导下成为最热门的创业项目之一. 其实摆地摊真的不丢人,收入不亚于白领. 商界领袖马云和柳传志的第一个创业项目都是街头小贩. 所以,只 ...

  • 21种低成本营销策略做销售的要掌握,你会几种?

    导读/很多人说电商难做,是个烧钱的行业,你不烧钱,电商就做不好,但你知不知道做电商还有这21种低成本的营销策略,让你的电商之路不再迷茫. 在职场中,提起电商,无人不知,无人不晓,然而对于怎么做电商,很 ...

  • 50种低成本打造乡村旅游的创意景观

    随着经济的发展,百姓的生活水平逐渐地提高,越来越多的城市百姓来到周边农村体验不一样的农家生活,那么如何才能吸引来游客,留住客人,那就需要对乡村的整体景观进行打造提升. 乡村景观的打造有别于城市的高大上 ...

  • 用普通单片机实现低成本高精度A/D与D/A转换(一)

    目前单片机在电子产品中已得到广泛应用,许多类型的单片机内部已带有A/D转换电路,但此类单片机会比无A/D转换功能的单片机在价格上高几元甚至很多,本文给大家提供一种实用的用普通单片机实现的A/D转换电路 ...