基于运动相关分析的实时多源异构传感器时空标定方法研究

Real-Time Temporal and Rotational Calibration of Heterogeneous Sensors Using Motion Correlation Analysis

论文作者：Kejie Qiu, Tong Qin, Jie Pan, Liu Siqi, and Shen Shaojie

这是Shen Shaojie课题组的论文，方法虽不是特别创新，但做的深入且成系统。

文章来源：IEEE TRANSACTIONS ON ROBOTICS，2021年4月，第37卷第2期

论文链接：https://ieeexplore.ieee.org/document/9271875

翻译：chaochaoSEU

摘要：准确而鲁棒的校准对于多传感器融合系统至关重要。由于传感器获取数据方式的巨大差异，异构传感器的校准特别具有挑战性。当前，许多校准方法都忽略了时间校准，实际上时间校准和空间校准同样重要。本文专注于异构传感器的时间校准，且提供相应的外部旋转参数。大多数现有方法专用于特定的传感器组合，例如IMU-相机或相机-激光系统。但是，异构多传感器融合是机器人领域的趋势，因此需要一种统一的校准方法。为此，我们利用3D旋转运动特征进行校准，而不需要辅助标定板，这是因为使用多种里程计方法来获取3D传感器的运动信息。使用高频IMU作为校准参考，以IMU为中心的方案旨在实现一个统一的框架，该框架适用于可以独立估计3D旋转运动的各种目标传感器。通过结合独立的以IMU为中心的校准组合体，任意的传感器也可以使用相同的参考IMU进行校准。由于采用了新颖的3D运动相关性量化和分析机制，因此可以实现实时估计时间偏移。给定时间对齐的传感器运动，可以在相同的3D运动关联机制中以解析解求出外部旋转参数。通过与最新的校准方法进行比较，某些传感器组合的实验结果表明了该方法的准确性和鲁棒性，异构多传感器集的校准结果证明了该方法的可扩展性和多功能性。

I 引言

多传感器融合是各种精确环境感知机器人应用的基础，如同时定位和建图（SLAM）[1]和动态环境感知[2][3]。不同的传感器可以互补，融合系统的整体感知能力将显著提高。例如，IMU具有很高的更新率，但有噪声和漂移；相机具有高分辨率的感知能力，但存在图像模糊和尺度模糊，而激光雷达具有精确的距离感知能力，但水平分辨率和FOV有限。为了实现有效和鲁棒的传感器融合，不同传感器的数据同步对融合系统至关重要。为了实现高精度的时间同步和空间校准，利用高频IMU，设计了一个以IMU为中心的校准方案，如图1所示。使用一个IMU作为公共校准参考，所有的目标传感器都可以相对于中心IMU进行校准，并且使用相同参考IMU的任意两个传感器也可以相应地进行校准。

许多传感器融合方法首先假设不同传感器的时间戳精确对齐[1]、[4]-[6]，这实际上只能通过严格的硬件同步来保证。但是对于大多数低成本和自搭建的传感器集，硬件同步是不可用的。实际上，传感器的时间戳会受到不同时钟、触发机制、传输延迟、数据阻塞、抖动、倾斜的影响。正如文献[7]所指出的，对上述因素的校正被称为“时钟同步”，而本文重点关注“时间校准”，即确定测量实例和时间戳之间的恒定偏移的过程。因此，精确的时间校准是传感器融合的首要前提条件。大多数校准方法都是专门为某种传感器组合而设计的，如相机-IMU系统或相机-激光系统。然而，多源异构传感器融合在当今的应用场景中很常见，如自动驾驶。且将来也会出现新传感器。因此，需要一种统一、无目标、实时、高精度的校准方案。本文主要研究了基于3D运动相关分析的异构传感器的时间校准。该方法使用相同的三维相关分析还可估计关键的外部旋转参数。我们的方法适用于任何可以独立估计三维旋转的自运动（ego-motion自我运动:在计算机视觉领域，自我运动是指估计相机相对于固定场景的运动。自我估计的一个例子是估计汽车相对于从汽车本身观察到的道路或街道标志线上的移动位置。自我运动的估计在自主机器人导航应用中很重要）。

现有的校准算法大多属于优化方法的范畴：目标是拟合/对齐不同传感器的传感器数据，校准问题可以表述为状态估计问题，可通过滤波或优化的解决方法。还有另一类是利用运动相关分析来校准类似于[8]和[9]中的传感器。事实上，相关分析是估计两个信号之间时移的最标准的方法[10]、[11]。但相关性方法的弱点是估计精度。例如，文献[8]的结果需要通过优化方法做进一步优化。受[8]和[9]的启发，我们将一维相关分析扩展到三维相关分析，充分利用三维运动，并设计了一个速率平衡滤波（a rate balance filter）来平衡中心IMU和目标传感器之间的更新率差异，从而实现更高的校准精度和鲁棒性，其可与基于优化方法相媲美。

众所周知，每个外部感受性传感器都可以根据特定的物理特征来感知部分环境，这可以是发光强度、纹理、边缘、深度、光谱反射率等。即使两个传感器可以测量相同的量，测量的结果与另一个传感器也会不同，特定的感测FOV和感测面积也可以不同。如果我们利用原始的传感器数据进行校准，准确的传感器数据关联是最大的问题。例如，传统的双目相机校准方法依赖于重叠区域的极线约束或重投影误差来求解外参，这意味着它不能处理两个相机没有重叠区域的情况。相反，自我运动由同一传感器集中的所有传感器共享，以进行异构传感器校准，从而实现一种统一的校准风格。

如今，许多里程计算法和SLAM算法已经被开发来获取具有特定外部感受传感器的三维自我运动，如用于单目相机的ORB-SLAM[13]、DSO[14]，用于激光的LOAM[15]和用于RGBD相机的RGBD-SLAM。而IMU作为载体传感器可以直接测量具有角速度和线性加速度的三维自我运动特征。如果我们从不同的运动估计方法中提取运动特征作为独立的信号，就不需要辅助标定板，相应的时间偏移可以首先通过精心设计的三维相关分析来估计，这对多重几何变换是不变的。通过充分的运动激励和精确的时间校准，可以得到两个传感器观察到的最大运动相关性。此后，外部旋转参数的推导类似于一种几何形状的对准方法，普氏分析[17][18]。给定时间对齐的运动数据，通过具有相同三维相关分析机制的特征方向分析，可以进一步推导出外部旋转参数。使用运动相关性的一个优点是，在外部旋转参数校准之前，可以应用时间校准。因为时间偏移和外部旋转是两个不相关的量，如[8]指出的共同估计不相关的量将会损害估计结果。因为时间和空间的不对齐都引起拟合误差，所以优化算法同时联合估计所有的状态量。此外，与优化方法相比，该方法具有更大的时间偏移估计范围。另一个优点是，基于时间校准的三维相关分析，可以快速推导出外部旋转参数，这意味着不需要外部旋转参数的初始估计，而大多数优化方法都依赖于初始猜测用于精确收敛。

据作者所知，这项工作是第一个不需要初始猜测和额外标定板辅助的统一解决异构多传感器的实时时间偏移和外部旋转参数估计。贡献如下：

1. 针对多源异构传感器校准，提出了一种使用鲁棒的三维运动相关分析进行统一、实时的时间偏移校准方法。
2. 基于时间校准结果，在相同的三维相关分析机制中得到了外部旋转参数校准的解析解。
3. 通过与参考值和最先进的校准方法的对比，展示了我们的方法的校准精度和鲁棒性。

本文的其余部分的结构如下。Section II介绍了不同传感器之间时空校准的相关工作。Section III介绍了相关公式和原理。Section IV介绍了三维运动相关评价和关键方法。Section V展示了使用EuRoC数据集[19]的仿真结果。Section VI给出了实际的实验结果，并与其他校准方法的结果进行了比较。Section VII为总结。

II 相关工作

传感器延迟是实时应用中的一个常见问题，不同传感器的延迟差异会导致时间偏移，如图2所示。大多数时间校准方法集中于估计时间偏移，而不是传感器延迟，因为传感器数据的不对准将极大地影响传感器融合的质量。一些传感器融合工作首先假设，延迟是完全已知的[20]-[23]或时间偏移是大致已知的[24]、[25]。

近年来，公开的各种传感器校准方法：从单时间/空间校准[26]到联合校准[8]、[27]，从离线校准[28]到实时校准[27]，从解析解方案[26]到迭代优化方案[29]。然而，解析解方案不能用于时间校准。显然，具有无目标的实时校准方法由于具有很强的适应性和灵活性，因此更有吸引力。基于非线性代价函数迭代最小化的优化方案更精确，但计算成本更高，它们需要良好的初始估计来精确收敛。Tungadi and Kleema[30]提出通过计算周期运动的相移来估计移动机器人的激光雷达和车轮里程计之间的时间偏移，但这种方法需要已知外部旋转参数。Fleps等[29]提出将传感器轨迹建模为B样条，并联合优化B样条的控制点和空间配准参数。由Furgale[28]提出的工具箱Kalibr，可同时估计时间偏移和相机运动，以及利用连续批量优化估计的外部旋转和平移，并给出了估计偏移的不确定性。然后，它被扩展到多传感器系统的一般时空校准，如激光雷达-相机校准，并解释了适用于硬件同步之外的同步方案的问题[7]。此外，Rehder等 [9]将Kalibr扩展到多IMU的外参校准。这两种都使用b样条参数化传感器运动以实现平滑的角加速度。

估计两个信号之间的时移的最标准的方法是检测它们之间的互相关的峰值 [10][11]。例如，Mair等 [8]一种IMU和相机之间时间和空间配准的初始化方法。它首先使用相互相关或相位一致性来估计时间偏移，这与空间对齐无关。给定估计的时间偏移，使用改进的手眼校准方法估计IMU和相机之间的解析解旋转参数。然而，只提取绝对转速（1D）进行交叉相关和相位分析。使用一维互相关的估计精度有限，使用相位一致无法获得噪声数据的精确时间对齐。因此，它只被用作滤波或优化方法的初始化方法。我们充分利用三维运动，并评估与三维相关性的运动相关性，以更鲁棒和准确的校准，实现与优化方法相当的精度。事实上，三维动态相关分析已用于动态对象跟踪[31]、[32]中的运动分解。

最近，一些视觉-惯性紧耦合的实时运动估计方法将时间偏移作为估计附加状态[27][33]。它可以处理时变偏移，估计偏移的不确定性也可以用这种方法来建模。[33]的工作是一种滤波方法，[27]的工作是一种优化方法。与之前的框架相比，这两种方法都只稍微增加了计算复杂度，而没有估计时间偏移。为了使残差对时间偏移可微，Li和Mourikis[33]对传感器集相对于估计时间偏移的位置和方向应用一阶近似，而Qin和Shen[27]假设每个特征点在图像平面的短时间间隔内以恒定的速度移动。实际上，一阶近似[33]是传感器运动本身在短时间间隔内的另一个恒定速度假设。然而，它们是专门为IMU-相机系统设计的。此外，由于恒定速度假设，两种方法的收敛范围受到有限，换句话说，与其他迭代解一样，它们需要对精确收敛有很好的初始猜测。

对于外参的估计，这个问题可以从统计形状分析的角度抽象为点集配准。它可以用典型的普氏对准方法[17]、[18]来求解，除刚性变换外，还能找到尺度和反射变换。利用奇异值分解(SVD可以有效地计算外参。然而，普氏对齐假定数据点关联良好，或者换句话说，传感器的运动数据可以很好地同步。[33]和[27]在运动跟踪过程中都一直在估计平移和旋转参数。Li和Liang[34]提出了一个使用无迹卡尔曼滤波的时空配准模型来进行多个不同的传感器融合。Zhang专注于使用两个解析解[26]来校准IMU和磁力计之间的外参，从而消除传统方法中的迭代过程。然而，Zhang和Song[26]假设IMU的尺度因子和偏差被预先校准，传感器是同步的。Kelly和Sukhatme[35]提出了时延迭代最近点来估计本体感受传感器和外部感受传感器之间的时间偏移和外在旋转参数。该算法通过在三维方向空间中调整曲线来迭代计算时空变换。

最近提出了各种针对激光-相机校准的外参估计方法。Scaramuzza等[38]介绍了一种三维激光雷达和全向相机的外参校准技术，采用相机和激光雷达之间的手动校准技术。文献[39]提出了一种单目相机和平2D面激光雷达之间的统一时空校准方法。[7]中的激光相机校准案例也使用二维激光雷达，并要求环境至少部分由平面组成。Faraz等[40]使用人工标定板估计了激光-相机的外参，其中也估计了激光雷达的内参，而Pande等[41]提出了一种无目标的外参校准方法，利用Barzilai–Borwein steepest gradient ascent algorithm将激光雷达反射率和光学图像最大化交互信息。基于标准化的交互信息的工作也提出了[42]，可以应用于更一般的环境，因为它不仅是基于激光雷达的反射率，而是使用粒子群优化，这并不局限于凸问题，所以单扫描校准是可能的。然而，所有这些方法都是为纯粹的外参校准而设计的，并假设传感器数据具有较好的同步。

III 概况

IMU模型：

根据目标传感器，将不同IMU中心组合两类：IMU-IMU和IMU-一般传感器校准。在不失去一般性的情况下，我们选择了中心IMU和一个目标传感器进行标准说明，使用相同参考IMU的任意两个传感器可以通过组合相应的中心IMU标准对进行校准。

在本文中，我们将关键的时间偏移t_d视为观测持续时间内一个恒定的未知值，并将我们之前的工作[27]中的IMU-相机时间偏移定义扩展到一般的目标传感器:

时间偏移是移动目标传感器时间戳的时间，使目标传感器和中心IMU数据流保持时间一致的时间。它可以是一个正值或负值；如果目标传感器序列的延迟比IMU序列更长，则td为一个负值，反之亦然。

IV 数学模型

相关性分析是一种广泛使用的相似度测量技术，特别适用于分析时移序列。我们没有对提取的绝对角速度[8]等一维运动特征进行三维相关性评估（相关性系数），而是直接测量原始三维运动的三维相关性，从而实现高精度的时间偏移估计和基于解析解的外部旋转参数。两个多变量随机过程之间的稳健相关性度量是轨迹相关 [43]。它也用于动态对象[32]的运动分解和尺度估计，其中动态对象的度量尺度优化通过最小化的相关对象运动和主体的运动，而在本文中，我们提出通过最大化相应的运动相关性来校准两个传感器的时间偏移和外部旋转参数。

整个算法流程：

A典型相关分析（CCA）和迹相关

给定两个随机向量x=[x1,x2,x3]^T和y=[y1,y2,y3]^T可以用x和y的样本数据估计互协方差和自协方差：

CCA[44]的目标是找到a和b的线性组合向量对，从而使相关系数Corr(a^Tx, b^Ty)最大。

事实上，通过矩阵的特征值分解，可以以解析解的形式计算出三对标准变量：

x和y之间的迹相关被定义为正则相关系数的平方的均方根：

与两个随机变量之间的归一化相关系数相似，迹相关是两个随机向量之间的另一个归一化测量，不受绝对值或尺度的影响。由于迹相关计算的特征值分解操作和协方差计算的零均值归一化操作，迹相关的另一个特性是它对缩放、旋转、平移变换是不变的，这将显著简化不同参考系中表示的两个传感器运动之间的相关测量，使时间偏移估计与未知的标度、旋转和平移无关。换句话说，时间校准与其他状态估计被解耦。然而，对于优化方法，它们都需要联合估计。我们将迹相关的多重几何变换不变性总结为：

B运动特征

我们用于运动相关分析的关键运动特征是三维载体的角速度，它可以用三维随机过程来表示。首先，我们直接利用中心IMU的原始数据作为关键校准参考。对于不均匀分布的IMU样本，采用了基于双线性插值的数据均值化预处理步骤。

对于以IMU为中心的传感器同步，根据IMU测量模型，我们有以下连续时间关系

C速率平衡滤波

在实际实践中，测深方法的估计方向在频率f_G中离散分布，比IMU采样频率远小于f_I。如果我们直接使用估计的转速和原始的转速来进行数据关联，就会出现严重的不一致问题。因为目标传感器的估计转速实际上是△t（从t_k到t_k+1的1/fG秒）内的平均测量值，该时间长于IMU采样时间δt（1/f_I秒）。目标传感器的平均体角速度可以估算为

为了解决这种不一致，一种解决方案是使用广泛使用的b样条[28]、[45]或其他插值方法来拟合目标传感器的运动，并且可以从较短的时间窗口δt来估计旋转速度。但使用插值方法的精确表示在很大程度上依赖于主题模型的选择和拟合参数的调整，这也引入了一个巨大的计算负担，如相关方法所示。因此，我们没有插值目标传感器的低频数据，而是设计了一个速率平衡滤波，它对IMU的高频数据应用类似的平均效应，以实现一致的数据关联，并避免了复杂的计算。这样，用于数据关联的运动特征实际上是在1/f_G秒内的平均角速度。这两种解决方案的详细比较如图4所示。

现在我们可以把这种关系总结为：

D 时间偏移量估计

给定数据对齐的测量值，下一步是建立时间偏移的连接和相应的相关评估。由于我们只有离散运动测量而不应用连续时间插值，因此我们使用时间偏移枚举来解决优化问题。如图5所示。枚举的ω^k_G的ω^k_I将会以IMU采样间隔作为枚举步骤进行采样，平均角速度计算的开始时间和结束时间将偏移t_d：

通过最大化迹相关，可以估计最优的时间偏移：

为了进一步提高估计精度，我们应用对前三个最大迹相关采样点的二次拟合进行估计细化，如图6所示。

E外部旋转参数估计

给定两个传感器之间精确的时间校准，可以在相同的三维运动相关评估框架下推导出相对旋转。假设d_i，i∈{1,2,3}是IMU坐标空间中的三个正交方向。显然，投射在ω_I轴d_i上的运动分量和投影在ω_G轴R^I_Gd_i上的运动分量是严格相关的，这意味着：

因此，相对旋转R^I_G在以下条件下只对应于矩阵：

在实践中，我们将在一定程度上软化必要的条件，以获得更高的估计率，即

F可观测性条件

外部旋转的一个致命的简并运动情况是对称运动，其中投射在两个非线性轴上的运动分量是严格的正相关或负相关的。当对称运动发生时，就存在模糊的坐标解。例如，在图7中，如果目标传感器在蓝轴、绿轴上的运动投影严格正相关或严格正相关，则表示目标传感器的真坐标为实体坐标，且该坐标至少有三个模糊解，如虚线所示。为了消除对称运动可能引起的模糊解，我们进一步检查了以下可观测性条件：

在满足必要条件和可观测条件的情况下，可以在RR^T=I和det(R)=1的约束下相应地估计外部旋转矩阵（SVD）：

外部旋转参数是时间偏移估计的副产品，因为它可以在给定时间对齐运动数据的解析解计算，只需要一个SVD操作和可观测性检查。换句话说，在我们的校准框架中，外部旋转参数估计所增加的计算复杂度几乎为零，这进一步确保了在多传感器系统内的实时性能。

VI 实验

A实施细节

B IMU-IMU结果

C IMU-Monocular Camera结果

D IMU-Lidar结果

E Lidar-Camera结果

我们分别使用ORB-SLAM[13]和LOAM[15]作为相机和激光雷达的自我运动估计方法。相机和激光雷达之间的时间偏移量和外参：

F 异构多传感器校准结果

VII 总结

本文提出了一种异构多源传感器校准的中心IMU时间偏移和外部旋转参数的估计算法。该校准方法与优化方法具有相当的估计精度，具有更大的时间偏移估计范围和解析式的外部旋转参数。它可以实时的在没有标定板的自然场景中工作。算法比较总结见表V。该方法在通用性、计算效率和较大的时间偏移估计范围等方面都优于其他先进的方法。此外，使用与中心参考IMU相同的多个独立标定线程可以一起校准同一传感器集中任意两个传感器之间的时间偏移和外部旋转矩阵。研究了退化的情况和相应的可观测性条件，进一步提高了校准的鲁棒性。通过对基准数据集的仿真和广泛的真实实验，验证了该算法的估计精度和通用性。接下来，只要其中一个传感器的更新速率足够高，将不再需要中心IMU，以中心IMU的校准方案就可以扩展到直接校准两个传感器。例如，新兴的事件相机[46]等高速相机就是中心校准参考的良好替代品。