RODNet：实时雷达目标检测网络
重磅干货，第一时间送达
小白导读
论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
通过对车辆周围环境的准确可靠的感知，各种自动驾驶或辅助驾驶策略得以实现。在常用的传感器中，雷达通常被认为是一种稳健和经济的解决方案，即使在不利的驾驶场景下，例如弱/强照明或恶劣天气。与考虑融合来自所有可用传感器的不可靠信息不同，纯粹雷达数据的感知成为一种值得探索的有价值的替代方法。然而，与摄像机捕捉到的丰富的基于rgb的图像不同，从雷达信号中提取语义信息是非常困难的。在本文中，作者提出了一种名为RODNet的深度雷达目标检测网络，该网络由摄像机-雷达融合算法交叉监督，无需费力的标注，能够有效地从射频图像中实时检测目标。首先，将毫米波雷达捕获的原始信号转换为距离-方位坐标下的射频图像;其次，作者提出的RODNet以一系列射频图像作为输入来预测雷达视场(FoV)中物体的可能性。两个自定义模块也被添加来处理多啁啾信息和物体的相对运动。与使用人类标记的ground truth进行训练不同，在训练阶段，提出的RODNet采用了一种全新的3D定位方法，即使用相机-雷达融合(CRF)策略对检测到的目标进行交叉监督。最后，作者提出了一种评估网络目标检测性能的方法。由于作者的任务没有现有的公共数据集可用，作者创建了一个名为CRUW1的新数据集，它包含各种驾驶场景下的同步RGB和RF图像序列。通过大量的实验，作者提出的交叉监督rodnet能够达到86%的平均精度和88%的平均召回目标检测性能，对不同驾驶条件下的噪声场景具有鲁棒性。
作者使用作者自己收集的数据集来训练和评估啮齿类动物网络，这些数据集被称为华盛顿大学(CRUW)的相机-雷达(Camera-Radar)，其中包含了大约400K同步相机-雷达帧的各种驾驶场景。如前所述，作者没有使用雷达点作为数据格式，而是选择了射频图像，射频图像本身就包含了物体的详细运动和表面纹理信息。为了评估作者提出的RODNet的定量性能，在没有定义广泛用于基于图像的目标检测的包围盒的情况下，作者进一步引入了一种评估方法来评估射频图像中雷达目标检测性能。通过深入的实验，作者的ronet在不同的驾驶场景下仅基于射频图像就可以实现86%的AP和88%的AR目标检测性能，而不管目标在摄像机视场中是否可见。
总的来说，作者的主要贡献如下:
一种新的、鲁棒的雷达目标检测网络，称为RODNet，用于各种驾驶场景下的鲁棒目标检测，可用于无摄像头或激光雷达信息的自动驾驶或辅助驾驶。
引入自定义模块M-Net和时域变形卷积(TDC)，有效利用射频图像的特殊特性。
相机-雷达融合(CRF)监督框架用于训练ronet，利用基于单目相机的目标检测和3D定位方法，方便了雷达射频图像的统计检测推断。
一个名为CRUW的新数据集，包含同步和校准的相机-雷达帧，可以作为一个有价值的数据集用于相机/雷达的跨模态研究。
提出了一种新的基于射频图像的雷达目标检测任务评估方法，并对其有效性进行了验证。
作者所提出的网络的架构和模块
RODNet的三个不同的组成部分都是基于3D CNN/TDC和autoencoder网络实现的，如(a)、(b)和(c)所示。RODNet的输入是每帧n个啁啾(CPF)的射频图像。当n = 1时，作者随机选择一个chirp s数据馈入啮齿动物网络，而n >1、采用M-Net模块将来自不同啁啾的数据合并到帧中。M-Net模块，如(d)所述，以一帧具有多个雷达啁啾的帧作为输入和输出帧的合并特征。引入时域变形卷积(TDC)模块处理输入射频图像序列内的雷达目标动态运动。
三种教师管道的跨模式监督
(a)提供对象类和3D位置的相机专用方法;(b)只提供峰值位置而不提供对象类别的雷达方法;(c)相机-雷达融合方法，提供对象类和更准确的3D位置。
作者的网络检测结果的例子。第一行为RGB图像，第二行为对应的射频图像。RODNet预测的配置图显示在第三行，其中的白点代表后处理后的最终检测。不同的颜色代表不同的检测到的对象类(红色:行人;绿色:骑自行车;蓝色:车)。展示各种驾驶场景，如空旷的停车场、拥挤的城市街道、强弱的照明条件。
这些例子说明了作者的网络的优势。从左到右的情况:(a)夜间基于视觉的方法困难;(b)可视遮挡物体可单独检测到;(c)可检测到视觉截断车辆;(d)没有在强烈的灯光下发现行人及骑单车者;(e),(f)在有噪声背景下，检测效果良好。
结论
目标检测在自动驾驶和许多其他领域至关重要。计算机视觉社区几十年来一直关注这个话题，并提出了许多好的解决方案。然而，基于视觉的检测方案仍然受到许多不利的照明和天气条件。本文提出了一种全新的纯粹基于雷达信息的目标检测方法，该方法在恶劣条件下比视觉更具鲁棒性。在各种自动驾驶和辅助驾驶场景下，甚至在夜间或恶劣天气下，基于有效的摄像头-雷达融合算法的全系统跨模式监控方案，本文提出的RODNet可以准确、稳健地检测目标，这可能会提高雷达在自动驾驶和辅助驾驶应用中的作用。
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。深度学习爱好者 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
深度学习爱好者 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
· 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
· 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
· 深度学习爱好者 默认每篇文章都是首发，均会添加“原创”标志