传感器融合
传感器融合或数据融合是一种用于融合多个不同数据流的技术，旨在提高系统的整体感知和传感能力，超出了单独使用任何一种传感器所能达到的效果。每种汽车感知技术，雷达、摄像头、超声波和激光雷达都有其局限性，因此这些传感器都必须与其他互补的传感技术结合使用，以减少感知的不确定性，提高准确性并提高冗余度和容错能力。传感器融合可以在不同的复杂程度和不同类型的传感器数据下完成。它可以发生在边缘。换句话说，在分布式架构中，它可以在传感器本身内部完成；或者在集中式架构中，所有数据处理和融合均在中央ECU进行。在边缘的传感器融合中，高级别的数据处理和融合在局部的传感模块中进行，其它数据传输到中央ECU，这需要具有集成处理能力的智能传感器。根据需求，不同的供应商和OEM会选择不同的传感器融合架构。自动驾驶汽车中两个最常见的传感器融合的例子是摄像头与雷达融合和摄像头与激光雷达的融合。汽车供应商已经开发了具有专用传感器融合架构和多层传感器融合算法的图像识别平台，以提高感知能力。德州仪器、瑞萨、恩智浦、英伟达和Mobileye等公司都是提供具有融合功能的应用处理器的供应商。摄像头图像传感器在浓雾、雨水、太阳眩光和弱光条件下会遇到麻烦，而雷达缺乏摄像头那样的高分辨率。这使得雷达和摄像头集成成为可能，尤其是在AEB、ACC、LKA的前向感知应用和自动驾驶应用领域。当检测到行人时，ADAS系统通常需要0.5秒才能启动自动制动系统，而人类驾驶员则需要1.6秒。但即使有AEB，速度为50kmph的车辆的制动距离也高达7m。Fraunhofer Institute与InnoSenT、Silicon Radar、Jabil Optics Germany、AVL和John Deere合作开发了一种集成的雷达摄像头模块。该模块的核心是其集成的信号处理能力。所有信号处理都直接在模块内进行，系统有选择地过滤来自雷达和摄像头的数据。过滤掉无关的信息，并应用传感器融合技术将雷达和摄像头的数据结合，然后通过神经网络评估数据，从而确定实际交通影响。然后，模块直接将反应指令发送到车辆，节省了关键时间。
预计这种新的传感器集成方法的反应时间将小于10毫秒，比当前的检测系统快50倍，比普通人类驾驶员快160倍。
摄像头与激光雷达的集成
摄像头与激光雷达的集成或3D激光雷达数据与图像传感器的2D数据的融合，使自动车辆能够定位物体、确定其距离和大小、使用分类、文本和颜色感知以及图像识别。目前正在进行激光雷达和摄像头数据的实时融合，以实现高水平的感知和传感。
深度学习软件初创公司StradaVision已经开发了用于摄像头和激光雷达传感器融合的SVNet软件平台，该平台可以在汽车芯片组上运行。京瓷还推出了基于MEMS激光雷达的Camera-LIDAR融合传感器，该传感器采用了京瓷的陶瓷封装技术。
高精地图初创公司Ushr（DMP旗下）使用激光雷达和摄像头数据的传感器融合技术开发了日本和北美道路的高精地图。Ushr的高精地图已在通用凯迪拉克CT6的Super Cruise系统中使用。
Aeye的iDAR传感器还利用了固态激光雷达传感器，并将其与低光高清摄像头融合，并采用了其AI和传感器融合技术，从而创建了一个感知平台，可实现更快、更可靠、更准确的感知。
from A to B
