MIT中国博士生开发出第一套保护自动驾驶车辆的感知算法 2024-07-31 01:31:38 自动驾驶的落地,离不开一个关键条件:安全。近日,清华大学校友、MIT 在读的中国博士生杨珩与团队合作开发了第一套针对自动驾驶汽车的“可认证的感知”算法,有助于提高下一代自动驾驶汽车的行驶安全。链接:https://arxiv.org/pdf/2109.03349.pdf杨珩,2015年本科毕业于清华大学汽车工程专业,硕士就读于麻省理工学院机械工程专业。硕士期间,他主要研究如何改进超声成像系统,以追踪肝纤维化病症。为了做研究,他需要参加一门关于机器人的课程,叫《Underactuated Robotics》,学习如何通过设计算法来控制机器人。这使他爱上了算法设计的研究方向:“这门课讲到了数学优化,用抽象的公式来模拟世界上几乎所有事物。我在这门课上学会了一个巧妙的方法来解决我的论文问题。计算在优化设计方面的强大表现让我感到惊讶,我很快确定了这是我接下来要探索的方向。”2017年,杨珩硕士毕业,转读 MIT 博士,目前在 MIT 的信息与决策系统实验室(LIDS)读博,师从 Luca Carlone,主要研究可认证的感知挑战。目前,他已在自动驾驶的可认证感知算法设计上取得了一系列杰出成果。1什么是可认证的感知算法?当机器人在感知周围环境时,机器人必须使用算法来估计周围环境,并判断自己所处的位置。目前,用于机器人感知的算法都是被设计于快速感知,几乎无法保证机器人是否正确理解了周围的环境。这也是自动驾驶算法设计的现有缺陷之一,而杨珩与 LIDS 实验室的部分成员要解决的就是这一问题,希望通过设计“经过验证的”算法来确定评估是否正确。比方说,机器人在进行感知之前,首先捕捉图像,如自动驾驶汽车会拍下正在靠近自己的汽车快照。然后,这张图像会通过神经网络,在图像中生成有关接近汽车的后视镜、车轮、车门等关键点,绘制出线条,以从 2D 汽车图像上检测到的关键点追踪到3D 汽车模型中标记的 3D 关键点。在这个过程中,杨珩与团队必须解决一个优化问题,将 3D 模型旋转与平移,以使模型与图像上的关键点对齐。这个 3D 模型有助于机器人了解真实世界的环境。在接受 MIT News 的采访中,杨珩解释:每一条被追踪的线都必须经过分析,以确保它们进行了准确的匹配。由于有许多关键的点可能会被错误匹配(比如,神经网络可能会将镜子识别为门把手),那么这个问题就是“非凸”的,很难解决。去年,杨珩与团队找到了解决方法,并获得了 ICRA 2020 的机器人视觉最佳论文奖。论文地址:https://arxiv.org/pdf/1909.08605.pdf在杨珩的工作中,他将非凸问题转为凸问题,并找到了成功的匹配方法。杨珩称,即使匹配不正确,他们所设计的算法也知道应该如何继续尝试,以找到最佳解决方案,即“全局最小值”。“如果没有更好的解决方案,(系统)就会给出一个认证。”他指出,这些可认证的算法有巨大的潜在影响,因为像自动驾驶汽车这样的工具必须鲁棒,且值得信赖。“我们的目标是,如果感知系统出现故障,驾驶员可以收到一个警报,快速接管方向盘。”而杨珩与团队的最新工作采取了通用与可拓展的框架来设计可认证的算法,可以在自动驾驶汽车的行驶过程中进行鲁棒的几何体感知。这个工作的主要亮点如下:1)将常见的鲁棒成本(如TLS、最大共识、Geman-McClure、Tukey 双权重等)转化为多项式优化问题(POP);2)通过关注 TLS 的成本,他们利用 POP 中的稀疏性,提出了一种比标准 Lasserre 层次结构小得多的稀疏半定规划 (SDP) 松弛,同时保留了准确性;3)提出 STRIDE(一种将凸 SDP 中的全局下降与非凸 POP 的快速局部搜索相结合的求解器),以前所未有的规模和精度解决了 SDP 松弛问题;4)评估了所提出的针对六个几何感知问题的框架,包括单次与多次旋转平均、点云和网格配准、绝对姿态估计以及类别级对象姿态和形状估计。他们的实验表明,虽然还达不到实时,但 STRIDE 在中等规模问题上比现有 SDP 求解器快了 100 倍,而且是目前唯一可以高精度求解具有数十万个约束的大规模 SDP 的求解器。同时,STRIDE 为现有的快速启发式算法(如 RANSAC 或阶段非凸)提供了一种保护措施,即如果启发式估计是最优的,则证明全局最优。2使模型适应不同的汽车在将 2D 图像与 3D 模型进行匹配时,一个假设是 3D 模型要与识别的汽车类型相一致。但是,如果图像中的汽车具有机器人从未见过的形状,会发生什么?结局可能无法预料,所以,杨珩需要估计汽车的位置,并重建 3D 模型的形状。他们找到了一个解决方法:通过对原先识别的车辆进行线性组合,使 3D 模型自动变形、以匹配 2D 图像。比方说,该模型可以从奥迪变成现代,因为它已经记录了汽车的实际构造。识别接近车辆的尺寸是防止碰撞的关键。杨珩与团队的这项工作还入围了机器人顶级会议 RSS 的最佳论文奖,杨珩被评为“RSS 先驱”。链接:https://arxiv.org/pdf/2104.08383.pdf参考链接:https://news.mit.edu/2021/heng-yang-self-driving-cars-0916 赞 (0) 相关推荐 一文带你了解中国计算机学会通讯 2019年01月新技术新应用 中国计算机学会通讯CCCF为中国计算机学会旗舰刊物,于2005年创建,月刊.中国计算机学会通讯面向计算领域的专业人士,宏观论述计算机领域各学科方向研究进展和发展方向的综述刊物. 本文将为大家介绍CCC ... MIT开发水下“派大星”机器人,可在几小时内制造,形状酷似海星,游泳更胜一筹 海底世界神秘莫测,还有很多未开发的秘密. 多年来,人们一直利用机器人来探索海洋,但有些机器人长得实在太"硬核",总是会把水底生物吓一跳. 最近,麻省理工学院的计算机科学和人工智能实 ... Meta Learning 4: 基于优化的方法 相比较机器学习模型需要大量的标注数据进行训练,人类学习新知识和新技能的过程要更快更高效. Meta Learning元学习的目标是模型在多种多样的任务上进行训练之后,只需要少量的训练样本就可以学会一个 ... 2020学术会议回顾:从这些最佳论文中一窥研究趋势 2020 年,是充满变化的一年.人工智能学术会议也不例外,线上举办.改革评审制度.增加可复现性要求.伦理要求等,这些是「变」.而不变的是大家对学术会议的热情,以及我们总能透过这些会议探究学术前沿发展趋 ... 技术:StradVision开发用于ADAS系统和自动驾驶车辆的动物检测软件 StradVision 是 ADAS 系统和自动驾驶汽车基于 AI 的摄像头感知技术的行业领导者,该公司宣布将为其基于深度学习的 SVNet 软件开发动物检测功能,该功能将在自动驾驶汽车中扮演至关重要 ... UC头条:中国科学家开发出摧毁实体瘤新疗法 比CAR 当前的嵌合抗原受体(CAR)T细胞(CAR-T)疗法主要用于破坏血液中的癌症.从患者的血液中分离出T细胞,并在实验室里进行基因改造使之表达CAR.这些经过特殊改变的T细胞(CAR-T细胞)在实验室中大 ... 格力电器开发出一套全新的集约化养殖环控系统 格力电器开发出一套全新的集约化养殖环控系统 云浮悦塘集约化养殖创新实验项目 使用机组:集约化养殖环控系统 项目简介:此项目为格力中央空调与我国养殖龙头企共同研发的一套全新集约化养鸡环控系统.格力中央空 ... 《科学》:中国科学家开发出制备双单氟化合物的全新合成方法 中国科大汪义丰教授团队利用自旋中心转移(Spin-center shift)机理,从廉价易得的三氟乙酸衍生物出发合成出用途广泛的双氟化物和单氟化物,开发了一种制备含氟有机化合物的新途径.北京时间3月5 ... 中国西北大学开发出猴脸识别技术 majer @ 2021.02.23 , 09:20 中国西北大学的一支研究团队正在使用人工智能(AI)和其他新科技来开发猴子版的"面部识别"手段,用于区分陕西省秦岭山中成千上万只 ... 中国科学家开发出水稻基因的“定位导航系统” 中国科学家开发出水稻基因的"定位导航系统" 来源:中国生物技术网 2021-02-05 09:18 上海师范大学黄学辉团队在Nature Genetics发表了题为"A ... 中国科学家开发出像钻石一样坚硬的玻璃 用钻石来切割玻璃并不是什么新闻,但是中国的一个研究小组最近开发出了世界上最硬的玻璃材料,可以轻松地在钻石的表面留下一道深深的划痕. AM-III(暂定名)是一种完全由碳构成的透明的.有点发黄的材料,在 ... 名医22年研究出一套保护血管法,值得收藏! 很多人以为,只有到老了的时候,才为我们的血管操心.殊不知,血管斑块变大,从30岁以后就加速了. 血管布满了我们身体的每个部位,血管对于人体的重要性不言而喻,对于我们来说是很重要的,那么我们应该如何来保 ... 基于MATLAB开发自动驾驶车辆的新型传感器融合架构最新MATLAB&SIMULINK在自动驾驶开发中的而英 MATLAB 和 Simulink使汽车工程师能够加快车辆开发过程,交付出满足市场要求的安全.舒适.节能和高性能的车辆. 汽车工程师使用 MATLAB 和 Simulink于: 运行仿真来评估权衡和优 ...
自动驾驶的落地,离不开一个关键条件:安全。近日,清华大学校友、MIT 在读的中国博士生杨珩与团队合作开发了第一套针对自动驾驶汽车的“可认证的感知”算法,有助于提高下一代自动驾驶汽车的行驶安全。链接:https://arxiv.org/pdf/2109.03349.pdf杨珩,2015年本科毕业于清华大学汽车工程专业,硕士就读于麻省理工学院机械工程专业。硕士期间,他主要研究如何改进超声成像系统,以追踪肝纤维化病症。为了做研究,他需要参加一门关于机器人的课程,叫《Underactuated Robotics》,学习如何通过设计算法来控制机器人。这使他爱上了算法设计的研究方向:“这门课讲到了数学优化,用抽象的公式来模拟世界上几乎所有事物。我在这门课上学会了一个巧妙的方法来解决我的论文问题。计算在优化设计方面的强大表现让我感到惊讶,我很快确定了这是我接下来要探索的方向。”2017年,杨珩硕士毕业,转读 MIT 博士,目前在 MIT 的信息与决策系统实验室(LIDS)读博,师从 Luca Carlone,主要研究可认证的感知挑战。目前,他已在自动驾驶的可认证感知算法设计上取得了一系列杰出成果。1什么是可认证的感知算法?当机器人在感知周围环境时,机器人必须使用算法来估计周围环境,并判断自己所处的位置。目前,用于机器人感知的算法都是被设计于快速感知,几乎无法保证机器人是否正确理解了周围的环境。这也是自动驾驶算法设计的现有缺陷之一,而杨珩与 LIDS 实验室的部分成员要解决的就是这一问题,希望通过设计“经过验证的”算法来确定评估是否正确。比方说,机器人在进行感知之前,首先捕捉图像,如自动驾驶汽车会拍下正在靠近自己的汽车快照。然后,这张图像会通过神经网络,在图像中生成有关接近汽车的后视镜、车轮、车门等关键点,绘制出线条,以从 2D 汽车图像上检测到的关键点追踪到3D 汽车模型中标记的 3D 关键点。在这个过程中,杨珩与团队必须解决一个优化问题,将 3D 模型旋转与平移,以使模型与图像上的关键点对齐。这个 3D 模型有助于机器人了解真实世界的环境。在接受 MIT News 的采访中,杨珩解释:每一条被追踪的线都必须经过分析,以确保它们进行了准确的匹配。由于有许多关键的点可能会被错误匹配(比如,神经网络可能会将镜子识别为门把手),那么这个问题就是“非凸”的,很难解决。去年,杨珩与团队找到了解决方法,并获得了 ICRA 2020 的机器人视觉最佳论文奖。论文地址:https://arxiv.org/pdf/1909.08605.pdf在杨珩的工作中,他将非凸问题转为凸问题,并找到了成功的匹配方法。杨珩称,即使匹配不正确,他们所设计的算法也知道应该如何继续尝试,以找到最佳解决方案,即“全局最小值”。“如果没有更好的解决方案,(系统)就会给出一个认证。”他指出,这些可认证的算法有巨大的潜在影响,因为像自动驾驶汽车这样的工具必须鲁棒,且值得信赖。“我们的目标是,如果感知系统出现故障,驾驶员可以收到一个警报,快速接管方向盘。”而杨珩与团队的最新工作采取了通用与可拓展的框架来设计可认证的算法,可以在自动驾驶汽车的行驶过程中进行鲁棒的几何体感知。这个工作的主要亮点如下:1)将常见的鲁棒成本(如TLS、最大共识、Geman-McClure、Tukey 双权重等)转化为多项式优化问题(POP);2)通过关注 TLS 的成本,他们利用 POP 中的稀疏性,提出了一种比标准 Lasserre 层次结构小得多的稀疏半定规划 (SDP) 松弛,同时保留了准确性;3)提出 STRIDE(一种将凸 SDP 中的全局下降与非凸 POP 的快速局部搜索相结合的求解器),以前所未有的规模和精度解决了 SDP 松弛问题;4)评估了所提出的针对六个几何感知问题的框架,包括单次与多次旋转平均、点云和网格配准、绝对姿态估计以及类别级对象姿态和形状估计。他们的实验表明,虽然还达不到实时,但 STRIDE 在中等规模问题上比现有 SDP 求解器快了 100 倍,而且是目前唯一可以高精度求解具有数十万个约束的大规模 SDP 的求解器。同时,STRIDE 为现有的快速启发式算法(如 RANSAC 或阶段非凸)提供了一种保护措施,即如果启发式估计是最优的,则证明全局最优。2使模型适应不同的汽车在将 2D 图像与 3D 模型进行匹配时,一个假设是 3D 模型要与识别的汽车类型相一致。但是,如果图像中的汽车具有机器人从未见过的形状,会发生什么?结局可能无法预料,所以,杨珩需要估计汽车的位置,并重建 3D 模型的形状。他们找到了一个解决方法:通过对原先识别的车辆进行线性组合,使 3D 模型自动变形、以匹配 2D 图像。比方说,该模型可以从奥迪变成现代,因为它已经记录了汽车的实际构造。识别接近车辆的尺寸是防止碰撞的关键。杨珩与团队的这项工作还入围了机器人顶级会议 RSS 的最佳论文奖,杨珩被评为“RSS 先驱”。链接:https://arxiv.org/pdf/2104.08383.pdf参考链接:https://news.mit.edu/2021/heng-yang-self-driving-cars-0916