影子模式,是不是被“神化”了?

在谈自动驾驶的数据时,除数据规模外,我们说得最多的就是“数据质量”,而所谓“高质量的数据”往往特指极端工况数据。如何从大量的场景数据中高效地将极端工况数据筛选出来并仅将这一部分数据回传至后台,也成为衡量一个自动驾驶公司数据处理能力的最关键指标之一。

在各种已知的筛选极端工况数据的方法中,特斯拉首倡的影子模式,无疑是最有影响力的那一种。

影子模式已被视为走“渐进式”路线的公司能把数据优势充分发挥出来的关键武器之一。国内的很多车企和自动驾驶公司也都在谈影子模式。

然而,过去一年多以来,笔者在跟一些车企的自动驾驶负责人及自动驾驶公司CTO等交流后发现,看上去无比高大上的影子模式可能被“神化”了,实际操作中会遇到很多问题——

1.影子模式的定义,是不清晰的;或者说,多数人对影子模式概念的理解,是不完整的。

按常规的理解,“影子模式”的核心在于,在有人驾驶状态下,系统包括传感器仍然运行但并不参与车辆控制,只是对决策算法进行验证——系统的算法在“影子模式”下做持续模拟决策,并且把决策与驾驶员的行为进行对比,一旦两者不一致,该场景便被判定为“极端工况”,进而触发数据回传。

不过,智加科技首席科学家崔迪潇博士的说法是:影子模式属于特斯拉数据闭环的一部分,并不直接对应于数据筛选。除利用控制端的轨迹差异筛选数据外,影子模式的另一种应用场景是,验证新功能是否能正常工作,或者是否带来副作用。

车右智能联合创始人张洪滨的解释则是:这仅仅是影子模式的一部分,而且是很小的一部分。

张洪滨认为,从原理上讲,有望在短时间内商业化的自动驾驶在研系统,其背后的神经网络结构都不是端到端的系统,而是感知、预测、规划和控制四个主要模块上,分别主要利用NN网络实现。因此更具备现实意义的影子模式是可以提供更多更大范围极端工况,包含标注的和非标注的训练数据

根据特斯拉AI负责人karpathy在CVPR2021披露的信息,为了在车队中拿到尽可能多的高质量数据,特斯拉开发了大量的trigger触发器(221个),工作在shadow mode方式下:

可以看到,这里大量存在的trigger中,不是每一个都会和人类司机的行为挂钩的。比如,radar vision mismatch,如果出现毫米波雷达和摄像头的判断不匹配的情况,比如做目标监测时,毫米波雷达看到了,而摄像头没看到,影子系统就会触发数据上报;再比如,视觉下bounding box发生抖动超过一个阈值,这段数据也会上报……

这些数据都会被直接送到dojo上相关算法的相关模块,有的是标注好的、有的是需要额外标注成本的、有的可能就是压根不需要标注的…..诸如此类,会被录入training set。

可见,并非所有的影子模式都是依赖人类司机的驾驶决策来标注和触发数据回传的。不过,国内车企在谈“影子模式”的时候,仍然集中在“拿系统的决策算法跟人的驾驶行为做比较”这个层面上。

去年,在被问及“除影子模式外,你们还有哪些用来收集极端工况数据的方法”时,一位无人驾驶公司的CTO也提到了“将毫米波雷达和摄像头的监测结果做比较,如果不一致,则触发数据回传”。当然,他们并没有将此归类为“影子模式”。

崔迪潇博士也补充道:除影子模式外,还有大量的数据收集器可以工作在自动驾驶模式下(这些数据,对最终车辆控制并不产生影响)。

2.按照实现原理,影子模式不应该占用太多的计算资源,也不会增加自动驾驶处理时延,不过,目前L2量产车上搭配的感知芯片基本都是Mobileye的EyeQ 4,而封闭的Mobileye并不允许车企用他们的芯片来做影子系统,这意味着,车企需要专门为影子系统再额外配一颗芯片。

如果每辆车上都添加影子系统芯片,这对成本控制显然是不可承受之重,因此,车企大概率只会在个别车辆上做影子系统。

当然,如果主芯片是由“更开放”的英伟达提供的,可以同时做影子模式,不过,目前,仅有小鹏P7和雷克萨斯LS的量产车上装了英伟达的芯片。后续,最有机会大批量做影子模式的,应该是搭载了地平线征程3的车型。

3.若系统的驾驶行为和司机的驾驶行为不一致,当时的场景便被视为“极端工况”,但这个逻辑成立的前提是假定“司机的驾驶方法一定是对的”,进而认为“只要系统决策跟司机不一样,决策算法就是错的”,但问题在于,司机的驾驶方法就一定是对的吗?更何况,在同样的场景中,不同的司机的驾驶方法都不完全一致,如何判断谁对谁错?

因此,有必要为影子模式中引入一个“上帝视角”——如果司机的行为是对的,决策算法就应该“见贤思齐”;如果司机的行为是错的,则决策算法就应该有足够的定力确保自己“不被误导”。

去年12月,时任福瑞泰克架构总师的汪浩伟在一场题为《下一代自动驾驶的几大关键技术设计策略》的演讲中提到,当司机的驾驶行为与自动驾驶控制行为产生差异时,会产生两种情况:

A.差异过大,则判定可能是司机的驾驶过程出了问题,系统会对司机提出警报。如司机急踩油门超过一定的速率和深度,系统通过对环境的探测,对比实际应该执行的驾驶风格,判定司机可能是误把油门当成刹车踏板,此时系统会发出误踩制动警报告知司机当前操作为误操作。

B.差异较小,则说明自动驾驶算法本身还不够完善,需要从当前的实际驾驶情况学习新的自动控制策略。如在某一个工况下,系统判定需要减速,并以较大的减速度进行减速,结果,导致车辆跟随前车行驶时停止距离较大;在随后的训练中,系统需要学习司机在该工况下实际踩踏板的深度和速率,因此系统后续发送的加速度会尽量模仿司机的加减速度及速率。

崔迪潇博士还举了一个例子:有些场景,如果司机采用了滑行(无油门、无刹车)的驾驶行为(即“省油模式”),而算法却没有触发“省油模式”,则影子系统会触发感知、预测及决策各模块的数据回传。

看起来,这里已经提到了一个“上帝视角”的判断逻辑标准,用于判断司机和机器的控制谁更优,从而帮助自动驾驶算法做下一步的优化控制。但在具体实践中,如何确保这个判断标准的有效性,依然是个挑战。如果司机错了,“上帝”却没有看出来,便会触发对无效数据的回传,甚至可能引发对于驾驶行为参数的误调整。

不过,对这个问题,张洪滨的解释是:在端到端系统中,司机的大规模普遍行为会引发端到端网络模型的驾驶偏向。比如某个区域普遍被接受的速度惯例,未必和当地交管部门的限速指标直接划等号,你在这个大环境下学习到当地的驾驶习惯,不见得是坏事儿。从另一个角度说,影子模式依赖车队的规模,在车队规模足够大时,激进的驾驶行为往往被平均掉了。

4.影子模式的评价机制并不科学——它无法直接拿到决策端的数据,而是从执行端(有一套控制算法在“空跑”)的轨迹“倒推”决策环节是否出错。这就遇到一个问题,如果决策本身是OK的,但控制端有问题,而影子模式却误以为是决策端出了问题呢?

还有一种可能性,表面上是系统的决策跟司机的决策不一致,但实际上,决策算法本身是OK的,是上游的感知环节出了问题,进而误导了决策。如何将这种情况跟决策算法本身出错的情况区别开来?

实践中,很多公司用的是“追溯法”。

比如在某个场景下出现了“不该有的急刹车”,工程师需要去追溯感知环节的数据。如果感知环节没有看见所谓的“障碍物”,只是预测系统预测到旁边某个人要cut in了,然后决定刹车,结果,那个人实际上并没有cut in,这就是预测算法的问题;若急刹车的原因是感知环节判定“前方有障碍物”,那就是感知出了问题。

考虑到现阶段自动驾驶的感知难题仍未彻底解决,感知失灵误导预测和决策的问题时有发生,所以,当前用影子模式收集到的“预测/决策失灵”场景数据,颗粒度特别粗,有很多其实都是无效数据。

然而,这些无效数据,已经是影子模式经过“精选”后认为“有价值”的,因而不会保留在车端,而是需要回传。回传这些无效数据,既浪费流量,又浪费存储空间。

此外,诚然可以通过追溯把因感知失灵误导决策的无效数据过滤掉,但这些工作都需要由人工来完成,费时费力,成本极高。

汪浩伟认为,对于影子模式数据的处理,如果要一个一个去人工处理,对资源的消耗太大。“一种设想是引入深度学习中的增强学习方法,让系统自发的去学习,但这就意味我们要全盘接受一个通过'训练’而完善的决策算法,这一点目前还无法做到的;所以,现在还是基于测量统计学的方法论,来处理采集得到的数据。”

5.某些场景下,感知模块已经出错了,但从控制端来看,系统开跟人开没什么差异,这种场景的数据便无法通过影子模式获取。

原因是,感知算法分检测模块和后处理算法模块,若检测模块出了问题,但后处理算法模块还是能够把检测模块漏检或者误监的痕迹给“抹平”,使跟踪出的结果是平滑的准确的,那决策和控制就不会受影响。

为了把这种场景的数据筛选出来,一些公司的做法是,观察检测端到跟踪端的数据之间有没有很大的跳变,如果有,就触发数据回传。但这个工作量会很大。

只有等感知的问题基本都解决了,自动驾驶能进入“拼决策算法”的阶段后,影子模式的价值才能真正凸显出来。

6.数据都回传回来了,你有没有能力使用?数据发挥价值的最主要途径就是仿真,但用真实道路做仿真的难度很大,目前只有极个别公司具备这些能力,大部分公司只能用算法建模的数据做仿真。

如果不具备用真实数据做仿真的能力,则无论影子模式收集了多少数据,其价值也无法充分发挥出来。也正因为如此,有一些原先声称在做影子模式的车企后来改口说,当前,收集回来的数据“尚未被激活”。因此,接下来,这些走渐进式路线的公司需要加大对仿真技术的投入。

7.哪怕仿真能力补齐了,走渐进式路线的公司,也未必就能凭借做“影子模式”积累的数据打败直接做L4的公司。据多位业内资深专家分析,能否将L2的车辆(通常传感器配置比较低)上积累的数据复用做L4的算法训练,会是走渐进式路线的公司们面对的最大挑战之一。

针对“数据打通”问题,很多车企的策略是在L2的量产车上做“硬件预埋”,但传感器正处于快速迭代的过程中,目前“预埋”的硬件能否“一次到位”,还是个很大的悬念。

(这个观点,我们在《Robotaxi公司做L2前装量产,机遇与挑战并存》一文中有更详细的解读。)

本文在修改的过程中得到了智加科技首席科学家崔迪潇、车右智能联合创始人张洪滨、一汽南京高兴地图负责人陈雪娟、中科创达汪浩伟等诸多朋友的支持,在此表述感谢

备注:

(0)

相关推荐

  • 当算法掌控我们的生活时,我们可能面临什么?

    "大数据"."云计算"."人工智能算法"这些词在当今社会经常出现,大家总是幻想在技术的支援下,我们的社会会发展成像阿里的物流仓库那样,有序高 ...

  • 德赛西威·英伟达GTC2020演讲纪要

    时间:2020年12月18日 嘉宾:曾迪/惠州市德赛西威 演讲主题:关于乘用车自动驾驶产业生态与协作 技术趋势  目前行业内普遍将自动驾驶分为L0~L5六个阶段. L0:在最原始的L0阶段,车辆不会提 ...

  • 下一代自动驾驶的几大关键技术设计策略

    下一代自动驾驶技术在相关领域专业的研发已经进行得如火如荼,特别是对于几大关键研究领域来说,自动驾驶的开发已经迫在眉睫.前文我们有分析过关于下一代自动驾驶产品架构的设计方案,从芯片级别.架构连接.硬件选 ...

  • 我们看不见的未来,在何方?

    阅读第1126天 相比前一本著作<人类简史>,这位大哥在<未来简史>中的思考维度明显有所不同.中间看了艾德蒙的<枪炮.病菌和钢铁>,发现这三本书就是对人类过去.现在 ...

  • 全国性的垂直专业服务热线:探寻12366的优化路径

    本文作者:零点有数董事长袁岳博士 12366热线,在为纳税人提供咨询服务和诉求处理方面发挥了积极作用.但目前,12366也存在着比较明显的问题从而成为纳税服务中的一个拉分项.优化与提升12366的服务 ...

  • 应用人工智能辅助临床预测及决策

    天气预报,已成为人类常规使用的对大自然的预测工具.通过对历史数据的梳理建模,机器学习,超级运算,形成天气预报算法.当遍布太空(卫星).地面.水上的检测器实时采集风.湿.压力数据,算法会实现对未来的气象 ...

  • 从自动驾驶事故中探索有效的性能提升及判责策略

    蔚来汽车最近的自动驾驶撞车事故再一次刷新了人们对智能汽车的认知,目前蔚来事故正在调查中,事故的责任方究竟是车主,还是汽车制造商,这恐怕不是能由调查结果直接得出的结论,其实,就当前智能汽车的等级现状来说 ...

  • 如何向牛人学习?

    (配图摄影 by 辉友Jay) 最近半年,我的部门来了不少新同事.他们很重要的工作之一,就是组织各种各样共创会 -- 有关战略研讨.OKR复盘的共创会. 在战略共创会中,结论共识环节非常难,这非常考验 ...

  • 浅谈乡村治理模式发生了哪些变化?

    随着乡村现代化的发展,越来越多的乡村走上了建设数字乡村的道路,从传统的乡村治理到使用互联网数字化治理的模式,乡村的风貌和农民的生活也发生了巨大的变化,接下来就让我们一起来了解一下乡村治理模式到底发生了 ...

  • 【路衍经济】基于高速公路服务区发展路衍经济的经营方式与商业模式研究

    作者简介  陈楚宣:高级会计师.高级经济师,现任广东省交通集团有限公司副总会计师.战略发展部部长,广东粤运交通股份有限公司非执行董事.董事会审计及企业管治委员会成员.董事会薪酬委员会成员,广东省公路学 ...

  • 成功的乡村治理模式有这些特征

    乡村治理模式的构建与创新是乡村振兴的重要基础,相关农业农村问题专家建议,构建乡村治理新体系既要实现资源下沉,又要善于让各种治理机制发挥作用,把顶层设计和基层创新结合起来.接下来就和美丽乡村公司的小编一 ...

  • 广州市南沙区人社领导来访霖珑云科考察调研,共同探索灵活用工新模式

    4月8日,广州市南沙区人力资源和社会保障局副局长陈国红等领导一行莅临霖珑云科集团总部进行2021年企业灵活用工工作调研,并就企业灵活用工模式等内容开展座谈交流.霖珑云科董事长高萍.苏州工业园区劳动监察 ...

  • 乡村治理试点如何创新乡村治理模式?

    民族要复兴,乡村必振兴.乡村振兴既包括人才.产业.组织等多要素的全面推进,也离不开有效治理.文明乡风等多层面的多措并举.乡村治理不是一个新话题.但是,在新时代特别是"三农"工作重心 ...

  • 治疗师必须掌握,28块肌肉激痛点以及疼痛模式

    激痛点是一个高度易激惹点,为紧绷的骨骼肌筋膜内可触摸到的结节.直接的压力或肌肉收缩可诱发出Jump体征,局部疼痛,局部抽动以及牵涉痛.该牵涉痛通常以某种疼痛模式出现在激痛点的远处1,2,3,4. Ju ...

  • 教你学会弱转强模式(图解)

    弱转强是短线打板客的一种操作方式,一般指两个交易日情况,第一个交易日烂板或者午后封板,第二个交易日强势封板. 第一问,什么是弱转强模式? 答:弱转强是短线打板客的一种操作方式,一般指两个交易日情况,第 ...

  • 数字阅读,渐成主导模式

    来源:大众日报2021-05-08 09:31 近日,第七届中国数字阅读大会在杭州开幕.开幕式上,中国音像与数字出版协会发布的<2020年度中国数字阅读报告>(以下简称<报告> ...

  • 饮食模式是肠道菌群的关键,哪些食物更健康?看看最新权威研究

    随着科学家们对肠道微生物越来越关注,相关研究成为最近医学研究的热门之一,对于肠道菌群在健康中作用也有更多了解,发现肠道菌群异常对于糖尿病.炎症性肠病.动脉粥样硬化.肥胖.慢阻肺.免疫性疾病等等有很多重 ...