【泡泡一分钟】自治系统中基于视觉深度学习新颖性检测的任务感知方法
每天一分钟，带你读遍机器人顶级会议文章
标题：Task-Aware Novelty Detection for Visual-based Deep Learning inAutonomous Systems
作者： Valerie Chen, Man-Ki Yoon, and Zhong Shao
来源：2020 IEEE International Conference on Robotics and Automation (ICRA)
编译：靳小鑫
审核：柴毅，王靖淇
这是泡泡一分钟推送的第 808 篇文章，欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权
摘要
诸如自动驾驶汽车这样的深度学习驱动的以安全为先的自治系统，必须能够检测到其训练的模型无法做到可靠预测的情况。这种确定新输入相对于训练好的模型的新颖性的能力对于此类系统至关重要，因为由于环境变化、对抗性攻击甚至无意识的噪音而产生的新输入可能会导致错误的，甚至可能危及生命的决定。本文提出了一种学习框架，该框架以任务感知方式利用预测模型学习到的信息来检测新场景。我们使用网络显著性为学习架构提供与决策最相关的输入区域知识，并学习显著性地图与预测输出之间的关联，以确定输入的新颖性。我们通过在真实驾驶数据集以及室内驾驶环境中的驾驶场景中的实验，证明了该方法的有效性。室内驾驶环境中的新颖图像可以从另一个具有相似特征的驾驶数据集中采样，也可以从训练数据集中的对抗性攻击图像中采样。我们发现，我们的方法能够系统地检测新的输入，并通过这种任务感知的方法量化与目标预测的偏差。
图 1.（顶部）原始图像和正确预测的 0 度转向角。（中）快速梯度符号法 (FGSM) 攻击图像和预测的 26 度转向角在 ε = 0.001 水平。（底部）Outofdistribution 图像。中间和底部的例子展示了我们考虑的两类新图像：对抗性图像和分布外图像。
图 2.在Udacity自动驾驶汽车数据集上进行的初步实验表明，VBP掩码与学习到的特征绑定在一起。(上)道路的原始图像视图，(中)生成的VBP面罩在随机转向角，(下)在实际行驶角训练的网络上生成的VBP掩码。这表明，给定有意义的输入和输出，VBP可以提取图像的关键区域，如车道边缘。
图 3.新颖性检测方法的网络架构。顶部的网络是使用标准 CNN 将输入图像映射到转向角的预测模块。下面的网络是检测模块，它将通过预测模块提取的显着图和预测表示得到到一个新颖性分数。训练过程包括两次遍历整个架构，一次使用正常输入图像，另一次使用对抗性修改的输入图像。然而，只有第一个通过预测模块反向传播。
图 4.任务感知模型的所有消融的预测新颖性分数 (n(x)) 的直方图比较。其中蓝色是训练数据，橙色是攻击数据。一个好的新颖性检测器应该能够清楚地区分这两个分布。我们专门针对最难检测的对抗性攻击进行这些实验，因为这些变体中的大多数在检测分布外数据方面的表现与表 I 中的实验相同。我们发现最终的 任务感知方法设置优于其他变体。对于不同的设置，n(x) 的绝对值会有所不同，但我们仍然可以通过查看蓝色和橙色直方图之间的重叠来比较不同的设置或方法。
表 1.分布外两两比较。
图 5.来自我们考虑的三个基于驾驶的数据集的示例训练图像，每个数据集都是用安装在汽车前部的摄像头收集的，并记录了转向角。两个是在野外收集的，一个是在室内收集的，但中间和右边有相似的车道标记。
图 6.用预测误差绘制的新颖图显示出相似的趋势。随着ε -攻击值的增大，对输入图像进行了的扰动也增大，预测误差随着新颖性分数的增大而增大。
图 7.对抗噪声攻击的两种比较方法，其中橙色是训练集，蓝色是测试集。该图可以与图 4 中的任务感知结果进行比较。由于训练集和测试集之间存在显着重叠，我们无法检测到新的输入。每种方法之间的 x 轴不同，因为每种方法可能具有不同的损失度量，并且可能在不同的输入（正常与 VBP 图像）上进行训练。
图 8.通过我们的任务感知方法，亮度变化对归一化预测 n(x) 的影响与比较方法的归一化重建损失相对。黑色实线是与原始图像相比的实际预测误差，随着亮度的增加而增加。我们发现产生式方法无法识别亮度变化，这会影响输出预测。一个潜在的原因是均方误差损失对这些变化不是特别敏感
图 9.如图是Udacity 图像上亮度变化的可视化，其中人眼可以清楚地看到原始图像上 1.3 的亮度增强。然而，产生式模型无法检测到图 8 中的差异。
Abstract
Deep-learning driven safety-critical autonomous systems, such as self-driving cars, must be able to detect situations where its trained model is not able to make a trustworthy prediction. This ability to determine the novelty of a new input with respect to a trained model is critical for such systems because novel inputs due to changes in the environment, adversarial attacks, or even unintentional noise can potentially lead to erroneous, perhaps life-threatening decisions. This paper proposes a learning framework that leverages information learned by the prediction model in a task-aware manner to detect novel scenarios. We use network saliency to provide the learning architecture with knowledge of the input areas that are most relevant to the decision-making and learn an association between the saliency map and the predicted output to determine the novelty of the input. We demonstrate the efficacy of this method through experiments on real-world driving datasets as well as through driving scenarios in our in-house indoor driving environment where the novel image can be sampled from another similar driving dataset with similar features or from adversarial attacked images from the training dataset.We find that our method is able to systematically detect novel inputs and quantify the deviation from the target prediction through this task-aware approach.