U-NOISE：用于可解释的图像分割的可学习噪声蒙版

点击上方“深度学习爱好者”，选择加"星标"或“置顶”

重磅干货，第一时间送达

小白导读

论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

深度神经网络(DNNs)广泛应用于无数关键应用的决策，从医学到社会，甚至司法。考虑到这些决定的重要性，对作者来说，能够解释这些模型是至关重要的。作者介绍了一种新的方法来解释图像分割模型，通过学习图像区域的噪声可以应用，而不妨碍下游模型的性能。作者将此方法应用于CT扫描中的胰腺分割，并定性地比较该方法与现有的可解释技术(如梯度cam和遮挡灵敏度)的质量。此外，作者还表明，与其他方法不同，作者的可解释性模型可以根据模糊图像的下游性能进行定量评估。

论文主要工作

作者引入了U-Noise，一种通过噪声图像遮挡来解释分割模型的新方法。U-Noise学习从训练图像中开发可解释性映射，这使其成为一种可扩展和易于部署的解释方法;一旦训练，U-Noise可以快速为新图像生成可解释性地图。

U-Noise解释了一个已经训练好的分割模型(作者称之为实用新型)，它的参数被冻结，并通过添加噪声的系统过程找到它用于语义分割图像的上下文来找到目标。例如，在ct扫描中胰腺分割的情况下，U-Noise发现模型使用的上下文器官来识别胰腺的位置。U-Noise建立在这样一种直觉之上:如果模型对一个像素的高尺度(标准偏差)噪声的添加具有弹性，那么这个像素对于作者试图解释的模型来说并不重要。作者训练了一个称为可解释性模型的小神经网络，直接参数化输入图像中每个像素的噪声分布(噪声掩模)，这样就不会损害分割的精度。一旦训练完成，作者可以为每个输入图像生成一个“重要性图”，将其输入到可解释性模型。像素接收到更高尺度的噪声就不那么重要了，反之亦然。

网络结构

作者提出的U-NOISE的组成部分和训练过程。作者试图解释的模型(实用模型，U)是冻结的，可解释性模型正在训练。可解释性模型的输出是输入的每个像素所允许的噪声的标准差。然后将其乘以随机噪声并馈给U，以衡量其对损失函数的效用，并相应地更新可解释性模型。

训练步骤

实验结果

详细说明了实用工具和U-Noise模型在实验中的作用。Depth为下采样层数和上采样层数;Channels表示第一层输出通道的数量。

U-Noise大模型对遮挡灵敏度和梯度cam解译技术的比较

计算不同的可解释性方法的要求。平均10次。方法使用NVIDIA 2070超级GPU进行比较

结论

在本文中，作者提出了U-Noise，一种基于噪声的解释图像分割模型的框架。U-Noise通过应用加性噪声和观察模型实用程序对每个像素值的变化有多敏感来发现分割模型依赖于其做出决策的像素。虽然本研究只考虑了分割任务中的U-NOISE，但该方法原则上可以应用到其他任务中。

此外，本工作中提出的架构提供了一种轻量级的方法，在不严重损害任务实用性的情况下遮挡图像的部分。因此，与现有的隐私保护方法相比，U-NOISE可以更直接地掩盖设备上的用户数据。

论文下载链接：https://arxiv.org/pdf/2101.05791.pdf

每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。