压缩之后神经网络忘记了什么?Google研究员给出了答案
论文链接:https://arxiv.org/abs/1911.05248
项目链接:https://github.com/google-research/google-research/tree/master/pruning_identified_exemplars
01
Top-1或Top-5的测试集精度不能看出剪枝影响模型泛化能力的关键细节 。数据分布的某些部分对网络中权值数量的变化要敏感得多,并而模型性能的损失大多发生在这些数据中。 受剪枝影响最大的样本,作者称之为剪枝识别样本(Pruning Identified Exemplars,PIEs),对模型和人类来说都更具挑战性 。作者进行了一项人类研究,发现PIE往往被错误标记,质量较低,描述多个对象,或需要细粒度分类。压缩技术损害了模型对长尾数据分布中尾部数据的识别。 修剪的网络对自然对抗图像更敏感 。这种灵敏度在更高的压缩水平下被放大。 虽然本文评估的所有压缩技术都有不均匀的影响,但并不是所有的方法都是相等的 。高水平的修剪所产生的影响比量化技术中所观察到的要高得多的影响。
02
2.1 Preliminaries
2.2 Class level measure of impact
2.3 Pruning Identified Exemplars
03
3.1. 压缩的不同影响
3.2. 剪枝识别样本(Pruning Identified Exemplar)
3.3. 压缩模型对分布变化的敏感性
04
作者介绍
研究领域:FightingCV公众号运营者,研究方向为多模态内容理解,专注于解决视觉模态和语言模态相结合的任务,促进Vision-Language模型的实地应用。
知乎/公众号:FightingCV
END
赞 (0)