Flipreid：缩小人员再识别训练和推理之间的差距
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
由于神经网络是数据饥渴的，在训练中加入数据增强是一种广泛采用的技术，它可以扩大数据集，提高泛化能力。另一方面，聚合多个增强样本的预测(例如，测试时间增强)可以进一步提高性能。在人员再识别模型的背景下，通常的做法是提取嵌入的原始图像和其水平翻转的变体。最后的表示是上述特征向量的平均值。但是，这种方案导致了训练和推理之间的差距，即在推理中计算的平均特征向量不是训练管道的一部分。在本研究中，作者设计了带有翻转损耗的FlipReID结构来解决这个问题。更具体地说，使用FlipReID结构的模型同时训练原始图像和翻转图像，并结合翻转损失使对应图像对的特征向量之间的均方误差最小。大量的实验表明，作者的方法带来了持续的改进。特别是，作者为MSMT17这一最大的人再识别数据集创造了新的记录。
代码链接：https://github.com/nixingyang/FlipReID
在本研究中，作者研究了测验时间的增加对人再认同的影响。作者的贡献是双重的:
作者发现了一个很大程度上被忽视的问题，即利用多个增强样本的平均特征向量来评估由于训练和推理之间的差距而导致的次优性能结果。
作者设计了带有翻转损耗的FlipReID结构。对于使用FlipReID结构的模型，原始图像和翻转图像都用于训练。另外，引入翻转损失可以减小对应图像对特征向量间的均方误差。所得到的方法在流行的人员再识别数据集上获得了最先进的性能。
框架结构
基线法的总体结构
概述不同环境下的训练和推理程序:(a)基线法训练;(b) FlipReID方法的培训;(c)单图像推理;(d)使用双重图像的推理。
实验结果
对现有研究、作者的基线方法和作者的FlipReID方法进行性能比较。
结论
在本研究中，作者认识和研究了训练和推理在人再识别中的差距。以往的工作通常使用从原始图像及其水平翻转变异体中提取的特征向量的平均值进行推理。然而，在训练中优化模型时，这种均值特征向量并不存在。为了缩小差距，作者提出利用FlipReID结构与翻转损失。一方面，原始图像和翻转图像都被输入到带有FlipReID结构的模型中。另一方面，引入翻转损失使对应图像对的特征向量之间的均方误差最小。使用所提出的方法，无论是否启用测试时间增加，模型都能按照预期工作，并且解决了不一致性问题。这项研究的一个扩展是设计一个模块，学习聚合来自多个来源的特征向量，而不是计算平均值。
论文链接：https://arxiv.org/pdf/2105.05639.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。