涨点技巧!小目标检测:数据增广
01
小目标检测困难的原因
造成小目标检测困难的原因主要有两个:1、小目标的实例较少,2、小目标标注面积占比小。
1.1 小目标实例较少
第一个问题小目标实例较少,作者以 MSCOCO 数据集为例进行分析,训练集中出现的所有目标中有 41.43% 是小的,而只有 34.4% 和 24.2% 分别是中型和大型目标,并在训练集中出现小目标图片约占一半,而 70.07% 和 82.28% 的训练图像分别包含中型和大型物体,如Table 2所示:
1.2 小目标标注面积占比小
当前检测器大部分的anchor匹配策略是以anchor和groud truth的IOU来划分正负样本,例如将 anchor 和 GT 匹配后,匹配 IoU≥0.5 的 anchor 会作为正样本参与训练(如下图所示)。然而这种匹配方式更倾向于大目标,会造成了小目标匹配少、大目标匹配多的不平衡性。
02
小目标检测的数据扩增方法
上面两个问题体现出了小目标的检测性能较差的原因之一是:训练数据中小目标的再现性较差,因此,作者提出对小目标样本进行 Oversampling(过采样),然后在对样本里的小目标进行 Copy-Pasting(复制粘贴),以此来提供足够的小目标来和 anchor 进行匹配,以此实现提高小目标检测的性能。
2.1 Oversampling
3、图像中所有的小目标在任意位置复制粘贴多次
03
实验结果
作者做了充足的实验验证了这种扩增方式对小目标性能的提升。首先作者将Baseline(Mask RCNN)与加入Oversampling进行对比,如Table 3 所示,可以看出 Oversampling 不管是在检测还是分割都有所提高,但可能对大尺度目标的检测效果有损害,因此需要根据实际数据进行调整,并不是越大越好。
3.2 Copy-Pasted
1、用Copy-Pasted后的图像代替原始的图像(表格中的第二行)
2、在上面方法的基础上使用Oversampling(表格中的第三行)可以发现,上述两个的结果相比于Baseline都比较差。
3、在测试的时候,不是在原始的测试集上了,而是用训练集上的Augmentation方法同样去处理Test数据集,性能获得了较大的提高。
作者认为出现这种情况是由于人工复制的不完美性导致的,例如粘贴的目标 mask 和 background 亮度差,这些相对容易被神经网络发现。采用augmentation and oversampling 相结合的方法,取得了较好的效果,augmentation的概率为 0.5,这使得原始目标和 augmented 的目标比例为 2:1。这种设置比单纯的 oversampling 效果更好,验证了所提出的粘贴小对象策略的有效性。
3.3 Copy-Pasted Strategies
04
总结