【隐创118期】基于卷积神经网络的海面目标检测方法研究（节选二）
编者按：
深度学习算法已被证明是图像与视频处理的强大工具，广泛应用于国防安全之中。在海洋环境中，光电传感器数据与人类智能技术的融合对于应对安全问题具有重要作用。例如，态势感知可以通过一个自动系统来增强，该系统可以生成关于舰船身份和目标特征的报告，并检测海军舰船活动的变化。迄今为止，各种研究已经开始使用舰船特征数据库来探索深度神经网络的性能。目前，技术人员研究了掩模区域卷积神经网络方法（Mask R-CNN），不仅解决了舰船检测的问题，而且获得了分割掩模。技术人员根据舰载传感器采集的数据对模型进行训练和验证，该传感器（摄像机）覆盖了各种天气和光线条件下的可见光范围。实验结果表明，该方法在具有挑战性的场景中具有较高的置信度，平均准确率为86.4%。然而，当舰船靠近捕获场景的边界时，分割掩模的精度会稍微降低。此外，在热图像上测试的网络表明检测和分割性能下降，因为训练数据分布不够有代表性。
关键词：舰船智能识别、深度神经网络、舰船检测、图像分割、海事领域感知
3.3舰船分割
在本小节中，技术人员展示了可视域中的结果和对Mask R-CNN网络应用的定量评估。图1左图描述了模型学习性能随回合次数的变化，其中回合表示所有训练示例的迭代（一次向前评估和一次后向灵敏度传递）。从图中技术人员观察到，学习曲线在Network heads训练阶段的第一阶段（epoch）以高速率下降，在中间微调阶段稳定，并且在后面的步骤中几乎没有下降。实验中的损失随着回合数量的增加而减少，这表明网络正在从输入数据中学习。在正式达到收敛之前，训练过程在有限的回合之后停止。然而，损失曲线几乎保持平坦，表明进一步学习或改善结果的可能性较小。
在图1（右）中，技术人员观察到Mask R-CNN方法在数据上表现良好，IoU=0.5时平均精度高达98%，即使IoU阈值较大（IoU为0.85时仍保持在80%以上），精度也在缓慢下降。此外，技术人员通过在所有IoU阈值上取平均AP来评估平均精度均值，在0.5：0.95的选定范围内，步长为0.05。技术人员获得了86.4%的平均精度均值，表明在技术人员的真实测试数据集上对象检测任务的良好性能。
技术人员从测试图像中给出一些检测和分割的例子，选择在各种类型的光线和天气条件下以及在复杂场景下记录的图像上研究该模型。由于图像中其他物体或表面导致的部分缺失，部分遮挡目标更难检测和进一步检查。例如，在图2.2a和b中，技术人员分析了由于两艘舰船的物理重叠或者当舰船的部分由于位置在场景之外而被隐藏时的遮挡。结果表明，当图像中存在遮挡或重叠时，该方法能够准确地检测出舰船。但当舰船靠近图像边界时，生成的合成像素掩模与目标不完全匹配。
此外，在使用光电数据进行海上监视时遇到的一个挑战是检测远处的物体并预测其大小和距离。这样的数据呈现出舰船大范围的尺度和纵横比特征，因此，从卷积层提取的特征可能仅对图像中的大物体敏感。此外，远处的舰船通常只在场景中的几个像素内显示。这使得很难将小舰船与图像中的其他物体（例如浮动物体）区分开来，如碎片、信标或浮标。从图2c所示的测试样本中，技术人员可以注意到该模型可以精确地预测远处舰船的分割掩模。
图 2 应用Mask R-CNN方法的定性结果
为了研究天气和光线条件对MaskR-CNN性能的影响，技术人员选择了不同的场景，如反映日落光线条件的大浪、尾流、薄雾和水波。图3显示了检测和分割结果。在所有情况下，神经网络在定位舰船区域方面表现出足够的性能。此外，除了检测之外，该模型还通过精确描绘舰船的形状来为每个舰船生成掩模（参见图3b、c、d）。然而，在图3a中，由于船的轮廓在图像边界附近没有被正确地检测到，所以掩模再次缺少像素精确的物体。此外，在图2c和图3d场景太阳角度在水面上引起各种斑点和闪烁效果，因此舰船看起来非常暗或呈黑色。尽管如此，Mask R-CNN模型能够定位物体实例，并确定舰船的准确轮廓形状。
3.4推广到新数据集
对于上面讨论的所有情况，训练数据分布代表技术人员对检测和分割任务感兴趣的测试图像。另一方面，作为下一步措施，技术人员进一步分析当前神经网络的适用性能力。为测试这种能力，技术人员从新加坡海事数据集（SMD）中选择了一些序列，并从技术人员自己的视频数据中选择了热红外光谱。结果如图4所示。网络在与训练过程中所见模型完全无关的数据上表现相对较好（图4a和4b，4e）。然而，技术人员注意到那艘船漏检或不完整检测和分割的情况比以前测试的图像更经常发生，见图4b-d和图4f。
图 3 在不同的海洋场景中应用Mask R-CNN方法的定性结果。第一列显示原始帧，而第二列和第三列显示图像上的框区和掩罩
图 4 对新加坡海事数据集（图a-d）和热图像（图e-d）应用Mask R-CNN方法
目前的数据集涵盖了各种海洋场景的可见光波段。可视化结果实例表明，该网络能够在复杂的海洋背景下准确定位和分割舰船。然而，当图像边界发生遮挡时，预测的像素级掩模的精度仍然存在一些限制。提高目标分割性能的一种常见方法是在进行目标跟踪的同时处理该任务。这样，两个视频目标问题解决了它们的困难并提高了其准确性。因此，跟踪方法利用了多帧背景，并通过采用目标运动的动态模型来处理遮挡。
此外，需要更多的数据来评估天气和照明条件对Mask R-CNN方法有效性的影响。当前数据集相对较小，场景中背景和舰船目标数量有限。实际上，从海洋环境中的视频监控获得的数据的可用性通常是有限的。因此，需要合成的训练数据和先进的增强技术来处理不同场景展示的缺乏。
在目前的研究中，技术人员证明了掩模法可以成功地用于分析真实世界的海洋场景。这种方法的一个主要优点是能够支持图像中舰船的检测和实例分割。技术人员使用来自舰载视频数据的标记帧来训练神经网络，以执行舰船检测和分割任务。技术人员注意到，预先训练的MS COCO权重提供了一个很好的训练起点，因为不需要对模型进行广泛的微调。总体而言，结果表明，MaskR-CNN模型在各种真实的复杂情况下产生高置信度得分。然而，当在不具代表性的数据样本上研究训练好的模型时，例如，在新加坡海事数据集或中波红外图像中，该模型在检测和生成掩模分割方面明显不够精确。
进一步的研究应该集中在红外领域的跟踪、图像检测和分割策略上。采用这种热图像分析能够在许多其他条件下实现更远距离的海上监视和舰船分割，例如夜间能见度、弱照度和恶劣天气。另一方面，是否有足够的数据集来训练深度神经网络仍然是一个令人关注的问题。为了使用可见光波段的图像来扩展热红外数据集的域覆盖，采用了各种程序。对于红外图像中的目标检测，研究了诸如通过在不同颜色系统中转换图像进行增强或者在RGB数据上训练的无监督模态自适应方法等技术。最后，结合可见光和热红外图像的信息，可以开发进一步的算法来生成关于舰船信息、目标特性、活动及行为的报告。