文章:Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network摘要:与大物体相比,遥感图像中的小物体检测性能并不理想,尤其是在低分辨率和嘈杂的图像中。一种基于生成对抗网络(GAN)的模型,称为增强超分辨率GAN(ESRGAN),具有出色的图像增强性能,但是重建的图像通常会丢失高频边缘信息。因此,物体检测性能在恢复的噪点和低分辨率遥感影像上显示出小目标物体的退化。受边缘增强GAN(EEGAN)和ESRGAN成功的启发,本研究使用了一种新型的边缘增强超分辨率GAN(EESRGAN)来改善遥感图像的质量,并以端到端的方式使用了不同的探测器网络,将检测器损耗反向传播到EESRGAN中,以提高检测性能。研究人员提出了一种包含三个组件的体系结构:ESRGAN,EEN (边缘增强网络)和检测网络。对于ESRGAN和EEN,使用了RRDB(残差密集块),对于检测器网络,我们使用了更快的基于区域的FRCNN(两阶段检测器)和SSD(一级检测器)。在相关数据集上进行的大量实验表明,该方法具有出色的性能。研究背景及问题:遥感图像目标检测在环境监管、监视、军事、国家安全、交通、林业、油气活动监测等领域具有广泛的应用前景,然而,目前的目标检测技术对于包含噪声和低分辨率的遥感图像而言,尤其是对于图像中的小目标,其检测效果并不理想,即使在高分辨率图像上,对小目标的检测性能也远低于对大目标的检测性能。其次,大面积高分辨率影像的成本较大,许多组织正在使用高分辨率的卫星图像来实现其目的,例如当出于监管或交通目的连续监视大区域时,频繁购买高分辨率图像的成本很高,这对于一个经常更新的大区域来说是非常昂贵的。因此,需要一种解决方案来提高低分辨率图像中较小目标的检测精度。研究贡献:研究人员提出的体系结构由两部分组成:EESRGAN网络和检测器网络。该方法受到EEGAN和ESRGAN网络的启发,研究人员采用了一个生成子网络、一个鉴别子网络和一个边缘增强子网络作为SR(超分辨率)网络。对于生成器和边缘增强网络,研究人员使用RRDB。这些块包含多层的、连接密集的残差网络,具有良好的图像增强性能。研究中使用相对论鉴别器而不是普通鉴别器。除了GAN损失和鉴别器的损失外,还将Charbonnier损失用于边缘增强网络。最后,使用了不同的检测器从SR图像中检测出小的物体。当将检测损失反向传播到SR网络中时,检测器的作用就像鉴别器,因此提高了SR图像的质量。数据集:研究人员根据卫星图像(Bing地图)创建了OGST(油气储罐)数据集,该数据集的GSD为30 cm和1.2 m。数据集包含来自加拿大阿尔伯塔省的带标签的油气储罐,研究人员在SR图像上检测到了这些储罐。储罐的检测和计数对于阿尔伯塔省能源监管机构至关重要,以确保安全,高效,有序和环保负责任地开发能源。除了OGST数据集外,研究人员还将方法应用于COWC数据集(Cars Overhead with Context),以比较不同用例的检测性能。对于两个数据集,该方法均优于独立的最新研究结果。研究过程:本文旨在提高遥感图像上小目标的检测性能,作者提出了一种端到端网络结构,其由两个模块组成:基于GAN的SR网络和检测网络,整个网络以端到端的方式进行训练。其中,基于GAN的SR网络有三个组成部分:生成器、鉴别器和EEN。该方法利用端到端训练,将检测损失的梯度从检测板反向传播到生成器中,因此,检测器也像鉴别器一样工作,促使发生器产生与地面真实相似的真实图像。整个网络结构可以分为两部分:由EEN构成的生成器,由DRa和检测器网络构成的鉴别器。