基于显著增强多模式池的图像成分评估 / 四六文摘

重磅干货，第一时间送达

小黑导读

论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。

摘要

图像构成评价是审美评价的重要组成部分，其目的是评价给定图像的整体构成质量。然而，据作者所知，并没有专门针对该任务提出数据集或方法。在本文中，作者提供了第一个合成评价数据集CADB，每个图像的合成分数由多个专业评分员提供。此外，作者还提出了一种具有显著增强多模式池(SAMP)模块的组合评估网络SAMP- net，该模块从多个组合模式的角度分析视觉布局。作者还利用成分相关属性进一步提高性能，并将地球移动距离(Earth Mover s Distance, EMD)损失扩展为加权EMD损失，以消除内容偏差。实验结果表明，与以往的审美评价方法相比，作者的SAMP-Net能够更好地进行审美评价，并提供建设性的构图建议。

论文创新点

本文的主要贡献如下:

1)作者提供了第一个图像合成评价数据集CADB，每个图像都有5个专业评分员标注的合成分数。

2)提出了一种基于显著增强多模式池(Saliency-Augmented multipattern Pooling, SAMP)模块的成分评估方法。

3)作者研究了辅助属性和加权EMD损失对成分评价的有效性。

4)作者的模型在作者的数据集上优于以往的美学评估方法，并为用户提供可解释的指导。

框架结构

作者SAMP-Net的整体管道用于成分评估

作者使用ResNet18[14]作为骨干网络。作者的显著增强多模式池(saliy - augmented Multi-pattern Pooling, SAMP)模块和注意属性特征融合(Attentional Attribute Feature Fusion, AAFF)模块的详细结构分别如图3和图4所示。