DL之Xception：Xception算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之Xception：Xception算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
相关文章
DL之Xception：Xception算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之Xception：Xception算法的架构详解
Xception算法的简介(论文介绍)
Xception即Extreme version of Inception。Xception是google继Inception后提出的对InceptionV3的另一种改进，主要是采用深度可分离卷积（depthwiseseparable convolution）来替换原来InceptionV3中的卷积操作。在基本不增加网络复杂度的前提下提高了模型的效果。但网络复杂度没有大幅降低。原因是作者加宽了网络，使得参数数量和Inception v3差不多。因此Xception主要目的不在于模型压缩，而是提高性能。
Abstract
We present an interpretation of Inception modules in convolutional neural networks as being an intermediate step in-between regular convolution and the depthwise separable convolution operation (a depthwise convolution followed by a pointwise convolution). In this light, a depthwise separable convolution can be understood as an Inception module with a maximally large number of towers. This observation leads us to propose a novel deep convolutional neural network architecture inspired by Inception, where Inception modules have been replaced with depthwise separable convolutions. We show that this architecture, dubbed Xception, slightly outperforms Inception V3 on the ImageNet dataset (which Inception V3 was designed for), and significantly outperforms Inception V3 on a larger image classification dataset comprising 350 million images and 17,000 classes. Since the Xception architecture has the same number of parameters as Inception V3, the performance gains are not due to increased capacity but rather to a more efficient use of model parameters.
摘要
我们将卷积神经网络中的Inception 模块解释为正规化卷积和深度可分离卷积操作(深度卷积之后是点卷积)之间的中间步骤。从这个意义上讲，深度可分离卷积可以理解为一个具有最大数量towers的Inception 模块。基于此，我们提出了一种新颖的深度卷积神经网络结构，该结构受到Inception的启发，Inception模块被深度可分卷积所取代。我们展示了这个被称为Xception的架构，它在ImageNet数据集上稍微优于Inception V3 (Inception V3是为ImageNet数据集设计的)，并且在包含3.5亿张图像和17,000个类的更大的图像分类数据集上显著优于Inception V3。由于Xception体系结构具有与Inception V3相同的参数数量，所以性能的提高不是由于容量的增加，而是由于更有效地使用了模型参数。
Conclusions
We showed how convolutions and depthwise separable convolutions lie at both extremes of a discrete spectrum, with Inception modules being an intermediate point in between. This observation has led to us to propose replacing Inception modules with depthwise separable convolutions in neural computer vision architectures. We presented a novel architecture based on this idea, named Xception, which has a similar parameter count as Inception V3. Compared to Inception V3, Xception shows small gains in classification performance on the ImageNet dataset and large gains on the JFT dataset. We expect depthwise separable convolutions to become a cornerstone of convolutional neural network architecture design in the future, since they offer similar properties as Inception modules, yet are as easy to use as regular convolution layers.
结论
我们展示了卷积和深度可分离卷积如何位于离散谱的两个极端，Inception 模块是两者之间的一个中间点。这一发现促使我们提出在神经计算机视觉结构中，用深度可分卷积代替Inception 模块。我们提出了一个基于这种思想的新架构，名为Xception，它的参数计数与Inception V3类似。与Inception V3相比，Xception在ImageNet数据集的分类性能上有小的提升，而在JFT数据集上则有大的提升。我们期望深度可分卷积在未来成为卷积神经网络架构设计的基石，因为它们提供了与Inception 模块类似的特性，但与常规卷积层一样易于使用。
1、Xception架构
- Xception架构，是具有残差连接的深度可分离卷积层的线性堆叠。
- SeparableConv，是修改后的深度可分离卷积。
1、论文使用的数据集
Dataset之JFT：JFT/FastEval14k数据集的简介、下载、案例应用之详细攻略
为了评估在JFT上训练的模型的性能，Xception算法的作者使用辅助数据集FastEval14k。FastEval14k是一个包含14,000个图像的数据集，具有约6,000个类别的密集标注（平均每个图像36.5个标签）。在这个数据集上，使用平均精度对前100个预测（MAP @ 100）评估性能，并且将每个类别对MAP @ 100的贡献加权，并评估该类别在社交媒体图像中的常见性（因此也很重要）。
此评估过程旨在捕获社交媒体上频繁出现的标签的性能，这对Google的生产模型至关重要。
论文
François Chollet.
Xception: Deep Learning with DepthwiseSeparable Convolutions, CVPR 2017.
https://arxiv.org/abs/1610.02357
Xception算法的架构详解
DL之Xception：Xception算法的架构详解
Xception算法的案例应用
后期更新……
1、DeepLabv3+采用修改的Xception架构
DL之DeepLabv3：DeepLab v3和DeepLabv3+算法的架构详解
更多内容参考博客搭积木般构建深度学习网络——Xception完整代码解析
深度学习之基础模型-Xception