【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

高效率(紧凑)的CNN模型设计是深度学习在工业界落地的关键,今天给大家推荐初学者必读的一些文章。

作者&编辑 | 言有三

1 小卷积的使用

VGG很大,但它使用的卷积很小。在保证具有同样大小的输出和感受野的前提下,任何奇数的大卷积都可以使用多个3*3卷积来替代,

两个3*3的卷积能代替一个5*5的卷积;参数比例为3×3×2/(5×5)=0.72。三个3*3的卷积能代替一个7*7的卷积,参数比例为3×3×3/(7×7)=0.55,将近一倍的压缩,简单而有效。虽然VGG不是小卷积的初次实践者,但从它开始了解是很好的起点。

文章引用量:60000+

推荐指数:✦✦✦✦✦

[1] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.

2 1*1卷积

1*1卷积就是将普通卷积核半径变为1的卷积,影响了之后几乎所有的模型,将这个1×1的特殊卷积用于通道的降维和升维,已经成为很多紧凑模型设计不可缺少的组件,毕竟模型的宽度(通道数)对计算量和参数量的贡献巨大。

文章引用量:4000+

推荐指数:✦✦✦✦✦

[2] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.

3 Inception/SqueezeNet

在VGG网络不能再通过加深得到进一步性能突破的时候,Inception[3]模型(又名GoogLeNet)使用了拥有不同感受野并行的多分支Inception结构,进一步加深了网络深度并有着更少的参数和更高的效率,成为当年的基准模型,其中起到关键作用的是1*1卷积。

随后,SqueezeNet[4]同样利用1*1卷积进行模型压缩,成为早期经典。

文章引用量:15000+

推荐指数:✦✦✦✦✦

[3] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.

[4] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.

4 Xception/MobileNet/ResNext

通道的分组是设计高效网络常见的思想,关于它的来源可有详见之前的文章,【AI不惑境】移动端高效网络,卷积拆分和分组的精髓

通道分组卷积的第一次大规模应用在Xception[5]中,在Mobilenet[6]中进一步发挥到极致,在Resnext[7]中也取得了很好的效果。如果你想了解更多的分组卷积的应用,就参考上述往期文章和有三AI知识星球吧。

文章引用量:2000+

推荐指数:✦✦✦✦✦

[5] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1251-1258..

[6] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.

[7] Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.

5 CReLU/DenseNet

卷积神经网络中的参数存在冗余,网络的宽度对于参数量和通道的贡献非常大,如何提高通道的利用率是一个很重要的课题。

CReLU[8]采用了非常简单的网络互补技巧,DenseNet[9]则使用了密集的通道互补策略,都是非常有效的方法。

文章引用量:5000+

推荐指数:✦✦✦✦✦

[8] Shang W, Sohn K, Almeida D, et al. Understanding and improving convolutional neural networks via concatenated rectified linear units[C]//international conference on machine learning. 2016: 2217-2225.

[9] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

6 其他资料

因为是每周论文阅读,就不给大家推荐太多文章(每周10篇左右)。对于更高效(紧凑)的模型设计,这里给出的文章仅仅是冰山一角。如果你对模型优化感兴趣,有三AI知识星球中有更多的内容。

7 如何获取文章与交流

找到有三AI开源项目即可获取。

https://github.com/longpeng2008/yousan.ai

文章细节众多,阅读交流在有三AI知识星球中进行,感兴趣可以加入。

总结

以上就是初次了解高效率模型设计需要读的文章,这是非常重要的一个方向,希望大家认真对待。下一次,我们将开始推荐计算机视觉各个方向的文章。

有三AI夏季划

有三AI夏季划进行中,欢迎了解并加入,系统性成长为中级CV算法工程师。

转载文章请后台联系

侵权必究

(0)

相关推荐