【每周CV论文推荐】 初学高效率CNN模型设计应该读的文章
欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。
高效率(紧凑)的CNN模型设计是深度学习在工业界落地的关键,今天给大家推荐初学者必读的一些文章。
作者&编辑 | 言有三
1 小卷积的使用
VGG很大,但它使用的卷积很小。在保证具有同样大小的输出和感受野的前提下,任何奇数的大卷积都可以使用多个3*3卷积来替代,
两个3*3的卷积能代替一个5*5的卷积;参数比例为3×3×2/(5×5)=0.72。三个3*3的卷积能代替一个7*7的卷积,参数比例为3×3×3/(7×7)=0.55,将近一倍的压缩,简单而有效。虽然VGG不是小卷积的初次实践者,但从它开始了解是很好的起点。
文章引用量:60000+
推荐指数:✦✦✦✦✦
[1] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
2 1*1卷积
1*1卷积就是将普通卷积核半径变为1的卷积,影响了之后几乎所有的模型,将这个1×1的特殊卷积用于通道的降维和升维,已经成为很多紧凑模型设计不可缺少的组件,毕竟模型的宽度(通道数)对计算量和参数量的贡献巨大。
文章引用量:4000+
推荐指数:✦✦✦✦✦
[2] Lin M, Chen Q, Yan S. Network in network[J]. arXiv preprint arXiv:1312.4400, 2013.
3 Inception/SqueezeNet
在VGG网络不能再通过加深得到进一步性能突破的时候,Inception[3]模型(又名GoogLeNet)使用了拥有不同感受野并行的多分支Inception结构,进一步加深了网络深度并有着更少的参数和更高的效率,成为当年的基准模型,其中起到关键作用的是1*1卷积。
随后,SqueezeNet[4]同样利用1*1卷积进行模型压缩,成为早期经典。
文章引用量:15000+
推荐指数:✦✦✦✦✦
[3] Szegedy C, Liu W, Jia Y, et al. Going deeper with convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2015: 1-9.
[4] Iandola F N, Han S, Moskewicz M W, et al. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and< 0.5 MB model size[J]. arXiv preprint arXiv:1602.07360, 2016.
4 Xception/MobileNet/ResNext
通道的分组是设计高效网络常见的思想,关于它的来源可有详见之前的文章,【AI不惑境】移动端高效网络,卷积拆分和分组的精髓。
通道分组卷积的第一次大规模应用在Xception[5]中,在Mobilenet[6]中进一步发挥到极致,在Resnext[7]中也取得了很好的效果。如果你想了解更多的分组卷积的应用,就参考上述往期文章和有三AI知识星球吧。
文章引用量:2000+
推荐指数:✦✦✦✦✦
[5] Chollet F. Xception: Deep learning with depthwise separable convolutions[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1251-1258..
[6] Howard A G, Zhu M, Chen B, et al. Mobilenets: Efficient convolutional neural networks for mobile vision applications[J]. arXiv preprint arXiv:1704.04861, 2017.
[7] Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.
5 CReLU/DenseNet
卷积神经网络中的参数存在冗余,网络的宽度对于参数量和通道的贡献非常大,如何提高通道的利用率是一个很重要的课题。
CReLU[8]采用了非常简单的网络互补技巧,DenseNet[9]则使用了密集的通道互补策略,都是非常有效的方法。
文章引用量:5000+
推荐指数:✦✦✦✦✦
[8] Shang W, Sohn K, Almeida D, et al. Understanding and improving convolutional neural networks via concatenated rectified linear units[C]//international conference on machine learning. 2016: 2217-2225.
[9] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.
6 其他资料
因为是每周论文阅读,就不给大家推荐太多文章(每周10篇左右)。对于更高效(紧凑)的模型设计,这里给出的文章仅仅是冰山一角。如果你对模型优化感兴趣,有三AI知识星球中有更多的内容。
7 如何获取文章与交流
找到有三AI开源项目即可获取。
https://github.com/longpeng2008/yousan.ai
文章细节众多,阅读交流在有三AI知识星球中进行,感兴趣可以加入。
总结
以上就是初次了解高效率模型设计需要读的文章,这是非常重要的一个方向,希望大家认真对待。下一次,我们将开始推荐计算机视觉各个方向的文章。
有三AI夏季划
有三AI夏季划进行中,欢迎了解并加入,系统性成长为中级CV算法工程师。
转载文章请后台联系
侵权必究