DL之AlexNet：AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略 / 四六文摘

DL之AlexNet：AlexNet算法的简介(论文介绍)、设计思路、案例应用等配图集合之详细攻略

相关文章
Dataset：数据集集合(CV方向数据集)——常见的计算机视觉图像数据集大集合(建议收藏，持续更新)
DL之CNN(paper)：关于CNN(卷积神经网络)经典论文原文(1950~2018)简介、下载地址大全(非常有价值)之持续更新(吐血整理)
DL之AlexNet：AlexNet算法的简介(论文介绍)、架构详解、案例应用等配图集合之详细攻略
DL之AlexNet：AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略

AlexNet简介

作者：AlexKrizhevsky、GeoffreyE.Hinton(多伦多大学)。AlexNet以巨大的优势(领先第二名10%的成绩)，在ILSVRC2012图像分类竟赛第一名，将top-5 错误率原来的25%降至16.4%。标志着深度学习革命的开始，掀起了深度卷积神经网络在各个领域的研究热潮。

1、采用的数据集

ImageNet ILSVRC-2010数据集：1.2 million图片1000类别。

2、论文

2012《ImageNet Classification with Deep Convolutional Neural Networks》
Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.
Imagenetclassification with deep convolutional neural networks. NIPS 2012.
论文地址：https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

AlexNet架构详解

DL之AlexNet：AlexNet算法的架构详解、损失函数、网络训练和学习之详细攻略

1、整体架构

网络配置：卷积神经网络网络架构：5个卷积层和3个全连接层。双CPU并行计算，在第三个卷积层和全连接层做信息交互。
网络规模：总共60 million个参数；650,000个神经元。在两个NVIDIA GTX 580 3GB GPU上训练需要5~6天。
架构组件与技巧：ReLU、Dropout、LRN(Local Response Normalization) 、Overlapping max pooling 、数据增强、双CPU训练

2、实验结果

ILSVRC-2010: top-1和top-5错误率分别为37.5%和17.0%
ILSVRC-2012: top-5错误率分别为16.4%
在整个ImageNet 2011数据集上预训练后的结果：ILSVRC-2012，top-5猎误为15.3%

(1)、ILSVRC-2010训练集上的结果比较

可知，远远好于传统手工提取的方法。

(2)、ILSVRC-2012验证集和测试集上的错误率比较

最后一个7个卷积层的网络错误率达到15.3%。

带星号*的是在整个更大的ImageNet 2011数据集(15M图像, 22K类别)上预训练后再微调的结果。

3、AlexNet网络所需算力

(1)、AlexNet的forward处理中各层的时间比：左边是使用GPU的情况，右边是使用CPU的情况。图中的“conv”对应卷积层，“pool”对应池化层，“fc”对应全连接层，“norm”对应正规化层。

图片来源：Jia Yangqing（2014）: Learning Semantic Image Representations at a Large Scale. PhD thesis, EECS Department, University of California, Berkeley, May 2014.

(2)、使用CPU 的“16-core Xeon CPU”和GPU的 “Titan 系列”进行AlexNet的学习时分别所需的时间