趋势分析|清华大学AMiner大数据带你进入卷积神经网络的未来
AMiner全新功能技术趋势分析Trend analysis(http://trend.aminer.cn)基于AMiner 2亿篇论文数据进行深入挖掘,包括对技术来源、热度、发展趋势进行研究,进而预测未来的技术前景。
技术趋势分析描述了技术的出现、变迁和消亡的全过程,可以帮助研究人员理解领域的研究历史和现状,快速识别研究的前沿热点问题。
我们目前已发布了26期分析内容,具体如下:
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。由于卷积神经网络能够进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”。
对卷积神经网络的研究始于二十世纪80至90年代,时间延迟网络和LeNet-5是最早出现的卷积神经网络;在二十一世纪后,随着深度学习理论的提出和数值计算设备的改进,卷积神经网络得到了快速发展,并被大量应用于计算机视觉、自然语言处理等领域。
第一个卷积神经网络是1987年由Alexander Waibel等提出的时间延迟网络(Time Delay Neural Network, TDNN)。TDNN是一个应用于语音识别问题的卷积神经网络,使用FFT预处理的语音信号作为输入,其隐含层由2个一维卷积核组成,以提取频率域上的平移不变特征。
热度变化图
下面我们将用Trend analysis分析该领域内的研究热点。
(点击文末阅读原文或复制链接https://trend.aminer.cn/topic/trend?query=Convolutional%20Neural%20Networks至浏览器打开即可进入卷积神经网络趋势分析)
卷积神经网络长期以来是图像识别领域的核心算法之一,并在大量学习数据时有稳定的表现。对于一般的大规模图像分类问题,卷积神经网络可用于构建阶层分类器(hierarchical classifier),也可以在精细分类识别(fine-grained recognition)中用于提取图像的判别特征以供其它分类器进行学习。
所以我们可以通过Trend analysis的分析挖掘结果发现,当前该领域的热点研究话题如下:
feature extraction
speech recognition
face recognition
informationretrieval
object recognition
等等......
有意思的是,根据Trend analysis我们发现卷积神经网络相关的热门话题中出现了Fire Spread,即火势蔓延。
这是因为监测火势蔓延变化的最佳手段是遥感技术,而卷积神经网络在遥感科学,尤其是卫星遥感中有广泛应用。在解析遥感图像的几何、纹理和空间分布特征时,卷积神经网络在计算效率和分类准确度方面均有明显优势。
依据遥感图像的来源和目的,卷积神经网络被用于下垫面使用和类型改变研究以及物理量,例如海冰覆盖率的遥感反演。此外卷积神经网络被广泛用于遥感图像的物体识别和图像语义分割。
领域相关性最高的5位学者
Tara N. Sainath
Hang Li(李航)
Abdel-Rahman Mohamed
Yann LeCun
Xiaoou Tang (汤晓鸥)
相关性最高的5篇论文
卷积神经网络领域相关性最高的5篇论文如下(按目前引用量排名):
题目:ImageNet Classification with Deep Convolutional Neural Networks
会议/期刊:Volume 60, Issue 6, 2017, Pages 84-90.
年份:2017年
作者:AlexKrizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.
年份:2013年
作者:Matthew D Zeiler,and Rob Fergus.
题目:Large-ScaleVideo Classification with Convolutional Neural Networks
会议/期刊:CVPR,, pp. 1725-1732, (2014)
年份:2014年
作者:AndrejKarpathy, George Toderici, Sanketh Shetty, Thomas Leung, Rahul Sukthankar, andLi Fei-Fei.
会议/期刊:EMNLP, (2014): 1746-1751
年份:2014年
作者:Yoon Kim
会议/期刊:ACL, (2014): 655-665
年份:2014年
作者:NalKalchbrenner, Edward Grefenstette, and Phil Blunsom.
卷积神经网络除了被应用在图像识别领域和遥感科学领域外,还被广泛应用于物体识别、行为认知、姿态估计、神经风格转换、物理学、大气科学等领域。
其中,神经风格转换是卷积神经网络的一项特殊应用,其功能是在给定的两份图像的基础上创作第三份图像,并使其内容和风格与给定的图像尽可能地接近。神经风格转换除进行艺术创作外,也被用于照片的后处理。