NeurIPS 2017 论文在2018年的引用量排名揭晓，第一名并非最佳论文奖
正如大家所知，NeurIPS是机器学习领域的顶级会议，在中国计算机学会的国际学术会议排名中，NeurIPS为人工智能领域的A类会议，国外甚至有很多高校已经把 NeurIPS论文的发表数量当做是接收本科生申请研究生的门槛了。本文统计了2017年在NeurIPS上发表的约679篇论文，下表例举了在2017.12—2018.12这期间引用量超过了100的论文，一共19篇。（统计时间：2018年12月18日）论文名引用量Attention Is All You Need934Improved Training of Wasserstein GANs830Dynamic Routing Between Capsules358Self-Normalizing Neural Networks317Unsupervised Image-to-Image Translation Networks296PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metric Space254What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?209Prototypical Networks for Few-shot Learning.203Inductive Representation Learning on Large Graphs.195A simple neural network module for relational reasoning.195Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments.145Hindsight Experience Replay.131GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium.127Understanding the Effective Receptive Field in Deep Convolutional Neural Networks.124One-Shot Imitation Learning.121LightGBM: A Highly Efficient Gradient Boosting Decision Tree.118Dual Path Networks.111The Marginal Value of Adaptive Gradient Methods in Machine Learning.108Spectrally-normalized margin bounds for neural networks.102下面为大家简要概述引用量排名前3的论文。Attention Is All You Need《Attention Is All You Need》这篇论文提出了一种新的简单网络架构，transformer，仅基于注意机制，彻底免除了循环和卷积神经网络。两个机器翻译任务的实验显示了这些模型质量优越，同时可以更加并行化并且需要更多训练的时间减少了。论文中的模型在WMT 2014英语 - 德语上达到28.4 BLEU翻译任务，改进现有的最佳成果，包括集成学习结果，超过2 BLEU。由于改进了翻译质量和其他NLP任务，该文的Transformer架构自发布以来获得了很大的关注。哈佛大学的NLP研究小组曾发布了一篇帖子，该文章以逐行实施的形式呈现了该论文的注释版本。它附带了400行库代码，用PyTorch以笔记本的形式编写，可以从github或Google Colab上使用免费的GPU访问。链接：http://nlp.seas.harvard.edu/2018/04/03/attention.htmlImproved Training of Wasserstein GANs《Improved Training of Wasserstein GANs》一文中，研究者们提出了一种替代权重剪枝实施Lipschitz约束的方法：惩罚critic对输入的梯度。该方法收敛速度更快，并能够生成比权重剪枝的WGAN更高质量的样本。WGAN的critic函数对输入的梯度相比于GAN的更好，因此对生成器的优化更简单。另外，WGAN的值函数是与生成样本的质量相关的，这个性质是GAN所没有的。该文提供了一种训练GAN的稳定的算法，能够更好的探索哪种架构能够得到最好的生成模型性能。该方法也打开了使用大规模图像或语言数据集训练以得到更强的模型性能的大门。代码链接：https://github.com/caogang/wgan-gpDynamic Routing Between Capsules《Dynamic Routing Between Capsules》引入了一个新的构建块，可用于深度学习，以更好地模拟神经网络内部知识表示内的层次关系。Hinton和他的团队提出了一种方法来训练这样一个由Capsules组成的网络，并成功地在一个简单的数据集上训练它，实现最先进的性能。也许有人会觉得这个想法非常简单，为什么以前没有人能想出来？事实是Hinton几十年来一直在思考这个问题。没有出版物的原因仅仅是因为之前没有技术方法可以使它发挥作用。其中一个原因是在2012年之前，计算机处在一个不够强大的基于GPU之前的时代。另一个原因是没有算法允许实现并成功学习Capsules网络（以同样的方式实现人工神经元自1940年代以来就存在，但直到1980年代中期才出现反向传播算法并允许成功训练深度网络）。