ICML杰出论文发布！北理工学子获奖
作者：Haggai Maron, Or Litany, Gal Chechik, Ethan Fetaya
机构：NAVIDA 实验室，斯坦福大学，巴伊兰大学
简介：无序集学习是一种基本的学习方式，近年来受到越来越多的关注。这方面的研究主要集中在集合的元素由特征向量表示的情况下，而对于集合元素本身遵循其自身对称性的常见情况则关注得较少。这种情况与许多应用相关，从去模糊图像突发到多视图三维形状识别和重建。本文提出了一种学习一般对称元素集的原则性方法。作者首先刻画线性层的空间，这些层与元素的重新排序和元素固有的对称性都是等变的，比如图像的平移。作者进一步证明由这些层组成的网络，称为对称元素层的深集（Deep set for Symmetric elements layers，DSS），是不变函数和等变函数的通用逼近器。DSS层也很容易实现。最后，在一系列的图像、图形和点云实验中，作者证明了它们比现有的集合学习体系结构有了很大的改进。
Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems
机构：北京理工大学，剑桥大学
简介：即插即用（PnP）是一个非凸的框架，它将 ADMM 或其他近端算法与先进的去噪器优先级相结合。近年来，PnP 取得了巨大的实验成功，尤其是结合了基于深度学习的去噪器。然而，基于 PnP 的方法的一个关键问题是它们需要手动调整参数。在不同的成像条件和不同的场景内容方面，有必要获得高质量的结果。在这项工作中，作者提出了一个无需调整的 PnP 近似算法，它可以自动确定内部参数，包括惩罚参数、去噪强度和终止时间。该方法的一个关键部分是建立一个用于参数自动搜索的策略网络，该网络可以通过混合无模型和基于模型的深度强化学习进行有效学习。通过数值实验和可视化实验，我们证明了所学习的策略可以为不同的状态定制不同的参数，并且通常比现有的手工制定的准则更有效。此外，作者还讨论了插入式去噪器的实际考虑，这与所学的策略一起产生了最先进的结果。这在线性和非线性示例性逆成像问题中都很普遍，特别是，在压缩传感 MRI 和相位恢复方面显示了有希望的结果。
Efficiently Sampling Functions from Gaussian Process Posteriors
机构：伦敦帝国理工学院，圣彼得堡国立大学，圣彼得堡俄罗斯科学院斯特克洛夫数学研究所，伦敦大学学院
简介：高斯过程是许多真实世界建模问题的黄金标准，尤其是在模型的成功取决于它忠实地表示预测不确定性的能力的情况下。这些问题通常作为更大框架的一部分存在，其中感兴趣的数量最终通过对后验分布的积分来定义。这些量通常很难处理，这促使人们使用蒙特卡罗方法。尽管在将高斯过程扩展到大型训练集方面取得了长足的进展，但是从其后验分布精确地生成绘图的方法仍然是在测试位置的数量上按立方体进行缩放的。我们确定了高斯过程的分解，通过从数据中分离出先验信息，自然地有助于进行可伸缩的采样。基于这种因式分解，我们提出了一种易于使用和通用的快速后验抽样方法，它与稀疏近似无缝配对，以在训练和测试时提供可伸缩性。在一系列旨在测试竞争采样方案的统计特性和实际结果的实验中，我们演示了解耦的采样路径如何以比通常成本低一小部分的成本准确地表示高斯过程后验。
作者：Mark Chen, Alec Radford, Rewon Child, Jeffrey K Wu, Heewoo Jun, David Luan, Ilya Sutskever
机构：OpenAI
简介：受自然语言无监督表征学习进展的启发，作者研究了相似模型是否可以学习有用的图像表示。作者训练一个序列变换器来自回归预测像素，而不需要加入 2D 输入结构的知识。作者发现，尽管训练分辨率很低且未标注的 ImageNet 图片，但作者发现以线性探测、微调和低数据分类来衡量时，GPT-2 尺度模型学到了很强的图像表示。在 CIFAR-10 上，作者使用线性探针实现了 96.3% 的准确率，优于监督的宽 ResNet，以及 99.0% 的准确率（完全微调），与顶级的监督预训练模型相匹配。在 ImageNet 和 web 图像的混合训练下，一个更大的模型与 ImageNet 上的自监督基准相比具有竞争力，在本文提出的特征的线性探针上达到了 72.0% 的顶级精度。
作者：Niranjan Srinivas, Andreas Krause, Sham Kakade, Matthias Seeger
机构：加州理工学院，宾夕法尼亚大学，萨尔兰大学
简介：许多应用程序需要优化一个未知的、有噪声的函数，该函数的计算代价很高。作者将此任务形式化为一个多武装 bandit 问题，其中支付函数要么是从高斯过程（GP）采样，要么是具有低 RKHS 范数。我们解决了这个重要的开放性问题，即推导此设置的遗憾界，这意味着 GP 优化的新的收敛速度。我们分析了一种直观的基于上置信度的算法 GP-UCB，并从最大信息增益的角度限制了它的累积遗憾，建立了 GP 优化与实验设计之间的新联系。此外，通过算子谱对后者进行定界，我们得到了许多常用协方差函数的显式次线性遗憾界。在一些重要的情况下，我们的边界对维数的依赖性非常弱。在我们对实际传感器数据的实验中，与其他启发式 GP 优化方法相比，GP-UCB 具有更好的性能。
ICML 官方给出的评价为：“本文通过对高斯过程 bandit 优化的分析，将 Bayesian 优化、bandits 和实验设计等领域结合起来，提出了一种基于互信息增益量的有限样本后悔界的新方法。这篇论文在过去十年中产生了深远的影响，包括方法本身、所使用的证明技巧和实际效果。这些都丰富了我们的社会，激发了从理论到实践的无数后续作品的创造力。”
1 “本文的研究结果影响了现代深度学习系统中当前的超参数搜索方法，并且该算法甚至在十年后仍然是一种流行的获取算法。最近的论文中引用了本文的定理和引理，并且他们的研究成果是在后续论文中借用的。从文本的技术深度和影响力来看，这篇论文明显脱颖而出。”