机器学习论文推荐｜Evolving Normalization-Activation Layers
本文第一作者及通讯作者为本科毕业于清华大学，博士毕业于卡耐基梅隆大学，现工作于 Google Brain 的刘寒骁。值得一提的是，刘寒骁也是 DARTS: Differentiable Architecture Search 的第一作者，这篇论文对于神经网络结构搜索（NAS）的搜索成本研究有了突破性的进展，也让 NAS 领域中的 gradient-based 方法变得更加流行。
今天为您推荐的论文为 Google Brain 和 DeepMind 团队于 4 月 28 号挂在 arXiv 上的论文 Evolving Normalization-Activation Layers ，作者为 Hanxiao Liu， Andrew Brock，Karen Simonyan，Quoc V. Le .
Evolving Normalization-Activation Layers 的中心思想也是借助于搜索的方法来探寻最优的 Normalization-Activation Layers。Normalization Layers 和 Activation Layers 是深度神经网络的关键组件。近些年来有很多重要的研究工作致力于对两者的分别独立的设计，比如单一的设计 Normalization Layers （Batch Norm，Group Norm， Instance Norm，Layer Norm 等等）或者单一的设计Activation Layers （ReLU，Sigmoid， Tanh，Swish 等等），都取得了相应的进展。然而，不同于传统地将这两者分别设计，此研究是第一个将两者合为一个整体的计算图来自动设计（automatically co-design）的工作。
如下图所示，此研究从一些最底层的基元（primitives）结构出发，通过这些基于的不同组合构成了很多不同的 Normalization-Activation Layers。再通过演变的搜索方法来不断的淘汰表现不良的组合，并保留表现良好的组合。最后，演化算法搜索出了全新的 normalization-activation layers，并将之命名为 EvoNorms。
EvoNorms 有两种系列：B 系列（需要 Batch 的统计信息）和 S 系列（需要 Sample 的信息），如图所示给出了 EvoNorm-B0 和 EvoNorm-S0 的表达公式。
EvoNorm-B0 的分母的实际意义是选取 Batch Norm（BN）和 Instance Norm 表现更强的一个，下图是 EvoNorm-B0 对于 MobileNetV2 在 ImageNet 上的表现结果，相对于 BN-ReLU，它可以一致的提高 1～2 个百分点的精度。
不同于 B0，EvoNorm-S0 是不需要 batch statistics 的。它的分子实际上是 Swish，分母代表的是 Group Norm（GN）信息。如下图所示：
EvoNorm-S0 相对于 BN-ReLU 和 GN-ReLU 精度更高，且精度不受 batch size 的影响。
总的来说，实验结果显示 EvoNorms 不仅能够在多种图像分类模型（包括 ResNets, MobileNets and EfficientNets 等）中取得较好的精度，而且可以很好地转移到实例分割（包括 Mask R-CNN, SpineNet 等）和图像合成（例如 BigGAN）。在这些问题的解决上，EvoNorms 的结构明显优 BatchNorm 和 GroupNorm。
认真研读本篇论文的读者就会发现，虽然 EvoNorms 取得了更好的精度，但是这些精度的提高取决于对一些 hyperparameters 的优化。另外，笔者认为 EvoNorms 在 inference 上的执行时间可能会增加。