NeurIPS 2020 | Glance and Focus: 通用、高效的神经网络自适应推理框架...
作者：清华大学自动化系直博二年级 王语霖
NeurlPS 2020 文章专题
第·3·期
NeurlPS 2020工作分享火热报名中...
投稿方式：
① 点击文末“阅读原文”
② 在公众号后台回复“投稿”查看详情
这项工作提出了一个通用于绝大多数CNN的自适应推理框架，将MobileNetV3的平均推理速度加快了30%，将ResNet/DenseNet加速了3倍以上，且在iPhone XS Max上的实际测速和理论结果高度吻合。此外，它的计算开销可以简单地动态在线调整，无需额外训练。
具体而言，我们将图像识别建模为序列决策过程，先将缩略图输入神经网络（Glance），再不断选择最关键的图像区域进行处理（Focus，利用强化学习实现），直至网络产生一个足够可信的预测结果时停止；对于简单和困难的样本分配不同的计算资源，以提升整体效率。
论文链接：
代码/预训练模型：
https://github.com/blackfeather-wang/GFNet-Pytorch
图1 Glance and Focus Network (GFNet) 效果图
1. Introduction （研究动机及简介）
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
图2 CNN计算量与图片长/宽的关系
在实际应用（例如手机APP、自动驾驶系统、图片搜索引擎）中，计算量往往正比于能耗或者时间开销，显然，无论出于成本因素还是从安全性和用户体验的角度考虑，网络的计算开销都应当尽可能小。那么，如何在保留高分辨率输入所带来的好处的同时，减小其计算开销呢？
事实上，我们可以借助神经网络的一个有趣的性质。与人类视觉相似，神经网络往往可以通过仅仅处理图像中与任务相关的一小部分区域而得到正确的结果，例如在下图中，遮挡住屋顶、飞鸟或花朵之外的部分，神经网络仍然可以得到正确的分类结果[6]：
图3 部分关键信息足以使神经网络做出可靠的判断
这便是本文所提出方法的出发点，我们的目标是，对于输入图片，自适应地找到其与任务最相关的区域，进而通过使神经网络只处理这些区域，以尽可能小的计算量得到可信的结果。具体而言，我们采用的方法是，将一张分辨率较高的图片表征为若干个包含其关键部分的“小块”（Patch），而后仅将这些小块输入神经网络。以下面的示意图为例，将一张224x224的图片分解为3个96x96的Patch进行处理所需的计算量仅为原图的55.2%。
图4 Glance and Focus Network (GFNet) 的基本建模方式
2. Method （方法详述）
(a) 任意给定一张输入图片，如何判断其与任务最相关的区域在哪里呢？
(b) 考虑到我们的最终目的是使神经网络得到正确的预测结果，不同输入所需的计算量是不一样的，例如对于下面所示的两个输入图片，神经网络可能仅需要处理一个patch就能识别出特征非常突出的月亮，但是需要处理更多的patch才能分辨出猫咪的具体品种。
图5 对于不同输入，应分配不同大小的计算资源
图6 Glance and Focus Network (GFNet) 的基本框架
2. 而后，我们再以这些基本的空间分布信息为基础，逐步从原图上取得高分辨率的patch，将其不断输入网络，以此逐步更新预测结果和空间分布信息，得到更为准确的判断，并逐步寻找神经网络尚未见到过的关键区域；这一阶段称为关注（Focus）。
值得注意的是，在上述序列过程的每一步结束之后，我们会将神经网络的预测自信度（confidence）与一个预先定义的阈值进行比较，一旦confidence超过阈值，我们便视为网络已经得到了可信的结果，这一过程立即终止。此机制称为自适应推理（Adaptive Inference）。
通过这种机制，我们一方面可以使不同难易度的样本具有不同的序列长度，从而动态分配计算量、提高整体效率；另一方面可以简单地通过改变阈值调整网络的整体计算开销，而不需要重新训练网络，这使得我们的模型可以动态地以最小的计算开销达到所需的性能，或者实时最大化地利用所有可用的计算资源以提升模型表现。
关于这些阈值的具体整定方法，由于比较繁杂，不在这里赘述，可以参阅我们的paper~
3. Network Architecture （网络结构）
下面我们简要介绍Glance and Focus Network (GFNet) 的具体结构，如下图所示。关于具体的训练方法，可以参阅我们的paper~
图7 Glance and Focus Network (GFNet) 的网络结构
全局编码器和局部编码器（Global Encoder and Local Encoder）为两个CNN，分别用于从放缩后的原图和局部patch中提取信息，之所以用两个CNN，是因为我们发现一个CNN很难同时适应缩略图和局部patch两种尺度（scale）的输入。几乎所有现有的网络结构均可以作为这两个编码器以提升其推理效率（如MobileNet-V3、EfficientNet、RegNet等）。
分类器（Classifier）为一个循环神经网络（RNN），输入为全局池化后的特征向量，用于整合过去所有输入的信息，以得到目前最优的分类结果。
图像块选择网络（Patch Proposal Network）是另一个循环神经网络（RNN），输入为全局池化前的特征图（不做池化是为了避免损失空间信息），用于整合目前为止所有的空间分布信息，并决定下一个patch的位置。值得注意的是由于取得patch的crop操作不可求导，PPN是使用强化学习中的策略梯度方法（policy gradient）训练的。
4. Experiments （实验结果）
budgeted batch classification，测试数据伴随有一个计算开销的预算（budget），网络需要在这个计算预算内进行推理。在此设置下，我们使用前面提到的方法，确定阈值（confidence threshold）并进行自适应推理。 anytime prediction，网络有可能在任何时候被要求立刻输出预测结果。在此设置下，我们不使用自适应推理技术，并假设所有测试样本的序列长度固定。
下图为我们在不同网络结构上实现GFNet的实验结果，其中横轴为网络的平均理论计算开销，纵轴为准确率，(a-e)为budgeted batch classification的结果，(f)为anytime prediction的结果。
可以看出，GFNet明显地提升了包括MobileNetV3、RegNet和EfficientNet在内的最新网络结构的推理效率，同等精度下，计算开销减小达30-40%以上，对于ResNet/DenseNet的增幅可达3倍甚至更高；同等计算开销下，对MobileNetV3提点2%左右，对ResNet/DenseNet达5-10%以上。
图8 GFNet基于不同CNN的实验结果（Accuracy v.s. Multiply-Adds）
GFNet的另一个显著优势是，由于其没有更改CNN的具体结构，其可以方便地在移动端或边缘设备上使用现有的工具部署，且享有和理论结果几乎等同的实际加速比。下图为我们在一台iPhone XS Max（就是我的手机）上基于TensorFlow Lite的测试结果：
图9 GFNet在一台iPhone XS Max上的实际测试结果（Accuracy v.s. Latency）
下面是GFNet的一些可视化结果，可以从中看出，对于比较简单的样本，GFNet可以仅在Glance阶段或Focus阶段的第一步以很高的confidence得到正确的结果，对于较为复杂的样本，则实现了以不断关注关键区域的形式逐步提升confidence。
5. Conclusion （结语）
最后总结一下，其实我本人是非常喜欢这项工作的，因为它非常的自然、通用、有效。一方面它很好地模拟了生物（或者说人）识别一张图片的过程，人眼对图像数据的认知事实上也是一个先扫视得出一些直觉信息、再逐渐关注关键区域的过程。另一方面GFNet的实际效果也非常显著，且能在目前最佳的一些模型上进一步提升理论计算效率，并加快实测速度。欢迎大家follow我们的工作~。
王语霖，清华大学自动化系直博二年级，导师为吴澄院士和黄高助理教授。此前于北京航空航天大学自动化科学与电气工程学院获工学学士学位。目前的研究兴趣为深度学习与计算机视觉，在NeurIPS 2019/2020以第一作者发表两篇学术论文。
参考资料：
[1] http://www.image-net.org/
[2] https://arxiv.org/pdf/2001.02394.pdf
[3] https://arxiv.org/pdf/1709.01507.pdf
[4] https://arxiv.org/pdf/1905.11946.pdf
[5] https://papers.nips.cc/paper/5542-recurrent-models-of-visual-attention.pdf
[6] https://arxiv.org/pdf/1910.08485.pdf