超能课堂：120Hz刷新率的手机屏幕虽好，但还需要插帧技术来帮忙

这两年，高刷新率屏幕除了在PC、笔记本端开始流行以外，在手机上也作为重要的卖点出现了，今年更是作为最新的流行趋势成为新一代热点，市场上不断涌现出屏幕刷新率为90Hz、120Hz的新手机。这块占据手机正面绝大比例的屏幕可以说是手机硬件的窗户，它直观地提供着更为流畅更为真实的画面，毫无疑问，高刷新率屏幕将会是未来手机的标配。而最近发布的Oppo Find X2 Pro和一加8系列手机上面除了将屏幕的刷新率提高到120Hz以外，还另外使用了名为MEMC的视频插帧技术，这是为什么呢？

与观看现实景物不同的是，我们通过屏幕看到的并不是“毫无间隔”的连续景象，而其实是一帧帧画面。这些画面在极短的时间内迅速地显现、消失，通过视觉残留现象让人脑误以为是连贯的。一般而言，单位时间内人眼看到的连续帧越多，我们对影像的主观感受即为更真实更自然，这也是高刷新率屏幕提升用户体验的核心要点。

举一个简单的例子，下面的这张动图很清晰地描述了不同帧率间的区别：

图片来自于Game N Meme

最左边以15fps运动的方块有明显的卡顿感，而最右边以60fps运动的方块则相当流畅。那这跟MEMC视频插帧技术有什么关系呢？我们平常看到的视频都是低帧率的吗？

高刷新率的屏幕需要高帧率的内容

是的，你答对了。我们平常看到的网络视频，或者是在电影院里看到的电影等等大多都是以24、25或30fps呈现的，少数内容会以60fps的形式出现，他们有什么区别呢？仔细观看下面这张动图中的篮球，是不是觉得最右边的篮球不管怎么动都很清晰，而最左边的在下落时是模糊的？对了，这就是高帧率视频最为直观的好处，即使视频内容中的主体在高速运动，它也能让你看清楚细节。

图片来自于reneelab.com

既然高帧率视频有这样的好处，那为什么我们现在的视频还都是24、25或30fps的呢？这是由历史原因造成的。

回想一下你在各种地方见过的电影、电视剧或是各种家庭录像，是不是很少见到以60fps形式呈现的，尤其是电影，基本上全部都是24fps的。电影工业在上个世纪三十年代将拍摄与播放的帧率统一成了24fps，而后电视广播系统有的用25fps（PAL），有的用30fps（NTSC），这些上个时代的制作方式一直被保留了下来，虽然近期在影视行业内部也有不少换用高帧率制作的制作人和作品，但对于大局并没有产生太大的影响，未来很长一段时间内低帧率的影视内容仍然将占据绝对主流。

跟随着影视行业脚步成长起来的网络视频和短视频制作行业自然也是遵从着前人们的经验，沿用着低帧率制作手法。但随着移动互联网以及智能设备的发展，内容与设备硬件能力之间的矛盾逐渐显现出来了：手机屏幕的刷新率已经往90Hz，甚至120Hz去了，而我们日常观看到的视频内容中只有少部分采用了60fps，大部分仍然停留在低帧率基准上，我们在观看视频时没能用上硬件的能力，岂不是有些浪费？

原因还是像上面所说的，短时间内并不会有很多内容创作者切换去制作高帧率内容，而是逐渐地使用以高帧率为基准的制作手法，这将是一个相当漫长的过渡过程。在这个漫长的过渡期中，我们只好用一些过渡手段，比如说，我们自己来造高帧率的内容，怎么造呢？这时候就要请出在电视和PC上面已经有较为成熟应用的插帧技术，它可以对低帧率内容进行补充，让它“升级”成高帧率的。这项技术需要一定量的计算，可以由CPU做通用计算完成，也可以将计算任务交给专门的插帧芯片来处理，而随着半导体工艺的进步，专门的插帧芯片已经可以做进手机，于是，我们在今年看到了OPPO和一加将硬件插帧这套解决方案集成进新机型中，在手机端达成了对视频进行插帧这样的目标。

插帧技术的简要原理

说了那么多，我们还是简单地讲一讲插帧技术是什么，以及它的实现原理。插帧的意思就是往原本连贯的两帧图像之间插入新的帧，这个帧可以是重复之前帧的复制帧，可以是全黑的黑帧，也可以是通过计算得到的介于两帧之间的中间帧。插重复帧和插黑帧都是比较简单的插帧手法，两者都能解决视频帧率不够的问题，但是效果一般，其中前者比较常见，PC上有些视频播放器会自动在播放帧率不够60Hz的视频时插入复制帧以达成同步。而插黑帧则是在减少拖影，改善动态画面等方面有着更好的表现，但是会让显示器/电视牺牲掉一定的亮度。

而最后一种插帧方法——插入中间帧——就需要通过计算来产生了，目前的中间帧一般都是通过运动预测与补偿（MotionEstimation/MotionCompensation）算法来计算得到的，它可以是对图像进行全局分析进行计算，也可以是先将图像进行分块然后再计算。

如果有读过《超能课堂(220)：数字视频编码的发展历程》的读者可能在这里就发现，诶这个运动预测与补偿很眼熟啊，不是在视频编码中大规模应用了吗？是的没错，插帧中的运动预测与补偿算法逻辑跟视频编码中所使用的算法有点像，常见的插帧算法同样是将画面分成一定大小的块，然后通过比对两帧之间的差异寻找出现运动的块，通过分析图像块的运动趋势，再辅以计算得到中间帧。

这里拿了H.264编码的区块运动分析图做例子，上面是I帧，下面是相邻的P帧，P帧基于I帧做的运动分析

比如我们拿自家的视频举个例子，这两帧是相邻的，补帧算法通过对画面进行分区块分析，得到了区块在两帧之间的运动趋势，在这里我们可以看到Sam的头部和手部的区块有较多描述区块运动的矢量箭头（下图），而画面其他位置的区块并没有发生明显的运动。那么针对这些发生了运动的区块，算法在明确了它们的运动距离和方向后就可以计算出在额外的中间帧上这些区块应该处于哪个位置，最终，我们便可以得到插入在原有两帧中间的额外帧，而重复这个过程，我们得到的视频帧率就是原来的两倍。

插帧技术已经来到我们身边

在登陆手机之前，插帧技术已经在我们身边的一些电子设备上面有应用了，其中效果比较好且比较常见的就是各种电视机，比如索尼在旗下电视机中引入的Motionflow技术就是其中的代表。

图片来自于Sony

从示意图上可以看到，Motionflow技术将插黑帧与插中间帧相结合，实现了将原本帧率为60fps的输入源插帧到240fps的特性。应用在电视机上面的插帧技术有效减少了拖影，提高了动态清晰度，提升了人们观影时的体验。现在很多电视机厂商都已经引入类似Motionflow的插帧技术了，比如国内的一些互联网电视品牌都将该技术作为一大卖点来宣传。

而在PC端上面，插帧技术也早已被人们应用，甚至AMD直接将这类技术扶正，由显卡硬件提供相关支持，也就是Fluid Motion Video。因为有官方的支持，它便利好用效果不错，被不少玩家所赞誉，可惜目前新一代的RDNA架构暂时还不支持该特性。还有像Smooth Video Project（SVP）这样的插帧软件，能够充分利用PC硬件算力对视频进行插帧。

总而言之，对视频内容进行插帧的目的就是提高视频的流畅度，那么它是否能够让我们在看视频的时候体验到更为舒适的观感呢？

那么，这些插帧技术能否有效提升我们的视觉体验呢？

我们用几个例子对比一下低帧率视频与高帧率视频的区别（请切到最高画质观看），第一个是我之前使用Adobe Premiere Pro的光流法制作的60fps视频，原始视频的帧率为30fps。

60fps版本：

30fps版本：

在上面的例子中，插帧技术的表现相当不错，原本帧率为30fps的动画PV在被插帧后显得流畅了很多，而且没有出现明显的瑕疵。

我们再来看一个明基做的对比片段：

前半部分由于镜头运动速度并不快，可能差异并不明显。但后面的滚动字幕则是有明显的差异，左边开启插帧的字幕表滚动非常平滑，没有明显的拖影，而右边没有插帧的字幕表在滚动时出现了较为明显的拖影。

而在另一个例子中，你会在部分场景中看到明显的瑕疵。

看完对比的同学应该会在60fps部分中看到了一些不自然的场景，这些场景中出现了伪影、撕裂等等瑕疵。是的，基于MEMC的插中间帧算法在高速运动场景或是复杂场景中的表现还不能说是完美，但在相对稳定的场景中，它能够带来较大的观感提升，比较明显的区别就是画面不再有明显的顿卡感。

高帧率是星辰大海

如果高帧率是星辰大海，那么插帧技术就是我们冲向这片大海的冲锋艇。由于影视行业的转向还很漫长，短时间内我们需要通过插帧的手段来“提前”感受高帧率视频的好处，除了传统的基于MEMC的插帧算法外，现在业界还在研究基于人工智能的插帧技术，以弥补传统插帧算法在复杂场景下会出现的缺陷问题，比如由上海交大Bao Wenbo博士等人研发出来的DAIN（Depth-Aware Video Frame Interpolation）插帧算法就利用上了神经网络。

Depth-Aware视频插帧算法的神经网络架构

这些新的由深度学习提供支持的算法已经得到了广泛的应用，上至百年前的电影，下至近几年的新片，它都能够很好地应对，比如我们之前就介绍过有人将百年前的《火车进站》插帧至60fps，其中使用的正是上面介绍过的DAIN算法，其实际效果还是相当优秀的。

高帧率俨然已经成为时代新声，不管是高刷新率屏幕还是高帧率内容，都是人们在追求的新鲜玩意儿。在这个天天对着屏幕看的数字时代，高帧率应用直接有效地提升着我们使用设备时的体感，让眼睛看到的景象更为自然合理。原本我们在电视或PC端才能够体验到由插帧技术补足的视频内容，现在随着硬件插帧功能被手机集成，我们在手机端也能够享受到它在视觉体验上面带来的巨大提升，每时每刻都可以体验到60帧甚至120帧的影视内容，可以说是大大降低了体验高帧率内容的门槛，让那块高刷新率屏幕物有所值。

毫无疑问，插帧技术走入手机是一件好事，因为好的技术需要被大范围的推广开来为普通用户所知，才能成为真正优秀的技术。如果说之前的插帧技术是小众玩物的话，那么在手机厂商的推动下，它有望变成一项大众技术，被更多人感知到，在视觉层面上提供更好的体验，受益的，是每天都要用手机进行娱乐的我们。同时，插帧技术的流行也能够让更多内容创作者选择制作原生高帧率的内容来满足新时代用户们的新需求。