100年前的vlog长什么样？AI技术修复照片有多神奇？
2020-05-18 23:08 印客美学
最近一位28岁的网友大谷利用AI程序修复了一部百年前记录北京人日常生活的影片。
“一旦有了颜色，对影像的理解也就完全不一样了。”
视频中原本色彩单调轮廓模糊的人影经过修复后变得面目清晰，动作流畅，加上后期逼真的音效，瞬间带着观众穿越回1920年的北京。
一百年前的vlog
时光随着影片回溯到100年前的北京，那时的人们穿着旧式的服装，有的坐着轿子、人力车，有的骑马或者是步行出入于城门间。
而在城中的集市上，众人穿梭其间，路边摊的小吃生意也是红红火火，巷子里的普通老百姓生活也是寻常的见面打招呼。
有细心的网友看后称以前的人们打招呼就像萝卜蹲，而且男女打招呼的方式还有些差别。
影片的最后则是一幅俯瞰北京城的画面，街道上依然是熙熙攘攘的路人，和如今的北京相比却多了一份历史的厚重感。
不过作为观者看来，修复后百年前北京影像，上色稍有失真，人物面色发黄且颜色在或明或暗的变化，特别是服饰部分，衣角边襟部位发红或发黄，相比于修复之前的旧片，画面的确是清晰了许多，但也并没有面部轮廓清晰的镜头展示。
不过在现今能够达到的AI修复技术而言已算是一个不错的修复实例。
“高清”像素，如何产生？
“帧数修复”是大谷在100年前北京影像的介绍中提到的一个词，那么由此可以联想到照片的“高清”的产生。
我们现在在网上看到的照片，大多都是由相机、扫描仪等设备捕捉画面生成的数字图像，因为照片对色彩丰富程度的要求很高，所以通常会以位图的形式进行储存和传播。
（左图为低清图像，中间为算法生结果，右图为对应的高清图像）
这类图片显示的基本单位就是我们通常所说的像素，每个像素都有对应的颜色值，这种显示方式可以使图像看上去更加还原、逼真。
将原图放大后看到的一个个“马赛克”就是组成图像的像素，因此，一张图像含有的像素数量的多少直接决定了图像的精细程度，也就是我们常说的分辨率，分辨率越高，图像中显示的像素越多，画面也更加清晰。
神奇的AI！
老的影像作品，受到当时冲印技术的限制，加之在保存过程中会有褪色、霉变和磨损等一系列问题，导致照片中的高光或暗部细节消失，扫描成数字图像时又会产生一部分的损失，多种原因造成了我们在网上看到的老照片清晰度不够。
AI对图像的处理和修复，主要包括人像特征补全和黑白照片上色。
（修复后的慈禧太后照片，昔日的娘娘风韵犹存）
传统图像修复的技术基础是扩散方法，利用这种方法构建缺失部位的像素时，会尽量保持重建部分和周围像素点的一致性，利用待修补区域的边缘信息对缺失的像素进行估测。
（破损照片修复前后）
不过，如果遇到图像待补全的缺失部分很大的情况，传统的方法就会失效，此时就需要AI发挥自己合理的“想象力”来对照片进行补全。
比如，大谷就对100年前北京影像进行了补帧，调整了分辨率倍增部分，在上色也运用了一些处理技术，此外还做了一些老电影降噪处理。
AI都做了什么？
AI为旧片“上色”这要归功于它强大的学习能力，基于生成对抗网络（GAN）的深度学习（DL）算法已经证明了计算机视觉任务在图像恢复方面的巨大潜力。
GAN现在受到工业界广泛的关注。
有许多做人工智能研究的公司正在投入大量的精力来发展和推广GAN模型。鉴于GAN在外行人眼里比较难以理解，于是有网友用了一个比喻来解释这个原理：
如果用足球运动来进行比喻GAN的原理：在GAN框架中，将生成模型G比喻球员的“假摔”，他们的目标是使用各种手段迷惑裁判，使得自己进攻或者防守战术动作是合规的。
比如球门前的假摔看上去像真的对方犯规一样，判别模型则相当于裁判，他们目标是将球员各种混杂在合规战术里的违规动作找出来。在球员和裁判的不断对抗中，球员的“假摔”水平越来越高，裁判识别“假摔”水平也越来越高。随着两方水平的不断提高，最终谁都无法区分出哪个动作是真正的“假摔”，也就是AI的水平已经实现以假乱真。
（林徽因照片修复前后）
（王祖贤照片修复前后）
对影像的修复其实是一个恒久的话题，国外网友Denis Shiryaev还曾利用一种增强程序(Gigapixel AI)，将1896年的古董电影《火车进站》，转变成了4K 60fps高清电影。
由于技术原因，最早的影像资料都是较为模糊且卡顿的，这就让大大降低了我们的观感体验原始《火车进站》的效果，低清、卡顿，还有大量的噪点。
（动图：《火车进站》修复前）
（动图：《火车进站》修复后）
AI的图像复原技术，在卫星图像遥感、监控设备、显微成像、数字高清、视频复原、视频编码通信和医学影像等领域都有重要的应用价值。
当然，这也仅仅只是AI技术应用的很小一块。
人工修复的背后
在AI修复之前几乎是人工对影像进行修复，过去，如果要复原经典的老电影，得要技师手工逐帧修复、合成，用非常传统方式来进行图像处理，需要耗费大量的物力和时间，旧影片的修复工作也进展得很缓慢（一部时长2h的影片的修复，可能就要一个十几人的修复师团队连续工作20天左右）。
而利用AI对人像和场景进行修复，效率就完全不同了。AI技术可以先通过机器学习和模型训练来填充细节提高老电影的画质，再利用深层神经网络为老电影“上色”，最后进行转录和人脸识别，从而完成对整部影片的修复，这个过程大概只需要12个小时左右。
（修复前后对比）
位从事电影修复作的业内表示，老胶片修复是一个复杂的过程。
在时间的消磨之下，胶片逐渐风化、发霉，胶片上会出现各种各样的脏点，修复者需要对脏点手动进行一帧帧的修复，整个过程重复而繁琐，这就考验着修复者的耐心和对胶片材质、内容、色彩的把握程度。
（修复前后对比）
个修复团队少需要5，每部影需经过粗修、精修和校等环节，其中最核的是精修环节，需要将部按分钟分段，个负责段，动逐帧修复视频图像，“以部90分钟的影为例，其约有12万到14万帧，在般难度下，每每天只能修复4-5分钟；如果碰到修复难度很的影，家会进‘会诊’提出综合修复意，个天有时候只能修复30秒。”
（彩色4K版开国大典，开国大典历史影像经过修复后的彩色4K画面，这是开国大典历史影像资料第一次以彩色超清画质出现在大荧幕上）
现在我们尝试用技术修复过去黑白影像变为彩色影像。
也许未来2120年甚至更久的时间里，人们会说我们尝试用技术修复过去的二维影像变为三维全息影像，也许未来的人们会和我们一样看二维彩影和黑白胶片一样无法了解一百年前，人们生活是怎样的。
我们也会成为一百年前镜头里的那些人，无法想象下一个一百年里，人们的生活会有怎样翻天覆地的变化。
参考文章： 1.《百年古董电影秒变4K高清、60FPS，AI插值》 2.《AI自画像背后的功臣》 3.《人工智能——GAN算法》 4.《人工智能修复的意义和方向》
编辑 | 三希
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。