用上自研芯片后,vivo却说手机影像远不于此
智能手机市场规模难见增长,手机厂商之间的军备竞赛却在不断加码。
工业设计、屏幕素质、影像系统、快速充电......近两三年几乎所有能够明显感知到的新款产品升级点,都和厂商亲自参与技术研发等一系列投入关系紧密。外界相当关注的芯片自主研发,同样是手机厂商不约而同努力的方向,并且都选择将图像处理芯片作为自研芯片第一站。
即将在2021年9月9日发布的vivo X70系列手机,有望应用vivo首个自研芯片以提升影像体验,然而这家厂商的追求没有仅限于芯片。在“硬件重要还是算法重要?”这个常常被问到的选择背后,vivo希望在硬件、软件和体验的全部流程中,为用户带来更好的手机影像。
有自研芯片却不是单打独斗
在X70系列之前,vivo就先后在手机上应用过根据自身需求定制的音频芯片和DSP芯片,这次投入超300人资源研发的V1芯片也延续了类似思路——与SoC协同工作,利用高性能、低延时、低功耗特征,共同提升手机的专业影像表现。
V1芯片可以搭配不同的SoC和显示屏,起到扩充拍照和录像算力,释放SoC的ISP负载的作用。vivo宣称,V1芯片可以像CPU一样高速处理复杂运算,也可以像GPU和DSP那样做并行处理,而在影像这样的专用场景中,能相比则可以比CPU和DSP有指数级别提升。
V1的具体架构、晶体管数量等规格暂未公开,仅侧重于表达处理影像可以有多快:内置32MB缓存容量,读写速度达35.84Gbps,因此具备1080P 60FPS实时降噪和MEMC动态补偿能力。夜景拍摄可进一步降噪,低光录像则能低功耗运行4K 30FPS的降噪和插帧,提升画面亮度。
vivo的V1+SoC组合,工作方法也相当特别:除了成片中会叠加使用来自两颗芯片的计算成果,默认拍照和录像的预览窗口中也会实时呈现V1的拍摄效果,这样做的功耗相比SoC直接计算可以降低50%。如此一来,既能降低拍摄耗电,又能做到观感更接近于实际的所见即所得。
芯片效能提升之外,vivo也在新品上带来了全新的光学技术优化。之前的X60系列用上了少数高端手机使用的蔡司镀膜,这次直接提升到搭载“蔡司镜头”:在影像模组中加入蔡司原厂相机镜头玻璃主供应商保谷光学制造的玻璃镜片,以追求相比全塑胶镜片更优秀的光学性能。
这也是vivo首次在手机上使用玻璃镜片,表示实现了超低色散、高透光率、热稳定强。将在X70系列上出现的玻璃镜片,在镜头0.9F以内,色差设计值比前代降低了70%,阿贝数达到81.6,可明显改变高反差场景下的紫边、伪色等现象。
为什么不一早采用光学性能更好的玻璃镜片?vivo表示生产难度相比塑胶镜片高了许多,前期良率只有60%左右。会和消费者见面的这块玻璃镜片有更高的热稳定性,70℃高温下镜头后焦变化量减小到6um,而且中心透过率达到90%、镜头高度降低了0.2毫米,节省了体积占用。
光学挑战遍布于整个影像模组中,vivo引入舜宇光学的AOA动态光学校准工艺,镜片可动态调整改变,以解决制造误差产生的清晰度降低问题。光线在镜片间反射产生的鬼影困扰了无数用户,为消解鬼影,vivo引入了SWC亚波长镀膜技术抑制反射光,反射率最低可以降到0.1%。
延续自X60 Pro+的ALD原子沉积镀膜,同样抑制了影像模组的反射率,更由此达到蔡司高标准获得T*镀膜之名。vivo还是国内首家应用色素旋涂工艺的手机厂商,吸收部分在镜片和传感器之间折射的600~700纳米波段红光,并以较高的良率实现量产,以解决拍摄光源的花瓣鬼影。
从vivo官方样片可以看到,光学技术提升后眩光和鬼影得到明显改善。与蔡司深度合作后,vivo以更现代化、更适合手机平台的方式将前者的经典影像技术融入产品中,并得到了蔡司方面的认可——就算没有深入体验影像性能表现,也能从机身上的“ZEISS”标志认出身份。
硬件之外软件也要有蔡司风味
就像大半年前vivo宣布和蔡司展开合作时所宣称的那样,双方合作相当深入并不是仅仅获得背书的程度,而是在包括软件和硬件的多维度留下了经典影像的质感以及现代移动影像工程的思考结果。因此在V1芯片和引入玻璃镜片之外,vivo的影像软件部分也有不少高端气质。
vivo的影像系统历史并不算很久远,但经过3年10款机器的打磨迭代,还是形成了如今鲜活明快有质感的“vivo色彩风格”。在这个基础上,vivo在P3色域上使用140色卡等进行色彩标准定义,得到色相准确度ΔE相较过去收敛15.5%的新标准,在经过认可后被命名为蔡司自然色彩。
vivo X60系列手机中,我们就见识过vivo还原蔡司镜头人像摄影的努力。即将发布的vivo X70系列上,则是选择Biotar 1.5/75和Biotar 2.0/58两款镜头的成像风格进行复刻。技术人员表示,想模拟老镜头的景深感,就要对Z方向模糊、XY方向像场、光斑等有更精准还原和模拟。
为了在手机上实现这些老镜头所塑造出来的蔡司人像风格,vivo将28万张人像分割和10万张手势分割图片投入到深度学习卷积网络,利用人工智能让手机可以更有质感地把握前后景关系和虚化程度,最终得到了3D POP虚化效果,看起来有经典照片那味了。
经典风格也和一些美好的错误不无关系,比如制造工艺产生的镜头口径蚀和光斑,这在手机影像中其实不会见到。而vivo经过数百次实拍和模拟,用算法还原了“老法师”口中的影像质感,照片中出现的口径蚀和光斑仿佛真实存在,拥有无限接近于经典人像镜头的焦外视觉体验。
再度加强“蔡司味”的同时,vivo自身洞察大众手机摄影需求得来的变化也没有落下:引入AI人脸增强算法,模型学习了上万张精修后的商业人像摄影作品,成片风格可更靠近专业表达。延时摄影改为照片序列模式,动态范围、弱光拍摄都有提升,甚至能一键拍摄日夜更迭效果。
那些手机影像最流行的软件能力,vivo这次都做到了支持:提供10bit Log摄像能力,向专业用户开放可以自行调色的空间;继夜景拍摄从YUV域转移到RAW域,超级夜景升级到了RAWHDR 3.0,冷暖对比表现更为突出;Super RAW技术可拍摄最大10帧合成的RAW文件,最高14bit色深。
竞争来到深耕细作与长期主义时代
在影像技术分享会的最后,vivo表示希望凭借硬件级算法加持的机器视觉系统,实现不给场景设限、不给人设限、不给影像设限,随时随地就能进行拍摄的愿景。从多张样张表现的效果来看,vivo已在一定程度上达成了这个目标。
实际上,这也是当下绝大多数顶级手机厂商都在做的工作,用高度定制化、高集成度的影像系统,让用户拍出好照片的过程简化到只需要按下快门。人们会明显发现手机拍摄体验有了清晰度以外的提升:色彩更丰富真实了,拍出让人满意的好照片好视频的概率提高了不少。
这正是手机市场竞争发展到今天,厂商开始系统性掌握手机影像技术的结果。最初只是跟随上游产业链选用更高像素、更大面积的传感器,而后开始根据实际需求定制传感器规格和尺寸,接着在软件算法上结合人工智能加大投入,并深入到镜片、影像模组乃至芯片的设计与制造。
进步离不开芯片的手机影像,同样需要坚持长期主义,好的影像素质和体验离不开长时间积累与迭代。vivo自五、六年前开始投入算法研发,两年前开始投入芯片研发;小米自2018年5月成立相机部并扩增千人水平,才有了分数口碑双丰收;华为则在更早的时候就参与影像研发。
回到V1芯片上来,vivo之外也有多家厂商在投入ISP芯片研发,这意味着能以更低成本实现更好的表现。结合ISP计算后,厂商可以尽可能抹平不同移动平台之间的影像性能差异,无论价格或定位,只要是应用了其算法、能力的手机,那就能享受到审美一致水平接近的影像实力。
vivo已经展现了V1芯片+蔡司镜片+算法升级带来的提升空间,我们可以尽情期待9月9日(本周四)发布的vivo X70系列,会在过往产品的基础上获得多少进步。
END