用了一堆黑科技,为何手机拍照还是差 | 主控篇
【【【前言:谷歌Pixel何以成为最强拍照手机】】】
去年,Google第一次没有以“Nexus”的名义发布新手机——全新的Pixel系列不仅仅象征着Google手机进军高端的决心,其实际性能表现和综合体验也确实令业界惊叹。特别是大家都意想不到,没有“双摄”、没有“光学变焦”、甚至没有光学防抖系统的Pixel,居然会堂堂成为公认最强的“拍照手机”,在权威网站DXO的榜单上强势压倒三星S7、HTC 10、华为Mate9等一众旗舰而登顶封王。
谷歌为Pixel施展了何种“黑魔法”,以至于它并不“堆料”却能有极佳的拍摄效果?谷歌计算摄影团队的Marc Levoy最终给出了答案:那是因为谷歌与高通深度合作,对高通骁龙821主控集成的Spectra ISP以及Hexagon DSP的性能和算法进行了深度挖掘,实现了零快门延迟高速持续的拍摄RAW无损格式照片,而这一过程从你开启相机的那一刻起就已经开始;当你按下快门键的时候,实际得到的样张来自于此刻所拍摄的照片与之前已拍摄照片的合成。
对于普通用户而言,常常会关注手机主控中“CPU”与“GPU”的部分,并以它们的规格作为性能对比的唯一依据。可是,在执行诸如拍照时的图像处理这样的任务时,使用CPU的速度和能效远不如使用更加专业的“电路模块”来得效果好——这一专为摄影图像处理工作而设计的电路模块,我们一般就称其为“ISP(Image Signal Processor 图像信号处理器)”。谷歌正是将骁龙821的集成ISP和集成DSP(Digital Signal Processor 数字信号处理器)最大化协同使用,从而实现了极其优秀的拍照效果。
从高通官方给出的这张对比图表可以看出,处理相同的图像信号数据,使用频率仅为725Mhz的单核心DSP,相比于使用频率高达2.65GHz的四核心CPU(应该是骁龙805),处理速度提高了1-3倍,能耗却只有后者的1/4到1/18!
【【【ISP:专为拍照而生的处理器】】】
为什么使用ISP处理图像数据会比使用CPU要高效得多?这就要从ISP的基本概念说起了:ISP的整个内部架构高度特化和并行化,说白了就是不考虑通用性,只注重数据吞吐量的专用集成电路——它只为了处理某种特定数据格式而生,也只能处理这种特定任务,除此之外的事情完全做不来,这是它和通用型的CPU最大的区别,通俗来说就是“术业有专攻”。
以高通主控里集成的Spectra ISP图像信号处理器为例,它所集成的电路专用于执行将CMOS(传感器)捕捉到的图像数字信号进行猜色、降噪、锐化……最终生成一帧帧彩色图像数据,而这部分数据在Pixel手机上还要经历Hexagon DSP的进一步HDR处理和多帧合成,最后才成为我们看到的照片。
由于ISP所处理的图像信号来自CMOS,因此CMOS的像素数量、CMOS与主控之间的通讯带宽都会影响到ISP的处理效率,而且图像处理对于“实时性”的要求很高——时下常见的“实时滤镜”、“实时HDR”暂且不论,如果ISP的处理速度跟不上CMOS的数据量,最直观的表现就是相机APP的取景界面就会直接出现卡顿和掉帧!
回想数年前,诺基亚Lumia 1020想要在手机上实现高达4100万像素的超清拍照和无损变焦,无奈当时的骁龙MSM8260主控所集成的ISP实在是处理不来这么大的数据量,最后诺基亚也是选择和高通合作对图像算法进行了深度定制——甚至用到了GPU的通用计算能力才总算是勉强解决问题。如今的手机摄像头像素再难见到超过2500万的水平,除了CMOS体积的制约之外,ISP性能的短板也是重要因素。
【【【手机有ISP,那相机呢?】】】
智能手机拍照时的数据处理靠主控内部集成的ISP,那么传统的相机呢?相信关注相机领域的朋友都听说过Bionz、Expeed、DIGIC这几个“大名”,它们分别是SONY、尼康和佳能的相机主控家族名称。
尼康某代Expeed芯片的内部结构,注意CPU模块不仅面积很小而且频率只有132Mhz
从万能的维基百科上,我们可以查到关于这些相机主控的大把“干货”信息——本质上来说,其实相机的处理器和手机的主控芯片还是非常相似的:它们既负责对传感器捕捉到的图像数据进行处理,同时还要驱动相机的操作系统本身。所不同的只是功能组件上的侧重,显然,相机主控中绝大部分的电路是ISP,通用处理器只占很小的面积,这和手机上的情况是刚好相反的。
而且,智能手机上的ISP仅在拍照的时候起作用,如果是用APP对照片添加后期滤镜,此时工作的就完全是CPU了,但相机则不然,现时有些比较高级的单反或是微单支持在机内对拍摄的RAW(无损)格式图像进行有选择的后期处理,这一过程实际上是再次调用了相机主控中相当于“ISP”的部分,而非由通用CPU通过软件算法实现。
还记得我们前面说到ISP属于“专事专办”的集成电路吧——这就是说,ISP有多少图像相关功能,完全由其硬件电路结构决定,无法通过软件升级添加。而相比于手机主控上仅占一点点面积的ISP电路,相机主控里大规模的图形处理电路显然要复杂很多,功能也强大了不少。
举例而言,SONY最新的BIONZ X主控能实现16bit色深的图像内部处理和14bit色深的RAW输出,佳能的双DIGIC 6处理器允许高达5060万像素的照片以5张/秒的速度进行连拍处理,而松下的Venus IX引擎在拍摄1080P视频时可以实现高达200Mbit/s的码流。这些性能参数不要说是现有的骁龙820主控,就是刚刚发布的骁龙835也做不到!
【【【自研?采购?差距不仅仅是“硬件”】】】
为什么手机ISP和相机图像主控有着如此巨大的性能差距?一方面是因为手机主控寸土寸金,ISP在其中只是“相对不太重要”的组件,厂商为了功耗和成本因素做出妥协;而相机的主要功用就是拍照,整个主控绝大多数的面积和能耗都可以“挥霍”在ISP部分,自然性能更强。
另一方面,对于一些老牌电子厂商而言,其有能力自行按照相机产品的需要去设计和制造主控:SONY的Bionz主控最早来源于美能达,从第二代开始就完全是自主设计和制造了,经过了四代更迭,最新的BIONZ X形制番号为Sony CXD90014,同样是SONY“自产自销”。;类似情况的还有松下,其MN103系列芯片不仅用于自己的Venus主控,还卖给Olympus,摇身一变成了“TruePic”系列主控。
当然,也有些相机厂商没有那么强的半导体设计能力,其主控实际上是向别家定制或者买来用的:尼康EXPEED、宾得PRIME、徕卡MAESTRO本质上都是源于富士通的Milbeaut系列图像处理芯片。
不过,这种“采购”来的相机主控和手机厂商们采购骁龙、海思、三星主控还是有差别的,一是因为富士通Milbeaut本身就是专为相机设计的图像处理芯片,并非手机通用处理器;二是相机厂商们在固件针对性开发和调教上的功底显然比手机厂商要高出太多。不然,同样是使用骁龙82x处理器,为什么只有Google想到去开发自有图像算法,而其他手机厂商要么使用高通公版驱动,要么也只是找如虹软这样的厂商买一下算法,不能自行做到对ISP和DSP“吃透”呢?这其中体现出的差异,有态度问题,也有技术实力差别。
【【【奋起直追:ISP或成手机“逆袭”相机主战场】】】
不可否认,近几年来,智能手机在拍照水平上突飞猛进,这背后是相关传感器、镜头、主控乃至算法供应商的大力贡献——尽管看过我们前几篇专题文章的读者都会知道,在这几部分上,手机和相机的差异还十分巨大,但手机拍照用户体验的改善却是毋庸置疑的。
不过,在今天我们讨论的“ISP”这个话题上,手机却有一个相对相机很大的优势——那就是制程工艺:主流手机主控的制程都已经进化到了14nm,最新的骁龙835甚至已经超越了现有的PC处理器标准,用上了10nm制程。反观相机主控呢?以好几个大牌相机厂都青睐的富士通Milbeaut芯片为例:最新的一代刚刚升级了低电压制程,多少呢?说出来大家不要笑:55nm——差不多就是2009年PC处理器的水平。
尼康单反巨大的主板电路,中间那颗芯片就是Expeed
当然,从市场“合理性”的角度来说,相机充足的散热空间、巨大的电路板面积、以及本就不高的主控运行频率都允许厂商使用这种老旧制程来制造芯片——既能降低成本,又不会影响用户体验不是么?(反正相机里面CMOS远比主控要耗电的多,主控省下来的电根本就是九牛一毛)
不过,俗话说,“逆水行舟,不进则退”,高速发展的手机拍照科技尽管实际出片效果仍不能和相机相比,但却已经在市场层面上战胜了传统低端卡片相机,并逐渐有“倒逼”单反、微单创新进化的意思——假使哪天真的出现了拍照效果全面压倒高端相机的手机形态产品,老实说笔者也不会感到惊讶:而在这个过程中,越级发展的手机主控以及集成其间的ISP,似乎就最有希望成为手机上最早超越相机界同类水准的部件。
【本文图片来自网络】