超能课堂 (175):智能手机拍照都有哪些流派?谷歌太牛了
如果选智能手机近年来升级换代最慢的技术,那首选电池续航,这么久了大部分手机还是一天一充。如果选手机进步最大的升级,那肯定是手机拍照。不论安卓还是iPhone,之前都是“只能拍照”,苹果iPhone大概是60分的价格水平,三星50分,大部分国产机都是30、40分的水平,而现在苹果提升到了80分,三星85分,领先的国产手机拍照已经上了90分了。
图片来自虹软官网
智能手机拍照的进步有赖于技术升级,不知不觉中手机镜头也从之前的单摄变成了双摄,去年底还有三摄手机大量上市,今年很快还会有四摄手机上市。此外,在镜头数量不断增加的同时,智能手机拍照用的传感器、镜片、马达等部件以及算法也是在同步提升的,这些因素共同推动了智能手机拍照的进步。
今年的超能课堂里我们就来介绍下智能手机拍照的技术流派,它们不仅分为单摄、双摄、三摄等,不同的双摄也是有不同的技术方向的。
相关连接:
超能课堂(30):双摄像头的iPhone 7能再一次改变世界吗?
超能课堂(112):盘点当前手机拍照中的“黑科技”
超能课堂(131):揭开手机摄像头专业名词背后的秘密
手机拍照系统组成:像素不是唯一,镜头模组才是完整概念
不过在介绍这些技术流派之前,大家要对手机拍照系统有个基本概念,厂商每次发布新品的时候总是喜欢宣传XX万像素、XX传感器、XX光圈等等,这些是很重要,但手机拍照不是光看传感器、光圈的,手机厂商买的不是单一的零件,而是从欧菲光、舜宇等公司购买成套的镜头模组。
三星电机官网上有个手机镜头模组的详细介绍,如上图所示,CIS就是图像传感器,大小、像素多少这些就是它决定的,它也是整个手机镜头中最重要同时成本最高的部分,一般能占到50%左右的成本,目前高端手机CIS传感器主要掌握在索尼、三星手里,其中索尼又是一家独大,大部分高端机都在使用索尼IMX系列传感器,三星在最近两代的Galaxy S/Note手机上开始加大对自家传感器的采购力度。
除了最为重要的传感器,镜头数量、马达、封装等也会多少少影响拍照质量,目前国产厂商在镜头模组供应链逐渐做大,欧菲光、舜宇的模组已经大量应用在华为、小米、OPPO、Vivo、魅族等国产手机中。
下面就来简单介绍下目前智能手机拍照技术上的不同流派,首先是还在坚持单摄、同时把单摄玩到极致的谷歌。
谷歌:单摄孤独求败,算法称王
网上经常争论的一个话题就是金庸小说中谁的武功最厉害?一般候选人至少有张三丰、扫地僧、独孤求败以及王重阳这几人,这些人是现实武侠江湖中存在的的,但要再往上说一点,那最厉害的人应该是狗哥石破天(阿青是另一个bug级的),他也有其他人一样的刻苦训练,但天赋点无疑是其他人不具备的。
在手机拍照这个技术上,谷歌就是石破天级别的天才,随便练练就是绝世高手。
谷歌单摄有多厉害?上图就是最好的解释
说到拍照技术,谷歌有资格鄙视所有在座的厂商,不论是苹果、三星还是华为,不服的也去用单摄比比。
至于谷歌为什么选择单摄,我们可以说双摄甚至多摄有很多弊端,结构复杂、成本高这些面子上的事不说了,谷歌认为双摄能做到——虚化、变焦、夜拍等都可以用单摄实现,不就是加强算法的事嘛,多大事还要上双摄/三摄,一只手能解决的事绝不用两只手。
在手机拍照上,谷歌Pixel手机不堆硬件,Pixel 3/3 XL上还是1.4um像素的1200万像素,F1.8光圈,放在国产机中这个规格能被喷死,但谷歌不怕,他们有Google Camera应用。现在的Google Camera已经迭代多次,最初的功能主要是HDR+,听上去跟很多手机支持的HDR功能差不多,不过谷歌的HDR+算法更加暴力,能够一次性拍摄多张图片合成,大大提升拍照画质。
谷歌HDR+拍照对比
HDR+提升画质需要很高的算力,谷歌的手机之前是使用骁龙处理器集成的Hexgaon DSP来处理,但是因为性能不够再加上专用优化不足,谷歌索性自己联合英特尔打造了Pixel Visual Core芯片,从Pixel 2手机开始就应用了,这个专用芯片集成了8个IPU核心,还有一颗A53核心,以及MIPI/LPDDR4/PCIe控制器,而且每一个IPU核心都要比ARM A53内核大,可想而知它为什么能够提供3T浮点性能,而华为的寒武纪稍弱点为1.9T,苹果仅为0.6T。
得益于专用芯片的强大性能,Pixel 2手机上的IPU上运行HDR+算只需要原本1/5的时间以及1/10的功耗,实现了第三方软件调用相机拍照即拍即有,用户体验提升明显,而且照片明亮清晰,人物脸部不再暗淡。
谷歌HDR+算法提升画质简单粗暴,但不是其他厂商想学就能学的,不说算法的难度,光是打造专用芯片的魄力就不是其他厂商能学的。
谷歌的Night Sght夜景拍照技术效果
在HDR+之后,谷歌在Google Camera上继续带来了背景虚化、Panorama全景、Motion动图(当年苹果推出了LivePhoto拍照)、AR Stickers、Super Res Zoom超分辨率放大(实现了光学变焦的图片缩放效果)、Top Shot以及Night Sight夜景技术,可以说在单摄上谷歌把流行的技术都做了一篇,效果也不输其他厂商的方案,去年Night Sight夜景拍照技术对比图把iPhone XS秒成渣了。
限于篇幅,不能一一介绍Google Camera的全部技术特性,谷歌近年来更加重视深度学习、人工智能等先进技术,通过自己掌握的大数据来进一步提高手机拍照画质,这个也是未来的发展方向,手机拍照会越来越“算得好看”,而不是拍的更真。
总之,谷歌在手机拍照上走的是一条别家厂商不走或者没能力走的路,狂飙单摄科技树,效果也非常好,网上已经有大把Google Camera的MOD版,如果你的手机也恰好在支持之列,那不妨试试。
双摄第一次登场不是为了拍照,而是玩3D
单摄时代为了增加卖点,厂商追求的不外乎是高像素,所以从500万、800万、1200万、1300万一路增加到2000万像素,最高曾有OPPO的5000万像素,不过这不是原生5000万,而是软件插值算出来的。
由于手机传感器就那么一点,单纯增加像素也不能一直玩,像素越多像素越小,当时都低到0.8um了,后来HTC开始倡导大像素,在M7手机上推出了UltraPixel技术,虽然像素数量只有400万,但是像素大小提升到2um(直到现在其实都是最高水平),像素越大感光面积越大,画质理论上更好,所以这个技术到现在都是主流,目前很多手机在用的1200万像素传感器就是1.4um的。
单摄无论怎么玩,迟早都是有尽头的(谷歌不在此限),前面介绍谷歌单摄时也说了单摄面临的几个缺点——背景虚化、变焦、夜拍,这些功能用双摄更容易实现,所以双摄技术很快也成为手机厂商追求的目标。
不过世界最早的几款双摄手机都不是为了提高拍照画质而做的,2011年HTC首发双摄手机HTC EVO 3D,配备了两个500万像素的镜头,但副摄的作用是实现裸眼3D效果的。在这方面,HTC也不孤独,LG之后也推出了双摄手机Optimus 3D,也是双500万像素镜头,同样是为了裸眼3D而非提高拍照效果。
2014年3月HTC发布了M8手机,采用了竖排双摄镜头,400万像素主摄+200万像素景深的组合,这时候智能手机的双摄才是以提高手机拍照为主的方向,不过景深镜头虽然带来了先成像后对焦等玩法,但对改善手机拍照画质有限。
双摄改善手机拍照画质之路:黑白、彩色、广角、长焦
HTC M8的主摄+景深双摄方案当时很流行,只不过画质没什么提升,玩法变多了而已。第一个用于提升画质的双摄手机实际上应该是酷派在2014年推出的铂顿大观5,它配备了双1300万像素传感器,是第一个RGB+RGB方案的双摄。
酷派铂顿大观5首发RGB+RGB方案的双摄
不过限于酷派当时的影响力,大观5虽然是2K旗舰机,但是不叫好也不叫座,存在感太弱了。
2014年底,荣耀也推出了华为系第一款双摄手机——荣耀6 Plus,号称是全球首个平行双摄手机,两个镜头都能参与成像,而且实现了F.095的虚拟光圈,所以荣耀6 Plus一直在宣传背景虚化玩法,不过实际虚化效果很容易看出来是软件算出来的,很假的感觉。
2015年360发布了奇酷手机,这款手机也上了双1300万像素镜头,不过它的技术方案是RGB+Mono,也就是彩色+黑白方案,副摄黑白传感器虽然不能记录彩色信息,但却有更高的进光量,可以记录更高的亮度及细节信息,在噪点、亮度、色彩、细节等图像质量方面以及整体处理性能方面达到一个最好的平衡点,使双摄像头的超级夜景发挥出最大的功效。
上面这句话出自虹软公司,这里就要说到一家在拍照算法可能不次于谷歌的NB公司了——Arcsoft虹软,有些人可能听过或者用过他们的ArcSoft TotalMedia Theatre播放器,这家公司提供的单摄、双摄算法几乎支撑了大部分手机厂商,举个例子,国产厂商近年来代表鼓吹自己的超级夜景模式,实际上小米、OPPO、魅族、锤子的夜景算法都来自虹软,华为的超级夜景算法倒是自研的。
说的有点远了,回到黑白双摄的话题上来,这种技术方案对提高画质是很明显的,所以很快成为主流,360手机没做起来,但华为在P9手机上也开始用黑白双摄方案,这也是第一款与徕卡合作的手机,并一直沿用到P20 Pro手机上,直到Mate 20 Pro上才放弃了黑白传感器。
2016年LG公司也推出了G5手机,这款手机的双摄方案也比较独特,使用的是主摄+广角镜头的模式,主摄是1600万像素,副摄是800万像素,但它是个135°的广角镜头,两个镜头实际上并不是同时成像,用户可以切换选择是否拍广角照片。
不过LG G5尝试增加广角镜头的做法也很有意义,几年后的今天广角拍照又被重新重视起来了。
苹果iPhone入局双摄,长焦+广角双摄定型
2013到2015年的这段时间里双摄手机可以说百花齐放,也可以说鱼龙混杂,几家厂商之间的方案都不太一样,但是之后苹果也入局了,在iPhone 7 Plus上也用了双摄拍照系统,由一个广角镜头和一个长焦镜头组成。广角镜头部分为1200万像素,f/1.8光圈,等效焦距28mm,支持光学防抖,这其实就是iPhone 7上那颗,而长焦镜头同样为1200万像素,f/2.8光圈,等效焦距56mm,但这个镜头不支持光学防抖。
值的注意的是,iPhone 7 Plus上两个镜头都是拍摄彩色照片,加上长焦镜头带来光学变焦能力,这让苹果这个双摄像头系统是稍微领先市场的。而除了光学变焦外,iPhone 7 Plus同样能提供景深效果。
由于苹果的影响力及对产业链的影响,iPhone 7 Plus的双摄方案很快成为市场上的主流,双摄带来了2x光学变焦、景深及虚化等效果,直到现在这种方案依然是当前双摄手机的主流。
华为P20 Pro首发三摄,独占大底传感器
双摄成为市场主流两年之后,下一步还能玩什么呢?2018年3月份华为发布了P20及P20 Pro手机,其中后者用上了徕卡三摄,这是第一台三摄手机,不过华为P20 Pro不仅仅是摄像头数量多少的问题,还有一个独特的优势——定制的索尼IMX600传感器,1/1.7英寸大小,直到目前都是最大的传感器。
具体来说,P20 Pro为目前少见的后置三摄系统,主摄采用索尼独家定制的IMX600模组,感光器面积达到1/1.7英寸, 总像素为4000万,并支持QuadBayer技术,即可以按2X2像素集合输出成1000万像素,这可以提高画面的纯净度。主摄其它规格还有1μm单个像素面积,f/1.8光圈,最大ISO可达到102400等。
P20 Pro的两个副摄其中一个为长焦镜头,最大3x光学变焦,等效81mm焦距,属于中远摄,而iPhone X和Galaxy S9+的长焦端都为2x光学变焦,等效焦距52mm。只是P20 Pro的长焦头仅为800万像素,来自OminiVision的OV13A40模组,f/2.4光圈,Galaxy S9+和iPhone X都达到1200万像素,光圈在f/2.4。
副摄的另一个为黑白镜头,这是华为手机上惯用的方案,主要为了提高图像的锐度,还可以加大进光量,P20 Pro这颗摄像头采用索尼的IMX318模组,为2000万像素,f/1.6光圈,并带有OIS防抖。
需要注意的是,P20 Pro虽然有三个摄像头,但在实际工作时,三个摄像头为两两工作,即在拍摄夜景照片时,只用到主摄+黑白副摄,而在拍摄大光圈照片时,则用到广角+长焦副摄结合。
三摄再进化,Mate 20 Pro弃黑白上超广角
华为P20 Pro的大底+三摄+徕卡让它在夜景拍照方面很强大,也奠定了华为在DXOMark排行榜的领先,去年10月份大家都在期待华为在Mate系列上还能创造什么的拍照玩法时,华为最终在Mate 20上带来了超广角三摄,放弃了黑白传感器。
Mate 20 Pro主摄、副摄、长焦镜头依然是4000万、2000万及800万像素传感器,但副摄的广角能力大幅加强,等效焦距从27mm提升到了16mm,而单反相机中24mm以下的焦距就是超广角了,Mate 20 Pro的16mm等效焦距实现了超宽取景,在拍摄大场面,比如风景时更容易呈现出有冲击力的画面。
简单来说,华为在这次的三摄中加强了超广角及微距拍摄,为此不惜放弃对提高画质很有帮助的黑白传感器。华为这么做是手机拍照产业链的一次变迁,实际上在华为Mate 20 Pro之前,Vivo公司也推出了超广角拍照的X23手机,虽然这是一款双摄手机。
今年发布的小米9手机上,不仅上了三摄,同时也是主摄+长焦+超广角的组合,其中超广角的等效焦距为17mm,比华为Mate 20 Pro略低。此外,小米9也加强了微距,最短4cm焦距,Mate 20 Pro则是2.5cm焦距。
可以预见,超广角三摄今年还会有其他厂商跟进,但有志于玩拍照的厂商又找到新的玩法了。
2019年手机拍照新趋势:不止四摄,还有10倍变焦
今年的新趋势中,华为及OPPO纷纷转向了10x变焦技术,在这方面OPPO 2017年的MWC展会上就展示过5x变焦技术,不过那时候还不成熟,今年则是推出了10倍混合光学变焦技术,而且OPPO明确表态今年就要量产。
OPPO的10倍混合光学变焦技术采用了超广角、超清主摄与长焦的三摄结构,覆盖了从超广角到长焦的“完整视角”。在超清主摄像头和长焦摄像头上OPPO还引入了双OIS光学防抖,轻松拍出清晰好照片。
无独有偶,华为在即将发布的P30/P30 Pro系列手机上也把高倍变焦能力作为重点,P30 Pro号称徕卡四摄,不过这个四摄实际上还是徕卡三摄,多的那个是ToF 3D感测镜头,跟拍照不是一回事。
在变焦上,P30 Pro也号称支持10倍混合变焦,只不过这个混合到底是怎么混合的还不确定,Mate 20 Pro上最高做到了3x光学变焦,也能上10倍数码编码,但是5倍之后的变焦基本上没什么意义了,画质及防抖都很差,所以官方都没当作主打功能来宣传。
总结:
手机拍照近年来的表现大家有目共睹,除了谷歌还在继续攀升单摄黑科技之外,其他厂商都转向了双摄、三摄等多摄系统,带来了更好的光学变焦、背景虚化及液晶拍照能力。2019年,各大厂商的智能手机旗舰不太可能超过三摄,这时候的重点会转向变焦能力,这会对手机拍照及创造带来更多的可能。