再谈小米11的5000万像素摄像头，与三星CIS的技术方向
小米11 Pro/Ultra手机摄像头，主摄所用的CIS（CMOS图像传感器）型号为三星ISOCELL GN2（以下简称GN2）。这颗CIS的厉害之处倒不在于像素数量，而在于1/1.12英寸的整体大小。
虽然这款手机发布也有些时日了，不过GN2可能仍是目前应用于手机最大的CIS，大于华为Mate40 Pro/P50系列（前者是索尼IMX700，后者可能是Omnivision OV50A）与近期比较火的拍照手机vivo X70 Pro摄像头主摄（索尼IMX766V）所用的CIS尺寸。索尼IMX766也是如今手机上比较热门的一颗5000万像素CIS，1/1.56英寸虽然也可以说是“大底”，但还是不及三星GN2。
前年我们首次谈1亿像素摄像头的小米手机时，还在说1/1.33英寸何其之大，如今一转眼都变1/1.12英寸了。事实上1/1.12英寸这个尺寸，也已经比9年前的拍照怪兽诺基亚808Pureview还要大了，后者的CIS尺寸是1/1.2英寸——在当时可谓惊掉了一众手机爱好者的下巴。
遥想数码小DC还活跃于世的时候，很多高端数码小DC的CIS尺寸也不过1/1.7英寸。当代索尼黑卡（RX100系列）的CIS也就1英寸——当然这只是图像传感器尺寸的对比；而且1/1.12英寸的CIS与主流微单/单反当然还是无法相提并论。
上面这张图片最早来源已经不大可考（最早可能出自推特或微博），主要表现的是索尼IMX689与三星GN2的尺寸大小。不过这张图的拍摄角度及焦距呈现出的透视效果，让下方的GN2显得更大了。索尼IMX689是去年OPPO Find X2 Pro手机上用的一颗CIS，尺寸为1/1.4英寸——年初在OPPO这款手机发布的时候，大谈IMX689“底大一级压死人”的文章不在少数。不过显然IMX689在GN2面前还是不够看的。
三星在此前的Hot Chips 33大会上，特别谈到了这颗5000万像素的GN2图像传感器。Electronic Engineering Journal选择性地对其作了一些解读。虽然很遗憾并非三星演讲的全部，但将其与我们掌握的一些信息做结合，从中我们也能看到手机摄像头CIS的发展之路。三星在发展思路上和索尼还是有比较大的差异的，前不久我们也探讨了索尼眼中手机摄像头CIS的发展之路。所以理解GN2的特性，也有利于我们从中看清楚CIS的另一种技术发展可能性。
单像素尺寸的另一个方向
前年总结手机摄像头CIS发展之际，我们提到过大方向上，CIS单个像素的尺寸是越来越小的。比如2008年前后，手机CIS单像素大小普遍在1.4μm左右，2011年降至1.12μm，2018年来到了0.9μm；2019年较为大众所知的4800万像素CIS，单像素尺寸达到0.8μm；如今1亿像素CIS的单像素尺寸已经来到了0.7μm。
此前三星LSI公开的CIS路线图显示，2021-2022规划中像素尺寸可缩减至0.56μm/0.64μm。今年的ISSCC 2021之上，三星就有公开其0.64μm像素的paper。今年年中，三星继而宣布其首款0.64μm像素传感器大规模量产，具体是1/2.76英寸的5000万像素JN1；此外今年9月三星推出的ISOCELL HP1——那款2亿像素的图像传感器，用的也是0.64μm尺寸的像素。有兴趣的同学可以去看一看三星0.64μm像素的PPT资料。
本文的主角三星GN2的单像素尺寸为1.4μm——这个尺寸与主流手机相比算是比较大的。不过和更偏爱大像素（而非高像素）的iPhone 13 Pro主摄相较，还是略小一点。iPhone 13 Pro主摄的CIS单像素尺寸为1.9μm。当然三星GN2有像素数量方面的优势，分辨率8160x6144总共5000万像素。而且论CIS整个面积，GN2还是绝对的最大。
在面向手机摄像头的CIS方面，看来三星也不是一味地追求小像素，毕竟小像素通常总是面临感光能力和宽容度的问题——而要解决这样的问题，所需花费的技术精力也是相当巨量的。去年的GN1也没有用堆砌上亿像素数量。隔壁索尼主推IMX766大方向也是这个思路，可能表明对手机摄像头CIS而言，单纯做小像素短期内不会成为整体趋势。
三星在Hot Chips上提到，GN2的1.4μm单像素尺寸带来33%的满井容量（full well capacity）提升，即可储存于像素阱的最大电子数量增加，自然也就能带来更大的动态范围。反映到照片上，就是更少的噪声——虽然个人认为其实在手机摄像头这种小尺寸成像系统的量级内，其差别也大不到哪儿去。
对于低光环境，GN2同样可以采用此前已经为众人所知的像素四合一技术，每四个像素当做1个来用，实现暗光环境下2.8μm大像素，达成更大的感光能力。这是一种比较通常的，以牺牲分辨率来提升感光度的方式，隔壁索尼也是这么做的。
另外在像素数量方面，三星也为GN2提供了1亿像素拍摄的选项。三星的官方新闻稿中说，“在1亿像素模式下，GN2会用智能的re-mosaic（重做拜耳排列？）算法重新排列色彩像素，针对绿红蓝，构建三层5000万像素帧的独立层。这些帧随后升格（up-scale）并融合，生成一张1亿像素的照片。”
这个说法还是比较模糊，从描述来看可能仍是某种插值算法。毕竟GN2物理像素量就是5000万，只不过大概这种插值算法更高级一些。
除了像素层，比较值得一提的也在于GN2采用双层die堆叠。其中一层是像素层：即5000万像素所在的die。另外一层die包含了ADC（模数转换器）和图像处理数字电路——这一层采用了28nm工艺。这种堆叠方案当然也不新鲜，在此前索尼CIS堆叠技术文章中，我们就介绍过。
一种奇技淫巧：交错HDR
HDR（高动态范围）如何实现，似乎是当代手机拍照永恒的主题。手机厂商普遍在宣传的“逆光也清晰”，以及夜拍“照亮你的美”，其重要基础一部分就在于HDR：即在拍摄场景光比很大时（如逆光），则需要HDR发挥作用；亮的、暗的，在同一个画面内要兼顾。
比较常见的HDR实现，是在用户一次按下拍照按钮以后，用不同的曝光参数拍摄多张照片，然后将这些照片做堆栈融合。那么场景的亮部和暗部细节都能兼顾。
不过这种方案有个副作用，即拍摄的多张照片毕竟还是在不同时间点进行的，在拍摄运动对象的时候，如果融合算法不到位就会产生模糊或伪像。要减少多张堆栈产生的伪像，方法之一应该是尽可能减少多张照片拍摄之间的间隔。
三星在GN2推出之际，宣布了一种交错HDR（staggered HDR）技术；不是隔行单帧HDR方案。三星方面提到，这项技术依赖于卷帘快门（rolling shutter）特性。今年5月刊的《电子工程专辑》杂志封面故事，我们还特别谈到了CIS厂商在贯彻全局快门（global shutter）方面的趋势。因为卷帘快门的工作方式是CIS逐行像素曝光的，拍摄高速运动物体会有果冻效应。
三星的这种交错HDR，据说是在拍摄一张照片的时间内，以三种不同的曝光方式来实现HDR。具体方法如上图所示。必须基于卷帘快门，首先就是做一次长时间的曝光，随后中等长度时间曝光，最后短曝光——分别对应昏暗、中等和明亮的画面场景，输出后做合成。
在进行长曝光以后，就立刻开始做行输出——即从像素行转往ADC。在长曝光的所有像素行都完整输出以前，传感器就会进行中等长度曝光。这个阶段的曝光，其实在长曝光像素完全输出以前，也已经开始做输出了。短曝光的流程同理。最后GN2的图像处理单元会对照片做融合，生成HDR照片。
此过程中，传感器用虚拟MIPI通道来输出三个曝光过程。传感器针对画面暗部做长曝光，并开始输出走VC0虚拟MIPI通道；后续分别对应VC1和VC2虚拟通道。另外还有个VC3虚拟通道，用于同时发出PDAF生成的自动对焦信息。
异样的PDAF相位对焦双像素
主CIS传感器的PDAF相位对焦，也是这两年手机CIS的热点技术。常规的双像素（dual-pixel）自动对焦，就是把一个像素分成两份。每个像素包含了2个光电二极管，用于成像和对焦。检测双像素影像画面的相位重合时，即认为对上了焦。
此前《iPhone摄像头发展史》文章中，我们曾谈过iPhone作为手机拍照发展颇具代表的存在，PDAF技术在其上就有过对应的演进史。一直到iPhone 11摄像头CIS实现了PDAF对焦像素的100%覆盖。
比较值得一提的是，索尼去年在宣传其2x2 OCL对焦技术——此前我们也介绍过。其实质是每4个像素之上覆盖1个微透镜，所有像素都参与相位对焦。索尼在paper中提过，这种方案在做相位检测时，不仅能够在垂直和水平方向做相位检测，还能进行斜向检测，实现CIS覆盖的十字对焦或米字对焦。
一般来说，相位检测像素的两个光电二极管，如果只是左右排列的，则将无法检测场景中横向线条的相位差——或者说对于包含横向线条的对象，对焦就会成问题。索尼的这种2x2 OCL对焦方案就会显得更具全场景的适用性。
三星想到的解决方案则是，以对角线方向来切分像素，而不再是垂直对半切。上面这张图就是GN2相位检测像素光电二极管的简单演示图。传统方案，是以DTI（深槽隔离）来把相位检测像素一分为二，垂直切分。而GN2则采用偏对角线方向的DTI结构，令其针对横向与纵向线条，都能实现比较高效率的对焦。
下面这张图展示了两者实现可对焦场景方面的差异。显然单纯垂直隔离相位检测子像素的方案，无法针对更多区域做相位差检测——左右像素排列，对于场景中的横向线条，几乎无法在对应光电二极管输出的信号上检测出相位差异。而对角线隔离方法，对焦使用场景就会更多，横向、纵向线条皆可，也算是实现了十字对焦。
当然我们对其实现细节，和制造工艺流程是否造成额外的难度并不了解。三星提到，针对PDAF每个像素都采用两个光电二极管，也就有1亿个相位检测主体参与。在结构上是“不仅垂直切分像素，而且对角线切分像素”，具体在工艺和像素结构上是怎么做的，其实也比较值得研究。另外对低光照环境下的对焦，和运动物体追焦也有提升。
ISO双增益、低功耗实现
有关ISO双增益（dual native ISO）的问题，我们在此前的文章里也已经介绍过了。国内最早做ISO双增益宣传的手机应该是OPPO Find X2，那颗索尼IMX689就应用了这项技术。虽然到目前为止，我们也仍然不怎么清楚手机摄像头CIS实现双增益的方法具体是什么。
三星GN2的每四个像素为一组，有单独的双增益控制开关，可调整两档ISO感光度。对于比较明亮的场景，传感器会让像素的图像信号达到ADC的全输入范围，也就是低ISO模式；对于暗光场景，则切换到高ISO模式，即提高像素增益。
这类方案针对不同的光照场景选择两档原生ISO，三星称其为Smart ISO Pro。“采用iDCG（intra-scene dual conversion gain）解决方案，从高和低ISO读出，获得高动态范围画面，更少受到动态伪像的影响。”看起来也是HDR的组成部分，不知道这一点和前文提到的交错HDR是否做了结合。
“此外，在低光照环境下，Smart ISO Pro能够在高ISO下快速获取和处理多帧，将感光度提升到接近1000000 ISO，将手机夜间成像提升到更高的高度。”感觉这是一个略夸张的表达方式，和如今手机夜景模式常见的多张堆栈的“长曝光”应该是同一个意思。至于ISO 1000000，体现这一点的应该是将晚上拍得像白天也是现在一众手机夜景模式的常见操作......
还有个相关GN2比较值得一提的点是三星宣传中提及GN2的低功耗。针对GN2这颗CIS，三星将ADC的供电电压从2.8V降低到2.2V，实现20%的功率缩减（311mW->244mW）。
不过降供电电压也会降低ADC的输入范围，令其无法接收像素电压的完整范围。为了解决这个问题，三星针对像素die增加了-0.6V的substrate反馈偏压，level shifting输出范围；与此同时，逻辑die这层（也就是28nm die）的ADC电路，所用的晶体管设计作了优化，是一种所谓的低阈值电压晶体管。两者结合，在确保完整曝光范围的情况下，降低了工作功率。
从Yole Developpement公布2020年CIS市场的数据来看，索尼仍然是绝对的第一，占到整个市场的40%。不过三星一定程度缩短了与索尼的距离——虽然幅度还是比较小，从前年的21%上涨到2020年的22%；索尼则下滑了2个百分点。
两者技术上的竞争这两年还是咬得很紧，此前Yole Developpement还专门写了一篇专注于三星的智能手机模块对比报告，强调了其创新性。而CIS的技术发展，自可视作手机拍照进步的一大基石，从这两年手机厂商的宣传就看得出来。
责编：Luffy Liu