图像传感器简史与CMOS图像传感器的应用
第一台数码相机诞生于1975年,当时的照片是一张100×100分辨率的黑白照片。从1975年到2020年,数码相机经历了45年的发展历程,相机的像素数量在期间经历了数次爆发。数码相机的传感器,是数码相机的心脏,传感器的技术工艺平决定了相机的成像水平,自然也是像素进步的先决条件。从1975年数码相机诞生至今,传感器发展同样经历了漫长过程,而图像传感器的光学倍增管的发明作为诞生元年。本文以图像传感器的发展作为主线,再讲解CMOS的应用。
1 图像传感器的历史沿革
撬开电子影像的大门
1873年,科学家约瑟·美(Joseph May)及伟洛比·史密夫(Willoughby Smith)就发现了硒元素结晶体感光后能产生电流,由此,电子影像发展开始,随着技术演进,图像传感器性能逐步提升,发展异常迅猛。
20世纪50年代——光学倍增管(Photo MultiplierTube,简称PMT)出现。光电倍增管(简称PMT),真空光电管的一种。工作原理是:由光电效应引起,在PMT入射窗处撞击光电阴极的光子产生电子,然后由高压场加速,并在二次加工过程中在倍增电极链中倍增发射。
1965年-1970年,IBM、Fairchild等企业开发光电以及双极二极管阵列。
CCD时代
1969年,对于影像行业是个大日子,贝尔实验室的George Smith和Willard Boyle将可视电话和半导体泡存储技术结合,设计了可以沿半导体表面传导电荷的“电荷'泡’器件”(Charge “Bubble” Devices),这种装置的特性就是它能沿着一片半导体的表面传递电荷,便尝试用来做为记忆装置,当时只能从暂存器用「注入」电荷的方式输入记忆。但随即发现光电效应能使此种元件表面产生电荷,而组成数位影像。这也就成为为了CCD器件的原型。
1970年,贝尔实验室的研究员已能用简单的线性装置捕捉影像,CCD就此诞生。有几家公司接续此一发明,着手进行进一步的研究,包括快捷半导体(FairchildSemiconductor)、美国无线电公司(RCA)和德州仪器(Texas Instruments)。其中快捷半导体的产品率先上市,於1974年发表500单元的线性装置和100x100像素的平面装置。
CCD全称为Charge Coupled Device,中文翻译为'电荷藕合器件'。它使用一种高感光度的半导体材料制成,能把光线转变成电荷。因而具有灵敏度高、抗强光、畸变小、体积小、寿命长、抗震动等优点。CCD是电子设备, CCD在硅芯片(IC)中进行光信号与电信号之间的转换,从而实现数字化,并存储为计算机上的图像文件。CCD图像传感器依靠其高量子效率、高灵敏度、低暗电流、高一致性、低噪音等性能,一时成为图像传感器市场的主导。2006年1月,Willard Boyle和George E. Smith获颁电机电子工程师学会(IEEE)颁发的Charles StarkDraper奖章,以表彰他们对CCD发展的贡献。2009年, Willard Boyle和George E. Smith因CCD的发明获得诺贝尔物理学奖。
1976年,拜耳滤镜正式问世,从此,以红、绿、蓝三种颜色通道为基础的图像传感器,奠定了数码相机的发展基础。在三十年间,CCD传感器,从最初的实验产品,发展到可用于市场化的21.6×16.56mm的610万像素APS-C画幅。
1997年,卡西尼国际空间站使用CCD相机(广角和窄角)。美国宇航局局长丹尼尔戈尔丁称赞CCD相机“更快,更好,更便宜”;声称在未来的航天器上减少质量,功率,成本,都需要小型化相机。而电子集成便是小型化的良好途径,而基于MOS的图像传感器便拥有无源像素和有源像素(3T)的配置。
CMOS时代
90年代末,步入CMOS时代,在介绍必须清楚CMOS图像传感器的分类,CMOS传感器可根据器是否具备信号放大功能,若像素不具备信号放大功能,归结为PPS(Passive PixelSensor,无源像素传感器),若像素具备信号放大功能,则称为APS(Active PixelSensor,有源像素传感器),如今,APS已经后才能为CMOS的主流。下面介绍下CMOS图像传感器的诞生,一般认为最早使用CMOS LSI工艺的图像传感器是发表在1990年的ASIC Image Sensor。然而,该图像传感器不是现今主流的APS,而是PPS。就连1993年发表的CMOS Image Sensor,也同样属于PPS。像素为APS的CMOS Active pixelimage sensor的论文,直到1994年才出现,本质上符合现代CMOS制造工艺。时至今日,像素为APS的CMOS图像传感器已经成为图像传感器主流。
CMOS全称为Complementary Metal-OxideSemiconductor,中文翻译为互补性氧化金属半导体。CMOS的制造技术和一般计算机芯片没什么差别,主要是利用硅和锗这两种元素所做成的半导体,使其在CMOS上共存着带N(带–电)和P(带 电)级的半导体,这两个互补效应所产生的电流即可被处理芯片记录和解读成影像。
1995年2月,Photobit公司成立,该公司的P.J.Nobie提出了改进固态图像传感器,他还简要描述了在同一个芯片上集成模式识别的逻辑电路的可能性,这也是智能CMOS传感器的概念被首次提出,从而将CMOS图像传感器技术实现商业化。CMOS图像传感器使得“芯片相机”成为可能,相机小型化趋势明显。
1995-2001年间,Photobit增长到约135人,主要包括:私营企业自筹资金的定制设计合同、SBIR计划的重要支持(NASA/DoD)、战略业务合作伙伴的投资,这期间共提交了100多项新专利申请。
2001年11月,Photobit被美光科技公司收购并获得许可回归加州理工学院。与此同时,到2001年,已有数十家竞争对手崭露头角,例如Toshiba,ST Micro,Omnivision,CMOS图像传感器业务部分归功于早期的努力促进技术成果转化。后来,索尼和三星分别成为了现在全球市场排名第一,第二。后来,Micron剥离了Aptina,Aptina被ON Semi收购,目前排名第4。CMOS传感器逐渐成为摄影领域主流,并广泛应用于多种场合。
2007年,Siimpel AF相机模型的出现标志着相机小型化重大突破。芯片相机的崛起为多个领域(车载,军工航天、医疗、工业制造、移动摄影、安防)等领域的技术创新提供了新机遇。
CMOS图像传感器经商业化后,发展迅猛,应用前景广阔,逐步取代CCD成为新潮流。
2 CMOS图像传感器的应用
CMOS图像传感器简称CIS(CMOS ImageSensor),CIS具有体积小、功耗低等优势,在图像传感器领域占有率达到90%。随着背照式和堆栈式技术等新型CMOS图像传感器技术的进步,以及双摄像头、3D摄像头陆续出现并成为智能手机的新卖点。再加上汽车、无人机、VR以及AR技术等新兴市场的推动,CMOS图像传感器正迎来新一轮的产业成长高峰。
目前,CIS市场正处于稳定增长期,预计2024年市场逐渐饱和,市场规模达到240亿美元。
1.手机领域
众所周知,移动端一直是CMOS图像传感器重要的市场。据预测,未来智能手机中将广泛采用双摄像头和多摄像头,随着这两种应用的普及,CMOS无疑将迎来新一轮的爆发。同时这将驱动着CMOS图像传感器产业发生变化,从成像质量到人机交互,这是一个从成像到传感和用户界面的大转变。
2000年,夏普首次推出可拍照的手机;随后智能手机时代到来,主摄像头素质不断提升;目前,双摄/多摄已成为主流。前置摄像头素质同步提升,目前越来越多厂商加入人脸识别功能。
随着技术的发展,越来越多的手机开始注重拍照的硬件升级。摄像头和CMOS成为了产品突出差异性的卖点之一。抛开镜头差异,成像质量与CMOS大小成正比,主摄像素提升推动CMOS迭代升级。
根据Yole的统计显示,平均每部智能手机CMOS图像传感器数量在2024年将达到3.4个,年复合增长率达到6.2%。
手机摄像头数量增加,CIS出货量成倍增长。为了提高照相画质,手机引入了双摄、甚至三摄、四摄。
2.车载领域
车载领域的CIS应用包括:后视摄像(RVC),全方位视图系统(SVS),摄像机监控系统(CMS),FV/MV,DMS/IMS系统。汽车电子是CIS增长最快的细分市场,2015年全球销售额为4.8亿美元,占CMOS市场的4.8%,预计2020年底销售额可达18亿美元,市场占比将达到11%。
3.安防领域
闭路电视监控系统发展历程:录像带录像机(VCR)→数字视频录像机(DVR)→网络视频录像机(NVR)。视频监控系统越来越复杂,性能也不断升级。
4.医疗影像
传统的CCD图像传感器技术已不能满足医疗图像抓取应用的需要。CIS凭借其六大优势席卷医疗电子应用,主要优势包括:系统集成度更高、动力要求较低、图像抓取功能更为灵活、界面智能化程度更高、动态范围更大、感光度更高。一些常用的医疗器械如医疗内窥镜均因为CIS使得性能有大幅度提升。
图像传感器技术正逐渐在行业中创造颠覆性力量,从2014年开始,市场发展迅速,行业竞争加剧:韩国和中国出现更多新参与者,成为现有大型企业的潜在障碍,行业完全整合的可能性降低。
CIS在医疗影像市场具有多元应用场景:X-ray、内窥镜、分子成像、光学相干断层扫描以及超声成像。
[ps]George Smith和WillardBoyle简介
Willard Boyle , 1924年出生于加拿大阿默斯特,3岁时随家人搬迁到魁北克城以北350公里的一个小村庄,这里交通不便,出行基本依靠狗拉的雪橇,因此上高中前Boyle都是在母亲的指导下自学。Boyle高中时代在蒙特利尔的一家私立学校度过,高中毕业后即加入加拿大海军,成为航空母舰战斗机飞行员以参加第二次世界大战,但不久二战就结束了,Boyle从没参与过真正的战斗。
1950年,Boyle又回到学校攻读博士学位,3年后他加入了美国贝尔实验室。今天,提起Boyle,人们知道他是CCD图像传感器两名发明者之一,但实际上他作出的贡献很多,包括1962年与他人合作发明第一台红宝石连续激光器等。Boyle还与另一名科学家获得了有关半导体注入式激光器设想的第一个专利。今天,光碟(CD)录制和播放大多需要依靠半导体激光器技术。
George Smith, 1930年出生于美国纽约,在宾夕法尼亚大学获学士学位,在芝加哥大学获硕士和博士学位,1959年博士毕业后,Smith加入了美国贝尔实验室。一开始,他的研究方向是半导体的电学性质和能带结构。1964年,史密斯成为贝尔实验室设备概念部门的负责人,成立这个部门的目的是研究下一代固态器件。1969年,Smith和Boyle共同发明了CCD图像传感器。
Smith先后撰写了40多篇科学论文,在美国拥有31个专利。由于Smith作出的杰出贡献,2002年,美国电气与电子工程师学会还专门设立了一个以他命名的奖项。
参考文献:
[1] 孙波, 王晓燕. CCD图像传感器和CMOS图像传感器的比较研究. 信息通信. 2015(12),35-36.
[2] M. Bigas,E.Cabruja, J. Forest and J. Salvi. Review of CMOS image sensors. MircoelectronicsJournal,2006(37), 433-451.
[3] 倪景华, 黄其煜. CMOS图像传感器及其发展趋势. 光机电研究论坛. 2008, 33-38.
[4]Renshaw D, Denyer P B, Wang G, et al. ASIC image sensors[C]//IEEEInternational Symposium on Circuits and Systems. IEEE, 1990: 3038-3041.
[5] El Gamal A,Eltoukhy H. CMOS image sensors[J]. IEEE Circuits and Devices Magazine, 2005,21(3): 6-20.
[6] Mendis S,Kemeny S E, Fossum E R. CMOS active pixel image sensor[J]. IEEE transactions onElectron Devices, 1994, 41(3): 452-453.
[7] 米本和也, 榕庭, 美桂. CCD/CMOS 图像传感器基础与应用[M]. 科学出版社, 2006.
[8] 中村淳. 数码相机中的图像传感器和信号处理[M]. 清华大学出版社, 2015.