自动驾驶传感器之摄像头（九）车载摄像头图像优化 / 四六文摘

作者 / 阿宝

编辑 / 阿宝

出品 / 阿宝1990

抗噪处理

AG 的增大，不可避免的带来噪点的增多，此外，如果光线较暗，曝光时间过长，也会增加噪点的数目（从数码相机上看，主要是因为长时间曝光，感光元件温度升高，电流噪声造成感光元件噪点的增多），而感光元件本身的缺陷也是噪点甚至坏点的来源之一。因此，通常sensor集成或后端的ISP都带有降噪功能的相关设置。

启动时机

根据噪点形成的原因，主要是AG或Exptime超过一定值后需要启动降噪功能，因此通常需要确定这两个参数的阙值，过小和过大都不好。

从下面的降噪处理的办法将会看到，降噪势附带的带来图像质量的下降，所以过早启动降噪功能，在不必要的情况下做降噪处理不但增加处理器或ISP的负担，还有可能适得其反。而过迟启动降噪功能，则在原本需要它的时候，起不到相应的作用。

判定原则和处理方式

那么如何判定一个点是否是噪点呢？我们从人是如何识别噪点的开始讨论，对于人眼来说，判定一个点是噪点，无外乎就是这一点的亮度或颜色与边上大部分的点差异过大。从噪点产生的机制来说，颜色的异常应该是总是伴随着亮度的异常，而且对亮度异常的处理工作量比颜色异常要小，所以通常sensor ISP的判定原则是一个点的亮度与周围点的亮度的差值大于一个阙值的时候，就认为该点是一个噪点。

处理的方式，通常是对周围的点取均值来替代原先的值，这种做法并不增加信息量，类似于一个模糊算法。

对于高端的数码相机，拥有较强的图像处理芯片，在判定和处理方面是否有更复杂的算法，估计也是有可能的。比如亮度和颜色综合作为标准来判定噪点，采用运算量更大的插值算法做补偿，对于sensor固有的坏点，噪点，采用屏蔽的方式抛弃其数据（Nikon就是这么做的，其它厂商应该也如此）等等。

效果

对于手机sensor来说，这种降噪处理的作用有多大，笔者个人认为应该很有限，毕竟相对数码相机，手机sensor的镜头太小，通光量小，所以其基准AG势必就比相机的增益要大（比如相当于普通家用数码相机ISO800的水平），这样才能获得同样的亮度，所以电流噪声带来的影响也就要大得多。

这样一来，即使最佳情况，噪点也会很多，数据本身的波动就很大，这也就造成我们在手机照片上势必会看到的密密麻麻的花点，如果全部做平均，降低了噪点的同时，图像也会变得模糊，所以手机噪点的判断阙值会设得比较高，以免涉及面过大，模糊了整体图像。这样一来一是数据本身就差，二是降噪的标准也降低了，造成总体效果不佳。

变焦

变焦可以有两种形式：

其一，是通过插值算法，对图像进行插值运算，将图像的尺寸扩大到所需的规格，这种算法就其效果而言，并不理想，尤其是当使用在手机上的时候，手机上的摄像头本身得到的数据就有较大的噪声，再插值的话，得到的图像几乎没法使用。实际上，即使是数码相机的数码变焦功能也没有太大的实用价值。如果插值算法没有硬件支持，则需要在应用层实现。我司某平台的数码变焦用的就是该种办法。

其二，其实是一种伪数码变焦的形式，当摄像头不处在最大分辨率格式的情况下，比如130万像素的sensor使用640*480的规格拍照时，仍旧设置sersor工作在1280*960的分辨率下，而后通过采集中央部分的图像来获取640*480的照片，使得在手机上看来所拍物体尺寸被放大了一倍。也有很多手机采用的是这种数码变焦方式，这种办法几乎不需要额外的算法支持，对图像质量也没有影响，缺点是只有小尺寸情况下可以采用。此外在DV方式下也可以实现所谓的数码变焦放大拍摄功能。（这应该是一个卖点，对Dv来说，这种数码变焦还是有实际意义的）要采用这种变焦模式，驱动需要支持windowing功能，获取所需部分的sensor图像数据。

频闪抑制功能

何谓频闪

日常使用的普通光源如白炽灯、日光灯、石英灯等都是直接用220/50Hz交流电工作，每秒钟内正负半周各变化50次，因而导致灯光在1秒钟内发生100（50×2）次的闪烁，再加上市电电压的不稳定，灯光忽明忽暗，这样就产生了所谓的“频闪”。

下表显示了几种光源的光强波动情况：

因为人眼对光强变化有一定的迟滞和适应性，所以通常看不出光源的亮度变化。但是依然还是会增加眼睛的疲劳程度。所以市场上才会有所谓的无频闪灯销售。

如今主流车载摄像头的像素并不高，通常在200万以下，但对可靠性、耐温、实时性等要求都高于消费级产品。此外针对流媒体后视镜，以及变道预警、车道保持等驾驶辅助功能，有一个很重要的要求是消除LED灯闪烁现象，这是车载应用的特殊要求。

对于camera sensor来说，没有人眼的迟滞和适应过程，所以对光源亮度的变化是比较敏感的。如果不加抑制，在预览和DV模式下，可能会有明显的图像的明亮变化闪烁的现象发生。

在视频处理上，“LED闪烁”是指在录像时拍摄到的LED灯闪烁的状况。

“LED闪烁”是由LED驱动方式而产生的现象，LED灯以交流方式驱动，为让人眼感觉不到闪烁及亮暗变化，驱动频率一般在90Hz以上，即最慢脉冲周期为11毫秒左右，LED在11毫秒周期内实现一次亮灭，为节能及延长使用寿命，占空比通常不超过50%，如果相机曝光时间较短（例如3毫秒），则有可能曝光时间正好对上LED被关灭期，这时候图像传感器抓到的就是LED灭掉的图像，如果是LED阵列，在这种情况下拍到的图像将可能是一部分亮，一部分暗，这就是“LED闪烁”现象。

因此，LED闪烁是数字成像技术所固有的现象，拍摄到的闪烁是由于曝光时间横跨LED交流驱动亮暗周期而造成，是“真正”的影像。但这样“真正”的影像，传输到监视屏幕由人类或电子系统来识别时，会造成误判。如果流媒体后视镜没有防LED闪烁能力，遇到配备了LED车灯的汽车时，容易导致危险，驾驶者可能将图像传感器传出的闪烁车灯误认作转向灯或双闪灯。

在高级驾驶辅助系统中，LED闪烁造成的危害更大。LED闪烁会导致系统无法正常检测电子路标与交通信号灯，无法区分转向灯与车尾灯。

如何解决呢？考虑到频闪的周期性，在一个周期内，光源亮度的累积值，应该是大体一致的，所以，如果控制曝光的时间是频闪周期的整倍数，那么每一帧图像的亮度就大体是一致的了，这样就可以有效地抑制频闪对图像亮度的影响。

所以，在自动曝光的模式下，sensor会根据频闪的频率，调整曝光时间为其周期的整倍数。因为各地的交流电的频率不同，所以有50Hz/60Hz之分。

在具体设置相关Sensor寄存器的时候，要根据电流频率和sensor的时钟频率，分辨率等，计算出频闪周期对应的时钟周期数等。

分离像素技术图像传感器中，有大小两种像素，其中小像素降低敏感度，延长曝光时间，保证最慢速率驱动LED的每一个周期的亮起时间都被捕捉到，大像素曝光时间维持正常，两种像素获取的图像做合成处理，最终得到的图像将不会有闪烁现象。

因为小像素的动态范围有限，所以这种解决方案最终还是会牺牲一些动态范围，难以将图像传感器的全部动态范围发挥出来。但汽车应用场景复杂，经常会遭遇亮暗变化大的场景，所以对动态范围的要求一直很高，如果能在高动态范围基础上实现去闪烁功能，显然能应用到更广泛的场景中。

豪威科技推出的图像处理器（ISP）OAX4010，可以在不牺牲动态范围的基础上，实现去闪烁功能。OAX4010搭配OX01A10/OX02A10，可以对一帧图像在“像素单元级实现三次曝光”，即长曝光、短曝光和超短曝光，然后ISP对这三幅图像进行实时处理，在去闪烁（需要长时间曝光）的同时，维持住120dB的动态范围。

往期推荐

自动驾驶传感器之摄像头（一）摄像头的发展历史

自动驾驶传感器之摄像头（二）车载摄像头的系统架构基本介绍

自动驾驶传感器之摄像头（三）车载摄像头图像传感器技术路线

自动驾驶传感器之摄像头（四）车载摄像头硬件接口设计

自动驾驶传感器之摄像头（五）车载摄像头重要器件镜头及光学参数讲解

自动驾驶传感器之摄像头（六）车载摄像头重要指标参数

自动驾驶传感器之摄像头（七）车载摄像色彩感应及校正

自动驾驶传感器之摄像头（八）车载摄像头色彩白平衡

参考资料：

https://mp.weixin.qq.com/s/RVIOlT_Yr5GmpNQ12mfBFQ

https://mp.weixin.qq.com/s/y1CCWyG8pJ8tONZTiiYXfw