自动驾驶传感器之摄像头（八）车载摄像头色彩白平衡
作者 / 阿宝
编辑 / 阿宝
出品 / 阿宝1990
色温定义
色温的定义：将黑体从绝对零度开始加温，温度每升高一度称为1开氏度(用字母K来表示)，当温度升高到一定程度时候，黑体便辐射出可见光，其光谱成份以及给人的感觉也会着温度的不断升高发生相应的变化。于是，就把黑体辐射一定色光的温度定为发射相同色光光源的色温。
常见光源色温：
光源 色温（K）
钨丝灯（白炽灯） 2500-3200k
碳棒灯 4000-5500k
荧光灯（日光灯，节能灯） 4500-6500k
氙灯 5600 k
炭精灯 5500～6500k
日光平均 5400k
有云天气下的日光 6500-7000k
阴天日光 12000-18000k
随着色温的升高，光源的颜色由暖色向冷色过渡，光源中的能量分布也由红光端向蓝光端偏移。
值得注意的是，实际光源的光谱分布各不相同，而色温只是代表了能量的偏重程度，并不反映具体的光谱分布，所以即使相同色温的光源，也可能引起不同的色彩反应。
人眼及大脑对色温有一定的生理和心理的自适应性，所以看到的颜色受色温偏移的影响较小，而camera的sersor没有这种能力，所以拍出来的照片不经过白平衡处理的话，和人眼看到的颜色会有较大的偏差（虽然人眼看到的和白光下真实的色彩也有偏差）。
太阳光色温随天气和时间变化的原因，与不同频率光的折射率有关：
波长长的光线，折射率小，透射能力强，波长短的光线，折射率大，容易被散射，折射率低，这也就是为什么交通灯用红色，防雾灯通常是黄色，天空为什么是蓝色的等等现象的原因。
知道了这一点，太阳光色温变化的规律和原因也就可以理解和分析了。
色温变化时的色彩校正
所以从理论上可以看出，随着色温的升高，要对色温进行较正，否则，物体在这样的光线条件下所表现出来的颜色就会偏离其正常的颜色，因此需要降低sensor对红色的增益，增加sersor对蓝光的增益。
同时在调整参数时一定程度上要考虑到整体亮度的要保持大致的不变，即以YUV来衡量时，Y值要基本保持不变，理论上认为可以参考RGB->YUV变换公式中，RGB三分量对Y值的贡献，从而确定RGAIN和BGAIN的变化的比例关系。但实际情况比这还要复杂一些，要考虑到不同sensor对R,B的感光的交叉影响和非线性，所以最佳值可能和理论值会有一些偏差。
自动白平衡处理
自动白平衡是基于假设场景的色彩的平均值落在一个特定的范围内，如果测量得到结果偏离该范围，则调整对应参数，校正直到其均值落入指定范围。该处理过程可能基于YUV空间，也可能基于RGB空间来进行。对于Sensor来说，通常的处理方式是通过校正R/B增益，使得UV值落在一个指定的范围内。从而实现自动白平衡。
特殊情况的处理
在自动白平衡中，容易遇到的问题是，如果拍摄的场景，排除光线色温的影响，其本身颜色就是偏离平均颜色值的，比如大面积的偏向某种颜色的图案如：草地，红旗，蓝天等等，这时候，强制白平衡将其平均颜色调整到灰色附近，图像颜色就会严重失真。
因此，通常的做法是：在处理自动白平衡时，除了做为目标结果的预期颜色范围外，另外再设置一对源图像的颜色范围阙值，如果未经处理的图像其颜色均值超出了该阙值的话，根本就不对其做自动白平衡处理。由此保证了上述特殊情况的正确处理。
可见，这两对阙值的确定对于自动白平衡的效果起着关键性的作用。
某平台的例子
可以看到随着色温的升高，其变化规律基本符合上节中的理论分析。不过这里多数参数与理论值都有一些偏差，其中日光灯的色温参数设置与理论值有较大的偏差，实际效果也证明该日光灯的参数设置使得在家用日光灯环境下拍摄得到的照片颜色偏蓝。修改其参数后实拍效果明显改善。（再查一些资料可以看到通常会有两种荧光灯色温 4000 和 5000K，目前所接触到的应该是5000K居多）
具体参数的调整，应该在灯箱环境下，使用各种已知色温的标准光源对标准色卡拍摄，在Pc机上由取色工具测量得到其与标准色板的RGB分量上的色彩偏差，相应的调整各分量增益的比例关系。为了更精确的得到结果，曝光量增益的设置在此之前应该相对准确的校正过。
亮度及曝光控制篇
感光宽容度
从最明亮到最黑暗，假设人眼能够看到一定的范围，那么胶片（或CCD等电子感光器件）所能表现的远比人眼看到的范围小的多，而这个有限的范围就是感光宽容度。
人眼的感光宽容度比胶片要高很多，而胶片的感光宽容度要比数码相机的ccd高出很多！了解这个概念之后，我们就不难了解，为什么在逆光的条件下，人眼能看清背光的建筑物以及耀眼的天空云彩。而一旦拍摄出来，要么就是云彩颜色绚烂而建筑物变成了黑糊糊的剪影，要么就是建筑物色彩细节清楚而原本美丽的云彩却成了白色的一片。
再看人眼的结构，有瞳孔可以控制通光量，有杆状感光细胞和椎状感光细胞以适应不同的光强，可见即使人眼有着很高的感光宽容度，依然有亮度调节系统，以适应光强变化。
那么对于camera sensor来说，正确的曝光就更为重要了！
自动曝光和18%灰
对于sensor来说，又是如何来判断曝光是否正确呢？很标准的做法就是在YUV空间计算当前图像的Y值的均值。调节各种曝光参数设定（自动或手动），使得该均值落在一个目标值附近的时候，就认为得到了正确的曝光。
那么如何确定这个Y的均值，以及如何调整参数使得sensor能够将当前图像的亮度调整到这个范围呢？
这就涉及到一个概念 18%灰，一般认为室内室外的景物，在通常的情况下，其平均的反光系数大约为18%，而色彩均值，如前所述，可以认为是一种中灰的色调。这样，可以通过对反光率为18%的灰板拍摄，调整曝光参数，使其颜色接近为中等亮度的灰色（Y值为128）。然后，对于通常的景物，就能自动的得到正确的曝光了。
当然这种自动判断曝光参数的AE功能不是万能的，对于反光率偏离通常均值的场景，比如雪景，夜景等，用这种方法就无法得到正确的曝光量了。所以在sensor的软件处理模块中，通常还会提供曝光级别的设定功能，强制改变自动曝光的判断标准。比如改变预期的亮度均值等。
曝光参数的调整
曝光强度的调整，可以通过改变曝光时间，也可以通过改变亮度增益AG来实现。
曝光时间受到桢频的限制，比如摄像时要求15帧每秒的话，这时候曝光时间最长就不能超过1/15s，可能还有别的条件限制，实际的曝光时间还要短，在光线弱的情况下，单独调整曝光时间就无法满足帧频的需要了。
这时候还可以调整增益AG，来控制曝光的增益，降低曝光时间。但是，这样做的缺点是以牺牲图像质量为代价的，AG的增强，伴随的必然是信噪比的降低，图像噪声的增强。
所以，以图像质量为优先考虑的时候，曝光参数的调节通常是优先考虑调节曝光时间，其次在考虑曝光增益。当然曝光时间也不能过长以免由于抖动造成图像的模糊，而在拍摄运动场景时，对曝光时间的要求就更高了。
参考资料：
https://mp.weixin.qq.com/s/RVIOlT_Yr5GmpNQ12mfBFQ
https://mp.weixin.qq.com/s/y1CCWyG8pJ8tONZTiiYXfw
https://mp.weixin.qq.com/s/ZZX6NyGKTpC8awscJV6PFg
https://mp.weixin.qq.com/s/bQ_-FJbxDr-h9tYw1G1KZA
https://mp.weixin.qq.com/s/GfJ_u81VoxgE4BCAYm4IOQ
https://mp.weixin.qq.com/s/ewmX5qFkidvL8z21SE8DFg
https://mp.weixin.qq.com/s/XRZ197HIiYDuBF55MaNsog
https://mp.weixin.qq.com/s/YS_2agnfZl6Otm6tvGy_7A
https://mp.weixin.qq.com/s/2E0aQeb_9BFAvbVlu-tdIg
https://mp.weixin.qq.com/s/bxubsR_8orap8GRsUB1xHQ
https://mp.weixin.qq.com/s/eNjbHZaaaa2YRt_X0Ke1pw
https://mp.weixin.qq.com/s/oq_fMnMMlF0HC_J5VJ-xUQ
https://mp.weixin.qq.com/s/iA1cOzz5tLiUREQIaNsNXw
https://mp.weixin.qq.com/s/XWpwgZ_nlx7pjewVtjckWQ
https://mp.weixin.qq.com/s/FiW0S6PRjdFWW8eeCiJWxQ