ISP-黑电平校正(BLC)

概述

介绍

黑电平(Black Level Correction)也就是黑色的最低点,以8bit数据来说,指在经过一定校准的显示装置上,没有一行光亮输出的视频信号电平。定义图像数据为0时对应的信号电平。

原因

那么为什么要进行黑电平校正呢?原因如下:

  1. CMOS传感器采集的信息经过一系列转换生成原始RAW格式数据。以8bit数据为例,单个pixel的有效值是0~255,但是实际AD芯片(模数转换芯片)的精度可能无法将电压值很小的一部分转换出来,因此,sensor厂家一般会在AD的输入之前加上一个固定的偏移量,使输出的pixel value在5(非固定)~255之间,目的是为了让暗部的细节完全保留,当然同时也会损失一些亮部细节,由于对于图像来说,我们的关注度更倾向于暗部区域,ISP后面会有很多增益模块(LSC、AWB、Gamma等),因此亮区的一点点损失是可以接受的。
  2. sensor的电路本身会存在暗电流,导致在没有光线照射的时候,像素单位也有一定的输出电压,暗电流这个东西跟曝光时间和gain都有关系,不同的位置也是不一样的。因此在gain增大的时候,电路的增益增大,暗电流也会增强,因此很多ISP会选择在不同gain下减去不同的bl的值。

Optical Black

每个sensor都有OB区域,CCD sensor初期成像效果较差,它会把top OB 和 side OB暴露给isp使用,这样isp可以自己估算不同区域不同的black level值,再分别处理。然而ob并不能真实的反映黑电平的值,因此目前很少有ISP或sensor去使用ob区域进行计算。

校正

现在的主流cmos sensor都是自己把black level已经处理完了。在isp部分减掉的其实不是black level,而是sensor统一做出来的pedestal。sensor端不会将bl减完,因为sensor输出不能为负数,若将bl减完,就等于小于0的部分直接就丢掉了,这样做会改变noise的分布。

算法

一般BLC模块会放在ISP比较靠前的位置,因为我们希望图像在进入其他模块之前能够还原最为真实的图像。有些sensor会在sensor内部集成BLC的模块,那么此时ISP里的BLC模块只做微调即可。

由于硬件设计人员在设计BLC模块时需要考虑效果和成本,因此目前市场上使用的ISP一般采用的方法是在sensor输出的图像上减去一个数值。

BLC各个通道均需要校正,目前比较常用的方法有:

  • 中值
  • 全局均值
  • 局部均值
  • 自定义

计算较为简单,这里不附代码了。

tuning

由于电源、PCB等各个原因,我们遇到的黑平衡并不是那么理想,如下两种情况,当然还有更糟的,这里不一一列举。

校正前需要根据图像的具体情况进行分析,若图像平面趋于平整,则推荐使用全帧均值;若图像出现一些峰值,有明显突出山峰等,推荐使用中值的方法;若出现某个角的值比较高,可能由于电源或者其他的原因引起的,则推荐使用局部计算的方法;此外,还有自定义、最大值等方法,需要根据不同图像的情况去选择方法,终其目的都是一样的。

以单通道为例,以下是黑电平校正的示意图:

(0)

相关推荐

  • 【学术论文】基于FPGA的小型化实时CMOS成像处理系统

    摘要: 针对成像处理系统的实时性和小型化的问题,设计了一种基于Cyclone IV系列FPGA的CMOS数据采集处理系统,实现了图像的实时采集.处理和双通道输出:通过体系结构上的优化实现了系统的小型化 ...

  • 海思ISP简介

    参考:https://blog.51cto.com/shugenyin/1851232 https://blog.csdn.net/qq_32896111/article/details/996434 ...

  • 【博文连载】OV7725寄存器介绍

    首先介绍一下OV7725的寄存器.OV7725总共有172个寄存器,作为CMOS Sensor的工作模式的配置.而这172个寄存器,有些只读,有些则同时支持读写功能.在传感器正常工作工作前,必须进行寄 ...

  • 曝光和gamma原理

    从最明亮到最黑暗,假设人眼能够看到一定的范围,那么胶片(或CCD 等电子感光器件)所能表现的远比人眼看到的范围小的多,而这个有限的范围就是感光宽容度. 人眼的感光宽容度比胶片要高很多,而胶片的感光宽容 ...

  • Camera ISP与DSP的区别|Camera

    在介绍Camera ISP和DSP区别前,我们先看看Camera的工作流程 拍摄景物通过镜头,将生成的光学图像投射到传感器上,然后光学图像被转换成电信号,电信号再经过模数转换变为数字信号,数字信号经过 ...

  • 车载摄像头技术 — 图像处理(三)

    图像信号处理器(ISP) 原始图像信号必须经过一系列的后处理,才能将其转换为数字图像.ISP是专用组件,用于处理摄像头的原始数据流,以改善最终图像质量,以便图像识别平台和车辆驾驶员可以使用它. ISP ...

  • 小米自研的澎湃SoC,为什么选择采用独立的ISP?

    手机的SoC芯片包含BP(基带芯片).CUP(通用处理器).GPU(图形处理器).DSP(数字信号处理器).ISP(图像信号处理器)等重要的模块,这些模块都可以称之为IP.这次小米高调发布的" ...

  • 【VINS论文笔记】系列之状态估计器流程

    标题:VINS-Mono代码解读--状态估计器流程 estimator 写在初始化和非线性优化前 作者:Manii 来源:https://blog.csdn.net/qq_41839222/categ ...

  • vivo X70系列搭载V1芯片,这个芯片干什么用的?

    vivo X70系列搭载V1芯片,这个芯片干什么用的?大家觉得值得等待吗? 这颗V1芯片是ISP芯片,被称之为图形图像信号处理芯片:那么到底有怎样的作用,能够提升怎样的价值,首先我们来看一段专业的介绍 ...

  • 公开课精华 | 无人驾驶中感知的挑战与尝试

    本文总结于深圳元戎启行公司点云感知方向技术负责人邹晓艺,在深蓝学院的关于无人驾驶中感知的挑战与尝试的公开课演讲内容. 主讲人邹晓艺来自深圳元戎启行公司,曾在百度IDL和ADU部门工作过,是百度 apo ...

  • 海思平台(hi3559/hi3519/hi3516/hi3518)下的ISP功能介绍及问题调试总结(包括黑光成像/逆光成像/降噪/宽动态wdr/偏色等问题)

    海思平台下的ISP功能介绍及问题调试 平台说明 该调试是在海思平台下进行的(我用的是3559,在3519/3516测试也是没有问题的,只是部分参数稍微有差异.其海思他系列处理器的ISP调试大体上也是一 ...

  • 【学术论文】基于FPGA的图像自适应加权均值滤波设计

    摘要 针对CMOS图像传感器采集图像过程中的噪声预处理问题,提出一种在FPGA中实现的可配置的自适应加权均值滤波模块设计方案.该模块通过检测滤波窗口内不同方向的方差来确定纹理方向,从而自动生成相应的加 ...