ISP PIPLINE（零） 知识综述预热

本文为camera isp pipline概述

ISP,即image signal processing。为图像成型做的处理工作。适应不同光学环境下图像的还原。

pipline流程如下：

光通过LENS(镜头）投射到SENSOR,经过光电转换为模拟电信号，在A/D转换为数字信号，送到DSP处理模块做后续处理。

Bayer format 图像，经过黑电平补偿 （ black level compensation）、镜头矫正 （ lens shading correction）、坏像素矫正 （ bad pixel correction）、颜色插值 （ demosaic）、Bayer 噪声去除、 白平衡（ awb） 矫正、 色彩矫正（ color correction） 、 gamma 矫正、 色彩空间转换（ RGB 转换为 YUV） 、 在 YUV 色彩空间上彩噪去除与边缘加强、 色彩与对比度加强，中间还要进行自动曝光控制等， 然后输出 YUV（ 或者 RGB） 格式的数据。

备注：

       1.     先来预热，了解camera基本结构。

            

2.    量子效率

量子效率(QE)是衡量光子转换为电荷或者电子的效率。Sensitivity = QE * Pixel_size. (pixel_size越大感光面积越大，单位面积接受光子越多)。

每个pixel感光电路是一个二极管，二极管反向截止的效应，类似一个电容，当接收的光多的时候电荷就多，电压就大，所以曝光量一高，pixel就越亮。

3.    CFA引入colorfilter的先行基础以及Crosstalk(参考https://www.docin.com/p-427588397.html各波长互相干扰)

下图中上面是实际的，下面是理想的情况。上面图中同时用IR滤波器对红外频率的光进行了频率截断。避免红外光的干扰。

4. 光电转换后电压太小需要一个模拟增益（AG）或者叫直流调制。将电压整体抬升一个常数。再进行模数转换。

reset先对二极管进行充电保持状态，等待曝光。

exposure 后充电状态的二极管电荷发生变化。

曝光后有正负电荷形成的电势差，放电。

最后进行模数转换。

5. Sensor动态范围

1.full well就是reset的时候上电电荷能力。

2.暗电流是完全没有光的时候电荷井里也会有电荷。

3.fill factor是中间部分的稳定电荷。

sensor光电转换动态范围计算如下：DynamicRange = FillFactory / dark current 。简化就是Saturation/black level