夜晚场景图像ISP增强算法

夜晚场景图像ISP增强算法

输入输出接口

Input：

（1）图像视频分辨率（整型int）

（2）图像视频格式（RGB，YUV，MP4等）

（3）摄像头标定参数（中心位置（x,y）和5个畸变

系数（2径向，2切向，1棱向），浮点型float）

（4）摄像头初始化参数（摄像头初始位置和三个坐标方向

的旋转角度，车辆宽度高度车速等等，浮点型float）

Output：

（1）图像视频分辨率（浮点型float）

（2）图像视频格式  （RGB，YUV，MP4等）

（3）调整策略：曝光时间，GAMMA曲线 （时间，拟合系数，浮点型float）

（4）中间算法：统计直方图，判断过曝或欠曝  （整型int）

 

1. 功能定义

1）利用图像直方图统计的方法，判断图像视频是过曝，欠曝，还是正常。

2）调整曝光时间或GAMMA曲线，就可以调整图像视频的亮度。

2.  技术路线方案

ISP图像处理，主要作用是对前端图像传感器输出的信号做后期处理，主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等，依赖于ISP才能在不同的光学条件下都能较好的还原现场细节，ISP技术在很大程度上决定了摄像机的成像质量。

由于华域视觉注重夜间算法，在暗光下的成像易受到低信噪比和低亮度的影响。短曝光的照片会出现很多噪点，而长曝光会让照片变得模糊、不真实。目前已经有很多去噪、去模糊、图像增强的技术，但是在极端条件下，它们的作用就很有限了。为了发展基于学习的低光度图像处理，我们尝试使用全卷积网络，用于处理低亮度图像。网络直接使用原始传感器数据，替代大量传统图像处理的流程。

通过训练深度神经网络学习处理低亮度原始图像数据的过程，包括色彩转化、去马赛克、减少噪点、图像质量提高等等。我们把黑夜中的图像呈现出来，可以大大提升成像的可视性，便于算法能够更有效的进行识别、计算。

目前项目正在开展中。

ISP项目初步任务划分：

第一，用IIC控制camera ISP，编写开放参数APP，便于参数输入。

第二，统计图像直方图亮度信息，如果直方图偏左，表示欠曝（偏暗或夜视）；

如果直方图偏右，表示过曝（过亮）；如果直方图正常，表示正常光照。

第三，连接driver和算法，调整曝光时间或者gamma曲线参数。

3.  关键技术参数和性能指标

在华域视觉数据集上达到（详细指标在开发过程中逐步修正）

表1. ISP性能指标