基于opencv3.0下的运动车辆识别

在opencv的初等应用上，对运动物体的识别主要有帧差或背景差两种方式。

帧差法主要的原理是当前帧与前一帧作差取绝对值；

背景差主要的原理是当前帧与背景帧作差取绝对值；

在识别运动车辆上主要需要以下9个步骤：

（1）读取帧（VideoCapture,Mat）

（2）ROI选定（Rect）

（3）平滑处理（GaussianBlur）

（4）灰度处理（cvtColor，CV_RGB2GRAY）

（5）帧差或背景差（absdiff）

（6）二值化（threshold）

（7）膨胀（dilate）

（8）腐蚀（erode）

（9）绘制运动车辆（findContours，rectangle）

（1）读取帧（外部视频读取：Videocapture；帧读取：Mat）

这个属于比较基础的内容这里不做解释，直接附上源码：

 /******************************************************
 函数名称： MyClass
 函数功能： 初始化
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 MyClass::MyClass()
 {
     //capture.open("F:/code/vsc++/Car_Find/Car_Find/交大七公里交通监控.avi");
     capture.open("交大七公里交通监控.avi");
     //capture = 0;
     if (!capture.isOpened())//判断是否打开视频文件
     {
         exit();
     }
     FPS = capture.get(CV_CAP_PROP_FPS);
 }
 /******************************************************
 函数名称： ~MyClass
 函数功能： 释放空间
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 MyClass::~MyClass()
 {
     capture.release();
 }
 /******************************************************
 函数名称： play
 函数功能： 播放法
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 void MyClass::play(){
     Mat frame;
     namedWindow("播放界面按Esc退出", );
     cvResizeWindow("播放界面按Esc退出", , );
     while (true)
     {
         capture >> frame;
         if (frame.empty())break;
         imshow("播放界面按Esc退出", frame);
         if (waitKey(1000.0 / FPS) == )//按原FPS显示
         {
             cout << "ESC退出!" << endl;
             break;
         }
     }
 }

处理结果：

（2）ROI选定（Rect）

这里使用Rect进行划ROI（感兴趣区域），画出一个矩阵的ROI。在这里最好的ROI是梯形（减少除了道路外的不必要的干扰）

这里提下做法：做一个灰度的mask（遮罩层），然后调整mask的形状大小。ps：感兴趣的可以做下。

（3）平滑处理（处理方法：GaussianBlur）

这里采用高斯平滑处理，在拍摄视频的时候会受到电流的干扰，但这个干扰时均匀存在的，所以采用高斯平滑处理可以去除电流的干扰。

方法很简单，源码如下：

 /******************************************************
 函数名称： getSmooth
 函数功能： 平滑处理
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 Mat MyClass::getSmooth(Mat frame)
 {
     Mat img;
     GaussianBlur(frame, img, Size(, ),,);
     return img;
 }

处理结果：

（4）灰度处理（处理方法：cvtColor；核：CV_RGB2GRAY）

RGB的图对我们的识别会造成一定的干扰或者说增加处理的难度，这里将原帧转换为灰度图像;

在平滑处理 后，直接调用opencv的cvtColor方法：

 /******************************************************
 函数名称： getGray
 函数功能： 灰度处理
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 Mat MyClass::getGray(Mat frame)
 {
     Mat img;
     cvtColor(frame, img, CV_RGB2GRAY);
     return img;
 }

处理结果：

（5）帧差或背景差（处理方法：absdiff）

不管是帧差和背景差都是需要获取当前帧跟对比帧，其中对比帧的获取和帧的作差是处理的关键。

在获取到处理好的灰度图在进行帧差处理。

以下为对比帧的获取 的源码：

 /******************************************************
 函数名称： play
 函数功能： 播放帧差法
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 void MyClass::play(){
     Mat frame,preframe,curframe,result;
     namedWindow("播放界面按Esc退出", );
     //cvResizeWindow("播放界面按Esc退出", 600, 500);
     while (true)
     {
         capture >> frame;
         if (frame.empty())break;
         if (preframe.empty())preframe = frame.clone();//首帧处理
         curframe = frame.clone();
         imshow("播放界面按Esc退出", frame);
         if (waitKey(1000.0 / FPS) == )//按原FPS显示
         {
             cout << "ESC退出!" << endl;
             break;
         }
         preframe = frame.clone();//记录当前帧为下一帧的前帧
     }
 }

以下为帧差处理的源码：

/******************************************************
函数名称： getDiff
函数功能： 帧差化处理
传入参数：
返 回 值：
建立时间： 2018-05-17
修改时间：
建 立 人：
修 改 人：
其它说明：
******************************************************/
Mat MyClass::getDiff(Mat preframe,Mat frame)
{
    Mat img;
    absdiff(preframe, frame, img);
    return img;
}

处理结果：

这里一个车的灰度轮廓已经可以识别出来了，但是我们的目的是将车辆的轮廓识别处理，为了更加精准，去除不必要的干扰，需要下面的处理。

（6）二值化（处理方法：threshold，阈值类型：CV_THRESH_BINARY）

Threshold函数详解，其中CV_THRESH_BINARY：当前点值大于阈值时，取Maxval,也就是第四个参数，下面再不说明，否则设置为0

由于这些车辆原画偏暗，这里设定阈值为30，处理当前点值大于阈值时，取白色255。

源码如下：

 /******************************************************
 函数名称： getEz
 函数功能： 二值化处理
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 Mat MyClass::getEz(Mat frame)
 {
     Mat img;
     threshold(frame, img,, , CV_THRESH_BINARY);
     return img;
 }

处理结果：

车的黑白轮廓已经显示出来了，不过这里还不是一块整体，所以需要进行膨胀处理。

ps：有些博文的处理方式是先腐蚀处理后膨胀处理，这个在一定程度上会消除干扰点。但是这里考虑到车辆中有摩托车，如果先腐蚀处理的话会将摩托车给消除掉，造成识别精度不高。

（7）膨胀（处理方法：dilate）

膨胀的目的在于将一辆车拼合成一块完整的个体，以达到标识的目的

opencv提供了dilate的方法进行处理，源码如下：

 /******************************************************
 函数名称： getPz
 函数功能： 膨胀处理
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 Mat MyClass::getPz(Mat frame)
 {
     Mat img;
     Mat element=getStructuringElement(MORPH_RECT, Size(, ));
     dilate(frame, img, element);
     return img;
 }

处理结果：

这时候已经合成一块了，但是如果旁边的车靠的太近的话，会导致多辆车黏合成一块，所以下面做腐蚀处理。

（8）腐蚀（处理方法：erode）

腐蚀的目的在于将因为膨胀而导致的黏合，还有非关键点和区域的清除，以达到区分标识的目的。

opencv提供了erode的方法进行处理，源码如下：

 /******************************************************
 函数名称： getFs
 函数功能： 腐蚀处理
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 Mat MyClass::getFs(Mat frame)
 {
     Mat img;
     Mat element = getStructuringElement(MORPH_RECT, Size(, ));
     erode(frame, img, element);
     return img;
 }

处理结果：

ps：这里截的图不是很好，看不出效果分离的效果。感兴趣的可以下载下源码去调试。

（9）绘制运动车辆（处理方法：findContours，rectangle）

findContours函数参数详解

这里需要将车辆的外围轮廓描绘出来即可，所以findContours采用

mode取值“CV_RETR_EXTERNAL”，method取值“CV_CHAIN_APPROX_NONE”，即只检测最外层轮廓，并且保存轮廓上所有点；

rectangle的使用并不难，但是这里要注意的是：

a.处理的图像是原图像的ROI；

b.findContours输出的是处理过图像的坐标位置

所以在使用rectangle的时候，画区域的时候要加上原来ROI的起始位置的坐标，改成原来图像的坐标位置。

源码如下：

 /******************************************************
 函数名称： Deal
 函数功能： ROI区域处理
 传入参数：
 返 回 值：
 建立时间： 2018-05-17
 修改时间：
 建 立 人：
 修 改 人：
 其它说明：
 ******************************************************/
 Mat MyClass::Deal(Mat preframe, Mat frame)
 {
     Mat result = frame.clone();
     Mat curimageROI = preframe(Rect(preframe.cols / , preframe.rows / , preframe.cols / 1.5, preframe.rows / 1.5));
     Mat preimageROI = frame(Rect(frame.cols / , frame.rows / , frame.cols / 1.5, frame.rows / 1.5));

     Mat sm_pre, sm_cur;
     sm_pre = getSmooth(preimageROI);
     sm_cur = getSmooth(curimageROI);
     imshow("平滑处理", sm_cur);

     Mat gray_pre, gray_cur;
     gray_pre = getGray(sm_pre);
     gray_cur = getGray(sm_cur);
     imshow("灰度处理",gray_cur);

     Mat diff;
     diff = getDiff(gray_pre, gray_cur);
     imshow("帧差处理",diff);

     Mat ez;
     ez = getEz(diff);
     imshow("二值化处理", ez);

     Mat pz;
     pz = getPz(ez);
     imshow("膨胀处理", pz);

     Mat fs;
     fs = getFs(pz);
     imshow("腐蚀处理", fs);

     vector<vector<Point> > contours;
     findContours(fs, contours, CV_RETR_EXTERNAL, CV_CHAIN_APPROX_NONE);
     vector<Rect> boundRect(contours.size());
     for (int i = ; i < contours.size(); i++)
     {
         boundRect[i] = boundingRect(contours[i]);
         rectangle(result, Rect(boundRect[i].x + frame.cols/, boundRect[i].y + frame.rows/, boundRect[i].width, boundRect[i].height), Scalar(, , ), );//在result上绘制正外接矩形
     }
     return result;
 }

处理结果：

这里效果不是非常好可以勉强识别出车辆轮廓。但作为初级应用是足够的。

如需要源码请转移至码云：https://gitee.com/cjqbaba/MediaTest/tree/Car_Find进行源码克隆下载

如有问题请留言评论。转载请注明出处，谢谢。