EasyPR源码剖析（4）：车牌定位之Sobel算子定位

一、简介

sobel算子主要是用于获得数字图像的一阶梯度，常见的应用是边缘检测。

Ⅰ.水平变化: 将 I 与一个奇数大小的内核进行卷积。比如，当内核大小为3时, 的计算结果为:

Ⅱ.垂直变化: 将: I 与一个奇数大小的内核进行卷积。比如，当内核大小为3时, 的计算结果为:

Opencv中Sobel函数使用扩展的Sobel算子，来计算一阶、二阶、三阶或混合图像差分。

CV_EXPORTS_W void Sobel( InputArray src, 
 OutputArray dst, 
 int ddepth,                           
 int dx,
 int dy,
 int ksize=,                   
 double scale=,
 double delta=,  
 int borderType=BORDER_DEFAULT );  

• 第一个参数，InputArray 类型的src，为输入图像，填Mat类型即可。
• 第二个参数，OutputArray类型的dst，即目标图像，函数的输出参数，需要和源图片有一样的尺寸和类型。
• 第三个参数，int类型的ddepth，输出图像的深度。
• 第四个参数，int类型dx，x 方向上的差分阶数。
• 第五个参数，int类型dy，y方向上的差分阶数。
• 第六个参数，int类型ksize，有默认值3，表示Sobel核的大小;必须取1，3，5或7。
• 第七个参数，double类型的scale，计算导数值时可选的缩放因子，默认值是1，表示默认情况下是没有应用缩放的。我们可以在文档中查阅getDerivKernels的相关介绍，来得到这个参数的更多信息。
• 第八个参数，double类型的delta，表示在结果存入目标图（第二个参数dst）之前可选的delta值，有默认值0。
• 第九个参数， int类型的borderType，我们的老朋友了（万年是最后一个参数），边界模式，默认值为BORDER_DEFAULT。这个参数可以在官方文档中borderInterpolate处得到更详细的信息。

具体的Sobel算子使用实例如下面代码所示：

/// Generate grad_x and grad_y
Mat grad_x, grad_y;
Mat abs_grad_x, abs_grad_y;
/// Gradient X
//Scharr( src_gray, grad_x, ddepth, 1, 0, scale, delta, BORDER_DEFAULT );
//Calculates the first, second, third, or mixed image derivatives using an extended Sobel operator.
Sobel( src_gray, grad_x, ddepth, , , , scale, delta, BORDER_DEFAULT );
convertScaleAbs( grad_x, abs_grad_x );
/// Gradient Y
//Scharr( src_gray, grad_y, ddepth, 0, 1, scale, delta, BORDER_DEFAULT );
Sobel( src_gray, grad_y, ddepth, , , , scale, delta, BORDER_DEFAULT );
convertScaleAbs( grad_y, abs_grad_y );
/// Total Gradient (approximate)
addWeighted( abs_grad_x, 0.5, abs_grad_y, 0.5, , grad ); 

二、Sobel算子定位

Sobel定位主要函数为 plateSobelLocate() ，主要处理函数有两个，一个是 sobelFrtSearch() ,另一个是对定位区域进行偏斜扭转的函数deskew()，deskew()后面会统一详细讲解，这边我们主要看一下通过sobel算子定位的函数 sobelFrtSearch() 。

sobelFrtSearch()函数中通过 sobelOper() 进行sobel定位，主要步骤如下：

1、对图像进行高斯滤波，为Sobel算子计算去除干扰噪声；

2、图像灰度化，提高运算速度；

3、对图像进行Sobel运算，得到图像的一阶水平方向导数；

4、通过otsu进行阈值分割；

5、通过形态学闭操作，连接车牌区域。

此处通过Sobel算子进行车牌定位，仅仅做水平方向求导，而不做垂直方向求导。这样做的意义是，如果做了垂直方向求导，会检测出很多水平边缘。水平边缘多也许有利于生成更精确的轮廓，但是由于有些车子前端太多的水平边缘了，例如车头排气孔，标志等等，很多的水平边缘会误导我们的连接结果，导致我们得不到一个恰好的车牌位置。

具体实现代码如下所示：

 int CPlateLocate::sobelOper(const Mat &in, Mat &out, int blurSize, int morphW,int morphH) {
   Mat mat_blur;
   mat_blur = in.clone();
   GaussianBlur(in, mat_blur, Size(blurSize, blurSize), , , BORDER_DEFAULT);

   Mat mat_gray;
   if (mat_blur.channels() == )
     cvtColor(mat_blur, mat_gray, CV_RGB2GRAY);
   else
     mat_gray = mat_blur;

   int scale = SOBEL_SCALE;
   int delta = SOBEL_DELTA;
   int ddepth = SOBEL_DDEPTH;

   Mat grad_x, grad_y;
   Mat abs_grad_x, abs_grad_y;

   Sobel(mat_gray, grad_x, ddepth, , , , scale, delta, BORDER_DEFAULT);
   convertScaleAbs(grad_x, abs_grad_x);

   Mat grad;
   addWeighted(abs_grad_x, SOBEL_X_WEIGHT, , , , grad);

   Mat mat_threshold;
   double otsu_thresh_val =
       threshold(grad, mat_threshold, , , CV_THRESH_OTSU + CV_THRESH_BINARY);

   Mat element = getStructuringElement(MORPH_RECT, Size(morphW, morphH));
   morphologyEx(mat_threshold, mat_threshold, MORPH_CLOSE, element);

   out = mat_threshold;

   return ;
 }

上述图像经过处理之后，可以直接对图像轮廓进行搜索，轮廓搜索将全图的轮廓都搜索出来了，需要进行筛选，对轮廓求最小外接矩形，并在 verifySizes() 中进行验证，不满足条件的删除。 具体实现代码如下所示：

 int CPlateLocate::sobelFrtSearch(const Mat &src,
                                  vector<Rect_<float>> &outRects) {
   Mat src_threshold;

   sobelOper(src, src_threshold, m_GaussianBlurSize, m_MorphSizeWidth,
             m_MorphSizeHeight);

   vector<vector<Point>> contours;
   findContours(src_threshold,
                contours,               // a vector of contours
                CV_RETR_EXTERNAL,
                CV_CHAIN_APPROX_NONE);  // all pixels of each contours

   vector<vector<Point>>::iterator itc = contours.begin();

   vector<RotatedRect> first_rects;

   while (itc != contours.end()) {
     RotatedRect mr = minAreaRect(Mat(*itc));

     if (verifySizes(mr)) {
       first_rects.push_back(mr);

       float area = mr.size.height * mr.size.width;
       float r = (float) mr.size.width / (float) mr.size.height;
       if (r < ) r = (float) mr.size.height / (float) mr.size.width;
     }

     ++itc;
   }

   for (size_t i = ; i < first_rects.size(); i++) {
     RotatedRect roi_rect = first_rects[i];

     Rect_<float> safeBoundRect;
     if (!calcSafeRect(roi_rect, src, safeBoundRect)) continue;

     outRects.push_back(safeBoundRect);
   }
   return ;
 }

经过上述步骤后，为了进一步提高搜索的准确性，EasyPR里面对第一次搜索出的矩形扩大一定范围后，进行了二次搜素，具体函数为 sobelSecSearchPart() 。sobelSecSearchPart() 函数和 sobelFrtSearch() 大致过程是类似的，此处不再详细叙述，唯一的不同是sobelSecSearchPart() 对车牌上铆钉的去除进行了对应的处理。之后对定位区域进行偏斜扭转 deskew()处理之后，即可得到车牌定位的结果。