[Object Tracking] Contour Detection through OpenCV

利用OpenCV检测图像中的长方形画布或纸张并提取图像内容 - 阅读笔记

相对来说，如下链接是此文的高阶方案版本，做对比是极好的。

[Object Tracking] Contour Detection through Tensorflow running on smartphone

纸张四角的坐标未知或难以准确标注的情况

这种场景可能是小屏幕应用，或是原始图像就很小，比如我这里用的这个300x400例子，点坐标很难精确标注。这种情况下一个思路是：

1. 1. 用边缘检测提取纸张四边，
   2. 然后求出四角坐标，
   3. 再做Perspective Transform。

1) 图像预处理

一般而言即使做普通的边缘检测也需要提前对图像进行降噪避免误测，比如最常见的办法是先对图像进行高斯滤波，然而这样也会导致图像变得模糊，当待检测图形边缘不明显，或是图像本身分辨率不高的情况下(比如本文用的例子)，会在降噪的同时把待检测的边缘强度也给牺牲了。

【保边滤波，但耗时，不利于实时】

具体到本文的例子，纸张是白色，背景是浅黄带纹路，如果进行高斯滤波是显然不行的，这时候一个替代方案是可以考虑使用Mean Shift，Mean Shift的优点就在于如果是像背景桌面的浅色纹理，图像分割的过程中相当于将这些小的浮动过滤掉，并且保留相对明显的纸张边缘，结果如下：

image = cv2.pyrMeanShiftFiltering(image, , )

因为主要目的是预处理降噪，windows size和color distance都不用太大，避免浪费计算时间还有过度降噪。

降噪后可以看到桌面上的纹理都被抹去了，纸张边缘附近干净了很多。然而这还远远不够，图案本身，和图像里的其他物体都有很多明显的边缘，而且都是直线边缘。

2) 纸张边缘检测

先得到大致的位置，然后讲其他区域模糊化，再进一步考虑“边缘周边”，找到更加友好的边缘结果。

3) 直线检测

对检测到的边缘使用Hough变换检测直线，我例子里用的是cv2.HoughLinesP，分辨率1像素和1°，可以根据图像大小设置检测的阈值和minLineLength去除大部分误检测。

特别提一下的是如果使用OpenCV的Python binding，OpenCV 2和OpenCV 3的结果结构是不一样的，如果进行代码移植需要相应的修改。检测到的结果如下：

可以看到，有些线几乎重合在一起了，这是难以避免的，上图中一共检测到9条线，其中两对（下、右边缘）重合。可以通过距离判断和直线相对角度来判断并把重合线段合为一条。

4) 判断纸张边缘

那么如何选取纸张边缘的四条线呢(即使图像分割步骤非常好得分开了纸张和其他部分，这在有些情况下还是难以避免的，比如图案里有和边缘平行的线条)，可以沿着提取线段的两边采样像素的灰度：

在线段的两个端点之间平均采样左右两边像素的值，因为一般来说如果是纸张或者画布，边缘和背景的颜色在四边上应该都是类似的。

然而这样做的话引入另外一个问题是需要区分线段的“左”和“右”，对于线段本身而言就是要区分前后。所以需要对画面里所有的线段端点进行排序，而这个排序的基准就是相对画布。

具体到本文的例子就是把图像中心定义为所有线段的“左”边，如上图。而决定线段端点“前”和“后”可以用如下办法：

先假设线段的前后端点，将两个端点坐标分别减去中心点(红点)的坐标，然后将得到的两个向量a和b求叉积，如果叉积大于0则说明假设正确，如果<0则交换假设的前后端点。线段端点的顺序确定后就可以进行采样了，简单起见可以分别采样左右两侧的像素灰度值，如果希望更准确可以采样RGB通道的值进行综合比较，下面是7条线段对应的两侧像素灰度的中值分布：

可以看到其中有4个点距离非常近(红色)，说明他们的像素灰度分布也很接近，把这4条选出来，结果如下：

正是要的结果。

5) 计算四角的坐标

接下来计算四条线的交点，方法点这里。因为有4条线，会得到6个结果，因为在这种应用场景中，方形的物体在透视变换下不会出现凹角，所以直接舍弃离纸张中心最远的两个交点就得到了四个角的坐标。