opencv-ios开发笔记9 使用透视变换矫正扭曲的图片

http://blog.csdn.net/baixiaozhe/article/details/51762086

摄像头观察一个矩形的图片时往往只能得到一个扭曲的图片：

原图：

实际情况是摄像头经常从某个角度观察图片：

使用OpenCV的透视变换把图片矫正为正视的角度，大概过程：

1、通过灰度、模糊和二值化得到：

2、然后对查找图片外包矩形轮廓，并查找角点得到：

3、通过梯形四个角点和外包矩形的四个顶点得到变换矩阵，进行投射变换，最后得到：

如果图片看不到，请来 http://blog.csdn.NET/baixiaozhe/article/details/51762086

代码如下：

1. //图片投射变换
2. -(void)wrapImg{
3. UIImage *imageInView  = [UIImage imageNamed:@"wrap"];
4. Mat wrapSrc;
5. //默认转为4通道 所以下面Scalar也得是4通道，否则不能正确实现颜色
6. UIImageToMat(imageInView, wrapSrc);
7. NSLog(@"wrapSrc cols%d rows%d channels%d type%d depth%d elemSize%zu",wrapSrc.cols,wrapSrc.rows,wrapSrc.channels(),wrapSrc.type(),wrapSrc.depth(),wrapSrc.elemSize());
8. //灰度
9. Mat graymat;
10. cvtColor(wrapSrc ,graymat,COLOR_BGR2GRAY);
11. blur(graymat, graymat, Size2d(7,7));
12. //二值化，灰度大于14的为白色 需要多调整 直至出现白色大梯形
13. graymat=graymat>14;
14. //Shi-Tomasi 角点算法参数
15. int maxCorners=4;
16. vector<Point2f> corners;
17. double qualityLevel=0.01;
18. double minDistance=100;//角点之间最小距离
19. int blockSize=7;//轮廓越明显，取值越大
20. bool useHarrisDetector=false;
21. double k=0.04;
22. //Shi-Tomasi 角点检测
23. goodFeaturesToTrack(graymat,corners,maxCorners,qualityLevel,minDistance,Mat(),blockSize,useHarrisDetector,k);
24. //cout<<"检测到角点数:"<<corners.size()<<endl;
25. NSLog(@"检测到角点数:%lu",corners.size());
26. int r=10;
27. RNG rng;
28. //画出来看看 找到的是不是四个顶点 另外角点检测出来的点顺序每次不一定相同
29. /*
30. if(corners.size()==4){
31. circle(wrapSrc,corners[0],r,Scalar(255,0,0,255),2,8,0);//红
32. circle(wrapSrc,corners[1],r,Scalar(0,255,0,255),2,8,0);//绿
33. circle(wrapSrc,corners[2],r,Scalar(0,0,255,255),2,8,0);//蓝
34. circle(wrapSrc,corners[3],r,Scalar(255,255,0,255),2,8,0);//黄
35. }
36. _imageView.image= MatToUIImage(wrapSrc) ;
37. return;
38. */
39. std::vector<std::vector<cv::Point>> contoursOutLine;
40. findContours(graymat,contoursOutLine,CV_RETR_LIST,CV_CHAIN_APPROX_SIMPLE);
41. // 对轮廓计算其凸包//
42. // 边界框
43. cv::Rect boudRect;
44. vector<Point2i>  poly ;
45. for( int i = 0; i < contoursOutLine.size();  i++)
46. {
47. // 边界框
48. boudRect=  boundingRect(contoursOutLine[i] );
49. //面积过滤
50. int tmpArea=boudRect.area();
51. if(tmpArea>= 50000 )
52. {
53. rectangle(wrapSrc,cvPoint(boudRect.x,boudRect.y),cvPoint(boudRect.br().x ,boudRect.br().y ),Scalar(128),2);
54. }
55. }
56. //src=wrapSrc(boudRect); 用这种方式截屏有时候会出错 不知咋回事
57. //用IOS的 quartz api来截图
58. UIImage *image=[UIImage imageWithCGImage:CGImageCreateWithImageInRect([imageInView CGImage], CGRectMake(boudRect.x,boudRect.y,boudRect.width,boudRect.height))];
59. Mat src,warp_dst;
60. UIImageToMat(image, src);
61. warp_dst = Mat::zeros( src.rows, src.cols, src.type() );
62. //从梯形srcTri[4] 变换成 外包矩形dstTri[4]
63. Point2f srcTri[4];
64. Point2f dstTri[4];
65. Point2f aRect1=boudRect.tl();
66. // 梯形四个顶点 顺序为 左上  右上  左下  右下
67. Point2f srcTri0 = Point2f(corners[0].x-aRect1.x  ,corners[0].y-aRect1.y );
68. Point2f srcTri1 = Point2f(corners[2].x-aRect1.x  ,corners[2].y-aRect1.y );
69. Point2f srcTri2 = Point2f(corners[1].x-aRect1.x  , corners[1].y-aRect1.y );
70. Point2f srcTri3 = Point2f(corners[3].x-aRect1.x  , corners[3].y-aRect1.y );
71. //查找左上点 取出外包矩形的中点，然后把梯形四个顶点与中点进行大小比较，如x，y都小于中点的是左上，x大于中点，y小于中点 则为右上
72. Point2f boudRectCenter=Point2f(src.cols/2,src.rows/2);
73. if(srcTri0.x>boudRectCenter.x){
74. if(srcTri0.y>boudRectCenter.y){//右下
75. srcTri[3]=srcTri0;
76. }else{//右上
77. srcTri[1]=srcTri0;
78. }
79. }else{
80. if(srcTri0.y>boudRectCenter.y){//左下
81. srcTri[2]=srcTri0;
82. }else{//左上
83. srcTri[0]=srcTri0;
84. }
85. }
86. if(srcTri1.x>boudRectCenter.x){
87. if(srcTri1.y>boudRectCenter.y){//右下
88. srcTri[3]=srcTri1;
89. }else{//右上
90. srcTri[1]=srcTri1;
91. }
92. }else{
93. if(srcTri1.y>boudRectCenter.y){//左下
94. srcTri[2]=srcTri1;
95. }else{//左上
96. srcTri[0]=srcTri1;
97. }
98. }
99. if(srcTri2.x>boudRectCenter.x){
100. if(srcTri2.y>boudRectCenter.y){//右下
101. srcTri[3]=srcTri2;
102. }else{//右上
103. srcTri[1]=srcTri2;
104. }
105. }else{
106. if(srcTri2.y>boudRectCenter.y){//左下
107. srcTri[2]=srcTri2;
108. }else{//左上
109. srcTri[0]=srcTri2;
110. }
111. }
112. if(srcTri3.x>boudRectCenter.x){
113. if(srcTri3.y>boudRectCenter.y){//右下
114. srcTri[3]=srcTri3;
115. }else{//右上
116. srcTri[1]=srcTri3;
117. }
118. }else{
119. if(srcTri3.y>boudRectCenter.y){//左下
120. srcTri[2]=srcTri3;
121. }else{//左上
122. srcTri[0]=srcTri3;
123. }
124. }
125. // 画出来 看看顺序对不对
126. circle(src,srcTri[0],r,Scalar(255,0,0,255),-1,8,0);//红 左上
127. circle(src,srcTri[1],r,Scalar(0,255,0,255),-1,8,0);//绿 右上
128. circle(src,srcTri[2],r,Scalar(0,0,255,255),-1,8,0);//蓝 左下
129. circle(src,srcTri[3],r,Scalar(255,255,0,255),-1,8,0);//黄 右下
130. _imageView.image= MatToUIImage(src) ;
131. //  return;
132. // 外包矩形的四个顶点， 顺序为 左上  右上  左下  右下
133. dstTri[0] = Point2f( 0,0 );
134. dstTri[1] = Point2f( src.cols - 1, 0 );
135. dstTri[2] = Point2f( 0, src.rows - 1 );
136. dstTri[3] = Point2f( src.cols - 1, src.rows - 1 );
137. //自由变换 透视变换矩阵3*3
138. Mat warp_matrix( 3, 3, CV_32FC1 );
139. warp_matrix=getPerspectiveTransform(srcTri  ,dstTri  );
140. warpPerspective( src, warp_dst, warp_matrix, warp_dst.size(),WARP_FILL_OUTLIERS);
141. _imageView.image= MatToUIImage(warp_dst) ;
142. }

_imageView是图片控件的插头