OpenCV 3.0.0处理鱼眼镜头信息 - Fisheye camera model

此篇随笔主要参考OpenCV 3.0.0的官方文档翻译而来，主要用作理解OpenCV对鱼眼相机的标定、图像校正、3D重建功能的理解。

版权所有，转载请注明出处~

xzrch@2018.09.29

参考链接：https://docs.opencv.org/3.0.0/db/d58/group__calib3d__fisheye.html#gad626a78de2b1dae7489e152a5a5a89e1

---------------------------------------------------------------------

---

 Namespace

 cv::fisheye

---

枚举类型

 enum      {
   cv::fisheye::CALIB_USE_INTRINSIC_GUESS = ,
   cv::fisheye::CALIB_RECOMPUTE_EXTRINSIC = ,
   cv::fisheye::CALIB_CHECK_COND = ,
   cv::fisheye::CALIB_FIX_SKEW = ,
   cv::fisheye::CALIB_FIX_K1 = ,
   cv::fisheye::CALIB_FIX_K2 = ,
   cv::fisheye::CALIB_FIX_K3 = ,
   cv::fisheye::CALIB_FIX_K4 = ,
   cv::fisheye::CALIB_FIX_INTRINSIC =
 }

---

函数

//执行相机标定
double   cv::fisheye::calibrate (InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints, const Size &image_size, InputOutputArray K, InputOutputArray D, OutputArrayOfArrays rvecs, OutputArrayOfArrays tvecs, int flags=, TermCriteria criteria=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, , DBL_EPSILON))

//使用鱼眼模型为2D点叠加畸变效果
void     cv::fisheye::distortPoints (InputArray undistorted, OutputArray distorted, InputArray K, InputArray D, double alpha=)

//为去畸变和图像校正估计新的相机矩阵
void     cv::fisheye::estimateNewCameraMatrixForUndistortRectify (InputArray K, InputArray D, const Size &image_size, InputArray R, OutputArray P, double balance=0.0, const Size &new_size=Size(), double fov_scale=1.0)

//通过cv::remap()计算去畸变和图像校正的映射，如果D为空，则使用零失真；如果R为空，则使用单位矩阵
void     cv::fisheye::initUndistortRectifyMap (InputArray K, InputArray D, InputArray R, InputArray P, const cv::Size &size, int m1type, OutputArray map1, OutputArray map2)

//使用鱼眼模型映射点
void     cv::fisheye::projectPoints (InputArray objectPoints, OutputArray imagePoints, const Affine3d &affine, InputArray K, InputArray D, double alpha=, OutputArray jacobian=noArray()) 
void     cv::fisheye::projectPoints (InputArray objectPoints, OutputArray imagePoints, InputArray rvec, InputArray tvec, InputArray K, InputArray D, double alpha=, OutputArray jacobian=noArray())

//执行双目相机标定
double   cv::fisheye::stereoCalibrate (InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints1, InputArrayOfArrays imagePoints2, InputOutputArray K1, InputOutputArray D1, InputOutputArray K2, InputOutputArray D2, Size imageSize, OutputArray R, OutputArray T, int flags=fisheye::CALIB_FIX_INTRINSIC, TermCriteria criteria=TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, , DBL_EPSILON))

//执行双目图像校正
void     cv::fisheye::stereoRectify (InputArray K1, InputArray D1, InputArray K2, InputArray D2, const Size &imageSize, InputArray R, InputArray tvec, OutputArray R1, OutputArray R2, OutputArray P1, OutputArray P2, OutputArray Q, int flags, const Size &newImageSize=Size(), double balance=0.0, double fov_scale=1.0)

//变换图像以补偿鱼眼图像失真
void     cv::fisheye::undistortImage (InputArray distorted, OutputArray undistorted, InputArray K, InputArray D, InputArray Knew=cv::noArray(), const Size &new_size=Size())

//使用鱼眼模型为2D点去畸变
void     cv::fisheye::undistortPoints (InputArray distorted, OutputArray undistorted, InputArray K, InputArray D, InputArray R=noArray(), InputArray P=noArray())

---

详细描述

定义P为3D空间中的一个点，其在世界参考坐标系中的坐标向量为X。那么P点在相机参考坐标系中的坐标可以表示为：

Xc=RX+T

其中R是旋转向量，将此坐标的三个维度分别用x、y、z表示，则可知：

x=Xc1

y=Xc2

z=Xc3

P的小孔成像映射坐标为[a:b]，其中：

a=x/z

b=y/z

r^2=a^2+b^2

θ=atan(r)

鱼眼相机的畸变为：

θd=θ(1+k1*θ^2+k2*θ^4+k3*θ^6+k4*θ^8)

考虑畸变后的点的坐标为：

x′=(θd/r)x

y′=(θd/r)y

最终，转换到像素域后，最终的像素点坐标[u,v]为：

u=fx*(x′+αy′)+c*x

v=fy*yy+c*y（此处好像有问题）

---

枚举类型文档

Enumerator
CALIB_USE_INTRINSIC_GUESS
CALIB_RECOMPUTE_EXTRINSIC
CALIB_CHECK_COND
CALIB_FIX_SKEW
CALIB_FIX_K1
CALIB_FIX_K2
CALIB_FIX_K3
CALIB_FIX_K4
CALIB_FIX_INTRINSIC

---

函数详细文档

objectPoints: 标定模式坐标空间中的标定模式点向量

imagePoints: 标定模式点的映射结果。对于每个i来说，imagePoints[i].size()与objectPoints[i].size()必须是一样大的。

image_size: 用于初始化相机内参矩阵的图像大小

K: 输出的3*3浮点相机矩阵A（包含fx、fy、cx、cy参数）。如果 fisheye::CALIB_USE_INTRINSIC_GUESS/ 被指定的话，这四个参数当中的所有或一部分需要被事先初始化。

D: 输出的相机畸变系数（k1,k2,k3,k4）

rvecs: 每个pattern view的旋转向量

tvecs: 每个pattern view的平移向量

flags: 不同的标志项代表不同的意义，可以为0或者以下值的若干组合

　　fisheye::CALIB_USE_INTRINSIC_GUESS ：相机矩阵包含事先进一步优化的fx、fy、cx、cy的初始值。如果不选，则cx、cy会被初始化为图像正中心，并且以最小二乘的方式计算焦距。

　　fisheye::CALIB_RECOMPUTE_EXTRINSIC：每次优化迭代内参后，重新计算外参

　　fisheye::CALIB_CHECK_COND ：函数将检查条件数和合法性

　　fisheye::CALIB_FIX_SKEW ：偏差系数alpha会被置成0，并一直保持在0的状态

　　fisheye::CALIB_FIX_K1：选中的畸变系数会被置成0并一直保持在0的状态

criteria: 迭代优化算法的终止阈值

undistorted: 物点矩阵，2通道的1*N或N*1向量，或用vector<Point2f>表示。N是可见的点的数量。

distorted: 图像点的输出矩阵，2通道的1*N或N*1向量，或用vector<Point2f>表示。

K: 相机内参矩阵（包含fx、fy、cx、cy参数）

D: 相机畸变系数（k1,k2,k3,k4）

alpha: 偏差系数

K: 相机内参矩阵（包含fx、fy、cx、cy参数）

D: 相机畸变系数（k1,k2,k3,k4）

image_size:

R: 在物体空间的校正变换参数，1通道的3*3数值，或以vector形式表示： 1通道的3*1、1*3 或 3通道的 1*1

P: 新的相机矩阵（3*3）或新的映射矩阵（3*4）

balance: 在最大焦距值和最小焦距值范围之间设置新焦距值

new_size:

fov_scale: 新焦距的除数

K: 相机内参矩阵（包含fx、fy、cx、cy参数）

D: 相机畸变系数（k1,k2,k3,k4）

R: 在物体空间的校正变换参数，1通道的3*3数值，或以vector形式表示： 1通道的3*1、1*3 或 3通道的 1*1

P: 新的相机矩阵（3*3）或新的映射矩阵（3*4）

size: 无畸变的图像大小

m1type: map1的类型，可以是CV_32FC1或者CV_16SC2。

map1: 第一输出map

map2: 第二输出map

objectPoints: 物点向量，3通道的1*N或N*1向量，或用vector<Point3f>表示。N是可见的点的数量。

imagePoints: 像点向量，1通道的2*N/N*2或者2通道的1*N/N*1，或者vector<Point2f>

affine: 

K: 相机内参矩阵（包含fx、fy、cx、cy参数）

D: 输入的相机畸变系数（k1,k2,k3,k4）

alpha: 偏差系数

jacobian: 可选的2N*15的雅克比输出矩阵，表示图像点相对于焦距的分量、主点的坐标、失真系数、旋转向量、平移向量、偏差系数等的导数。

objectPoints:

imagePoints1:

imagePoints2:

K1:

D1:

K2:

D2:

iamgeSize:

R:

T:

flags:

criteria；

K1:

D1:

K2:

D2:

imageSize:

R:

tvec:

R1:

R2:

P1:

P2:

Q:

flags:

newImageSize:

balance:

fov_scale:

distorted: 有鱼眼镜头畸变的图像

undistorted: 输出的鱼眼镜头畸变补偿后的图像

K: 相机内参矩阵（包含fx、fy、cx、cy参数）

D: 输入的相机畸变系数（k1,k2,k3,k4）

Knew: 失真图像的相机矩阵，默认情况下，它是单位矩阵，但可以使用其他矩阵来调整输出结果。

new_size: 该功能可以转换图像以补偿径向和切向镜头失真

说明：

这个函数只是简单的将fisheye::initUndistortRectifyMap 和 remap（使用双线性插值） 组合在一起使用。可以看如下的失真校正结果：

distorted: 物点矩阵，2通道的1*N或N*1向量，或用vector<Point2f>表示。N是可见的点的数量。

undistorted: 图像点的输出矩阵，2通道的1*N或N*1向量，或用vector<Point2f>表示。

K: 相机内参矩阵（包含fx、fy、cx、cy参数）

D: 输入的相机畸变系数（k1,k2,k3,k4）

R: 在物体空间的校正变换参数，1通道的3*3数值，或以vector形式表示： 1通道的3*1、1*3 或 3通道的 1*1

P: 新的相机矩阵（3*3）或新的映射矩阵（3*4）