Camera Calibration 相机标定：原理简介（五）

5 基于2D标定物的标定方法

基于2D标定物的标定方法，原理与基于3D标定物相同，只是通过相机对一个平面进行成像，就可得到相机的标定参数，由于标定物为平面，本身所具有的约束条机，相对后者标定更为简单。经典算法为Z. Zhang(PAMI, 2000) A Flexible New Technique for Camera Calibration。其算法已经被收入Opencv(2004)，最常用的标定图案是棋盘格图案，如下图：

5.1 单应性矩阵

对于2D标定平面，抑或称为标定板，不妨假设，平面上点的增广齐次向量[X,Y,Z,1]满足Z=0，同时对于旋转矩阵R的每一列表示为一个列向量记为ri，则根据相机的投影方程：

s⎡⎣⎢uv1⎤⎦⎥=A[r1 r2 r3 t]⎡⎣⎢⎢⎢XY01⎤⎦⎥⎥⎥=A[r1 r2 t]⎡⎣⎢XY1⎤⎦⎥(1)

因为点[X,Y]T仍表示的是三维空间点坐标，只是由于标定使用平面的特殊性，将Z=0省略，因此我们仍然使用统一的M符号表示，与其对应M~=[X,Y,1]T表示该点的其次向量，则公式(1)可简记为：

sm~=HM~ with H=A[r1 r2 t](2)

H被称为单应性矩阵（Homography matrix）。

5.2 内参约束条件

对于单应性矩阵H，我们也将其按照列向量的方式表示：H=[h1 h2 h3]，则有：

[h1 h2 h3]=λA[r1 r2 t](3)

其中，λ是一个任意的系数，因为r1,r2是正交向量，因此有：

rT1r2=hT1A−TA−1h2=0(4)

rT1r1=hT1A−TA−1h1=rT2r2=hT2A−TA−1h2(5)

对于一个单应性矩阵，公式(4,5)是两个内参的基本约束。单应性矩阵有9个元素，但可以由8个独立不相关的元素表示，也就是说投影变换有8个自由度，而我们只有6个外参元素（3个旋转元素和3个平移元素），因此两个内参约束条件的意义就在于此。在原理简介（三）中，我们已经了解到A−TA−1描述的就是IAC（Image of the absolute conic），后文将对此进行解释。

5.3 几何解释

现在让我们来分析公式(4,5)与绝对圆锥曲线的关系。在像空间坐标系中，存在下面的等式：

[r3rT3t]T⎡⎣⎢⎢⎢xyzw⎤⎦⎥⎥⎥=0(6)

当w=0时就是我们前面解释的改点位于无穷远处。我们想象标定板所在平面与该无穷远处平面相交于一点，则点[r10]和[r20]是相交直线上的两个特殊点，线上的其他点都可以用这两个点线性表示：

x∞=a[r10]+b[r20]=[ar1+br20](7)

现在让我们看一下上述的交线和绝对圆锥曲线的交点，原理简介（三）已经介绍点x∞满足：xT∞x∞=0，也即(ar1+br2)T(ar1+br2)=0 ⇒ a2+b2=0（r1与r2正交）。因此b=±ai, 其中i2=−1，公式(7)可写为：

x∞=a[r1±ir20](8)

其在图像中的投影点为：

m∞=A(r1±ir2)=h1±ih2(9)

因为点m∞位于IAC上，有：

(h1±ih2)TA−TA−1(h1±ih2)=0(10)

因此等式(10)左边的实部与虚部都为0，也就是公式(4,5)这两条约束条件。

5.4 闭合解

现在开始讲解如何高效求解本方法的相机标定问题。做法是，首先获得分析解，然后初始估计值基于最大似然准则进行非线性优化，这些都将逐步进行讲解。

令：

B=A−TA−1=⎡⎣⎢B11B12B13B12B22B23B13B23B33⎤⎦⎥=⎡⎣⎢⎢⎢⎢⎢⎢⎢⎢⎢1α2−γα2βv0γ−u0βα2β−γα2βγ2α2β2+1β2−γ(v0γ−u0β)α2β2−v0β2v0γ−u0βα2β−γ(v0γ−u0β)α2β2−v0β2(v0γ−u0β)2α2β2+v20β2+1⎤⎦⎥⎥⎥⎥⎥⎥⎥⎥⎥(11)

因此可以看出，B是一个对称矩阵，由六个元素组成：

b=[B11,B12,B13,B22,B23,B33]T(12)

对于H=[h1,h2,h3]的第i列记为：hi=[hi1,hi2,hi3]T，则有：

hTiBhj=vTijb(13)

其中，vij=[hi1hj1,hi1hj2+hi2hj1,hi2hj2,hi3hj1+hi1hj3,hi3hj2+hi2hj3,hi3hj3]T。因此，对于公式(4,5)可以表达为齐次方程：

[vT12(v11−v22)T]b=0(14)

如果采集了n张图像，可以列出方程组：

Vb=0(15)

其中，V是一个2n×6的矩阵。如果n⩾3，一般就能获得b的唯一解；如果n=2，我们可以利用偏斜度γ=0的约束条件，将[0,1,0,0,0,0]b=0添加到方程组(15)中；如果n=1那么就只能获得相机的内参。

一旦b确认后，就可以获得相机内参。将公式(11)中的矩阵B添加一个任意系数：B=λA−TA，可得到：

v0=(B12B13−B11B23)/(B11B22−B212)(16)

λ=B33−[B213+v0(B12B13−B11B23)]/B11(17)

α=λ/B11−−−−−√(18)

β=λB11/(B11B12−B212)−−−−−−−−−−−−−−−−−√(19)

γ=−B12α2β/λ(20)

u0=γv0/α−B13α2/λ(21)

内参矩阵获得后，根据公式(2)外参也就很快就可以得到：

r1=λ′A−1h1, r2=λ′A−1h2, r3=r1×r2, t=λ′A−1h3(22)

其中，λ′=1/∥A−1h1∥=1/∥A−1h2∥。

由于噪声的存在，这样求解的矩阵R一般并不具备旋转矩阵的特性，更好的求解方法是通过奇异值分解的方法，可以参考Z. Zhang的论文。

5.5 最大似然优化

与基于3D标定物的优化方法类似，这里仍然使用最大似然法进行优化，也就是基于噪声是不相关且独立分布的的假设，对于n张图像，其中包含m个点，优化方程为：

∑i=0n∑j=0m∥mij−m^(A,Ri,ti,Mj)∥2(23)

其中，m^(A,Ri,ti,Mj)是三维点Mj在图像i中的投影点。非线性优化过程是，首先需要获得内参矩阵A的估算值，然后利用上面的描述的求解方法，获得{Ri,ti|i=1,…,n}，利用LM迭代优化方法，使得公式(23)的求和最小化。

5.6 镜头畸变

在原理简介（四）4.6中已经对镜头畸变模型进行了讲解，这里与之原理一样。以径向畸变为例，为了获得较为理想准确的像点坐标值，则有方程：

[(u−u0)(x2+y2)(v−v0)(x2+y2)(u−u0)(x2+y2)2(v−v0)(x2+y2)2)][k1k2]=[u^−uv^−v](24)

同样当m个点在n张图像中时，可以组成方程组Dk=d，其中k=[k1k2]，其线性最小二乘解为：

k=(DTD)−1DTd(25)

当获得(k1,k2)后，我们就可以将公式(23)的非线性优化调整为：

∑i=0n∑j=0m∥mij−m^(A,k1,k2,Ri,ti,Mj)∥(26)

结束语：

基于2D标定物的标定方法流程为：

1 打印出一张标定图并贴到一个平面上；

2 通过移动相机或者标定平面采集不同位置、不同方向的标定板图像；

3 特征点检测；

4 估算内参（公式(16−21)），然后通过闭合解得到外参（公式(22)）；

5 通过最小二乘线性估算畸变系数；

6 使公式(26)的代数和最小，优化所有参数。