【Unity】投影矩阵和线性深度推导

【Unity】投影矩阵和线性深度推导

网络上有很多投影矩阵的推导，也有很多声称是基于 Unity 的，但和我的实测都不一致（现在看来是因为这些文章并不全面），此外有一些 Unity 本身的函数我也搞不懂它的原理，遂最终选择自行研究，总算把这些问题解决了。

现在通过这篇文章，你就可以完全搞懂 Unity 的投影矩阵是啥样，又是怎么来的。以及 Unity 逆推线性深度的函数是如何实现的。不过该文章也不是完全面向小白的，至少你应该对这些矩阵本来就有大概的了解。

渲染中的矩阵变换

渲染过程中将模型顶点转换到显卡设备的 NDC（标准设备坐标系）中，共要进行以下几个矩阵变换：

1. 物体到世界空间矩阵（物体矩阵）
2. 世界到视图空间矩阵（视图矩阵）
3. 视图到剪辑空间（采用齐次坐标的 NDC 空间）矩阵（投影矩阵）

物体到世界空间矩阵就是正常的 TRS（转移,旋转,缩放）矩阵，不是本文的研究对象，在 Unity 中主要是“视图矩阵”和“投影矩阵”有特殊的地方。

视图矩阵

视图矩阵本质就是不受缩放影响的相机的 TRS 矩阵的逆矩阵。除此之外，在 Unity 中该矩阵还有个特别的地方。

虽然 Unity 是左手坐标系引擎，但它的视图空间却是用的右手坐标系的（z 轴正负与左手坐标系相反），更官方的表述是 Unity 采用的是 opengl 风格的视图矩阵。故最终会对 z 轴进行反转，使相机正前方为-z（即会对矩阵中的 m33 （z 轴系数）取反）。

虽然这一操作让人感觉有些不适，但也便于了我们后续将深度计算为 D3D 风格的 1-0（越远深度值越小），而不是传统风格的 0-1（越远深度值越大）。

投影矩阵

投影矩阵用于将视图矩阵的结果转换到剪辑空间，但具体根据当前所使用的图形 API 不同，其投影矩阵和 NDC 都会有所差异：

https://docs.unity.cn/cn/2022.3/Manual/SL-PlatformDifferences.html

对于 NDC 的 x,y 轴，全平台都是一致的：

• 屏幕从左到右为 x 轴的-1 到 1
• 屏幕从下到上为 y 轴的-1 到 1

对于 NDC 的 z 轴，即视图空间下的近平面到远平面的 z 轴：

• 在 OpenGL 平台：屏幕从前到后为 z 轴的-1 到 1
• 在 Direct3D 平台：屏幕从前到后为 z 轴的 1 到 0

如果是从相机中直接获取投影矩阵（Camera.projectionMatrix），Unity 始终返回 OpenGL 风格。但若想获取着色器中实际使用的矩阵，则需要调用GL.GetGPUProjectionMatrix，而该矩阵会随图形 API 不同而不同。

综上所述，投影矩阵在 Unity 中有多种实现方式，但考虑 Unity 的深度图是采用 Direct3D 风格存储的（包括那些解算深度图的函数），而且 Windows 平台更常用，故在此仅推导 Direct3D 风格的透视矩阵。

投影矩阵的构成

投影矩阵有两种类型：

• “正交投影”（不实现近大远小）
• “透视投影”（实现近大远小）。

其中透视投影比较特殊，本质上是“正交”和“透视”两种变换的复合矩阵：

1. 透视（上图绿框变蓝框）：将锥形的视野范围缩放成长方体。
2. 正交（上图蓝框变红框）：将长方体的视野范围缩放到 NDC 空间（也是长方体）。

因此只需要学会透视投影，也就能学会正交投影，而且这样子理解起来会更简单。

正交变换（等价于正交投影矩阵）

正交投影矩阵由以下参数构成：

• size：视锥体半高度。
• aspect：宽高比（宽度/高度），用于得出半宽度。
• near：近平面位置。
• far：远平面位置。

由这些参数可以简单得出以下变量：

• h：半高度（size）
• w：半宽度（size*aspect）
• n：近平面（near）
• f：远平面（far）

正交投影矩阵是线性变换，所以可以直接通过直线公式（\(y=Ax+B\)）来拟合（如下图），具体而言是要实现以下映射：

1. \((-w,w)=>(-1,1)\)
2. \((-h,h)=>(-1,1)\)
3. \((-n,-f)=>(1,0)\)（受视图矩阵的 z 反转影响，故远近平面取反）

对于第一第二点，只要设置直线斜率（即对输入的 x,y 坐标直接除以 w,h 即可）。对于第三点则可以通过带入 z=-n 和 z=-f 两个线段端点成以下公式：

• \(-An+B=1\)
• \(-Af+B=0\)

进一步推导可得：

\(
\begin{aligned}
(-An+B)-(-Af+B) &= 1-0 \\
-An+B+Af-B &= 1 \\
Af-An &= 1 \\
A(f-n) &= 1 \\
A &= \frac{1}{f-n} \\
\end{aligned}
\)

\(
\begin{aligned}
-(\frac{1}{f-n})f+B&=0\\
B &= \frac{f}{f-n}\\
\end{aligned}
\)

最终根据上述结论，可用相关参数可构成正交投影矩阵：

\[\begin{bmatrix}
\frac{1}{w} & 0 & 0 & 0 \\
0 & \frac{1}{h} & 0 & 0 \\
0 & 0 & \frac{1}{f-n} & \frac{f}{f-n} \\
0 & 0 & 0 & 1 \\
\end{bmatrix}
\]

透视变换（透视投影矩阵的一部分）

透视变换（后也称透视矩阵）的目的是实现近大远小，即根据 z 位置缩放 xy 轴，使任何位置的 x,y 都等于近平面的 x',y'（映射关系如下图）。

上图根据相似三角形定理可得对于 y 轴的透视变换如下公式：

\(
\begin{aligned}
\frac{y'}{n} &=\frac{y}{z} （n,z此处为长度，故不是负数）\\
y'&=\frac{yn}{z}\\
x'&=\frac{xn}{z}（x轴同理）
\end{aligned}
\)

现在要将上述公式反应在矩阵变换上：

• 对于 n，这是一个定值，直接利用缩放矩阵的原理就可以实现。
• 对于 z，这是一个变量，肯定无法直接写在矩阵中，但可以借助其次坐标 w 归一化的特性，将向量的 w （位置在 m43）设为 z 即可。

于是便可得出初步矩阵：

\(
\begin{bmatrix}
n & 0 & 0 & 0 \\
0 & n & 0 & 0 \\
? & ? & ? & ? \\
0 & 0 & -1 & 0
\end{bmatrix}
\)

注意因为视图矩阵中 z 被反转，此处为保证 xy 不受影响，因此需要将 m43 设置为 -1 来获取 +z。

此外 z 的系数都被标记为？，因为 z 也会受 w 归一的影响，而我们实际需要 z 保持不变，故需要对这些能对 z 产生作用的系数进行推导，以确保最终计算出的向量归一化前的 z 分量为\(-z^2\)（齐次坐标是实现除 z 而不是-z，所以为保持最终结果依然是视图空间的 -z ，z 分量应该是负数 z）。

由于前两个系数（m31,m32）是与 x,y 相乘，我们不需要所以始终为 0。而剩余的两个系数（m33,m34）设分别为 A,B 时，再加上视图空间向量（投影变换的输入向量）的 w 分量（B 的乘数）默认为 1，带入 z=-n 和 z=-f 两个特例后可得以下公式：

• \(-An+B=-n^2\)
• \(-Af+B=-f^2\)

推导可得：

\(
\begin{aligned}
(-An+B)-(-Af+B) &= (-n^2)-(-f^2) \\
-An+B+Af-B &= f^2-n^2 \\
Af-An &= (f-n)(f+n) \\
A(f-n) &= (f-n)(f+n) \\
A &= f+n \\
\end{aligned}
\)

\(
\begin{aligned}
-(f+n)f+B&=-f^2\\
B &= -f^2+(f+n)f\\
B &= -f^2+f^2+nf\\
B &= nf\\
\end{aligned}
\)

最终根据上述结论，可用相关参数可构成透视矩阵：

\[\begin{bmatrix}
n & 0 & 0 & 0 \\
0 & n & 0 & 0 \\
0 & 0 & f+n & nf \\
0 & 0 & -1 & 0 \\
\end{bmatrix}
\]

透视投影矩阵

将正交变换和透视变换的矩阵相结合可得如下矩阵：

\(
\begin{aligned}
&=\begin{bmatrix}
\frac{1}{w} & 0 & 0 & 0 \\
0 & \frac{1}{h} & 0 & 0 \\
0 & 0 & \frac{1}{f-n} & \frac{f}{f-n} \\
0 & 0 & 0 & 1 \\
\end{bmatrix}
*\begin{bmatrix}
n & 0 & 0 & 0 \\
0 & n & 0 & 0 \\
0 & 0 & f+n & nf \\
0 & 0 & -1 & 0 \\
\end{bmatrix}\\
&=\begin{bmatrix}
\frac{n}{w} & 0 & 0 & 0 \\
0 & \frac{n}{h} & 0 & 0 \\
0 & 0 & \frac{f+n}{f-n}-\frac{f}{f-n} & \frac{nf}{f-n} \\
0 & 0 & -1 & 0 \\
\end{bmatrix}\\
&=\begin{bmatrix}
\frac{n}{w} & 0 & 0 & 0 \\
0 & \frac{n}{h} & 0 & 0 \\
0 & 0 & \frac{n}{f-n} & \frac{nf}{f-n} \\
0 & 0 & -1 & 0 \\
\end{bmatrix}
\end{aligned}
\)

在透视投影中，Unity 不直接提供 h（半高），需要利用 fov（视野角度）计算。利用三角函数可以轻松得出:

\(
h = \tan(fov/2)*n\\
w = h * aspect
\)

重新整理后可得最终透视投影矩阵：

\[\begin{bmatrix}
\frac{1}{\tan(fov/2)*aspect} & 0 & 0 & 0 \\
0 & \frac{1}{\tan(fov/2)} & 0 & 0 \\
0 & 0 & \frac{near}{far-near} & \frac{near*far}{far-near} \\
0 & 0 & -1 & 0 \\
\end{bmatrix}
\]

线性深度推导

经过透视投影后得到的深度不是线性的（如上图），但很多特效实现都有利用 NDC 深度重建世界信息的需求，因此还需要研究一下如何逆推得到线性深度。

以下都是对 Unity 中相关线性深度求解函数的解析，利用下方链接可以查看每个函数的函数图，以便直观的感受深度变化效果：

https://www.geogebra.org/calculator/nxrfrkzj

LinearEyeDepth

将 NDC 中的深度反推为视图空间中的非反转深度（即原始的 z 轴坐标）。

该函数的实现可分成两个步骤，先执行 \(透视投影\) 的 \(逆函数\) 得出视图空间中的深度。由于视图空间中的深度为反转的 z 轴，故对该深度二次反转，以得到非反转深度。

即 \(LinearEyeDepth(z) = -逆透视投影(z)\)

1. 根据之前的矩阵计算可得：

   \(
   \begin{aligned}
   透视投影
   &= \frac{(\frac{nz}{f-n}+\frac{nf}{f-n})}{-z}\\
   &=\frac{n(z+f)}{z(n-f)}\\
   \end{aligned}
   \)

2. 再对该函数求逆：

   \(
   \begin{aligned}
   z'&=\frac{n(z+f)}{z(n-f)} \\
   z(n-f)z'&=nz+nf\\
   z(n-f)z'-nz&=nf\\
   z((n-f)z'-n)&=nf\\
   z&=\frac{nf}{(n-f)z'-n}\\
   \end{aligned}
   \)

   即：

   \(
   逆透视投影=\frac{nf}{(n-f)z-n}
   \)

3. 加入反转，再简化：

   \(
   \begin{aligned}
   &= -\frac{nf}{(n-f)z-n}\\
   &= \frac{nf}{(f-n)z+n}\\
   &= \frac{1}{\frac{f-n}{nf}z+\frac{1}{f}}\\
   \end{aligned}
   \)

故最终结论为：

\[LinearEyeDepth(z)=\frac{1}{\frac{f-n}{nf}z+\frac{1}{f}}
\]

Linear01Depth

将 NDC 中的深度反推为线性 0-1 深度（相机位置为 0，远平面为 1）。

很容易想到，只需要对 \(LinearEyeDepth\) 的结果除以远平面大小即可，即：

\(
\begin{aligned}
&= \frac{LinearEyeDepth(z)}{f}\\
&= \frac{1}{\frac{f-n}{nf}z+\frac{1}{f}} * \frac{1}{f}\\
&= \frac{1}{\frac{f-n}{n}z+1}\\
\end{aligned}
\)

故最终结论为：

\[Linear01Depth(z)=\frac{1}{\frac{f-n}{n}z+1}
\]

Linear01DepthFromNear

求解线性 0-1 深度（近平面为 0，远平面为 1）。（Unity 中的注释是这样写的，但实测根本不是）。

该函数的本质为：

\(
\begin{aligned}
&=Linear01Depth(z)*z\\
&=\frac{1}{\frac{f-n}{n}z+1}*z\\
&=\frac{1}{\frac{f-n}{n}+\frac{1}{z}}\\
\end{aligned}
\)

其计算出的深度确实是线性，但近平面等于 \(Linear01Depth\)（z 等于 1，相乘后不变），远平面等于 0（z 等于 0，相乘后等于 0）。

若要实现真正的 \(Linear01DepthFromNear\) ，应对 \(逆透视投影函数\) 的结果直接进行 \(正交变换\)，然后调换深度为 0-1 方向，即：

\(
\begin{aligned}
&= 1 - 正交变换(逆透视投影(z))\\
&= 1-\frac{1}{f-n}LinearEyeDepth(z)+\frac{f}{f-n}\\
&= 1-\frac{1}{f-n}(\frac{nf}{(n-f)z-n}+f)\\
\end{aligned}
\)