阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

阅读翻译Mathematics for Machine Learning之2.5 Linear Independence

关于：

• 首次发表日期：2024-07-18
• Mathematics for Machine Learning官方链接： https://mml-book.com
• ChatGPT和KIMI机翻，人工润色
• 非数学专业，如有错误，请不吝指出

2.5 线性无关（ Linear Independence）

接下来，我们将仔细看看如何操作向量（向量空间的元素）。特别是，我们可以将向量相加并用标量相乘。闭合性（closure property）保证了我们最终得到的还是同一向量空间中的另一个向量。我们可以找到一组（set）向量，通过相加和缩放这些向量，我们可以表示向量空间中的每一个向量。这组向量称为基（base），我们将在第2.6.1节讨论它们。在此之前，我们需要介绍线性组合和线性无关的概念。

定义 2.11（线性组合）。考虑一个向量空间 \(V\) 和有限数量的向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V\)。那么，每一个 \(\boldsymbol{v} \in V\) 形式如下的向量

\[\boldsymbol{v}=\lambda_1 \boldsymbol{x}_1+\cdots+\lambda_k \boldsymbol{x}_k=\sum_{i=1}^k \lambda_i \boldsymbol{x}_i \in V
\tag{2.65}
\]

其中 \(\lambda_1, \ldots, \lambda_k \in \mathbb{R}\) 是向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的线性组合。

零向量 \(\mathbf{0}\) 总是可以写成 \(k\) 个向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的线性组合，因为 \(\mathbf{0}=\sum_{i=1}^k 0 \boldsymbol{x}_i\) 总是成立的。接下来，我们对一组向量的非平凡（non-trivial）线性组合表示 \(\mathbf{0}\) 感兴趣，即向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 的线性组合，其中不是所有系数 \(\lambda_i\) 在 (2.65) 中都为 0。

定义 2.12（线性（不）相关性）。让我们考虑一个向量空间 \(V\) 以及 \(k \in \mathbb{N}\) 和 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V\)。如果存在一个非平凡的线性组合，使得 \(\mathbf{0}=\sum_{i=1}^k \lambda_i \boldsymbol{x}_i\) 且至少有一个 \(\lambda_i \neq 0\)，则向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 是线性相关的。如果只存在零解，即 \(\lambda_1=\ldots=\lambda_k=0\)，则向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 是线性无关的。

线性无关是线性代数中最重要的概念之一。直观上，一组线性无关的向量由没有冗余的向量组成，即，如果我们从集合中移除任何一个向量，我们将失去一些东西。在接下来的章节中，我们将更正式地讨论这一直觉。

注释 以下性质对于判断向量是否线性无关是有用的：

• \(k\) 个向量要么线性相关，要么线性无关，没有第三种可能。

• 如果向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 中至少有一个是零向量 \(\mathbf{0}\)，那么它们是线性相关的。如果有两个向量相同，也成立。

• 向量 \(\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}, k \geqslant 2\) 是线性相关的，当且仅当（至少）其中一个是其他向量的线性组合。特别地，如果一个向量是另一个向量的倍数，即 \(\boldsymbol{x}_i=\lambda \boldsymbol{x}_j, \lambda \in \mathbb{R}\)，那么集合 \(\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k : \boldsymbol{x}_i \neq \mathbf{0}, i=1, \ldots, k\right\}\) 是线性相关的。

• 检查向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k \in V\) 是否线性无关的一种实用方法是使用高斯消元法：将所有向量作为矩阵 \(\boldsymbol{A}\) 的列，并进行高斯消元，直到矩阵处于行阶梯形态（这里不需要行简化阶梯形态（reduced row-echelon form））：

  • 枢轴列（pivot columns）表示与其左边的向量线性无关的向量。注意，在构建矩阵时向量是有顺序的。
  • 非枢轴列可以表示为左边枢轴列的线性组合。例如，行阶梯形态
  \[\left[\begin{array}{lll}
  1 & 3 & 0 \\
  0 & 0 & 2
  \end{array}\right]
  \]

  告诉我们第一列和第三列是枢轴列。第二列是非枢轴列，因为它是第一列的三倍。

所有列向量是线性无关的当且仅当所有列都是枢轴列。如果至少有一个非枢轴列，则这些列（因此，相应的向量）是线性相关的。

注释 考虑一个向量空间 \(V\)，其中有 \(k\) 个线性无关的向量 \(\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\) 和 \(m\) 个线性组合

\[\begin{gathered}
\boldsymbol{x}_1=\sum_{i=1}^k \lambda_{i1} \boldsymbol{b}_i, \\
\vdots \\
\boldsymbol{x}_m=\sum_{i=1}^k \lambda_{im} \boldsymbol{b}_i .
\end{gathered}
\tag{2.7.0}
\]

定义 \(\boldsymbol{B}=\left[\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\right]\) 为一个矩阵，其列是线性无关的向量 \(\boldsymbol{b}_1, \ldots, \boldsymbol{b}_k\)，我们可以更紧凑地写成

\[\begin{gathered}
\boldsymbol{x}_j=\boldsymbol{B} \boldsymbol{\lambda}_j, \quad \boldsymbol{\lambda}_j=\left[\begin{array}{c}
\lambda_{1j} \\
\vdots \\
\lambda_{kj}
\end{array}\right], \quad j=1, \ldots, m,\\
\end{gathered}
\tag{2.7.1}
\]

我们想要检验 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\) 是否线性无关。为此，我们遵循检验 \(\sum_{j=1}^m \psi_j \boldsymbol{x}_j=\mathbf{0}\) 的一般方法。通过 (2.71)，我们得到

\[\sum_{j=1}^m \psi_j \boldsymbol{x}_j=\sum_{j=1}^m \psi_j \boldsymbol{B} \boldsymbol{\lambda}_j=\boldsymbol{B} \sum_{j=1}^m \psi_j \boldsymbol{\lambda}_j .
\tag{2.7.2}
\]

这意味着当且仅当列向量 \(\left\{\boldsymbol{\lambda}_1, \ldots, \boldsymbol{\lambda}_m\right\}\) 是线性无关的， \(\left\{\boldsymbol{x}_1, \ldots, \boldsymbol{x}_m\right\}\) 是线性无关的。

注释：在一个向量空间 \(V\) 中，\(m\) 个由 \(k\) 个向量 \(\boldsymbol{x}_1, \ldots, \boldsymbol{x}_k\) 线性组合而成的向量是线性相关的，如果 \(m>k\)。