SciTech-Mathmatics-LinearAlgebra-特征分解/谱分解(Eigen decomposition)方阵分解出 特征值和特征向量 + 矩阵函数视角: n维向量左乘n阶方阵 化为数乘变换.

1 特征分解（Eigen decomposition)

注意：只有可对角化的矩阵才能进行特征分解

特征分解(Eigen decomposition)，又称谱分解(Spectral decomposition),

是将矩阵分解为一组 成对的特征值与特征向量, 每一对的分解都满足:

将 \(n\) 阶方阵 \(M\) 分解出如下式的 非零n维向量 \(v\)作为 特征向量 和 \(\lambda\) 作为 特征向量;

\(\large \begin{array}{ll} \\
\begin{equation} \\
M v=\lambda v,\ v \neq 0 \ \tag{EigenDecomposition} \\
\end{equation} \\
\end{array}\)

注意:

• \(n\) 阶方阵\(M\), 非零n维向量\(v\) 和左侧 矩阵乘法\(\large Mv\) 的结果向量, 全都为 \(n\)维;

• 特征向量\(v\) 被施以 线性变换函数\(M\) 只会使其伸缩, 而其方向不改变。
  
  假设 (\(\lambda_0\), \(v\)) 是 \(n\) 阶方阵\(M\) 的特征值-特征向量对, 那么 (\(\lambda_0\), \(k v\))也是:
  
  \(\begin{array}{ccl} \\
  & M v &=& \lambda_0 v \\
  \Rightarrow & M (k v) &=& k(M v) = k(\lambda_0 v) = \lambda_0 (k v) \\
  & & & k \neq 0,\ \text{and k is a scalar} \\
  \\ \end{array}\)

• 由上式 \(\text{(EigenDecomposition)}\) 可得\(n\) 阶方阵\(M\)的特征方程:
  
  \(\begin{array}{ccl} \\
  p(\lambda) = det(M-\lambda I) = 0 \\
  \\ \end{array}\)
  
  称多项式 \(\large p(\lambda)\) 为矩阵的特征多项式。特征多项式是关于未知数 \(\lambda\) 的 \(N\) 次多项式。
  
  由代数基本定理，特征方程的解集有\(N\)个解, 这些解就是特征值的集合，也称为“谱”(Spectrum)。
  
  我们可以对多项式 \(p\) 进行因式分解，而得到:
  
  \(\begin{array}{ccl} \\
  p(\lambda) &=& (\lambda - \lambda_1)^{n_1}(\lambda - \lambda_2)^{n_2} ... (\lambda - \lambda_k)^{n_k} = 0\ ,\ \sum_{i=1}^{k}{n_i} = N \\
  (M-\lambda_i I) v &=& 0\ ,\forall\ i \in [\ 1, k\ ] \\
  \\ \end{array}\)
  
  对每一个特征方程:都会:

  • 有\(m_i\ (1 < m_i < n_i)\)个线性无关的解(向量), 这 \(m_i\) 个解向量与一个特征值 \(\lambda\) 对应.
  • 整数 \(m_i\) 称为特征值 \(\lambda\) 的几何重数，而 \(n_i\) 称为代数重数。
    
    要注意, 几何重数 与 代数重数 可相等，也可以不相等。
    
    一种最简情况是 \(m_i = n_i = 1\)。

  特征向量的 极大线性无关向量组 的 向量个数 可以由所有特征值的几何重数之和来确定。

矩阵的特征分解

令 \(M\) 是一个 $N \times N $ 的方阵，且有 \(N\) 个线性无关的特征向量\(q_i, i \in [\ 1, N\ ]\)。

这样， \(M\) 可以被分解为:

\(\large \begin{array}{ccl} \\
M = Q \Lambda Q^{-1} \\
\\ \end{array}\)

• \(Q\) 是$N \times N $ 方阵，且其第 \(i\) 列为 \(M\) 的特征向量 。
• \(\Lambda\) 是对角矩阵，其对角线上元素为对应的特征值，也即 \(\large \Lambda_{ii} = \lambda_i\)
  
  要注意只有可对角化矩阵才可以作特征分解。
  
  特征向量一般被正交单位化(但这不是必须的）。
  
  未被正交单位化的特征向量组也可以作为 \(Q\) 的列向量。
  
  这一事实可以这样理解： \(Q\) 中向量的长度都被抵消了。

通过特征分解求矩阵的逆

若矩阵 \(M\) 可被特征分解, 并且特征值中不含零，则矩阵 \(M\) 为非奇异矩阵，且其逆矩阵可由下式给出：

\(\large \begin{array}{ccl} \\
M^{-1} = Q \Lambda^{-1}Q^{-1} \\
\\ \end{array}\)

因为 \(\Lambda\) 为对角矩阵，其逆矩阵容易计算出：\(\large \begin{array}{ccl} [\ \Lambda^{-1} \ ]_{ii} = \frac{1}{\lambda_i} \\ \end{array}\)

对特殊矩阵的特征分解

• 对称矩阵
  
  任意的 \(N \times N\) 实对称矩阵 都有 \(N\) 个线性无关的特征向量。
  
  并且这些特征向量都可以正交单位化, 而得到一组正交且模为 1 的向量。
  
  故实对称矩阵 \(M\) 可被分解成:
  
  \(\large \begin{array}{ccl} \\
  M = Q \Lambda Q^{T} \\
  \\ \end{array}\)
  
  其中 \(Q\) 为 正交矩阵， \(\Lambda\) 为实对角矩阵。

• 正规矩阵
  
  类似地，一个 复正规矩阵 有 一组正交特征向量基，故正规矩阵可以被分解成:
  
  \(\large \begin{array}{ccl} \\
  M = U \Lambda U^{H} \\
  \\ \end{array}\)
  
  其中, \(U\) 为一个Unitary Matrix。
  
  进一步地，若 \(M\) 是Hermitian Matrix，那么对角矩阵 \(\Lambda\) 的对角元全是实数。
  
  若 \(M\) 还是Unitary Matrix，则 \(\Lambda\) 的所有对角元在复平面的Unit Cycle上取得。

• 常用用途:

  • “降维”: \(n\)阶方阵 \(M\) 分解为 特征向量-特征值对, 由 $n \times n $ 变为 \(1 \times n\), 极大降维.
  • “分解-合成”: 分解出特征向量-特征值对, 就可合成其它维度上或需要的矩阵/向量.

• 最优分解: 用约束条件来选取 特征向量-特征值 对; 例如正交特征向量或变化最大的方向上;
  
  实际应用多分解为正交基(特征向量), 如果不是正交的，就要做奇异值分解。

• 数学解读: 换将 \(n\) 阶方阵 \(M\) 看作 矩阵函数 \(f\), 解读以上矩阵乘法表达式:

  \(\large \begin{array}{ccl} f(v) &=& M v,\ v \neq 0 \\
  f(v) &=& \lambda v \end{array}\)

  即对 非零n维向量 \(v\) 作以下两种变换得到的结果一致:

  • 左乘 “\(n\) 阶方阵 \(M\)”,
  • 数乘 “实数\(\lambda\)” (初等线性变换),

  则称:

  • \(\lambda\) 是 \(n\) 阶方阵 \(M\) 的一个特征值，
  • \(v\) 为 \(M\) 的对应于特征值 \(\lambda\) 的特征向量。

• 用实例证明不仅可以分解出,甚至还可以分解出多对 特征向量 与 特征值:
  
  速度\(\overrightarrow{M}\)用矩阵表示, 可分解到其它方向(维度)上, 分速度的大小是特征值，方向是特征向量
  
  速度\(\overrightarrow{M}\)可以分解为 \(3D\)空间的 \((x, y, z)\) 三个维度上的分量\((\overrightarrow{M_x}, \overrightarrow{M_y}, \overrightarrow{M_z})\),
  
  也可以任意分解为其他的三个向量为基的空间的三个向量方向上:

  • 三个基向量作为\(\overrightarrow{M}\)的特征向量,
  • 三个向量方向上的坐标值作为\(\overrightarrow{M}\)的每个特征向量对应的特征值;

  当然, 类似的可以分解到 \(4D\)时空上也是可以的.