《Linear Algebra and Its Applications》-chaper6-正交性和最小二乘法-基本概念与定理

这一章节我们主要讨论定义在R^n空间上的向量之间的关系，而这个关系概括来讲其实就是正交，然后引入正交投影、最佳逼近定理等，这些概念将为我们在求无解的线性方程组Ax=b的最优近似解打下基石.

正交性：

先举个最简单的例子，在平面中，两个二维向量的点乘如果为0，那么我们可判定两个向量互相垂直，那么实际上这两个向量就是R^2向量空间上的一组正交向量。

下面推广到R^n向量空间上，给出正交性的定义：

正交集：

给定向量集合S，当S中任意两个元素都相互正交，我们称S是一个正交集。

基的一个概念其实表征一个空间(集合)中所有元素的一些分量，它的概念和线性无关紧密联系的，所以这里我们将实现放在线性无关上即可。

这个定理其实就显现出了对于子空间W，用正交基相对于用其他非正交基的优势，它在计算权值上有着极大的便利性，给出子空间W中某个向量y，我们便可以它基于正交基的线性表示。

这样计算的正确性的证明也很好证明，充分利用正交这一条性质即可。

基于对正交基概念的理解，这里再引入单位化。

结合这两个概念，我们将一组单位向量组成的正交基成为单位正交基。

此时我们再将这个概念和矩阵联系在一起，因为对于m x n的矩阵，它本质上也是n个R^m空间的向量的集合。

这里提前剧透，各列能够组成单位正交基的矩阵在矩阵运算中会有比较大的作用，因此我们很有必要知道对于任意一个m x n矩阵，我们如何判断它的各列能否组成单位正交基。

正交补：

基于向量正交的概念，这里引入一个在后面的论述中会用到的概念——正交补。

根据定义，我们就能够给出正交补的一条基本性质：

基于这条性质与之前我们已经介绍过描述一个子空间W的正交基的概念，来看下面一个命题。

正交投影：

其实关于正交投影，我们最熟悉的莫过于高中物理中对一系列矢量做的正交分解了，那里将一个力沿另一个力方向进行正交分解，本质上就是求正交投影的思路。

在这里我们给出线性代数中关于正交投影更为一般化的定义。

在高中物理分析矢量的有力工具——正交分解定理，其实便源于线性代数中推广形式的正交分解定理。

在高中物理中我们将某个矢量沿着我们规定的坐标轴正方向进行分解。在推广形式中，不仅仅向量的维度上升，而且正交分解基于子空间W和W的正交补空间，这也是体现“推广”这个动作很重要的一个地方。

其实结合之前我们给出的正交投影的概念，这里 (1)式似乎就是求了一个正交投影，结合有几何意义的情况，对于三维向量，W作为一个R^3的子空间，可以看成两个正交基组成的平面，而(1)式其实就是在求向量y在W(一个面)上的投影。

这是对于推广性的正交分解定理较为感性的理解，下面我们呈现严谨的证明过程。

下面介绍的定理将在最小二乘法算法中起到重要作用。