【线性代数】3-5:独立性，基和维度(Independence,Basis and Dimension)

title: 【线性代数】3-5:独立性，基和维度(Independence,Basis and Dimension)

categories:

Mathematic
Linear Algebra

keywords:
Independence
Basis
Dimension
Span

toc: true

date: 2017-09-25 15:20:46

Abstract: 本文是本章最重要的知识点，也是整个线性代数中非常核心的内容，包括independence ，basis和dimension等多个概念

Keywords: Independence，Basis，Dimension，Span

开篇废话

在没有系统学习线性代数之前，对很多里面的名词有所畏惧，现在思考发现，很多听不懂的名词都是因为不明白背后的原理和知识才会产生畏惧，也有可能这个名词背后真的蕴藏的一个非常深奥的系统知识，但是如果我们慢慢的从头开始抽丝剥茧的把每一个知识点都掌握了，最后听到这个名词就会觉得这是个很平常的词汇而已，但是没有学习之前就会一头雾水，还有一个感觉就是，如果这些基础知识不掌握，论文种可能是个很简单的过程，作者略过了，如果基础不牢就会迷惑，或者自己瞎猜，其实迷惑不可怕，起码自己知道这里有问题，但是瞎猜就有问题了，而且还猜的理直气壮，觉得自己猜的都对，这种人是永远不会进步的。

今天我们就逐个解释线性代数中比较常出现的几个非常重要的概念。

Linear Independence

Linear Independence可以拆开看，Linear就是我们的基础关系，线性，满足线性组合的基本要求1-1:Linear Combinations有详细说明，就是满足add 和scalar的组合；Independence表示独立，谁和谁也不相关，其实不相关的这个概念在概率论中让我记忆深刻的，而且一直也不懂到底是啥意思（现在也不懂），不相关就是没办法关联起来。

现在抛弃上面的所有思路，从矩阵角度来看，矩阵角度也就是向量角度，因为Linear Independence是针对***向量***矩阵是向量合起来写的一种方式：

Definition: The columns of A are linearly independent when the only solution to Ax=0Ax=0Ax=0 is x=0x=0x=0 No other combination AxAxAx of the columns gives the zero vector

定义是说，当向量汇聚成矩阵后，矩阵的nullspace只有0向量的时候，这些向量线性独立，nullspace只有0，说明elimination后的rank=column number。这样nullspace就只有0了。

另一个定义：

Definition: The sequence of vectors v1,…,vnv_1,\dots,v_nv1,…,vn is linearly Independence if the only combination that gives the zero vector is 0v1+0v2+⋯+0vn0v_1+0v_2+ \dots +0v_n0v1+0v2+⋯+0vn

x1v1+x2v2+⋯+xnvn=0x_1v_1+x_2v_2+\dots+x_nv_n=0x1v1+x2v2+⋯+xnvn=0 only happens when all x’s are zero

只有当x全是0的时候，组合向量v才能得到0，其他x不能完成这个任务，就说这些v线性独立。

注意，只有向量有线性独立的说法，一个矩阵不能线性独立，当然entry是矩阵的向量也可以线性独立，那就有点复杂了，不过也是一样的道理，满足条件就可以。

如果向量sequence中包含0向量，那么这个他们不会Linear Independence。

上面提到了rank和矩阵大小的关系对是否线性相关有影响，当r=n≤mr=n\leq mr=n≤m时，线性独立，但是当r≤m<nr\leq m < nr≤m<n时，必然线性相关。

在另一本书上《Linear algebra done right》上说当一个向量sequence里其中一个可以被其他线性组合出来，那么他们线性相关，否则线性无关，这个和上面的nullspace的说法含以上是一致的，但是感觉更形象。

Vectors that Span a Subspace（Row Space）

本来想写span但是总记得已经写过了，回去一查果然有说明，span的概念比较好理解，就是若干个向量通过线性组合得到的一个向量空间（满足向量空间的所有要求），具体的说明可以复习下：Span.列向量是矩阵中所有的列span成的空间。

举个