【线性代数】6-4:对称矩阵(Symmetric Matrices)

title: 【线性代数】6-4:对称矩阵(Symmetric Matrices)

categories:

Mathematic
Linear Algebra

keywords:
Eigenvalues
Eigenvectors
Symmetric Matrices
Projection Matrices
Spectral Theorem
Principal Axis Theorem

toc: true

date: 2017-11-22 15:18:03

Abstract: 本篇继续线性代数的高潮部分，对称矩阵，以及对称矩阵的一些性质

Keywords: Eigenvalues，Eigenvectors，Symmetric Matrices，Projection Matrices，Spectral Theorem，Principal Axis Theorem

开篇废话

这几篇在难度上确实要比前面的内容大很多，所以看书理解和总结都变得不那么流畅了，但是慢慢看下来收获还是有很大的，而且我发现不管学的多认真，还是会有遗漏，所以我觉得之前的想法就是一次性把什么什么学会是不可能的，只能学到自己觉得达到自己能发现的最大限度，等到应用之时还是要回来查阅，这样往往会有进一步的更大发现，

Symmetric Matrices

对称矩阵我们在最早的知识里面就学过 AT=AA^T=AAT=A 的矩阵叫做对称矩阵，我们也学过投影矩阵,但是当时我们并没有强调过一点就是投影矩阵都是对称的，这个性质今天在这里会有很大的用途。

我们继续说投影矩阵，所谓投影矩阵，就是在和向量 c⃗\vec{c}c 相乘的时候，投影到矩阵A的列空间内，那么其中，投影 ppp 和原向量 c⃗\vec{c}c 的差 e⃗=c⃗−p⃗\vec{e} =\vec{c}-\vec{p}e=c−p 与子空间正交。

举个例子，在三维空间内，A的列空间是一个二维平面那么，A对应的投影矩阵P能够把任何方向的向量投影到平面上，那么如果向量本身属于平面那么 Px=xPx=xPx=x 显然是不用质疑的（我们之前在投影那篇文章中也讲过）但是，同志们，看看这个有木有很面熟啊，这个明显就是投影矩阵 PPP 的特征值和特征向量么？没错，PPP 有一个平面的特征向量，可以随便选！能选多少个呢、当然是无数个，但是问题又来了，这无数多个并不是独立的，因为一共就二维，选出来三个线性独立的向量都是不可能的，所以这个平面能选出两个线性独立的特征向量，并且对应的特征值都是1，这里有人可能疑惑为啥要选两个，因为我们6-2的时候说过只有特诊向量足够的情况下才能对角化，投影矩阵明显是个3x3的矩阵，那么特征向量也应该有三个呀！我们的子空间是二维的，所以理论上应该有两个特征向量在上面，剩下一维存在一个，那么这一个也能很好找，e⃗\vec{e}e 就是也就是和子空间正交的向量都行 Px=0xPx=0xPx=0x 表明 x⃗\vec{x}x 和子空间正交，那么这是个特征值为0的特征向量，这样我们又进一步规范一下，选择三个特征向量相互正交，这个也是可以做到的，也就是对于矩阵P我们找到了三个相互正交的特征向量，并且长度缩放到单位长度。

以上三维投影到二维平面可以通过几何来解释，但为了能让大家从线性空间来理解，就没用几何方法，大家可以自己脑补。

得出结论，对称矩阵 PT=PP^T=PPT=P 的特征向量相互正交并且为单位向量。

对称矩阵"It is no exaggeration to say that these are the most important matrices the world will ever see – in the theory of linear algebra and alos in the applications" 翻译成中文：“对称矩阵是史上最牛B的矩阵，无论在理论还是应用”

这个我们目前还无法考证，还没做过应用呢？不是么，但是我知道PCA中确实用了对称矩阵，SVD等一些列相关技术。

一个矩阵能被如此称赞，不外乎几点原因，首先是其本身拥有较好的性质，其次这个矩阵在自然生活中经常出现，就像正态分布，那么难的公式，却能准确的描述自然届的现象。最后就是如果表现形式简单，那么这个就是非常有用的东西啦。

下面我们开始探索对称矩阵的性质。

如果一个对称矩阵满足：

suppose:AT=AA=SΛS−1then:AT=(S−1)TΛTST
suppose:\\
A^T=A\\
A=S\Lambda S^{-1}\\
then:\\
A^T=(S^{-1})^T\Lambda^T S^T
suppose:AT=AA=SΛS−1then:AT=(S−1)TΛTST

这种情况下就有下面这种***可能***了，也就是对应的 S=(S−1)TS=(S^{-1})^TS=(S−1)T 注意我们这里说的是可能，并不排除不可能的情况，原文书上用的也是possibly，也就是说我们目前假设:

ST=S−1STS=I
S^T=S^{-1}\\
S^TS=I
ST=S−1STS=I

这里我们可以预报一下：

对称矩阵只有实数特征值

对称矩阵特征向量可以选择正交单位向量 orthonormal

对于 STS=IS^TS=ISTS=I 面熟么？还有印象么？我们认识啊，正交矩阵

QTQ=IQ^TQ=IQTQ=I 矩阵Q中每列之间相互正交，也就是我们对于对称矩阵可以写成：

A=QΛQ−1=QΛQTwith:Q−1=QT
A=Q\Lambda Q^{-1}=Q\Lambda Q^T\\
with:\\
Q^{-1}=Q^T
A=QΛQ−1=QΛQTwith:Q−1=QT

这个就是著名的普定理 “Spectral Theorem”:

Every symmetric matrix has the factorization A=QΛQTA=Q\Lambda Q^TA=QΛQT with real eigenvalues in Λ\LambdaΛ and orthonormal eigenvectors in S=QS=QS=Q

对于所有对称矩阵都能分解成 A=QΛQTA=Q\Lambda Q^TA=QΛQT 的形式并且在 Λ\LambdaΛ 中的所有特征值都是实数，其对应的特征向量是正交单位矩阵，即 S=QS=QS=Q

本文为节选，完整内容地址：https://www.face2ai.com/Math-Linear-Algebra-Chapter-6-4转载请标明出处