学习笔记DL007:Moore-Penrose伪逆，迹运算，行列式，主成分分析PCA

Moore-Penrose伪逆(pseudoinverse)。

非方矩阵，逆矩阵没有定义。矩阵A的左逆B求解线性方程Ax=y。两边左乘左逆B，x=By。可能无法设计唯一映射将A映射到B。矩阵A行数大于列数，方程无解。矩阵A行数小于列数，矩阵有多个解。

矩阵A的伪逆A + =lim a->0 (A T A+aI) -1 A T。计算伪逆公式，A + =VD + U T。矩阵U、D、V是矩阵A奇异值分解得到矩阵。对角矩阵D伪逆D + 是非零元素取倒数后再转置。矩阵A列数多于行数，伪逆求解线性方程是可能解法。x=A + y是方程所有可行解中欧几里得范数||x|| 2 最小。矩阵A行数多于列数，没有解。伪逆得到x使得Ax和y的欧几里得距离||Ax-y|| 2 最小。

迹运算。

返回矩阵对角元素和，Tr(A)=Sum i A i,i 。通过矩阵乘法和迹运算符号清楚表示矩阵运算。描述矩阵Frobenius范数,||A|| F =SQRT(Tr(AA T ))。迹运算在转置运算下不变，Tr(A)=Tr(A T )。多个矩阵相乘方阵迹，矩阵最后一个挪到最前面相乘迹相同。需考虑挪动后矩阵乘积定义良好，Tr(ABC)=Tr(CAB)=Tr(BCA)，Tr(PRODUCT(n,i=1,F (i) ))=Tr(F (n) PRODUCT(n-1,i=1,F (i) ))。循环置换后矩阵乘积矩阵形状变了，迹运算结果依然不变。矩阵A ELEMENT(R m*n )，矩阵B ELEMENT(R n*m )，得到 Tr(AB)=Tr(BA)。AB ELEMENT(R m*m )，BA ELEMENT(R n*n )。标量在迹运算后仍是自己，a=Tr(a)。

行列式。

det(A)，方阵A映射到实数函数。行列式等于矩阵特征值的乘积。行列式绝对值衡量矩阵参与矩阵乘法后空间扩大或缩小多少。行列式是0，空间沿着某一维完全收缩，失去所有体积。行列式是1，转换保持空间体积不变。

主成分分析(principal components analysis,PCA)。

简单机器学习算法，基础线性代数知识推导。R n 空间有m个点{x (1) ,…,x (m) }，有损压缩，用更少内存，损失精度存储。希望损失精度尽可能少。低维表示，每个点x (i) ELEMENT(R n )，一个对应编码向量c (i) ，按比例放大D :,i ，保持结果不变。为问题有唯一解，限制D所有列向量有单位范数。计算解码器最优编码困难。PCA限制D列向量彼此正交(除非l=n，严格意义D不是正交矩阵)。

想法变算法。明确每一个输入x得到一个最优编码c * 。

最小化原始输入向量x和重构向量g(c * )间距离。范数衡量距离。PCA算法，用L 2 范数，c * =argmin c ||x-g(c)|| 2 。用平方L 2 范数替代L 2 范数。相同值c上取得最小值。L 2 范数非负。平方运算在非负值上单调递增。c * =argmin c ||x-g(c)|| 2 2 。最小化函数简化，(x-g(c)) T (x-g(c))。L 2 范数定义，=x T x-x T g(c)-g(c) T x +g(c) T g(c)。分配律，=x T x-2x T g(c)+g(c) T g(c)。标量g(c) T x转置等于自己。第一项x T x 不依赖c，忽略，优化目标，c * =argmin c -2x T g(c)+g(c) T g(c)。代入g(c)，c * =argmin c -2x T Dc+c T D T Dc=argmin c -2x T Dc+c T I l c。矩阵D正交性和单位范数约束，=argmin c -2x T Dc+c T c。

向量微积分求解最优化，NABLA(c, (-2x T Dc+c T c))=0，-2D T x+2c=0，c=D T x。算法高效。最优编码x只需要一个矩阵-向量乘法操作。编码向量，编码函数，f(x)=D T x。矩阵乘法，定义PCA重构操作，r(x)=g(f(x))=DD T x。挑选编码矩阵D。相同矩阵D对所有点解码，不能孤立看待每个点。最小化所有维数和所有点上的误差矩阵Frobenius范数。D * =argmin D SQRT(SUM(i,j,(x (i) j -r(x (i)) j )) 2 )subject to D T D=Il。推导寻求D * 算法，l=1，D是单一向量d。简化D为d，问题简化。d * =argmin d SUM(i,||x (i) -dd T x (i) || 2 2 )subject to ||d|| 2 =1。最美观方式。标量d T x (i) 放在向量d右边。标量放在左边写法更传统。d * =argmin d SUM(i,||x (i) -d T x (i) d|| 2 2 )subject to ||d|| 2 =1。标量转置和自身相等。d * =argmin d SUM(i,||x (i) -x (i) T dd|| 2 2 )subject to ||d|| 2 =1。重排写法。

单一矩阵重述问题。更紧凑符号。表示各点向量堆叠成矩阵。记X ELEMENT(R m*n )。X i,: =x (i) T 。重新表述，d * =argmin d ||X-Xdd T || 2 F subject to d T d=1。不考虑约束，Frobenius范数简化。argmin d ||X-Xdd T || 2 F 。=argmin d Tr((X-Xdd T ) T (X-Xdd T ))。=argmin d Tr(X T X-X T Xdd T -dd T X T X+dd T X T Xdd T )。=argmin d Tr(X T X)-Tr(X T Xdd T )-Tr(dd T X T X)+Tr(dd T X T Xdd T )。=argmin d -Tr(X T Xdd T )-Tr(dd T X T X)+Tr(dd T X T Xdd T )。与d无关项不影响argmin，=argmin d -2Tr(X T Xdd T )+Tr(dd T X T Xdd T )。循环改变迹运算相乘矩阵顺序不影响结果，=argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T dd T )。考虑约束条件。argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T dd T )subject to d T d=1。=argmin d -2Tr(X T Xdd T )+Tr(X T X T Xdd T )subject to d T d=1。=argmin d -Tr(X T X T Xdd T )subject to d T d=1。=argmax d Tr(X T X T Xdd T )subject to d T d=1。=argmax d Tr(d T X T X T Xd)subject to d T d=1。优化问题，特征分解求解。最优d是X T X最大特征值对应特征向量。

以上推导特定于l=1情况，仅得到第一个主成分。得到主成分的基时，矩阵D由前l个最大特征值对应特征向量组成。归纳法证明。

参考资料：

《深度学习》

欢迎推荐上海机器学习工作机会，我的微信：qingxingfengzi

我有一个微信群，欢迎一起学深度学习。