主成分分析、因子分析、ICA（未完成）

并且SVD分解也适用于一般的矩阵。

主成分分析可以简单的总结成一句话：数据的压缩和解释。常被用来寻找判断某种事物或现象的综合指标，并且给综合指标所包含的信息以适当的解释。在实际的应用过程中，主成分分析常被用作达到目的的中间手段，而非完全的一种分析方法。

可以通过矩阵变换知道原始数据能够浓缩成几个主成分，以及每个主成分与原来变量之间线性组合关系式。但是细心的朋友会发现，每个原始变量在主成分中都占有一定的分量，这些分量（载荷）之间的大小分布没有清晰的分界线，这就造成无法明确表述哪个主成分代表哪些原始变量，也就是说提取出来的主成分无法清晰的解释其代表的含义。

因子分析

鉴于主成分分析现实含义的解释缺陷，统计学斯皮尔曼又对主成分分析进行扩展。因子分析在提取公因子时，不仅注意变量之间是否相关，而且考虑相关关系的强弱，使得提取出来的公因子不仅起到降维的作用，而且能够被很好的解释。因子分析与主成分分析是包含与扩展的关系。

其次是扩展关系。因子分析解决主成分分析解释障碍的方法是通过因子轴旋转。因子轴旋转可以使原始变量在公因子（主成分）上的载荷重新分布，从而使原始变量在公因子上的载荷两级分化，这样公因子（主成分）就能够用哪些载荷大的原始变量来解释。以上过程就解决了主成分分析的现实含义解释障碍。

1.原理不同：

主成分分析（Principal
components
analysis，PCA）基本原理：利用降维（线性变换)的思想，在损失很少信息的前提下把多个指标转化为几个不相关的综合指标（主成分)，即每个主成分都是原始变量的线性组合，且各个主成分之间互不相关，使得主成分比原始变量具有某些更优越的性能（主成分必须保留原始变量90%以上的信息），从而达到简化系统结构，抓住问题实质的目的。

因子分析（Factor

Analysis，FA）基本原理：利用降维的思想，由研究原始变量相关矩阵内部的依赖关系出发，把一些具有错综复杂关系的变量表示成少数的公共因子和仅对某一个变量有作用的特殊因子线性组合而成。就是要从数据中提取对变量起解释作用的少数公共因子（因子分析是主成分的推广，相对于主成分分析，更倾向于描述原始变量之间的相关关系）。

2.线性表示方向不同：

因子分析是把变量表示成各公因子的线性组合；主成分分析中则是把主成分表示成各变量的线性组合。

3.假设条件不同：

主成分分析：不需要有假设(assumptions)；

因子分析：需要一些假设。因子分析的假设包括：各个共同因子之间不相关，特殊因子（specificfactor）之间也不相关，共同因子和特殊因子之间也不相关。

4.求解方法不同：

（1）求解主成分的方法：

从协方差阵出发（协方差阵已知），从相关阵出发（相关阵R已知），采用的方法只有主成分法。（实际研究中，总体协方差阵与相关阵是未知的，必须通过样本数据来估计）；

注意事项：由协方差阵出发与由相关阵出发求解主成分所得结果不一致时，要恰当的选取某一种方法；

一般当变量单位相同或者变量在同一数量等级的情况下，可以直接采用协方差阵进行计算；对于度量单位不同的指标或是取值范围彼此差异非常大的指标，应考虑将数据标准化，再由协方差阵求主成分。

实际应用中应该尽可能的避免标准化，因为在标准化的过程中会抹杀一部分原本刻画变量之间离散程度差异的信息。此外，最理想的情况是主成分分析前的变量之间相关性高，且变量之间不存在多重共线性问题（会出现最小特征根接近0的情况）；

2）求解因子载荷的方法：

主成分法，主轴因子法，极大似然法，最小二乘法，a因子提取法。

5.主成分和因子的变化不同：

主成分分析：当给定的协方差矩阵或者相关矩阵的特征值唯一时，主成分一般是固定的独特的；

因子分析：因子不是固定的，可以旋转得到不同的因子。

6.因子数量与主成分的数量

主成分分析：主成分的数量是一定的，一般有几个变量就有几个主成分（只是主成分所解释的信息量不等），实际应用时会根据碎石图提取前几个主要的主成分。

因子分析：因子个数需要分析者指定（SPSS和SAS根据一定的条件自动设定，只要是特征值大于1的因子主可进入分析），指定的因子数量不同而结果也不同；

7.解释重点不同：

主成分分析：重点在于解释个变量的总方差；因子分析：则把重点放在解释各变量之间的协方差。

8.算法上的不同：

主成分分析：协方差矩阵的对角元素是变量的方差；

因子分析：所采用的协方差矩阵的对角元素不在是变量的方差，而是和变量对应的共同度（变量方差中被各因子所解释的部分）。

9.优点不同：

（1）因子分析：

对于因子分析，可以使用旋转技术，使得因子更好的得到解释，因此在解释主成分方面因子分析更占优势；其次因子分析不是对原有变量的取舍，而是根据原始变量的信息进行重新组合，找出影响变量的共同因子，化简数据；

（2）主成分分析：

第一：如果仅仅想把现有的变量变成少数几个新的变量（新的变量几乎带有原来所有变量的信息）来进入后续的分析，则可以使用主成分分析，不过一般情况下也可以使用因子分析；

第二：通过计算综合主成分函数得分，对客观经济现象进行科学评价；

第三：它在应用上侧重于信息贡献影响力综合评价；

第四：应用范围广，主成分分析不要求数据来自正态分布总体，其技术来源是矩阵运算的技术以及矩阵对角化和矩阵的谱分解技术，因而凡是涉及多维度问题，都可以应用主成分降维。

1）主成分分析：

可以用于系统运营状态做出评估，一般是将多个指标综合成一个变量，即将多维问题降维至一维，这样才能方便排序评估；此外还可以应用于经济效益、经济发展水平、经济发展竞争力、生活水平、生活质量的评价研究上；主成分还可以用于和回归分析相结合，进行主成分回归分析，甚至可以利用主成分分析进行挑选变量，选择少数变量再进行进一步的研究。一般情况下主成分用于探索性分析，很少单独使用，用主成分来分析数据，可以让我们对数据有一个大致的了解。

几个常用组合：

主成分分析+判别分析，适用于变量多而记录数不多的情况；

主成分分析+多元回归分析，主成分分析可以帮助判断是否存在共线性，并用于处理共线性问题；

主成分分析+聚类分析，不过这种组合因子分析可以更好的发挥优势；

2）因子分析：

首先，因子分析+多元回归分析，可以利用因子分析解决共线性问题；其次，可以利用因子分析，寻找变量之间的潜在结构；再次，因子分析+聚类分析，可以通过因子分析寻找聚类变量，从而简化聚类变量；此外，因子分析还可以用于内在结构证实。