R语言实战（九）主成分和因子分析

本文对应《R语言实战》第14章：主成分和因子分析

主成分分析（PCA）是一种数据降维技巧，它能将大量相关变量转化为一组很少的不相关变量，这些无关变量成为主成分。

探索性因子分析（EFA）是一系列用来发现一组变量的潜在结构的方法。通过寻找一组更小的、潜在的或隐藏的结构来解释已观测到的、显式的变量间的关系。

这两种方法都需要大样本来支撑稳定的结果，但是多大是足够的也是一个复杂的问题。目前，数据分析师常使用经验法则：因子分析需要5~10倍于变量数的样本数。另外有研究表明，所需样本量依赖于因子数目、与各因子相关联的变量数，以及因子对变量方差的解释程度。

基础安装包里有princomp()函数可以做主成分分析，factanal()函数可以做因子分析。

另外有psych包，提供以下函数：

函数	描述
principal()	含多种可选的方差旋转方法的主成分分析
fa()	可用主轴、最小残差、加权最小平方或最大似然法估计的因子分析
fa.parallel()	含平行分析的碎石图
factor.plot()	绘制因子分析或主成分分析的结果
fa.diagram()	绘制因子分析或主成分的载荷矩阵
scree()	因子分析和主成分分析的碎石图

主要步骤：

　　1. 数据预处理

　　　　需要确保数据中没有缺失值

　　2. 选择因子模型

　　　　判断是PCA（数据降维）还是EFA（发现潜在结构）更符合你的研究目标。如果选择EFA方法，还需要选择一种估计因子模型的方法（如最大似然估计）

　　3. 判断要选择的主成分/因子数目

　　4. 选择主成分/因子

　　5. 旋转主成分/因子

　　6. 解释结果

　　7. 计算主成分或因子得分

=========================================================================

主成分分析：

PCA的目标是用一组较少的不相关变量代替大量相关变量，同时尽可能保留初始变量的信息，这些推导所得的变量成为主成分，它们是观测变量的线性组合。各主成分互相正交。

判断主成分的个数准则：

1. 根据先验经验和理论知识判断主成分数
2. 根据要解释变量方差的积累值的阈值来判断需要的主成分数
3. 通过检查变量间k*k的相关系数矩阵来判断保留的主成分数

最常见的是基于特征值的方法。每个主成分都与相关系数矩阵的特征值相关联，第一主成分与最大的特征值相关联，第二主成分与第二大的特征值相关联，依次类推。Kaiser-Harris准则建议保留特征值大于1的主成分，因为特征值小于1的成分所解释的方差比包含在单个变量中的方差更少。Cattell碎石检验则绘制了特征值与主成分数的图形。这类图形可以清晰地展示图形弯曲状况，在图形变化最大处之上的主成分都可以保留。最后，还可以进行模拟，依据与初始矩阵相同大小的随机数据矩阵来判断要提取的特征值。若基于真实数据的某个特征值大于一组随机数据矩阵相应的平均特征值，那么该主成分可以保留。这种方法称为平行分析。

#展示基于观测特征值的碎石检验（线段与x符号组成）、根据100个随机数据矩阵推导出来的特征值均值（虚线），以及大于1的特征值准则（y=1的水平线）
library(psych)
fa.parallel(USJudgeRatings[, -1], fa = “PC”, n.iter = 100, show.legend = FALSE,
main = “Scree plot with parallel analysis”)

　　

提取主成分：

principal(r, nfactors = , rotate = , scores = )

其中r是相关系数矩阵或原始数据矩阵；

nfactors设定主成分数（默认为1）；

rotate指定旋转的方法（默认为最大方差旋转，varimax）；

scores设定是否需要计算主成分得分（默认不需要）。

输出解释：

PC1（或PC2…）栏包含了成分载荷，指观测变量与主成分的相关系数。可用来解释主成分的含义，是一个可用来进行一般性评价的维度。

h2栏指成分公因子方差：主成分对每个变量的方差解释度；

u2栏指成分唯一性（1-h2）：方差无法被主成分解释的比例；

SS loadings行包含了与主成分相关联的特征值，指的是与特定主成分相关联的标准化后的方差值。

Proportion Var行表示的是每个主成分对整个数据集的解释程度。

主成分旋转：

当提取了多个成分时，对它们进行旋转可使结果更具解释性。

旋转是一系列将成分载荷变得更容易解释的数学方法，它们尽可能地对成分去噪。

旋转方法有两种：使选择的成分保持不相关（正交旋转）；让它们变得相关（斜交旋转）。

最流行的正交旋转是方差极大旋转，它试图对载荷阵的列进行去噪，使得每个成分只是由一组有限的变量来解释（即载荷阵每列只有少数几个很大的载荷，其他都是很小的载荷）。（具体例子参见书305页）

由于最终目标是用一组较少的变量替换一组较多的相关变量，因此还需要获取每个观测在成分上的得分。

获取主成分得分的方法：

第一种情况是，只有一个主成分，此时设置score = TRUE即可得到主成分得分；

第二种情况是，基于相关系数矩阵的主成分分析，虽然原始数据不可用，但是可以得到用来计算主成分得分的系数。为了简化计算，通常将接近0的系数直接看作是0。

=========================================================================

探索性因子分析：

目标是通过发掘隐藏在数据下的一组较少的、更为基本的无法观测的变量，来解释一组可观测变量的相关性。这些虚拟的、无法观测的变量称作因子。（每个因子被认为可以解释多个观测变量间共有的方差，因此准确来说，它们应该称作公共因子）

同样的，需要判断需提取的公共因子数：

值得注意的是，当三种原则摇摆不定时，高估因子数通常比低估因子数的结果好。另外，Kaiser-Harris准则的特征值数大于0而不是1（图中的水平线）。

提取公共因子：

fa(r, nfactors = , n.obs = , rotate = , scores = , fm = )

r是相关系数矩阵或者原始数据矩阵；

nfactors设定提取的因子数（默认为1）；

n.obs是观测数（输入相关系数矩阵时需要填写）；

rotate设定旋转的方法（默认互变异数最小法）；

scores设定是否计算因子得分（默认不计算）；

fm设定因子化方法（默认极小残差法）。

提取公共因子的方法有很多，包括最大似然法（ml）、主轴迭代法（pa）、加权最小二乘法（wls）、广义加权最小二乘法（gls）和最小残差法（minres）。最大似然法有良好的统计性质，但是有时最大似然法不会收敛，此时采用主轴迭代法会有好效果。

因子旋转：

正交与斜交旋转，具体例子参考书310页。

两者不同之处：对于正交旋转，因子分析的重点在于因子结构矩阵（变量与因子的相关系数），而对于斜交旋转，因子分析会考虑三个矩阵：因子结构矩阵、因子模式矩阵和因子关联矩阵。

因子模式矩阵即标准化的回归系数矩阵，它列出了因子预测变量的权重。因子关联矩阵即因子相关系数矩阵。

因子结构矩阵（即因子载荷矩阵）一般不会列出来，但是可以计算得到，公式为F = P * Phi，其中F是因子载荷阵，P为因子模式矩阵，Phi为因子关联矩阵。（例子可以参考311页）

因子得分：

相比PCA，EFA并不那么关注计算因子得分。在fa()函数中添加score = TRUE即可得到因子得分。另外还可以得到得分系数（标准化的回归权重），它在返回对象的weights元素中。

其他与EFA相关的包：

FactoMineR: 提供PCA和FEA方法，潜变量模型，并有更多参数选项；

FAiR: 使用遗传算法估计因子分析模型，增强了模型参数的估计能力，能够处理不等式的约束条件；

GPArotation: 提供多种因子旋转方法；

nFactors: 提供了用来判断因子数目的许多复杂方法。

其他潜变量模型：

CFA（验证性因子分析）是结构方程模型（SEM）中的一种方法。SEM不仅可以假定潜在因子的数目以及组成，还能假定因子间的影响方式。可以将SEM看做是验证性因子分析（对变量）和回归分析（对因子）的组合，它的结果输出包含统计检验和拟合度的指标。具体实现方式有sem包，openMx包，lavaan包。

ltm包可以用来拟合测验和问卷中各项目的潜变量模型。

潜类别模型（潜在的因子被认为是类别型而非连续型）可通过FlexMix, lcmm, randomLCA, poLC包进行拟合。lcda包可做潜类别判别分析，lsa包可做潜在语义分析。

ca包提供了可做简单和多重对应分析的函数。

另外MDS（多维标度法）可以用来发现解释相似性和可测对象间距离的潜在维度。基础安装的cmdscale()函数可以实现经典MDS，MASS包里的isoMDS()函数可以做非线性MDS。

小结：