SAS学习笔记23 线性回归、多元回归

线性回归

由样本资料计算的回归系数b和其他统计量一样，存在抽样误差，因此，需要对线性回归方程进行假设检验

1、方差分析

2、t检验

相关系数的假设检验

相关系数(correlation coefficient)又称Pearson积差相关系数(coefficient of product moment correlation)，是说明具有直线相关关系的两个数值变量间相关的密切程度和相关方向的统计量

由于r是样本统计量，需进行假设检验，即要判断两个变最X与Y是否真的存在相关关系，为此需根据r值作总体相关系数ρ是否为零的假设检验

多元回归

多元线性回归是研究一个应变量与多个自变量之间线性依存关系的统计方法，可以对自变量的作用进行评价，也可以用作预测和判别。

与直线回归的情形相同，对所建立的多元回归方程进行假设检验，以判断它是否具有统计学意义。多元线性回归方程的假设检验分为模型检验和单个回归系数检验。

模型检验结果可用来判断回归方程是否具有统计学意义。

偏回归系数检验。回归方程具有统计学意义，只能说明整体的情况，并不能保证每个自变量都具有统计学意义。因此，需要对每个自变量的回归系数进行假设检验，具体有F检验和t检验两种方法，两种检验方法的结果相同。

需要注意，因为自变量之间可能存在一定的相关性，当从原方程剔除一个变量时，其他一 些变量的回归系数可能受到影响。 另外，有时需要比较各自变量的相对贡献大小，由于回归系数受变量度量衡的影响，不能直接比较。 为此，可以对回归系数进行标准化处理，消除度量衡的影响。计算标准化回归系数(standardized regression coefficient)反映各自变量对应变量的影响程度。

复相关系数和决定系数

复相关系数表示回归方程中的全部自变量X与应变量Y的相关密切程度。和简单相关系数不同的是，复相关系数(multiple correlation coefficient)取值总为正值，简记为R(0≤R≤1）

复相关系数的平方称为决定系数(coefficient of determination), 记为R² ，反映线性回归方程能在多大程度上解释应变量Y的变异性

决定系数R² 反映了回归方程与数据的拟合程度，其值越接近1，说明回归方程的拟合程度越好；反之，其值越接近0，说明回归方程的拟合程度越差

多元逐步回归

多元线性回归分析中，当自变量较多时，可能并不是所有自变量都对应变量有显著影响，同时有些自变量之间可能相关，存在信息重叠和共线的问题。通常情况下，更希望将有统计学意义的自变量引人回归方程，以使方程更为简单，容易解释。更重要的是，把不显著的自变量排除后可以使回归方程的残差均方减小，有利于揭示其他自变量的作用。为此可以采用三种自变量筛选方法，即向前选择法(forward selection）、向后选择法(backward elimination)和逐步选择法(stepwise selection)

1、向前选择法。方程由一个自变量开始，每次引入一个偏回归平方和最大、且具有统计学意义的自变量，由少到多，直到不具有统计意义的因素可以引入为止。这种方法的主要问题是，先进入方程的变量有可能受到后进入方程变量的影响变得不显著。

2、向后选择法。先建立一个包含所有自变量的回归方程，然后每次剔除一个偏回归平方和最小、且无统计学意义的自变量，直到不能剔除时为止。这种方法在样本量比较大（如n>100)，或者自变量不是很多的悄况下（如m<10)效果较好。

3、逐步选择法。在前述两种方法的基础上进行双向筛选的一种方法。即向前引入每一个新自变量之后都要重新对先前已选入的自变量进行检查，以评价其有无继续保留在方程中的价值。为此需要“引入”和“剔除”交替进行，直到无统计学意义的新变量可以引入也无自变量可以剔除时为止。

上述筛选自变量三种方法，可以计算偏回归平方和的F统计量，进行检验和筛选。有时也采用校正决定系数(adjusted R-square)作为判断标准，选择校正决定系数大者为“最优” 方程。

在进行逐步回归前，首先应确定检验每个自变量是否有统计学意义的F检验水平，以此作为引入或剔除变量的标准。F检验水平可以根据具体情况而定。一般而言，若使最终的回归方程中包含较多的自变量，F水平可以适当放宽些，但也不能取得太低，否则会失去筛选自变量的意义。一般可将F值定在α为0.05、0.10或0.20水平上，同时要求α选入≤α剔除