【数据分析】线性回归与逻辑回归（R语言实现）

文章来源：公众号-智能化IT系统。

回归模型有多种，一般在数据分析中用的比较常用的有线性回归和逻辑回归。其描述的是一组因变量和自变量之间的关系，通过特定的方程来模拟。这么做的目的也是为了预测，但有时也不是全部为了预测，只是为了解释一种现象，因果关系。

还是按照老风格，不说空泛的概念，以实际的案例出发。

还是先前的案例，购房信息，我们这次精简以下，这8位购房者我们只关注薪水和年龄这两个因素，信息如下：

用户ID	年龄	收入	是否买房
1	27	15W	否
2	47	30W	是
3	32	12W	否
4	24	45W	是
5	45	30W	否
6	56	32W	是
7	31	15W	否
8	23	30W	否

我们用这个案例说明我们提到的线性回归模型和逻辑回归模型。

线性回归

首先我们看线性回归模型。如果我们想试图看下收入和年龄是否有什么直接的关系，这里，我们把收入看成自变量，年龄是因变量，那么线性模型的关系图自然是直线，按照方程，我们可以得出：

y(收入)=a + bx(年龄)

这里，b是回归系数，a是回归常数。但是俗话说，理想很丰满，现实很骨干，偏差一定存在，所以实际上还有残差e存在。所以这个方程更精确的应该是：

y(收入)=a + bx(年龄) + e

现在我们来计算具体的回归系数和回归常数。具体计算公式如下：

b = ∑(y - Y)(x - X)/∑(x - X)(x - X)

a = Y - bX

这里，大写的X和Y代表平均值，我们先计算除了回归系数，然后在通过平均值计算出回归常数。

我们先算出Y值为26.125，X值为35.625。然后我们来计算回归系数，针对每一数据，得到如下：

用户ID	x - X	y - Y	(y - Y)(x - X)	(x - X)(x - X)
1	-8.625	-11.125	95.953125	74.390625
2	11.375	3.875	44.078125	129.390625
3	-3.625	-14.125	51.203125	13.140625
4	-11.625	18.875	-219.421875	135.140625
5	9.375	3.875	36.328125	87.890625
6	20.375	5.875	119.703125	415.140625
7	-4.625	-11.125	51.453125	21.390625
8	-12.625	3.875	48.921875	159.390625

然后我们来计算回归系数和回归常数

b = 0.1259

a = 21.6412

OK，现在方程已经出现了，就是：

y = 21.6412 + 0.1259x

那么是否完工了呢，我们可以根据任何的年龄来预测其薪水？答案肯定是不，我们要对这个公式进行评估，以决定是否可以用线性回归模型来预测。其中有一个方式是通过判定系数，做为一个标准来衡量方程的拟合程度。

判定系数涉及到三个概念：

理论值y1：按照公式来计算的值

观测值y2：实际的值

平均值y3：就是刚才计算得到的26.125

于是我们又计算了一大堆，得出如下：

用户ID	y3	y2	y1
1	26.125	15	24.2249
2	26.125	30	28.6309
3	26.125	12	25.3264
4	26.125	45	23.564
5	26.125	30	28.1903
6	26.125	32	30.6136
7	26.125	15	25.1061
8	26.125	30	23.3437

判定系数就是：∑(y1 - y3)(y1 - y3)/∑(y2 - y3)(y2 - y3)

判定系数要接近于1，则说明这个线性模型越准确，在这个案例中，完全没有达到，所以是不可行的。

线性模型R语言实现

如果我们自己写代码实现，还是比较费精力和时间，R语言中已经为您实现了回归模型的定制。

还是上述的案例，如下：

首先创建对应的数据框：

> year <- c(27,47,32,24,45,56,31,23)

> money <- c(15,30,12,45,30,32,15,30)

> buyhouse <- c(0,1,0,1,0,1,0,0)

> case <- data.frame(year,money,buyhouse)

> case

year money buyhouse

1 27 15 0

2 47 30 1

3 32 12 0

4 24 45 1

5 45 30 0

6 56 32 1

7 31 15 0

8 23 30 0

>

然后通过lm函数来评估：

> runs.mdl <- lm(

+ formula=money~year,data=case)

这里，formula是公式函数，指定了因变量和自变量，data表示需要评估的数据集。

然后我们可以看得到的回归系数和回归常数：

> coef(runs.mdl)

(Intercept) year

21.6412453 0.1258598

上面的Intercept是回归常数，0.1258598是回归系数。

同时我们可以用summary得到详细的分析：

> summary(runs.mdl)

Call:

lm(formula = money ~ year, data = case)

Residuals:

Min 1Q Median 3Q Max

-13.669 -10.165 2.569 3.849 20.338

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) 21.6412 13.9636 1.550 0.172

year 0.1259 0.3734 0.337 0.748

Residual standard error: 12.02 on 6 degrees of freedom

Multiple R-squared: 0.01859, Adjusted R-squared: -0.145

F-statistic: 0.1136 on 1 and 6 DF, p-value: 0.7475

上面的Multiple R-squared: 0.01859就是判定系数，这里已经有了非常详细的评估。

逻辑回归

如上所说的是线性回归，逻辑回归可以理解为线性回归的衍生，只是因变量的范围固定在0和1之间。X和Y变量的曲线呈S型。当X逐渐减少时，Y也趋近于0。

同样，逻辑回归有一系列的计算法则，以及公式。和线性回归一样，其需要回归系数和回归参数，来评估因变量的取向。而在这里，因变量Y不再是一个值估计，而是概率，当Y等于1的概率。

这个公式如下：

P(Y=1│X=x)=exp(x'β)/(1+exp(x'β))

具体的算法原理我们不做详细讨论，还是以案例来说，我们评估根据年龄和薪水这两个变量，决定是否买房的概率，这是个二元逻辑回归。

在R语言中，我们可以坐享其成，用glm来统计

> runss.mdl <- glm(formula=buyhouse~year+money,data=case,family="binomial")

这里我们要指定family是binomial，以表明是逻辑回归。

然后我们查看具体的情况：

> summary(runss.mdl)

Call:

glm(formula = buyhouse ~ year + money, family = "binomial", data = case)

Deviance Residuals:

1 2 3 4 5 6

-2.100e-08 5.169e-05 -2.100e-08 8.346e-06 -5.019e-05 2.100e-08

7 8

-2.100e-08 -2.100e-08

Coefficients:

Estimate Std. Error z value Pr(>|z|)

(Intercept) -1889.94 1093171.03 -0.002 0.999

year 20.46 11911.42 0.002 0.999

money 31.62 18804.21 0.002 0.999

(Dispersion parameter for binomial family taken to be 1)

Null deviance: 1.0585e+01 on 7 degrees of freedom

Residual deviance: 5.2599e-09 on 5 degrees of freedom

AIC: 6

Number of Fisher Scoring iterations: 25

然后我们可以做出图形，来评估最终的效果，R中的plot即可，或者通过anova来进行统计，此处省略。

---

公众号-智能化IT系统。每周都有技术文章推送，包括原创技术干货，以及技术工作的心得分享。扫描下方关注。