R语言-回归

定义:

　　回归是统计学的核心,它其实是一个广义的概念,通常指那些用一个或多个预测变量来预测响应变量.既:从一堆数据中获取最优模型参数

1.线性回归

　　1.1简单线性回归

　　案例:女性预测身高和体重的关系

　　结论:身高和体重成正比关系

 fit <- lm(weight ~ height,data = women)
 summary(fit)
 plot(women$height,women$weight,xlab = 'Height inches',ylab = 'Weight pounds')
 abline(fit)

　　1.2添加多项式来提升预测精度

　　 结论:模型的方差解释率提升到99.9%,表示二次项提高了模型的拟合度

 fit2 <- lm(weight ~ height + I(height^2),data = women)
 summary(fit2)
 plot(women$height,women$weight,xlab = 'Height inches',ylab = 'Weight pounds')
 lines(women$height,fitted(fit2))

　　1.3多元线性回归

　　案例探究:探究美国州的犯罪率和其他因素的关系,包括人口,文盲率,平均收入,天气

　　结论:谋杀率和人口,文盲率呈正相关,和天气,收入呈负相关

 states <- as.data.frame(state.x77[,c("Murder", "Population",
                                      "Illiteracy", "Income", "Frost")])
 cor(states)
 library(car)
 scatterplotMatrix(states,spread = F,smoother.args = list(lty=2),main='Scatter Plot Matrix')

　　结论:文盲率的回归系数是4.14,说明在控制其他变量不变的情况下,文盲率提升1%,谋杀率就会提高4.14%

# 多元线性回归
1 fit3 <- lm(Murder~Population+Illiteracy+Income+Frost,data = states)
 summary(fit3)

　　1.4回归诊断

　　结论:文盲率改变1%,谋杀率在95%的置信区间[2.38,5.9]之间变化,因为frost的置信区间包含0,所以可以认为温度的改变与谋杀率无关

 confint(fit3)

　　结论:除了Nevada一个点,其余的点都很好的符合了模型

 par(mfrow=c(2,2))
 plot(fit3)

　　学生化残差分布图展示了除了Nevada一个离群点,其他点都很好的符合了模型

 residplot <- function(fit,nbreaks=10){
   z <- rstudent(fit)
   hist(z,breaks = nbreaks,freq = F,xlab = 'Studentized Residual',main = 'Distribution of Errors')
   rug(jitter(z),col = 'brown')
   curve(dnorm(x,mean=mean(z),sd=sd(z)),add=T,col='blue',lwd=2)
   lines(density(z)$x,density(z)$y,col='red',lwd=2,lty=2)
   legend('topright',legend = c('Normal Curve','KernelDensity Curve'),lty = 1:2,col = c('blue','red'),cex = .7)
 }                                                                                                                                                                                                                                                                  

 residplot(fit3)

　　1.5 异常观测值

　　　　1.5.1 离群点:指的是模型预测观测效果

　　　　　　 此处可以看到Nevada是数据集中的离群点

 library(car)
 outlierTest(fit3)

　　　　1.5.2 高杠杆值点:与其他观测变量有关的离群点

　　　　　　  可以通过以下的帽子图进行观测,,一般来说若帽子值的均值大于帽子均值的2倍或者3倍,就是高杠杆点

 hat.plot <- function(fit){
   p <- length(coefficients(fit3))
   n <- length(fitted(fit3))
   plot(hatvalues(fit3),main = 'Index Plot of Hat Values')
   abline(h=c(2,3)*p/n,col='red',lty=2)
   identify(1:n,hatvalues(fit3),names(hatvalues(fit3)))
 }
 hat.plot(fit3)

　　　　1.5.3强影响点:对模型参数影响有比例失调的点

　　　　　　　　　　使用cook's D值大于4/(n-k-1)表示是强影响点

 cutoff <- 4/(nrow(states)-length(fit3$coefficients)-2)
 plot(fit3,which=4,cook.levels=cutoff)
 abline(h=cutoff,lty=2,col='red')

　　　　　　1.5.4还可以通过气泡图来展示哪些是离群点,强影响点和高杠杆值点

 influencePlot(fit3,id.method='identify',main='Infulence Plot',sub='Circle size is proportional to cook distance')

　　1.6选择最佳的模型

　　　　1.6.1使用anova比较

　　　　　　结论:由于检验不显著,不需要吧Income和Forst加入到变量中

 fit5 <- lm(Murder ~ Population+Illiteracy,data = states)
 anova(fit3,fit5)

　　　　1.6.2使用AIC比较

　　　　　　结论:同上

 fit5 <- lm(Murder ~ Population+Illiteracy,data = states)
 AIC(fit3,fit5)

　　　　1.6.3变量选择

　　　　       结论:开始时模型包含4个变量,在每一步中,AIC列提供了一个删除变量后的AIC值第一次删除AIC从97.75下降到95.75,第二次从93.76,再删除变量会增加AIC所以回归停止

 library(MASS)
 stepAIC(fit3,direction = 'backward')

　　　　1.6.4使用自定义韩式计算相对权重

　　　　　　结论:可以看到每个预测变量对模型方差的解释程度和影响权重

 relweights <- function(fit,...){
   R <- cor(fit$model)
   nvar <- ncol(R)
   rxx <- R[2:nvar,2:nvar]
   rxy <- R[2:nvar,1]
   svd <- eigen(rxx)
   evec <- svd$vectors
   ev <- svd$values
   delta <- diag(sqrt(ev))
   lambda <- evec %*% delta %*% t(evec)
   lambdasq <- lambda ^ 2
   beta <- solve(lambda) %*% rxy
   rsquare <- colSums(beta ^ 2)
   rawwgt <- lambdasq %*% beta ^ 2
   import <- (rawwgt / rsquare) * 100
   import <- as.data.frame(import)
   row.names(import) <- names(fit$model[2:nvar])
   names(import) <- 'Weights'
   import <- import[order(import),1,drop=F]
   dotchart(import$Weights,labels = row.names(import),xlab = '% of R-Square',pch=19,
            main = 'Relative Importance of Predictor Variables',
            sub=paste('Total R-Square=',round(rsquare,digits = 3)),...)
   return(import)
# 调用
24   relweights(fit3,col='blue')