本文对应<R语言实战>第12章:重抽样与自助法 之前学习的基本统计分析.回归分析.方差分析,是假定观测数据抽样自正态分布或者其他性质较好的理论分布,进而进行的假设检验和总体参数的置信区间估计等方法.但在许多实际情况中统计假设并不一定满足,比如抽样于未知或混合分布.样本量过小.存在离群点.基于理论分布设计合适的统计检验过于复杂且数学上难以处理等情况,这时基于随机化和重抽样的统计方法就可派上用场. 本章探究两种应用广泛的依据随机化思想的统计方法:置换检验和自助法. ================…

第十二章:重抽样与自助法 本章,我们将探究两种应用广泛的依据随机化思想的统计方法:置换检验和自助法 12.1 置换检验 置换检验,也称随机化检验或重随机化检验. 有两种处理条件的实验,十个受试者已经被随机分配到其中一种条件(A或B)中,相应的结果变量(score)也已经被记录.实验结果如下: 如果两种处理方式真的等价,那么分配给观测得分的标签(A处理或B处理)便是任意的.为检验两种处理方式的差异,我们可遵循如下步骤: (1) 与参数方法类似,计算观测数据的t统计量,称为t0: (2) 将10个得…

教材目录 第一部分 入门 第一章 R语言介绍 第二章 创建数据集 第三章 图形初阶 第四章 基本数据管理 第五章 高级数据管理 第二部分 基本方法 第六章 基本图形 第七章 基本统计方法 第三部分 中级方法 第八章 回归 第九章 方差分析 第十章 功效分析 第十一章 中级绘图 第十二章 重抽样与自助法 第四部分 高级方法 第十三章 广义线性模型 第十四章 主成分和因子分析 第十五章 处理缺失数据的高级方法 第十六章 高级图形进阶 第一章 R语言介绍   第二章 创建数据集   第三章 图形初阶…

R 语言实战(第二版) part 3 中级方法 -------------第8章 回归------------------ #概念:用一个或多个自变量(预测变量)来预测因变量(响应变量)的方法 #最常用:OLS--普通最小二乘回归法,包括简单线性回归.多项式回归.多元线性回归 #过程:拟合OLS回归模型-->评价拟合优度-->假设检验-->选择模型 #OLS回归 #目标:减少因变量的真实值和预测值的差值来获得模型参数(截距和斜率),即使得残差平方和最小 #数据需满足:正态性.独立性.线性…

本文对应<R语言实战>第4章:基本数据管理:第5章:高级数据管理 创建新变量 #建议采用transform()函数 mydata <- transform(mydata, sumx = x1 + x2, meanx = (x1 + x2)/2) 重编码 < 小于 <= 小于或等于 > 大于 >= 大于或等于 == 严格等于(比较浮点类型时慎用,易误判) != 不等于 !x 非x x | y x或y x & y x和y isTRUE(x) x是否为TRUE…

入门书籍:R语言实战 进度:1-4章 摘要: 1)实用的包 forecast:用于做时间序列预测的,有auto.arima函数 RODBC:可以用来读取excel文件.但据说R对csv格式适应更加良好,相应的导入导出均较为方便(read.table, write等) reshape:目前用到rename函数,可以方便的对数据变量重命名 fCalendar:在日期输入处提及,据说对日期运算有奇效,但无具体示例.同理如lubridate sqldf:在数据选取处提及,可代替subset以及各种whe…

本文对应<R语言实战>第6章:基本图形:第7章:基本统计分析 ================================================================================================================================================== 本章讨论的图形,主要用于分析数据前,对数据的初步掌握.想要对数据有一个初步的印象,最好的方式就是观察它,也就是将数据可视化.在这个过程中,我们…

本文对应<R语言实战>第8章:回归 回归是一个广义的概念,通指那些用一个或多个预测变量(也称自变量或解释变量)来预测响应变量(也称因变量.效标变量或结果变量)的方法.通常,回归分析可以用来挑选与相应变量相关的解释变量,可以描述两者的关系,也可以生成一个等式,通过解释变量来预测响应变量. 回归分析的各种变体 回归类型 用途 简单线性 用一个量化的解释变量预测一个量化的响应变量 多项式 用一个量化的解释变量预测一个量化的响应变量,模型的关系是n阶多项式 多元线性 用两个或多个量化的解释变量预测一个…

本文对应<R语言实战>第9章:方差分析:第10章:功效分析 ==================================================================== 方差分析: 回归分析是通过量化的预测变量来预测量化的响应变量,而解释变量里含有名义型或有序型因子变量时,我们关注的重点通常会从预测转向组别差异的分析,这种分析方法就是方差分析(ANOVA).因变量不只一个时,称为多元方差分析(MANOVA).有协变量时,称为协方差分析(ANCOVA)或多元协方差分析…

<数据挖掘:R语言实战> 基本信息 作者: 黄文    王正林 丛书名: 大数据时代的R语言 出版社:电子工业出版社 ISBN:9787121231223 上架时间:2014-6-6 出版日期:2014 年6月 开本:16开 页码:292 版次:1-1 所属分类:计算机 > 软件与程序设计 > 综合 > 高级程序语言设计 更多关于>>><数据挖掘:R语言实战> 内容简介 书籍 计算机书籍 数据挖掘技术是当下大数据时代最关键的技术,其应用领域及前景…

本文对应<R语言实战>第15章:处理缺失数据的高级方法 本文仅在书的基础上进行简单阐述,更加详细的缺失数据问题研究将会单独写一篇文章. 处理缺失值的一般步骤: 识别缺失数据: 检查导致数据缺失的原因: 删除包含缺失值的实例或用合理的数值代替(插补)缺失值. 缺失数据的分类: 完全随机缺失(MCAR):某变量的缺失数据与其他任何观测或未观测的变量都不相关: 随机缺失(MAR):某变量上的缺失数据与其他观测变量相关,与它自己的未观测值不相关: 非随机缺失(NMAR):不属于MCAR或MAR的变量.…

本文对应<R语言实战>第13章:广义线性模型 广义线性模型扩展了线性模型的框架,包含了非正态因变量的分析. 两种流行模型:Logistic回归(因变量为类别型)和泊松回归(因变量为计数型) glm()函数的参数 分布族 默认的连接函数 binomial (link = “logit”) gaussian (link = “identity”) gamma (link = “inverse”) inverse.gaussian (link = “1/mu^2”) poisson (link =…

本文对应<R语言实战>第11章:中级绘图:第16章:高级图形进阶 基础图形一章,侧重展示单类别型或连续型变量的分布情况:中级绘图一章,侧重展示双变量间关系(二元关系)和多变量间关系(多元关系)的绘图:高级绘图进阶一章介绍四种图形系统,主要介绍lattice和ggplot2包. ========================================================================= 散点图: 主要内容:把多个散点图组合起来形成一个散点图矩阵,以便可以同时…

R 语言实战(第二版) part 2 基本方法 -------------第6章 基本图形------------------ #1.条形图 #一般是类别型(离散)变量 library(vcd) help(Arthritis) #类风湿性关节炎新疗法研究结果 head(Arthritis) count <- table(Arthritis$Improved) barplot(count,main="simple bar plot",xlab = "improvement…

R 语言实战(第二版) part 5-1 技能拓展 ----------第19章 使用ggplot2进行高级绘图------------------------- #R的四种图形系统: #①base:基础图形系统 #②grid图形系统: grid包,灵活,无完整绘图函数,适用开发者 #③lattice包:适用网格图形,即多变量/水平关系.基于grid包 #④ggplot2包:数据可视化利器 #前三者在基础安装中已包含,后三者使用时需显示加载 #1.以一个例子介绍ggplot2 library(g…

本文对应<R语言实战>前3章,因为里面大部分内容已经比较熟悉,所以在这里只是起一个索引的作用. 第1章       R语言介绍 获取帮助函数 help(), ? 查看函数帮助 example() 使用函数示例 vignette() 列出vignette文档 vignette("svmdoc") 打开对应文档 管理工作空间 getwd() 显示当前工作目录 setwd("mydirectory") 修改当前工作目录为mydirectory rm(objec…

从今天开始接触R语言,主要参考的书籍是<R语言实战>. 1.安装R语言程序 Windows:http://mirror.bjtu.edu.cn/cran/ Linux:apt-get install r-base 我用的是Windows下的R 2.开始第一个小的实例 用R的函数来计算婴儿的平均体重.标准差.相关度 数据 命令 从结果中可以看到平均体重是7.06,标准差2.077498,相关度0.9075655 R中使用<-来代替其他编程语言中的等号. 图形化显示!!! 输入demo(gr…

本文对应<R语言实战>第14章:主成分和因子分析 主成分分析(PCA)是一种数据降维技巧,它能将大量相关变量转化为一组很少的不相关变量,这些无关变量成为主成分. 探索性因子分析(EFA)是一系列用来发现一组变量的潜在结构的方法.通过寻找一组更小的.潜在的或隐藏的结构来解释已观测到的.显式的变量间的关系. 这两种方法都需要大样本来支撑稳定的结果,但是多大是足够的也是一个复杂的问题.目前,数据分析师常使用经验法则:因子分析需要5~10倍于变量数的样本数.另外有研究表明,所需样本量依赖于因子数目.与…

R语言实战实现基于用户的简单的推荐系统(数量较少) a<-c(1,1,1,1,2,2,2,2,3,3,3,4,4,4,5,5,5,5,6,6,7,7) b<-c(1,2,3,4,2,3,4,5,4,1,2,3,2,4,5,2,6,4,1,2,3,4) da<-data.frame(a,b) a<-c(1,1,2,2,3,3,3,3,3,4,4,5,5,5,6,6,7,7) b<-c(2,5,7,2,6,4,7,1,8,6,3,3,4,1,2,4,4,9) da2<-da…

本人最近在某咨询公司实习,涉及到了一些数据分析的工作,用的是R语言来处理数据.但是在应用的过程中,发现用R很不熟练,所以再打算学一遍R.曾经花一个月的时间看过一遍<R语言编程艺术>,还用R做过阿里的推荐算法比赛,对R语言有一些最初级.基本的了解.不过 ,上面那本书虽然挺好,但是不适合速成,是从程序员的角度写的,对常用函数和统计知识涉及的不多.在实际工作中,发现适时应用R的包和函数是十分重要的,所以打算另找一本书来看.在学校放着一本<R语言实战>,无奈没拿过来,就用电子版的学一遍吧.…

<R语言实战2>PDF+源代码 下载:https://pan.baidu.com/s/1gP_16Xq9eVmLJ1yOsWD9FA 提取码:l8dx 分享更多python数据分析相关电子书PDF及代码下载:https://pan.baidu.com/s/1TYb3WZOU0R5VbSbH6JfQXw 本书特色 学懂分析,玩转大数据用R轻松实现数据挖掘.数据可视化从实际数据分析出发,全面掌握R编程新增预测性分析.简化多变量数据等近200页内容.…

电子书资源:R语言实战 书籍简介   <R语言实战>从解决实际问题入手,尽量跳脱统计学的理论阐述来讨论R语言及其应用,讲解清晰透澈,极具实用性.作者不仅高度概括了R语言的强大功能.展示了各种实用的统计示例,而且对于难以用传统方法分析的凌乱.不完整和非正态的数据也给出了完备的处理方法.通读本书,你将全面掌握使用R语言进行数据分析.数据挖掘的技巧,并领略大量探索和展示数据的图形功能,从而更加高效地进行分析与沟通.--[百度百科] 链接:https://pan.baidu.com/s/1GysL-l…

R 语言实战(第二版) part 4 高级方法 -------------第13章 广义线性模型------------------ #前面分析了线性模型中的回归和方差分析,前提都是假设因变量服从正态分布 #广义线性模型对非正态因变量的分析进行扩展:如类别型变量.计数型变量(非负有限值) #glm函数,对于类别型因变量用logistic回归,计数型因变量用泊松回归 #模型参数估计的推导依据的是最大似然估计(最大可能性估计),而非最小二乘法 #1.logistic回归 library(AER) d…

说明: 1.本笔记对<R语言实战>一书有选择性的进行记录,仅用于个人的查漏补缺 2.将完全掌握的以及无实战需求的知识点略去 3.代码直接在Rsudio中运行学习 R语言实战(第二版) part 1 入门 ----------第1章 R语言介绍-------------------- help.start() #帮助文档首页 demo() #R语言demo演示 demo(package = .packages(all.available = TRUE)) demo(image) #演示图像 ex…

R 语言实战(第二版) part 5-2 技能拓展 ----------第21章创建包-------------------------- #包是一套函数.文档和数据的合集,以一种标准的格式保存 #1.测试npar包.进行非参组间比较 pkg <- "npar_1.0.tar.gz" loc <- "http://www.statmethods.net/RiA" url <- paste(loc,pkg,sep = "/") d…

12.4 置换检验点评 除coin和lmPerm包外,R还提供了其他可做置换检验的包.perm包能实现coin包中的部分功能,因此可作为coin包所得结果的验证.corrperm包提供了有重复测量的相关性的置换检验. logregperm包提供了Logistic回归的置换检验.另外一个非常重要的包是glmperm,它涵盖了广义线性模型的置换检验依靠基础的抽样分布理论知识,置换检验提供了另外一个十分强大的可选检验思路.对于上面描述的每一种置换检验,我们完全可以在做统计假设检验时不理会正态分布.t分…

随着大数据在各行业的落地生根和蓬勃发展,能从数据中挖金子的数据分析人员越来越宝贝,于是很多的程序员都想转行到数据分析, 挖掘技术哪家强?当然是R语言了,R语言的火热程度,从TIOBE上编程语言排名情况可见一斑.于是善于学习的程序员们开始了R语言的学习 之旅.对于有其他语言背景的程序员来说,学习R的语法小菜一碟,因为它的语法的确太简单了,甚至有的同学说1周就能掌握R语言,的确如 此.但是之后呢?……好像进行不下去了!死记硬背记住了两个分析模型却不明其意,输出结果如同天书不会解读,各种参数全部使用缺…

2.2.2 矩阵 matrix(vector,nrow,ncol,byrow,dimnames,char_vector_rownames,char_vector_colnames) 其中: byrow=TRUE/FALSE,表示按行填充还是按列填充,默认情况下是按列填充 2.2.4 数据框 1.attach,detach()和with() attach():将数据框加入搜索路径 detach():将数据框移除出搜索路径 with():赋值仅在括号内有效,如果想在括号外生效也可以,用<<- 2.…

本章内容: 操纵日期和缺失值 熟悉数据类型的转换 变量的创建和重编码 数据集的排序,合并与取子集 选入和丢弃变量 多说一句,数据预处理的时间是最长的……确实是这样的,额. 4.1一个示例 4.2创建新变量 算术运算符:+.-.*./.^(**)(求幂).x %% y(取余运算).x %/% y(整数除法). transform函数: transform函数现在只用于数据框.对数据框进行操作. 例子: mydata <- transform(mydata, sumx = x1+x2, meanx…

2.1数据集的概念 变量的类型是不同的,比如标示符.日期变量.连续变量.名义变量.有序型变量等,记得数据挖掘导论中有专门的描述. R可以处理的数据类型包括了数值型.字符型.逻辑型.复数型(虚数).原生型(字节). 2.2数据结构 R拥有很多存储数据的对象类型,包括 标量.向量.矩阵.数组.数据框.列表.它们可以用下图表示: 因子是R中的名义型或者有序型变量,比较特殊. 2.2.1向量 标量是只有一个元素的向量,一般用来保存常量.其他没什么说的. seq函数: seq(, to = , by =…