在实际分析数据之前,必须对数据进行清理和转化,使数据符合相应的格式,提高数据的质量。数据处理通常包括增加新的变量、处理缺失值、类型转换、数据排序、数据集的合并和获取子集等。

一,增加新的变量

通常需要根据数据框中的现有列,按照特定的公式、业务逻辑,向数据框中新增变量,常用的操作符是:

  • 算术运算符是:+ - * /,求模(%%),整除(%/%),求幂(^ 或 **)
  • 比较运算符是:不等是 !=,相等是 ==,
  • 逻辑运算符与(&)、或(|)和非(!)。

举个例子,有数据框mydata

mydata<-data.frame(x1=c(,,,),x2=c(,,,))

向数据框增加新的变量,通常的做法是:

attach(mydata)
mydata$sumx<-x1+x2
mydata$meanx<-(x1+x2)/
detach(mydata)

第二个方法是:使用transform()函数,该函数只用于数据框:

mydata<- transform(mydata
,sumx=x1+x2
,meanx=(x1+x2)/)

第三个方法是:使用within()函数,返回整个数据框:

mydata<- within(mydata,{
sumx <- x1+x2,
meanx <- (x1+x2)/
})

第四个方法是:使用dplyr包中的mutate()函数,通过name=value的方式来添加新列:

mydata<- mutate(mydata,
sumx = x1+x2,
meanx = (x1+x2)/
)

二,对现有变量重新编码

重新编码是根据一个变量或其他多个变量的现有值,对现有的变量重新赋值,常用于把错误的值替换为正确值。重编码语句是:

variable[condition] <- expression

该语句仅在condition的值为TRUE时,执行赋值操作:

mydata$x1[ mydata$x1< ]<- 

也可以使用更为紧凑的写法

mydata<-within(mydata,{x1[x1<]<- })

注意:逻辑运算符等号是==

三,变量的重命名

查看数据框的变量名,函数names(df)返回变量名的向量:

names(mydata)

重命名现有的变量名,

names(df)[index] <- "new name"
names(df)[start:end] <- c("new name"....)

plyr包中有一个rename()函数,可用于修改数据框的变量名,rename()函数的语法是:

rename(x, replace, warn_missing = TRUE, warn_duplicated = TRUE)

参数 replace是一个命名向量,格式是c("colname"="newname",...),使用示例如下:

df <- rename(df,c("colname1"="newname","colname2"="newname"))

四,数据框的变量存在缺失值

缺失值是指不可用值,以符号NA表示,缺失值是不可比较的,只能使用is.na()检查是否存在缺失值,通过函数na.omit()移除所有含有缺失值的观测。

dataset<-within(dataset,{var1<- ifelse(is.na(var1),,var1)})
dataset<-na.omit(dataset)

举个例子,创建4行3列的矩阵m,并转换为数据框:

> d <-data.frame(matrix(sample(c(NA, :), , replace = TRUE), ))
> d
X1 X2 X3
NA
NA NA NA

1,把变量的缺失值替换为默认值

替换数据框中变量X1的缺失值,使用within()函数,不会修改数据框的数据,需要把函数返回的结果重新赋值给d对象:

> d <- within(d,{X1[is.na(X1)] <-})
> d
X1 X2 X3 NA NA

2,当变量出现缺失值时,移除观测

使用函数 na.omit(),用于把数据框中变量为NA的观测移除,处理的结果中不任意一个观测中都不包含NA的变量值

> d <- na.omit(d)
> d
X1 X2 X3

五,数据排序

对数据框进行排序,常用的函数是order(),默认的排序方向是升序,在排序变量前边加一个减号,按照降序方向排序。

该函数返回的结果是特定变量在数据框中的行序号序列,行序号按照升序或降序排列。

举个例子,创建一个数据框d:

> d <-data.frame(matrix(sample(c(:), , replace = TRUE), ))
> d
X1 X2 X3

按照数据框的变量X3,获取观测的升序排列,依次为:序号为3的观测、序号为1的观测、序号为4的观测和序号为2的观测

> order(d$X3)
[]

按照观测的序号的排列,从数据框中按照行序号重新获取数据,就得到按照变量X3升序的有序结果:

> d[order(d$X3),]
X1 X2 X3

对多个列进行排序,其中按照X3列升序,X2列降序:

> d[order(d$X3, -d$X2),]

可以把排序操作写的更紧凑点:

dataset = dataset[with(dataset, order(var1, -var2)), , ...]

六,排名

使用rank()函数对向量的元素进行排名

rank(x, na.last = TRUE,
ties.method = c("average", "first", "last", "random", "max", "min"))

参数注释:

  • x:向量
  • na.last:控制如何对象NA的顺序,如果设置为TRUE,那么把缺失值排最后一位;如果设置为FALSE,把缺失值排在第一位;如果设置位NA,移除缺失值;
  • ties.method:字符类型,用于指定如何处理相同值的排序,相同值构成的结构叫做ties。

The "first" method results in a permutation with increasing values at each index set of ties, and analogously "last" with decreasing values. The "random" method puts these in random order whereas the default, "average", replaces them by their mean, and "max" and "min" replaces them by their maximum and minimum respectively, the latter being the typical sports ranking.

例如,向数据框中增加排名字段Rank,该字段按照x1变量进行排名:

mydata<-data.frame(x1=c(,,,),x2=c(,,,))
mydata$Rank <- rank(mydata$x1,ties.method = "first") x1 x2 Rank

七,数据集的合并

把两个数据集合并为一个,这涉及到向数据框中添加列,向数据框中添加行。

1,向数据框中添加列

向数据框中添加列,可以使用merge()函数,也可以使用cbind()函数,这两个函数的区别是:

  • cbind()函数是根据列进行合并,合并的前提是每个对象拥有相同的行数,以相同的顺序排序。
  • merge()函数是根据列进行合并,该函数的功能类型关系型数据库的Join命令,不同要求每个对象拥有相同的行数,使用灵活。

Merge函数的语法定义:

merge(x, y, by = intersect(names(x), names(y)),
by.x = by, by.y = by, all = FALSE, all.x = all, all.y = all,
sort = TRUE, suffixes = c(".x",".y"),
incomparables = NULL, ...)

参数注释:

  • x,y:是进行合并的两个数据框对象;
  • by:按照两个对象的名称相同的列进行合并;
  • by.x,by.y:分别指定x对象和y对象匹配的列名;
  • all:对于不满足匹配条件时,是否保留列值;如果设置为FALSE,那么相当于INNER JOIN命令,返回的结果集只保留匹配成功的数据行;如果设置为TRUE,那么相当于FULL JOIN,保留x和y中不匹配的数据行,并把不匹配的列值设置为NA;
  • all.x,all.y:分别设置x和y是否保留列值;如果设置all.x=TRUE,all.y=FALSE,那么相当于LEFT JOIN命令,返回的结果集只保留x对象的数据行,不匹配的y对象的数据行行的列值设置为NA;如果设置为all.x=FALSE,all.y=TRUE,那么相当于RIGHT JOIN命令,返回的结果集只保留y对象的数据行,不匹配的x对象的数据行行的列值设置为NA。
  • sort:返回的结果集是否排序,排序列是by参数的对象
  • suffixes:后缀名,默认值是c(".x",".y"),当合并的两个对象拥有相同的列名时,R把相同的列名后面加上该后缀名,以唯一区分结果集的列名;
  • incomparables:不能匹配的值

2,向数据框中添加行

使用rbind()函数,根据行进行合并,向数据框中添加数据行,相当于关系型数据库的求求并集。要求两个数据库必须拥有相同名称的变量,而变量的顺序可以不同。

八,选取子集

1,选择变量

从一个数据框中选择有限数量的变量,数据框中的元素是通过dataframe[rows_vector , colunms_vector],如果不设置行的下标(,),表示选择所有行,

mydata <- mydata[,c(col,,...)]

2,剔除变量

把特定的变量剔除,只选入剩余的变量。操作符 %in% 返回逻辑型向量,用法是:

  1. 用法 a %in% table
  2. a值是否包含于table中,为真时输出TURE,为假时输出FALSE

例如,mydata有四个变量c1,c2,c3,c4,myvars的结果是c(TRUE,FALSE,TRUE,FALSE),对该变量求非(!myvars)之后是 c(FALSE,TRUE,FALSE,TRUE),在根据数据框的下标来选入特定的变量。

myvars <- names(mydata) %in% c("c1","c3")
mydata <- mydata[!myvars]

3,选入观测

选入观测,可以根据观测的序号来选择,也可以根据特定的条件来选择:

mydata <- mydata[:,,...]
mydata <- mydata[mydata$c1<= & mydata$c2>=20,,...]

还有一个函数which,也能用于选入观测:

which(x, arr.ind = FALSE, useNames = TRUE)

which函数返回的是逻辑值的向量,which()函数的用法是:用法which(test),返回test为真值的位置(指针)。

4,根据条件选择子集

subset()函数是选择数据库的变量和观测最简单的方法,

mydata <- subset(mydata, c1<= & c2>=, select=c("c1","c2",,,))

subset()函数的语法是:

subset(x, subset, select, drop = FALSE)

参数注释:

  • x:数据框对象
  • subset:该参数是逻辑表达式,对于数据框而言,该参数作用于数据行,用于选择数据行,其中,等于使用双等号(==)表示;
  • select:要选择的变量构成的向量
  • drop:逻辑值,要剔除的变量构成的向量

参考文档:

R Document

XE2:查看Extended Events收集的数据的更多相关文章

  1. SQL Server Extended Events 进阶 1:从SQL Trace 到Extended Events

    http://www.sqlservercentral.com/articles/Stairway+Series/134869/ SQL server 2008 中引入了Extended Events ...

  2. SQL Server Extended Events 进阶 3:使用Extended Events UI

    开始采用Extended Events 最大的阻碍之一是需要使用Xquery和XML知识用来分析数据.创建和运行会话可以用T-SQL完成,但是无论使用什么目标,数据都会被转换为XML.这个限制在SQL ...

  3. SQL Server Extended Events 进阶 2:使用UI创建基本的事件会话

    第一阶中我们描述了如何在Profiler中自定义一个Trace,并且让它运行在服务器端来创建一个Trace文件.然后我们通过Jonathan Kehayias的 sp_SQLskills_Conver ...

  4. XE1:使用SSMS创建Extended Events

    Extended Events 用于取代SQL trace,是SQL Server 追踪系统运行的神器,其创建过程十分简单. 一,创建Extended Events的Session step1,打开N ...

  5. Windows 事件查看器(收集)

    原文:Windows 事件查看器(收集) 事件查看器相当于一本厚厚的系统日志,可以查看关于硬件.软件和系统问题的信息,也可以监视 Windows 的安全事件 提示:除了可以在"控制面板→管理 ...

  6. turbine是怎么收集指标数据的

    turbine是怎么收集指标数据的 我们通过spring cloud图形化dashboard是如何实现指标的收集展示的知道了,图形化的指标是从turbine获取到指标数据的.那么turbine的数据是 ...

  7. 利用闪回查看Oracle表历史时刻数据

    利用闪回查看Oracle表历史时刻数据 1.查看表历史时刻数据 select * from tab_test AS OF TIMESTAMP to_timestamp('20140917 10:00: ...

  8. Oracle查看表空间及修改数据文件大小

    Oracle查看表空间及修改数据文件大小 第一步:查看所有表空间及表空间大小: select tablespace_name ,sum(bytes) / 1024 / 1024 as MB from ...

  9. JMeter 查看结果树监听器响应数据中文显示乱码解决方法

    查看结果树监听器响应数据中文显示乱码解决方法 by:授客 QQ:1033553122   问题描述 使用监听器-查看结果树(View Results Tree Listener)过程中发现,响应数据面 ...

随机推荐

  1. java-并发-同步

    浏览以下内容前,请点击并阅读 声明 线程间的通信主要是通过访问以及对象引用字段,这种形式的通信非常高效,但是会产生两种可能的错误:线程干扰和内存一致性错误,反正这些错误的工具就是同步. 然而,同步可能 ...

  2. 【虚拟机】oracle Virtual Box4.2.6虚拟机正在运行的过程中删除了其上的一个备份,之后虚拟机就无法使用了

    原因未知,解决方法没有,网上也没有找到相关的解决方法.偶然的操作导致

  3. C#获取存储过程返回值和输出参数值的方法

    //转自网络,先留个底 1.获取Return返回值 //存储过程 //Create PROCEDURE MYSQL // @a int, // @b int //AS // return @a + @ ...

  4. 【ORACLE】MD5加密

        今天乌干达充值卡入库时,发现有资源已经存在的异常, 异常原因经过核实是由于卡资源密码在库中已经存在, 为进一步查找存在的原因, 因此需要对导入文件密码的MD5 加密, 通过MD5加密后的字符串 ...

  5. C#程序员开发WinForm必须知道的 Window 消息大全

    不要以为下面的东西只有C++中才会用到哦! 消息,就是指Windows发出的一个通知,告诉应用程序某个事情发生了.例如,单击鼠标.改变窗口尺寸.按下键盘上的一个键都会使Windows发送一个消息给应用 ...

  6. storm 入门原理介绍

    1.hadoop有master与slave,Storm与之对应的节点是什么? 2.Storm控制节点上面运行一个后台程序被称之为什么? 3.Supervisor的作用是什么? 4.Topology与W ...

  7. 用Node.js发送邮件

    本文讲的是用Node.js通过一个开启smtp的已有的邮箱账号发送邮件,而不是如何创建一个邮件服务器 开启smtp服务 首先要去要使用的邮箱中设置开启smtp,才能正常发送邮件 这边以163邮箱为例 ...

  8. 李洪强iOS经典面试题155 - const,static,extern详解(面试必备)

    李洪强iOS经典面试题155 - const,static,extern详解(面试必备) 一.const与宏的区别(面试题): const简介:之前常用的字符串常量,一般是抽成宏,但是苹果不推荐我们抽 ...

  9. python使用总结

    近来公司的测试部门要我们开发,按他们给我测试案例,写vba脚本,方便他们做自动化测试,老大把这事交给了我做.之前没写过vba,很多API都不会用,边写边谷歌,写得很慢. 我记得测试第一次做的是打开关闭 ...

  10. HDU1401 BFS

    Solitaire Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/32768 K (Java/Others)Total S ...