ScriptTask读取SharePoint上的Excel

准备数据是数据分析的第一步，由数据构成集合，我们称作数据集，数据集的结构是行列式的，行表示观测，列表示变量。把数据读入到R中，转换为合适的数据结构，能够提高数据分析的效率。在数据分析中，常用的存储数据的结构有标量、向量、因子和数据框，另外，还有矩阵和列表，多样化的数据结构赋予了R灵活处理数据的能力，本文简单介绍常用的数据结构（标量、向量、因子和数据框）及其使用方法。

一，常用的数据结构

标量通常是常量，每一个标量都有特定的数据类型，常用的数据类型是数值类型，字符类型，逻辑类型和日期类型。

对于逻辑类型，可能的值是TRUE和FALSE，用于逻辑操作的运算符：与（&）、或（|）、非（!）

R语言中经常会遇到一些特殊值：

• 缺失值 NA（Not Avaiable），是不可用的缩写；
• NaN为“不是一个数”，意味着计算没有数学意义；
• NULL值，空值，表示一个空的变量，不会占用任何空间，通过is.null(x)来测试变量是否为NULL值；
• 特殊的数字：Inf、-Inf 表示正无穷，负无穷；

1，向量

向量是用于存储同一类型的一维数组，同一向量中无法存储不同类型的数据，标量是只含一个元素的向量。向量使用c()函数来定义，向量元素的数据类型必须相同。

myvector <- c("a","b","c")

2，因子 

因子是一个枚举类型，用于表示类别。因子有字面标签（Lable）和级别（Level）两个属性。函数factor()以一个整数向量的形式存储类别。

参数：levels代表原始类别名称，lables相当于对类别名称进行重命名。

factor(x = character(), levels, labels = levels,
       exclude = NA, ordered = is.ordered(x), nmax = NA)

例如，定义一个向量，把向量转化为因子，对因子的级别进行重命名。

> sex<-c("男","女","男")
> f<-factor(sex,levels=c("男","女"),labels=c("male","female"))
> f
[] male   female male
Levels: male female

通过函数levels(f)和nlevels(f)查看因子的级别和级数：

> levels(f)
[] "male"   "female"
> nlevels(f)
[] 

3，数据框

数据框是数据分析中，最常用的存储结构，其最大的特征是：不同的列可以包含不同的数据类型，同一列的数据类型必须相同。

数据框可以通过函数data.frame()创建：

data.frame(..., row.names = NULL, check.rows = FALSE,
           check.names = TRUE, fix.empty.names = TRUE,
           stringsAsFactors = default.stringsAsFactors())

创建数据框的参数注释：

• ...：用于指定数据框的数据，通常是多个向量，每个变量元素的类型必须相同，所有变量的长度必须相同，可以指定变量的名称，例如，var1=c(1:5),var2=c("a","b","c","d","e")。
• row.names：字符串向量，用于指定行的名称
• check.rows：逻辑值，检查行名称是否和行的数量匹配
• check.names：逻辑值，检查变量的名称，确保变量名称合法
• fix.empty.names：逻辑值，当设置为TRUE时，自动为没有名称的变量重命名，默认值是TRUE；当设置为FALSE时，为无名变量保留名称“”；
• stringsAsFactors：逻辑值，是否把字符串类型的变量转换为因子类型

二，创建数据框

创建数据框的方法有多种，常用的方法有三种，根据实际的业务场景，选择合适的方法。

1，使用data.frame()函数

这种方法最简单，但创建的数据框包含的数据相对较少。

> age<-c(,,,)
> name<-c("s1","s2","s3","s4")
> stu<-data.frame(age,name)
> stu
  age name
     s1
     s2
     s3
     s4

2，从文件中导入数据

使用read.table()函数，从带分隔符的文本文件中导入数据，该函数的格式是：

mydata <- read.table(file, options)

常用的选项是：

• header：逻辑值，表示文件的第一行是否包含变量的标题；
• sep：表示在同一行内，用于分割变量值的分隔符，默认值是","；
• row.names：字符串类型的向量，用于指定行的名称。可以是一个向量，包含所有数据行的名称，也可以指定一个字符串，该字符串是文件的列名，那么数据集使用该列的值作为行的名称。
• col.names：字符串类型的向量，如果文件的第一行不包含变量的标题，使用该参数指定变量的名称；如果参数header=FALSE，col.names参数被省略了，变量会被命名为V1、V2，以此类推。
• na.strings：用于表示缺失值的字符串向量，在读取数据时，当变量值匹配这些字符串中的任意一个时，把变量的值转换为NA。
• colClass：用于指定每一个变量的数据类型，例如，colClasses=c("numeric","character","NULL")，当类为NULL时，表示跳过该列。
• quote：用于对有特殊字符的字符串划定界限的符号，默认值是双引号或单引号。
• skip：读取数据前跳过的行数，常用于跳过文件开头的注释行。
• stringAsFactors：逻辑值，默认值是TRUE，用于指定是否把字符向量转换为因子。

在处理大型文本数据时，设置colClasses参数，把stringAsFactors设置为FALSE，能够显著提高数据处理的速度。

举个例子，从csv文件中读取数据，文件的第一行是列名：

mydata <- read.table("stu.csv",header=TRUE,sep=",",row.names="StudentID")

三，使用R连接数据库

通过ODBC驱动程序连接数据库，用户需要安装ODBC驱动程序，然后创建ODBC数据源。在R脚本中引用数据源，从数据库中读取数据，对数据进行分析。

1，创建ODBC数据源

step1：从管理员工具中选择ODBC Data Source (64-bit)，添加用户数据源：

step2：选择驱动程序，ODBC Driver 13 for SQL Server

step3：输入ODBC数据源的名称，想要连接的SQL Server的名称：

step4：选择验证模式

在Windows域账户中，选择集成Windows验证模式

step5：选择默认连接的数据库

step6：使用默认的配置

step7：测试数据源，点击OK，创建数据源

step8，查看创建的用户数据源（DSN）

2，引用ODBC数据源

首先需要安装RODBC包，并在R脚本中引用包：

install.packages("RODBC")
library(RODBC)

该包中主要包含三个常用的函数，分别用于连接ODBC数据源，从数据库中执行查询返回数据框，关闭数据源。

channel <- odbcConnect(dsn,uid="",pwd="")
sqlQuery(channel,query)
close(channel)

举个例子，从ODBC数据源中，执行SQL语句，返回数据框，并及时关系连接。

> library(RODBC)
> myconn <- odbcConnect("test odbc")
> mydata <- sqlQuery(myconn,"SELECT [ID] ,[Name] ,[CreateTime] FROM [DB_test].[dbo].[Users]")
> close(myconn)
> mydata
  ID Name          CreateTime
    Vic -- ::
    Joe -- ::
> 

四，检查对象的属性

创建数据框之后，需要检查数据框的各个属性，这是对准备的数据做一个初步检查。

1，查看对象的结构

> str(mydata)
'data.frame':     obs. of   variables:
 $ ID        : int
 $ Name      : Factor w/  levels "Joe","Vic":
 $ CreateTime: POSIXct, format: "2017-11-09 15:58:07" "2017-11-09 15:58:07"

2，查看对象的行数量和变量数量

> NROW(mydata)
[]
> NCOL(mydata)
[]
> dim(mydata)
[]  

3，查看数据框的变量名

> names(mydata)
[] "ID"         "Name"       "CreateTime"

4，查看数据框的头部或尾部数据行

head(mydata)
tail(mydata)

参考文档：

Connect R to SQL Server 2012 and “14”