R语言网络数据爬取

现在大家对爬虫的兴趣不断高涨，R和PYTHON是两个非常有力的爬虫工具。Python倾向于做大型爬虫，与R相比，语法相对复杂，因此Python爬虫的学习曲线会相对陡峭。对于那些时间宝贵，又想从网上获取数据的初学者而言，用R做爬虫是最好的选择，有三个原因：R语法相对直观，规则更加灵活；对于数据量不大的用户来数（小于百万级），R也能够非常自如地处理；先学习R爬虫，等熟悉爬虫的原理之后，在过渡到Python是很容易的。R中有好几个包都可以抓取网页数据，但是rvest + CSS Selector最方便。

一、rvest包简介与安装

rvest包是hadley大神的又一力作，使用它能更方便地提取网页上的信息，包括文本、数字、表格等，本文对rvest包的运用做一个详细介绍，希望能够帮助你在网页抓取的武器库中新添一把利器。

1.rvest包的安装与加载

install.packages("rvest")
library(rvest)

2.rvest包的函数

函数	作用
read_html()	读取 html 页面
html_nodes()	提取所有符合条件的节点
html_node()	返回一个变量长度相等的list，相当于对html_nodes()取[[1]]操作
html_table()	获取 table 标签中的表格,默认参数trim=T,设置header=T可以包含表头，返回数据框
html_text()	提取标签包含的文本,令参数trim=T,可以去除首尾的空格
html_attrs(nodes)	提取指定节点所有属性及其对应的属性值，返回list
html_attr(nodes,attr)	提取节点某个属性的属性值
html_children()	提取某个节点的孩子节点
html_session()	创建会话

二、rvest包应用示例

1. 网页标题的爬取

新浪NBA

R语言代码

library(pacman)
p_load(xml2,rvest,dplyr,stringr,tidyverse)
urlb <- "http://sports.sina.com.cn/nba/"
web<-read_html(urlb)
title<-web %>% html_nodes(".item p a") %>% html_text()

爬取结果

 title
 [1] "利拉德挖墙角？点赞联手艾顿言论组冲冠新搭档"
 [2] "保罗：我不会在明天退役 有伤在身但不想多谈"
 [3] "连续两场大胜共赢60分 东契奇：根本停不下来"
 [4] "基德讽刺看不起他们的人 没错，是一场大屠杀"
 [5] "艾顿不满被雪藏和主帅爆发冲突 续约前景黯淡"
 [6] "保罗正负值-39创生涯纪录 太阳还有比他更糟的"

2. 网页表格的爬取

上海证券交易所_上证综合指数成分股列表 (sse.com.cn)

R语言代码

library(pacman)
p_load(XML,rvest,dplyr,stringr,tidyverse)
urlb <- "http://www.sse.com.cn/market/sseindex/indexlist/s/i000001/const_list.shtml"
#xpath <- '//*[@id="content_ab"]/div[1]/table'
nodes <- html_nodes(read_html(urlb), ".tablestyle")
#nodes<- html_nodes(read_html(urlb), xpath=xpath)
tables <- html_table(nodes)
restab <- tables[[1]]
head(restab)

爬取结果

  <chr>                              <chr>                              <chr>
1 "浦发银行\r\n            (600000)" "白云机场\r\n            (600004)" "东风~
2 "中国国贸\r\n            (600007)" "首创环保\r\n            (600008)" "上海~
3 "包钢股份\r\n            (600010)" "华能国际\r\n            (600011)" "皖通~
4 "华夏银行\r\n            (600015)" "民生银行\r\n            (600016)" "日照~
5 "上港集团\r\n            (600018)" "宝钢股份\r\n            (600019)" "中原~
6 "上海电力\r\n            (600021)" "山东钢铁\r\n            (600022)" "浙能~

爬取结果整理

library(tidyverse)
pat1 <- "^(.*?)\\((.*?)\\)"
tab1 <- restab %>%
  ## 将三列合并为一列，结果为字符型向量
  reduce(c) %>%
  ## 去掉空格和换行符，结果为字符型向量
  stringr::str_replace_all("[[:space:]]", "") %>%
  ## 提取公司简称和代码到一个矩阵行，结果为字符型矩阵
  stringr::str_match(pat1)
tab <- tibble(
  name = tab1[,2],
  code = tab1[,3])
head(tab)

  name     code
  <chr>    <chr>
1 浦发银行 600000
2 中国国贸 600007
3 包钢股份 600010
4 华夏银行 600015
5 上港集团 600018
6 上海电力 600021

3. 网页连接的爬取

澎湃精选

R语言代码

library(rvest)
library(stringr)
url <-"https://thepaper.cn/"
web <- read_html(url)    #读取html网页的函数
news <- web %>% html_nodes('h2 a')
title <- news %>% html_text()  #获取其中的文字部分
link <- news %>% html_attrs()  #获取每个标题对应的网址

link1 <- c(1:length(link))
for(i in 1:length(link1))
{
  link1[i]<- link[[i]][1]
}
link2 <- paste("https://www.thepaper.cn/",link1,sep="")

爬取结果

link2
 [1] "https://www.thepaper.cn/newsDetail_forward_18113579"
 [2] "https://www.thepaper.cn/newsDetail_forward_18111927"
 [3] "https://www.thepaper.cn/newsDetail_forward_18112840"
 [4] "https://www.thepaper.cn/newsDetail_forward_18112721"
 [5] "https://www.thepaper.cn/newsDetail_forward_18113483"
 [6] "https://www.thepaper.cn/newsDetail_forward_18113503"
 [7] "https://www.thepaper.cn/newsDetail_forward_18113375"
 [8] "https://www.thepaper.cn/newsDetail_forward_18113493"

爬取整体结果

library(rvest)
library(stringr)
url <-"https://www.thepaper.cn/"

web <- read_html(url)    #读取html网页的函数
news <- web %>% html_nodes('h2 a')
title <- news %>% html_text()  #获取其中的文字部分
link <- news %>% html_attrs()  #获取每个标题对应的网址
link1 <- c(1:length(link))
for(i in 1:length(link1))
{
  link1[i]<- link[[i]][1]
}
link2 <- paste("https://www.thepaper.cn/",link1,sep="")

##获得每条新闻的全文
news_content<-c(1:length(link2))
for(i in 1:length(link2))
{
  web1 <- read_html(link2[i])
  {
    if(length(html_nodes(web1,'div.news_txt'))==1)
      news_content[i]<- html_text(html_nodes(web1,'div.news_txt'))
    else
      news_content[i]<- trimws(str_replace_all((html_text(html_nodes(web1,'div.video_txt_l p'))), "[\r\n]" , ""))
  }
} 

##获得每条新闻的时间
news_date <- c(1:length(link2))
for(i in 1:length(link2))
{
  web1 <- read_html(link2[i])
  {
    if(length(html_nodes(web1,'div.news_txt'))==1)
      news_date[i]<- trimws(str_replace_all((html_text((html_nodes(web1, "div p"))[2])), "[\r\n]" , ""))
    else
      news_date[i]<- trimws(str_replace_all((html_text(html_nodes(web1,'div.video_txt_l span'))), "[\r\n]" , ""))
  }
} 

date <- c(1:length(link2))
time <- c(1:length(link2))
for(i in 1:length(link2))
{
  date[i] <- substring(news_date[i],1,10)
  time[i] <- substring(news_date[i],12,16)   # is.character(news_date[i])
}

news_01 <- data.frame(title,date,time,url=link2,news_content)
write.csv(news_01,file=" news_information.csv")

爬取结果展示

总结

rvest的确是一个很好地数据抓取工具，不过他的强项更多在于网页解析，你可能惊艳于rvest强大的解析能力，有两套解析语法可选（Xpath、css）,短短几个关键词路径就可以提取出来很重要的数据。网络爬虫是讲呈现在网页上以非结构格式（html）存储的数据转化为结构化数据的技术，该技术非常简单易用。rvest是R用户使用率最多的爬虫包，它简洁的语法可以解决大部分的爬虫问题。

参考文献

1.（R语言 网站数据获取 （rvest）——网络爬虫初学）[https://www.cnblogs.com/adam012019/p/14862610.html]

2.（R语言简单动态网页爬虫（rvest包）示例）[https://blog.csdn.net/seeyouer1205/article/details/117218645]