R语言爬取动态网页之环境准备

　　在R实现pm2.5地图数据展示文章中，使用rvest包实现了静态页面的数据抓取，然而rvest只能抓取静态网页，而诸如ajax异步加载的动态网页结构无能为力。在R语言中，爬取这类网页可以使用RSelenium包和Rwebdriver包。

　　RSelenium包和Rwebdriver包都是通过调用Selenium Server来模拟浏览器环境。其中，Selenium是一个用于网页测试的Java开源软件，它可以模拟浏览器的点击、滚动、滑动以及文字输入等操作。因为Selenium是Java程序，因此在使用RSelenium包和Rwebdriver包之前必须为计算机设置Java环境。以下是使用RSelenium包和Rwebdriver包的前期准备步骤：

一、RSelenium包和Rwebdriver包的下载安装

　　RSelenium包从CRAN直接下载安装，Rwebdriver包则需要从github上下载，下载过程参考install_github无法安装 Rwebdriver包的解决方法

二、Java环境的设置

　　理论上讲，调用Java程序安装JRE（Java Runtime Environment）即可，但本文推荐安装JDK（Java Development Kit），JDK中包含JRE模块，且网上找到的Java环境变量设置教程多针对JDK。

　　1、 JDK的下载

　　本文档中下载最新版的jdk-11.0.1_windows-x64_bin.zip

　　2、 JDK的安装

　　由于下载的是无需安装的版本，直接将文件解压出来，放到D:\Program Files\java目录下即可

　　3、环境变量的设置（可参考Java环境变量设置）

　　需设置JAVA_HOME，CLASS_PATH，PATH三个环境变量

　　JAVA_HOME

　　D:\Program Files\java\jdk-11.0.1

　　CLASSPATH

　　%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

　　PATH

　　%JAVA_HOME%\bin

　　三个环境变量设置好以后，打开cmd，输入javac，不报错即表示安装成功。

　　

　　

三、selenium以及浏览器驱动的下载和运行

　　1、下载selenium，网址为https://www.seleniumhq.org/download/

　　下载最新版本，也可以到http://selenium-release.storage.googleapis.com/index.html下载之前的版本。

　　2、下载浏览器驱动

　　Chrome驱动：http://npm.taobao.org/mirrors/chromedriver

　　Firefox驱动：http://github.com/mozilla/geckodriver/releases

　　下载时要注意自己浏览器的版本，如果使用Chrome浏览器可参考selenium之chromedriver与chrome版本映射表（更新至v2.34）。

　　在本环境中下载的是最新时间的v2.44版本

　　

　　3、打开cmd运行selenium和浏览器驱动，比如我使用的是Chrome浏览器，因此在cmd中输入java -Dwebdriver.chrome.driver="E:\Selenium\chromedriver.exe" -jar E:\Selenium\selenium-server-standalone-3.141.59.jar

　　

　　如出现下图所示界面，则启动成功（在R语言调用RSelenium包和Rwebdriver包时，cmd不要关闭）。

　　

四、至此所有前期准备就都已完成，可以使用RSelenium包和Rwebdriver包了。

　　以RSelenium包为例

　　

library(RSelenium)

remDr <- remoteDriver(
  browserName = "chrome",
  remoteServerAddr = "localhost",
  port = 4444
)

remDr$open()

url <- 'https://www.google.com/'

remDr$navigate(url)

　　可以看到“Chrome正受到自动测试软件的控制”字样。

　　此时再使用rvest包对网页进行抓取，抓到的就是经过浏览器渲染后的页面：

library(rvest)
webpage <- read_html(remDr$getPageSource()[[1]][1])

参考链接：R语言爬取动态网页：使用RSelenium包和Rwebdriver包的前期准备