一、动态渲染页面爬取

上节课我们了解了Ajax分析和抓取方式,这其实也是JavaScript动态渲染页面的一种情形,
通过直接分析Ajax,借助requests和urllib实现数据爬取

但是javaScript动态渲染布置Ajax一种 例如中国青年网(http://news.youth.cn/gn/)分页部分由js生成,
并非原始HTML代码,这其中并不包含ajax请求 比如ECharts官方示例(http://echarts.baidu.com/demo.html#bar-negative)
图形都是经过js计算生成的,再有淘宝 即便是ajax请求 但是接口很多都是加密参数,很难找到规律,也很难直接分析ajax抓取

python提供了很多模拟浏览器运行的库,例如Selenium Splash,PyV8 Ghost等。

1. Selenium的使用

selenium是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,例如 点击 下拉等操作,
同时还可以获取浏览器当前呈现的页面的源代码,做到可见既可爬。
对于一些js动态渲染的页面来说,此种爬取方式非常有效

1.1 安装

安装:python的Selenium库

pip install selenium

验证:python命令行 import selenium
无报错信息表示安装成功

安装Google浏览器并配置ChromeDriver

点击Google菜单 帮助 -> 关于Google Chrome -> 查看版本号 (版本 71.0.3578.98(正式版本) (64 位))

下载ChromeDriver

官网地址:

https://sites.google.com/a/chromium.org/chromedriver

下载地址:

https://chromedriver.storage.googleapis.com/index.html

对比自己浏览器版本下载相应版本

解压后把文件放到 python的script目录下 例如 'C:\Users\admin\AppData\Local\Programs\Python\Python36\Scripts'

验证: cmd命令行 执行 chromedriver 输出如下信息:

Starting ChromeDriver 2.45.615291 (ec3682e3c9061c10f26ea9e5cdcf3c53f3f74387) on port 9515
Only local connections are allowed.

表示安装 ChromeDriver配置好了

测试 在python程序中执行

from selenium import webdriver
browser = webdriver.Chrome()

程序运行后 弹出空白的Chrome浏览器 说明我们之前配置都没有问题

没有弹出重新配置 闪退可能是版本不兼容

1.2 基本作用

示例如下:

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait browser = webdriver.Chrome() try:
  browser.get('https://www.baidu.com')
  input = browser.find_element_by_id('kw')
  input.send_keys('Python')
  input.send_keys(Keys.ENTER)
  wait = WebDriverWait(browser,10)
  wait.until(EC.presence_of_element_located((By.ID,'content_left')))
  print(browser.current_url)
  print(browser.get_cookies())
  print(browser.page_source)
finally:
  browser.close()

可以看到自动弹出浏览器 首先跳转百度 然后搜索框输入Python 接着跳转搜索结果页

搜索结果出来后 控制台输出当前URL Cookies 网页源代码

使用selenium 驱动浏览器加载网页就可以拿到js渲染结果了 不用担心什么加密系统

1.3 声明浏览器对象

Selenium 支持非常多的浏览器 例如 Chrome Firefox Edge等 还有Android BlackBerry等手机端浏览器
也支持PhantomJS 无界面浏览器

初始化方法:

from selenium import webdriver

browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

1.4 访问页面

get() 方法请求页面 参数 传入链接URL 例如访问淘宝

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
print(browser.page_source)
browser.close()

弹出Chrome浏览器 自动访问淘宝 控制台输出网页源代码随后浏览器关闭

1.5 查找节点

Selenium 可以驱动浏览器完成各种操作,例如填充表单,模拟点击等
例如想要完成某个输入框输入文字操作 需要查找输入框位置

单个节点:
例如淘宝页面提取搜索框节点

id是q name是q

利用
find_element_by_name() 获取name值
find_element_by_id() 获取id
还可以根据xpath CSS选择器等获取方式

示例如下:

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element_by_id('q')
input_second = browser.find_element_by_css_selector('#q')
input_third = browser.find_element_by_xpath('//*[@id="q"]')
print(input_first,input_second,input_third)
browser.close()

返回WebElement类型

获取单个节点的方法:

find_element_by_id()
find_element_by_name()
find_element_by_xpath()
find_element_by_link_text()
find_element_by_partial_link_text()
find_element_by_tag_name()
find_element_by_class_name()
find_element_by_css_selector()

另外 还提供了通用方法 find_element() 需要传入两个参数:1.查找方式 2.值
例如:find_element(By.ID,id) 等价于 find_element_by_id(id)

示例如下:

from selenium import webdriver
from selenium.webdriver.common.by import By browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input_first = browser.find_element(By.ID,'q')
print(input_first)
browser.close()

多个节点:
find_elements() 查找所有满足条件的节点

示例: 查找淘宝左侧导航条的所有条目

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('http://www.taobao.com')
lis = browser.find_elements_by_css_selector('.service-bd li')
print(lis)
browser.close()

返回列表 每个元素是WebElement类型

获取多个节点的方法:

find_elements_by_id()
find_elements_by_name()
find_elements_by_xpath()
find_elements_by_link_text()
find_elements_by_partial_link_text()
find_elements_by_tag_name()
find_elements_by_class_name()
find_elements_by_css_selector()

1.6 节点交互

send_keys() 输入文字
clear() 清空文字
click() 点击按钮

示例:

from selenium import webdriver
import time browser = webdriver.Chrome()
browser.get('http://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('iPhone')
time.sleep(1)
input.clear()
input.send_keys('iPad')
button = browser.find_element_by_class_name('btn-search')
button.click()

首先打开淘宝 获取输入框 输入iphone文字 等待一秒 清空输入框 输入ipad 说去搜索按钮 点击按钮

官方文档交互动作 :http:selenium-python.readthedocs.io/api.html#module-selenium.webdrive.remote.webelement

1.7 动作链

例如鼠标拖拽 键盘按键等动作

示例:

from selenium import webdriver
from selenium.webdriver import ActionChains browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')
source = browser.find_element_by_css_selector('#draggable')
target = browser.find_element_by_css_selector('#droppable')
actions = ActionChains(browser)
actions.drag_and_drop(source,target)
actions.perform()

首先打开网页中一个拖拽实例,然后依次选中要拖拽的节点和拖拽的目标节点
声明ActionChains对象并将其赋值为actions变量,然后通过调用actions变量的 drag_and_drop()方法
在调用 perform()方法执行动作,此时就完成了拖拽操作

更多动作链操作参考官方文档:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.action_chains

1.8 执行JavaScript

对于某些操作selenium API 并没有提供 例如下拉进度条 可以使用 execute_script()方法 即可实现

示例:

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')
browser.execute_script('alert("To Bottom")')

这里利用 execute_script()方法 将进度条下拉到最底部,然后弹出alert提示框

1.9 获取节点信息

获取属性
get_attribute() 方法 获取节点属性 前提是选中这个节点

示例:驱动浏览器打开知乎页面 获取知乎log节点 打印出class

from selenium import webdriver
from selenium.webdriver import ActionChains browser = webdriver.Chrome()
url = 'https:www.zhihu.com/explore'
browser.get(url)
logo = browser.find_element_by_id('zh-top-link-logo')
print(logo)
print(logo.get_attribute('class'))

获取文本值
text属性

示例:打开知乎页面 获取“提问”按钮的节点 将文本打印出来

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https:www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.text)

获取 ID 位置 标签名和大小

id属性可以获取id location属性获取该节点在页面中相对位置,tag_name属性获取标签名 size获取节点大小(宽高)

示例: 获得“提问”按钮节点 调用id location tag_name size属性分别获取对应的属性值

from selenium import webdriver

browser = webdriver.Chrome()
url = 'https:www.zhihu.com/explore'
browser.get(url)
input = browser.find_element_by_class_name('zu-top-add-question')
print(input.id)
print(input.location)
print(input.tag_name)
print(input.size)

1.10 切换frame

页面中有一种节点iframe 也就是frame 相当于当前页面的子页面 结构和外部网页结构完全一致
selenium 打开页面默认是在父级frame里面操作 如果里面还子页面是获取不到里面节点的
需要使用 switch_to.frame() 方法切换子frame

示例:获取动作链接操作网页的logo

import time
from selenium import webdriver
from selenium.common.exceptions import NoSuchElementException browser = webdriver.Chrome()
url = 'http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable'
browser.get(url)
browser.switch_to.frame('iframeResult')#切换到子frame
try:
  logo = browser.find_element_by_class_name('logo')
except NoSuchElementException:
  print('NO LOGO')
browser.switch_to.parent_frame()#切换到父frame
logo = browser.find_element_by_class_name('logo')
print(logo)
print(logo.text)

1.11 延时等待

selenium中get方法会在网页框架加载结束后结束执行 如果此时获取page_source 可能并不是网页加载完全的页面
如果某些页面存在ajax加载 网页源代码也不一定能获取的到 所以需要延时等待一定时间,确保节点已经加载出来

两种方式 隐式等待 显式等待

隐式等待

当使用隐式等待时 selenium没有在DOM中找到节点 将继续等待 超出设置时间后 抛出异常 默认时间是0
示例: implicitly_wait() 方法

from selenium import webdriver

browser = webdriver.Chrome()
browser.implicitly_wait(10)
browser.get('https://www.zhihu.com/explore')
input = browser.find_element_by_class_name('zu-top-add-question')
print(input)

显式等待 until() 方法

如果页面加载受网络条件影响 隐式效果就不是很好

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.wait import WebDriverWait#引入 WebDriverWait对象 browser = webdriver.Chrome()
browser.get('https://www.taobao.com/')
wait = WebDriverWait(browser,10)
input = wait.until(EC.presence_of_element_located((By.ID,'q')))#调用until方法 节点出现
button = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'.btn-search')))#调用until方法 按钮可点击
print(input,button)

更多等待条件

title_is() 标题是某内容
title_contains() 标题包含某内容
presence_of_element_located() 节点加载出来 传入定位元组 例如(By.ID,'P')
visibility_of_element_located() 节点可见 传入定位元组
visibility_of() 可见 传入节点对象
presence_of_all_element_located() 所有节点加载出来
text_to_be_present_in_element() 某个节点文本包含某文字
text_to_be_present_in_element_value() 某个节点值包含某文字
frame_to_be_available_and_switch_to_it()加载并切换
invisibility_of_element_located() 节点不可见
element_to_be_clickable() 节点可点击
staleness_of() 判断一个节点是否仍在DOM 可判断页面是否刷新
element_located_to_be_selected() 节点可选择 传入节点对象
element_selection_state_to_be() 传入节点对象以及状态 相等返回True 否则False
element_located_selected_to_be() 传入定位元组以及状态 相等返回True 否则False
alert_is_present() 是否出现警告

更多参考官方文档 http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.support.expected_conditions

1.12 前进和后退

forward() 方法前进 back()方法后退

示例:

import time
from selenium import webdriver browser = webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('https://www.python.org')
browser.back()
time.sleep(1)
browser.forward()
browser.close()

1.13 Cookies

获取 get_cookies()
添加 add_cookie()
删除 delete_all_cookies()

示例:

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name':'name','domain':'wwww.zhihu.com','value':'germery'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

1.14 选项卡管理

在访问网页时会出现一个个选项卡 selenium可以对选项卡进行操作

示例:

import time
from selenium import webdriver browser = webdriver.Chrome()
browser.get('https:www.baidu.com')
browser.execute_script('window.open()')
print(browser.window_handles)
browser.switch_to_window(browser.window_handles[1])
browser.get('https://www.taobao.com')
time.sleep(1)
browser.switch_to_window(browser.window_handles[0])
browser.get('https://python.org')

1.15 异常处理

在使用selenium的过程中 难免会出现一些异常 例如 超时 节点未找到 一旦出现此类错误程序就不会执行了
使用 try except 捕获异常

示例:节点未找到

from selenium import webdriver

browser = webdriver.Chrome()
browser.get('https:www.baidu.com')
browser.find_element_by_id('hello')

报错 NoSuchElementException

防止程序遇到异常中断 捕获异常示例:

from selenium import webdriver
from selenium.common.exceptions import TimeoutException,NoSuchElementException browser = webdriver.Chrome()
try:
  browser.get('https://www.baidu.com')
except TimeoutException:
  print('Time Out')
try:
  browser.find_element_by_id('hello')
except NoSuchElementException:
  print('No Element')
finally:
browser.close()

更多异常类 官网:http://selenium-python.readthedocs.io/api.html#module-selenium.webdriver.common.exceptions

python3编写网络爬虫14-动态渲染页面爬取的更多相关文章

  1. 爬虫动态渲染页面爬取之Splash的介绍和使用

    Splash是一个JavaScript渲染服务,是一个带有HTTP API的轻量级浏览器,同时它对接了Python中的Twisted和QT库.利用它,我们同样可以实现动态渲染页面的抓取. 1. 功能介 ...

  2. 爬虫动态渲染页面爬取之selenium驱动chrome浏览器的使用

    Selenium是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样,可以用其进行网页动态渲染页面的爬取. 支持的浏览器包括IE(7, 8, 9, 10 ...

  3. 动态渲染页面爬取(Python 网络爬虫) ---Selenium的使用

    Selenium 的使用 Selenium 是一个自动化测试工具,利用它可以驱动浏览器执行特定的动作,如点击.下拉等操作,同时还可以获取浏览器当前呈现的页面的源代码,做到可见即可爬.对于一些JavaS ...

  4. 动态渲染页面爬取-Selenium & Splash

    模拟浏览器的动机 JS动态渲染的页面不止Ajax一种 很多网页的Ajax接口含有加密参数,分析其规律的成本过高 通过对浏览器运行方式的模拟,我们将做到:可见即可爬 Python中常用的模拟浏览器运行的 ...

  5. 爬虫之Selenium 动态渲染页面爬取

    Selenim 是一个自动化测试工具,可以利用它驱动浏览器执行特定的动作,如点击.下拉等操作,同时可以获取浏览器当前呈现的页面的源代码,做到可见及可爬 1.使用流程 1)声明浏览器对象 Seleniu ...

  6. python3编写网络爬虫20-pyspider框架的使用

    二.pyspider框架的使用 简介 pyspider是由国人binux 编写的强大的网络爬虫系统 github地址 : https://github.com/binux/pyspider 官方文档 ...

  7. python3编写网络爬虫21-scrapy框架的使用

    一.scrapy框架的使用 前面我们讲了pyspider 它可以快速的完成爬虫的编写 不过pyspider也有一些缺点 例如可配置化不高 异常处理能力有限对于一些反爬虫程度非常强的网站 爬取显得力不从 ...

  8. python3编写网络爬虫15-Splash的使用

    Splash是一个JavaScript渲染服务 是一个带有HTTP API的轻量级浏览器 同时对接了python的Twisted 和QT库 利用它可以实现对动态渲染页面的抓取 功能介绍 1.异步方式处 ...

  9. Python3编写网络爬虫11-数据存储方式四-关系型数据库存储

    关系型数据库存储 关系型数据库是基于关系模型的数据库,而关系模型是通过二维表保存的,所以它的存储方式就是行列组成的表.每一列是一个字段,每一行是一条记录.表可以看作某个实体的集合,而实体之间存在联系, ...

随机推荐

  1. 多选穿梭框总结 (vue + element)

    博客地址:https://ainyi.com/23 示例 介绍 实现省市区三级多选联动,可任选一个省级.市级.区级,加入已选框,也可以在已选框中删除对应的区域. 选择对应仓库,自动勾选仓库对应的省,取 ...

  2. RNN-LSTM入门

    RNN-LSTM入门 Last Edited: Dec 02, 2018 10:20 PM Tags: 机器学习,论文阅读 RNN-Recurrent Neural Network 概念: 序列数据: ...

  3. python进程基础

    目录 进程以及状态 1. 进程 2. 进程的状态 进程的创建-multiprocessing 1. 创建进程 2. 进程pid 3. Process语法结构如下 4. 给子进程指定的函数传递参数 5. ...

  4. Mysql中的外键分析(什么是外键,为什么要用外键,添加外键,主外键关联删除)

    有一个东西一直在我脑海中是个很烦的东西,但是这东西不搞清楚会阻碍自己的前进.自己做项目demo永远只能用一张表... 所以今天还是学习了下外键希望能够搞明白一些... 百度上搜索外键的作用" ...

  5. MapperFacade自动导入失败

    MapperFacade自动导入失败 添加以下代码并且保证项目可以扫描到: @Configuration public class OrikaConfig { @Bean public MapperF ...

  6. 事件处理程序 (DOM0级)

    DOM0事件处理程序 每个元素都有自己的事件处理程序属性,那么直接获取对象,然后在对象上设置事件处理程序属性. 1:获取节点对象引用 2:在事件成员上设置处理函数,这时函数内部this指向节点对象. ...

  7. RequireJS模块化编程详解

    1.模块的写法 模块化编程一般都有这么几个过渡过程,如下描述. 原始方法 function m1(){ //... } function m2(){ //... } 上面的函数m1()和m2(),组成 ...

  8. vuejs通过filterBy,orderBy实现搜索筛选,降序排序数据实例

    直接贴代码了: 先上输入前的样子: <style> #example{margin:100px auto;width:600px;} .show{margin:10px;} #search ...

  9. 13.Odoo产品分析 (二) – 商业板块(6) –采购(3)

    接上一篇  查看Odoo产品分析系列--目录 接上一篇Odoo产品分析 (二) – 商业板块(6) –采购(2) 7. 仓库 仓库是在安装采购管理模块时出现的菜单.用于管理工厂库存,包括已经在手的货物 ...

  10. WPF控件库:文字按钮的封装

    需求:封装按钮,按钮上面只显示文字.在鼠标移上去.鼠标点击按钮.以及将按钮设为不可用时按钮的背景色和前景色需要发生变化 实现:继承Button类,封装如下6个属性: #region 依赖属性 /// ...