Splash 学习笔记

一、介绍

---

Splash 跟之前我们介绍的 Selenium （ 参考 Selenium 与自动化测试 —— 《Selenium 2 自动化测试实战》读书笔记） 很类似，都可以理解成一个浏览器，提供网页动态渲染（css、javascript、flash 等）服务，并且都支持 HTTP API 与之交互。

但不同点在于：

• Splash 更轻量级，但缺点是功能没有Selenium丰富。（所以 Selenium 才称得上是自动化测试框架，Splash更多的算一种网页渲染服务）

• Splash 的安装、配置、使用更简单

• Splash 支持异步，能提高爬取效率

文档地址：https://splash.readthedocs.io/en/stable/

二、安装

---

注意：事先安装好 docker。

docker run -p 8050:8050 scrapinghub/splash

部署在远程服务器记得加 -d 参数，它代表将 Docker 容器以守护态运行，这样在断开远程服务器连接后，不会终止 Splash 服务的运行。

三、使用

安装好后，打开 http://localhost:8050 即可访问，页面如下：

本文安装版本为 v3.4。

可以在此 web 页面来使用，也可以用下面介绍的 API 调用方式，更灵活。

三、Splash API 调用

---

http://localhost:8050/render.html?url=https://www.baidu.com

http://localhost:8050/render.png?url=https://www.baidu.com

http://localhost:8050/render.jpeg?url=https://www.baidu.com

http://localhost:8050/render.har?url=https://www.baidu.com

http://localhost:8050/render.json?url=https://www.baidu.com

除了上面指定的最简单的url、render类型，还可以通过 Lua 脚本执行更复杂的渲染操作和交互逻辑（即用 execute）。

我们用 python 代码为例：

import requests
from urllib.parse import quote

lua = """
function main(splash)
    return 'hello'
end
"""
url = 'http://localhost:8050/execute?lua_source=' + quote(lua)
response = requests.get(url)
print(response.text)

下面我们对 Lua 脚本的写法做更多的介绍。

四、Splash 的 Lua 脚本

---

1、base demo

function main(splash, args)
  assert(splash:go(args.url))
  assert(splash:wait(0.5))

  return {
    html = splash:html(),
    png = splash:png(),
    har = splash:har(),
  }
end

接下来针对这个最基本的 demo，来展开介绍。

2、main() 函数

main 函数就是 splash 默认要调用的函数，所以这里保持固定写法就好。

而 main 的返回值，既可以是字典形式，也可以是字符串形式，最后都会转化为 HTTP Response。

3、splash 对象

splash 类似于 Selenium 中的 WebDriver 对象。

（1）splash 属性

上面提到的 main 函数的第二个参数 args 其实是 splash 对象的其中一个属性，即：

splash.args = args

splash.resource_timeout = 0.1 - 设置超时时间。如果设置为 0 或 nil （类似 Python 中的None），代表不检测超时。

此属性适合在网页加载速度较慢的情况下设置

splash.js_enabled = false - 是否执行 js（默认为 ture）

splash.images_enabled = false 是否加载图片（默认为 ture）

小心 image 不加载导致个别 DOM 渲染出错

splash.plugins_enabled = false - 是否加载浏览器插件，如 Flash 插件 (默认 false)

splash.scroll_position = {x=100, y=200} = 页面上下或左右滚动

（3）splash 方法

go() - 模拟 GET 和 POST 请求

http_get() - 模拟 GET 请求

http_post() - 模拟 POST 请求

function main(splash, args)
    -- 错误处理
    local ok, reason = splash:go{"http://httpbin.org/post",                 http_method="POST", body="name=Germey"}

    if ok then
        return splash:html()
    end
end

wait() - 等待。类似 python 中的 sleep（多与 go 配合，紧接在 go 后面）

为什么 splash 没有 selenium 的 expected_conditions（预期条件判断）方法，如presence_of_element_located。

call_later() - 类似 JavaScript 的 settimeout

evaljs() - 执行 js 代码

local title = splash:evaljs("document.title")

runjs() 跟 evaljs() 功能类似，只不过语义上更倾向于只调用不关心返回值。

autoload() 跟 evaljs() 功能类似，只不过语义上更倾向于预先加载。

jsfunc() - JavaScript 方法转换为 Lua 脚本

这个好，毕竟我 Lua 语法不熟。

function main(splash, args)
    local get_div_count = splash:jsfunc([[
    function () {
        var body = document.body;
        var divs = body.getElementsByTagName('div');
        return divs.length;
    }
    ]])
    splash:go("https://www.baidu.com")
    return("There are %s DIVs"):format(get_div_count())
end

url() - 获取/设置 url

html() / set_content() - 获取/设置 html 内容

splash:set_content ("hello")

png() / jpeg() - 获取页面截图

har() - 获取页面加载过程描述

get_cookies() / add_cookie() / clear_ cookies() - 获取/设置/清除 html 内容

splash:add_cookie({"sessionid", "asdasd", "/", domain="http://example.com" })

set_user_agent() - 设置 user-agent

set_custom_headers() - 设置 header

自定义程度更高，可以设置 user_agent、cookies 等等

splash:set_custom_headers({
    ["User-Agent"] = "Splash",
    ["Site"] = "Splash",
})

get_viewport_size() / set_viewport_size(width, height) - 获取/设置页面大小

set_viewport_full() - 设置全屏

select() - css 选择器 (选择首个)

input = splash:select("#kw”)
-- 点击控件
input:mouse_click()
-- 给控件输入文本
input:send_text('Splash')

selectAll() - css 选择器 (选择全部)

-- 通过 css 选择器选中了节点的正文内容，随后遍历了所有节点，将其中的文本获取下来
local texts = splash:select_all('.quote .text')
local results = {}
for index, text in ipairs(texts) do
    results[index] = text.node.innerHTML
end

五、Splash 负载均衡配置

---

待写。具体可看原书。

六、参考资料

---

《Python 3网络爬虫开发实战》