前端端对端测试:基于PhantomJS的CasperJS
简介
Casperjs是一个基于PhantomJS和SlimerJS的前端端对端测试框架,当然你也可以使用它完成网络爬虫功能,它的特点的通过简单的脚本模拟浏览器行为,
主要有casper、tester、mouse等六大模块,其丰富的API为开发者减少了很多压力。
安装
casperjs的安装很简单,你可以通过npm或者下载casperjs包自行引用的方式安装,毫无疑问其支持Mac、windows、linux。
npm全局安装
npm install -g casperjs
Mac os推荐使用brew
$ brew update
$ brew install casperjs --devel
$ brew install casperjs
//更新casperjs
$ brew upgrade casperjs
察看版本
$ phantomjs --version
$ casperjs
使用
通过以上步骤成功安装好casperjs后,可以运行以下脚本,对casperjs进行自检,熟悉其功能
$ casperjs selftest
以一个简单的百度图片热门榜的操作为例,简单示意一下casperjs的基本用法
注意:以上代码可以因为百度图片的DOM变化而失效,读者可以自己修改一下代码中的选择器
1.首先新建两个文件index.js 和config.js
2.把以下代码复制进index.js
var config = require('config');
var casper = require('casper').create();
//输出配置
casper.echo('using config:');
casper.echo(JSON.stringify(config, null, '\t'));
//屏蔽google资源,你懂的
casper.on('resource.requested', function(requestData, request) {
if (/\/\/.*google[^\/]+/.test(requestData.url) || /cloud\.githubusercontent\.com/.test(requestData.url)) {
request.abort();
};
});
//输出console页面错误
casper.on('page.error', function(msg) {
this.echo('error message caught: ' + msg);
});
//设置浏览器超时时间和窗口大小
casper.options.waitTimeout = 10000;
casper.options.viewportSize = {
width: 1024,
height: 768
};
//生成一个数组
function Nums(len) {
var nums = [];
for (var i = 0; i < len; i++) {
nums.push(i);
}
return nums;
}
//记录时间日期
var date = new Date();
var casperDate = date.toLocaleString().split(' ')[0];
//定义nums数组作为遍历长度,suglineVal是热门榜值,suglineLength是热门榜长度
var nums,suglineVal, suglineLength;
var date =new Date();
//开始casper,输出当前日期,并通过config文件读取url
casper.echo(casperDate+'百度图片热门搜索图片抓取');
casper.start(config.baseURL, function() {
//获取热门榜长度
suglineLength = this.evaluate(function() {
var csuglineLength = $('.sugline').length;
return csuglineLength;
});
//生成遍历数组
nums = Nums(suglineLength);
//casper的each函数对每一条热门搜索执行相同结果
this.each(nums, function(self, num) {
//then函数控制执行流程,获取热门榜的热门搜索值,并赋予百度搜索框进行搜索
self.then(function() {
suglineVal = this.evaluate(function(num) {
//获取热门搜索值,选择器随时可能会改变,请参考运行时百度图片首页的DOM树
var cSuglineVal = $('.sugline')[num].children[1].innerText;
//__utils__功能等同与jquery,方便在没有引入jquery或者类似DOM查询工具时使用。
__utils__.setFieldValue("input[id='kw']", cSuglineVal);
$('.s_btn')[0].click();
return cSuglineVal;
}, num);
});
//waitUntilVisible等待一个选择器出现,等到imglist加载完成后进入
self.waitUntilVisible('.imglist', function() {
//capture函数对当前页面进行截图并保存在capture/images/...
this.capture('capture/images/'+casperDate+'/'+casperDate+'-' + suglineVal + '.png');
//在控制台输出热门图片
this.echo(suglineVal);
});
});
});
//运行casper脚本start
casper.run();
3.把以下代码复制进config.js
'use strict'
//casper读取系统信息的模块
var system = require('system');
//读取环境变量
var env = system.env.TEST_ENV || 'test'
var config = {};
//其实上面没什么用,主要配置看这里
config.test = {
baseURL: 'http://image.baidu.com/',
imageURL: 'capture/',
}
module.exports = config[env]
4.在控制台中执行,如果出现casperjs不是内部命令,请确保全局安装casperjs,确保环境变量正确。
casperjs index.js
结果
1.控制台输出如下
2.查看images文件夹成功截取图片
分析
通过使用casperjs,我们只写了不到100行代码就成功抓取了百度8月14日的热门图片,看到了每天发生的大新闻。在这个小demo中,我们使用了casperjs的最主要的casper模块进行网页抓取流程控制、clientutils模块简化DOM查询,其还有我们没有用到的mouse模块,控制输出颜色的colorizer模块,专门用于测试的tester模块,和一些常用处理函数集成的utils模块,相信大家在自己学习了官网的API后,能够创造出更有意思的东西,这个小demo虽然说可能抓取速度不是很快,但是还是基本完成了我们的需求,如果有任何问题和建议都可以留言给我。
前端端对端测试:基于PhantomJS的CasperJS的更多相关文章
- 脚手架vue-cli系列五:基于Nightwatch的端到端测试环境
不同公司和组织之间的测试效率迥异.在这个富交互和响应式处理随处可见的时代,很多组织都使用敏捷的方式来开发应用,因此测试自动化也成为软件项目的必备部分.测试自动化意味着使用软件工具来反复运行项目中的测试 ...
- 最受欢迎的5款Node.js端到端测试框架
测试,尤其是自动化测试在现代 WEB 工程中有着非常重要的角色,与交付过程集成良好的自动化测试流程可以在新版发布时帮你快速回归产品功能,也可以充当产品文档.测试因粒度不同又可以分为单元测试.接口测试. ...
- pc端和android端应用程序测试有什么区别?(ps面试题)
pc端和android端应用程序测试有什么区别?(ps面试题) [VIP7]大连-凭海临风(215687736) 2014/4/10 8:56:171.测试环境不同PC平台一般都是windows an ...
- 移动web开发之移动端真机测试
× 目录 [1]特性 [2]安装 [3]设置[4]移动端 前面的话 chrome的开发者工具可以很好地做好模拟工作,但毕竟模拟和实际还是有差别的.所以,真机测试是一定要做的,如何高效地进行真机测试呢. ...
- nightwatch 基于Webdriver的端到端自动化测试框架
nightwatch 是使用nodejs编写的,基于Webdriver api 的端到端自动化测试框架 包含以下特性 清晰的语法,基于js 以及css 还有xpath 的选择器 内置测试runner, ...
- Cypress与TestCafe WebUI端到端测试框架简介
近期接触了Cypress和TestCafe,两个测试框架都基于Node.js,都不再使用Selenium+WebDriver,而且开箱即用,非常轻量级,就冲着不再使用WebDriver这一点,极大地勾 ...
- 带你读AI论文丨LaneNet基于实体分割的端到端车道线检测
摘要:LaneNet是一种端到端的车道线检测方法,包含 LanNet + H-Net 两个网络模型. 本文分享自华为云社区<[论文解读]LaneNet基于实体分割的端到端车道线检测>,作者 ...
- web端,app端,小程序端测试差异详解
前置解释:1.单纯从功能测试的层面上来讲的话,APP 测试.web 测试和H5测试在流程和功能测试上是没有区别的2.Web项目或pc项目都是在电脑上进行测试的.常见的PC项目架构有BS架构和CS架构的 ...
- HubbleDotNet 最新绿色版,服务端免安装,基于eaglet 最后V1.2.8.9版本开发,bug修正,支持一键生成同步表
HubbleDotNet 是一个基于.net framework 的开源免费的全文搜索数据库组件.开源协议是 Apache 2.0.HubbleDotNet提供了基于SQL的全文检索接口,使用者只需会 ...
随机推荐
- [Ubuntu] sogou中文输入法安装
I install sogou 中文输入法 successfully, after following below steps: 1. install sogou pingyin by deb pac ...
- 由A到D中间可不止“B、C”
在电子信息系统的学习中,我们或许早就被告知现实世界是模拟的,而数字化的模拟世界则越来越展现更多的风采.但是所谓的数字和模拟只是相对的而已,你可以把模拟量当做无穷数字量的组合,也可以把数字量当做具有不同 ...
- USACO 1.3.3 Calf Flac(Manacher算法)
Description 据说如果你给无限只母牛和无限台巨型便携式电脑(有非常大的键盘),那么母牛们会制造出世上最棒的回文.你的工作就是去寻找这些牛制造的奇观(最棒的回文). 在寻找回文时不用理睬那些标 ...
- 【转】utf-8与Unicode的转化
作者:uuspider链接:https://www.zhihu.com/question/23374078/answer/65352538来源:知乎著作权归作者所有.商业转载请联系作者获得授权,非商业 ...
- 线段树---poj2528 Mayor’s posters【成段替换|离散化】
poj2528 Mayor's posters 题意:在墙上贴海报,海报可以互相覆盖,问最后可以看见几张海报 思路:这题数据范围很大,直接搞超时+超内存,需要离散化: 离散化简单的来说就是只取我们需要 ...
- Navicat for mysql导入.sql数据库大小受限制
把导入单个表的最大限制调一下就行(在my.ini里面就算改了max_allowed_packet也不一定行,因为Navicat貌似并不调用,实际他有自己的一套默认配置,所以需要在Navicat上调整) ...
- Java中的网络编程-2
Socket编程:(一般的网络编程) <1> 两个 JAVA 应用程序可通过一个双向的网络通信连接, 实现数据交换, 这个双向链路的一段称为一个 Socket. <2> Soc ...
- Java clone() 浅拷贝 深拷贝
假如说你想复制一个简单变量.很简单: int apples = 5; int pears = apples; 不仅仅是int类型,其它七种原始数据类型(boolean,char,byte,short, ...
- 使用JsonConfig中的setExcludes方法过滤不需要转换的属性
Hibernate的many-to-one双向关联中,查询many方时会将one方数据顺带着查询,同时one中会有List<Many>,然后又会去查Many中的数据... 周而复始,结果j ...
- sublime py不能输入中文
设置环境变量PYTHONIOENCODING=UTF-8,重启sublime即可 转载请注明博客出处:http://www.cnblogs.com/cjh-notes/