1.python 环境安装 2.PhantomJs安装,戳这里,安装的1.9.8版本的,配置环境变量path:";C:\phantomjs"(注意:安装2.0.0版本,运行casperjs会有提示:PhantomJs is not released) 3.casperjsan安装,戳这里,配置环境变量path:";C:\casperjs\bin"…

通过上面一节,以为能够顺利安装好phantom 没想到,根本没成功. 接着,通过github上下载项目,重新安装: 1.clone项目:[https://github.com/ariya/phantomjs] 如下: uname -rsvo Linux 2.6.32-504.12.2.el6.x86_64 #1 SMP Wed Mar 11 22:03:14 UTC 2015 GNU/Linux cat /etc/centos-release CentOS release 6.6 (Final)…

自己买了vps就是爽,想装什么就装什么.就比如说casperjs 1.首先需要安装它的运行环境phantomjs *将这个git项目clone到自己的vps上[https://github.com/ariya/phantomjs] *通过查看官方文档,进行安装.[http://phantomjs.org/build.html] *其实就是只执行 (1) sudo yum -y install gcc gcc-c++ make flex bison gperf ruby \ openssl-dev…

因为需要 就学习了一下casperjs,CasperJS是一个开源的导航脚本处理和测试工具,基于PhantomJS(前端自动化测试工具)编写.由于casperjs对PhantomJS的依赖性,所以需要安装PhantomJS. PhantomJS最好下载最新的版本,由于网上版本较多,所以我就找到了较新的版本提供下载,是2.0.0版本的.可以在csdn上找到相应的下载资源. PhantomJS安装完成后,需要将PhantomJS的安装路径写入到Windows的环境变量中去.过程这里就不再细讲了. c…

最近在使用Python爬取网页内容时,总是遇到JS临时加载.动态获取网页信息的困难.例如爬取CSDN下载资源评论.搜狐图片中的“原图”等,此时尝试学习Phantomjs和CasperJS来解决这个问题.这第一篇文章当然就是安装过程及入门介绍. 一. 安装Phantomjs 下载地址:http://phantomjs.org/         官网介绍:          PhantomJS is a headless WebKit scriptable with a JavaScript API…

在采集网页中,我们会经常遇到采集一些异步加载页面的网页,我们通常用的httpwebrequest类就采集不到了,这个时候我们通常会采用webbrowser来辅助采集,但是.net下自带的webbrowser用起来非常不爽,在获取页面是否加载完毕的时候比较麻烦一些,DocumentCompleted事件遇到Iframe重复触发,而且获取到的源码通常也不是异步加载完之后的源码,往往我们需要加上定时器去不断的检查,才能获取到我们想要的源码.当然我们可以用一些第三方的webkit内核浏览器,但是这些判断…

CasperJS is a navigation scripting & testing utility for the PhantomJS (WebKit) and SlimerJS (Gecko) headless browsers, written in Javascript. PhantomJS是基于WebKit内核的headless browser SlimerJS则是基于Gecko内核的headless browser Headless browser: 无界面显示的浏览器,可以用于…

简介 Casperjs是一个基于PhantomJS和SlimerJS的前端端对端测试框架,当然你也可以使用它完成网络爬虫功能,它的特点的通过简单的脚本模拟浏览器行为, 主要有casper.tester.mouse等六大模块,其丰富的API为开发者减少了很多压力. 官网casperjs API文档 安装 casperjs的安装很简单,你可以通过npm或者下载casperjs包自行引用的方式安装,毫无疑问其支持Mac.windows.linux. npm全局安装 npm install -g cas…

安装 Casperjs能被安装在mac osx,windows 和大多数linux版本 依赖项 PhantomJS1.82及以上 Python2.6及以上(很多人忘了安装python导致安装失败) 1.1版本的新特性 试验性的:在1.1-beta1版本,slimerjs 0.8及以上版本可以在 gecko(firefox)内核上运行你的测试.(仅需要在执行语句命令行中增加–engine=slimerjs这个参数) Mac osx下安装 略 Npm安装 略 从git安装 略 从一个档案安装 你可以…

安装扩展:  (1)下面是我在linux上的安装过程,如果没有安装git请先yum install git    安装casperjs    cd /    git clone git://github.com/n1k0/casperjs.git    cd casperjs    ln -sf /casperjs/bin/casperjs /usr/local/bin/casperjs  //可以忽略 实际执行中php是执行 /casperjs/bin/casperjs       (2)安装…

[根据github上的文档说明整理] Phantom下的任何操作都可以录制 Resurrectio是一个Chrome插件,他可以记录浏览器的操作,并转化成对应的casperjs脚本 Resurrectio使用最简和装饰性的选择器,所以记录的步骤能在布局和设计变化时保持有效 当CasperJS执行JavaScript,录制步骤不限于html交互,js执行的精确步骤也能够被完整记录 Resurrectio也提供了一个方法去生成截屏,在你的测试场景里,并且能够导出注视和截屏在重构后的方法里(意思是这个…

Linux(CentOs)下安装Phantomjs + Casperjs 是参照cnMiss's Blog http://ju.outofmemory.cn/entry/70691的博客进行安装的 1.安装Phantomjs 下载安装包,由于是https的所以需要有--no-check-certificate,否则会提示安全证书有问题 首先查看一下Linux系统是32位还是64位 uname -a 如果结果中有x86_64 那么就是64位系统,否则就是32位系统 64位Linux系统的安装包链接…

目前网站主流的加载方式: 一种是同步加载:另一种是异步加载,也即我们常说的用ajax.对于同步加载的网站,普通的爬虫程序轻松就能搞定.但是对于那种异步请求数据的网站,通常使用selenium+PhantomJS组合来完成. (1)selenium:是一个web自动化测试工具,最初是为网站自动化测试而开发的,可以通过它用代码操作浏览器以及网页中的元素.Selenium支持绝大部分发浏览器,类似PhantomJS无界面的浏览器 (2)PhantomJS:是一个基于webkit的无界面浏览器,除了没有…

按照网上的教程来呢,一定是不好使的,这是常理. 所以必须要告诉你怎么使用Phantomjs…… 这么用! 1.下载Phantomjs的压缩包并解压缩: 2.在bin目录(包含phantomjs.exe文件的目录)下,按住shift键并同时点击鼠标右键.(像我这么详细的说明才叫文档,否则一律视为装逼.)点击Open command window here: 3.如下图,输入phantomjs,然后输入要执行的js文件路径(可以将文件直接拖进命令行窗口),按回车: 至此PhantomJS就可以工作了…

纠结了好久,一直报错, 具体错误信息现在已经忘了,后来看了官网的prerequisite,才知道要安装特定版本或greater 的 phantomjs 和 Python.我这边主要是没装python.当然还有casperjs 的bin 路径也要加到环境变量里(windows). 然后都好了以后好是不正常,最后竟然是 -version 和 --version的错误,应该用后者,虽然phantomjs用的是前者. 安装好的分割线————————————————————————————————————…

casperjs是一个基于phantomjs的测试框架,使用python进行操作,所以一个完整的casperjs环境需要安装phantomjs和python. 1 phantomjs安装 到官网下载最新版本http://phantomjs.org/,我下载的是phantomjs-2.1.1-linux-x86_64.tar.bz2 解压到你喜欢的目录,我这里是/usr/local/ tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 解压后目录名是phan…

最近准备深入学习Python相关的爬虫知识了,如果说在使用Python爬取相对正规的网页使用"urllib2 + BeautifulSoup + 正则表达式"就能搞定的话:那么动态生成的信息页面,如Ajax.JavaScript等就需要通过"Phantomjs + CasperJS + Selenium"来实现了.所以先从安装和功能介绍入门,后面在介绍一些Python相关的爬虫应用. 一. 介绍 PhantomJS        PhantomJS是一个服务器端的…

因为一些业务需求需要采集淘宝店铺商品的销售价格,但是淘宝详情页面的价格显示是通过js动态调用显示的.所以就没法通过普通的获取页面html然后通过正则或者xpath的方式获取到想到的信息了. 所幸我们现在有了casperjs.这个是一个基于Phantomjs的库,而Phantomjs则是一个服务器端的js api的webkit浏览器.是不是很神奇?真的是.net的以外的世界很神奇,我们要多走去看看. 好了,现在废话不多说,开始切入正题. 首先就是就是几个相关库的安装.安装过程很简单,相关内容大家百…

sudo yum install gcc gcc-c++ make git openssl-devel freetype-devel fontconfig-devel git clone git://github.com/ariya/phantomjs.git cd phantomjs git checkout 1.9 ./build.sh 安装了一个多小时完成后输入phantomjs --version,显示-bash:phantomjs:command not found建立符号链接ln -…

使用CasperJs进行自动化测试中文网站的时候发现中文网站截图会出现乱码的现象,中文汉字被一个个小方框代替 查找了一些资料发现是因为Linux服务器上没有安装中文字体导致的,Linux如何安装中文字体,百度上有很多. 问题在于我没有root权限,百度上的方法都是在root下安装中文字体,在一个同事的帮助下,最后解决了这个问题: copy 本地的中文字体到Linux根目录的.fonts目录下,如果根目录下没有.fonts目录,新建一个就OK 这边存在一个问题,我本地使用的是win7的系统,我使用…

转载:https://www.oschina.net/translate/building-your-own-web-scraper-in-nodejs 从你的应用中收集数据有时候可能有点困难和艰辛.可能是缺少一个必须的API,或者是有太多的数据需要处理.这时候你就需要借助于web抓取. 不用说了,这可能是个法律雷区,所以要确保你没有逾越法律的边界. 目前有很多工具可以帮助你抓取内容,例如Import.io,但是有时这些工具并不能完全满足你的需要.又或者,像我一样,充满好奇心,希望深入地了解we…

casperjs是一个自动化测试框架,功能强大,也很适合当做爬虫软件使用,casperjs基于phantomjs软件,phantomjs是一个没有界面的浏览器环境,基于python环境 一,安装casperjs,需先安装python和phantomjs python下载地址 https://www.python.org/getit/  安装时选中添加到环境变量 phantomjs最新版改名为phantomjs-prebuilt,可用npm安装 ,注意必须全局安装 npm install -g p…

1.下载phantomjs和 Casper phantomjs下载地址:http://phantomjs.org/download.html Casper下载地址:http://casperjs.org/ 2.分别解压后 在D盘分别建立phantomjs和casperjs文件夹 3.修改环境变量 4.测试是否安装成功 打开cmd,输入phantomjs --version以及casperjs --version分别查看他们的版本信息,如果版本信息能够查询成功,就说明已经安装成功,如下图: 在下载…

收录待用,修改转载已取得腾讯云授权 作者:yangchunwen 首先要解释一下为什么叫浏览器自动化测试,因为本文只关注发布后页面功能的自动化测试,也就是UI层面的自动化. 浏览器测试有别于js代码的单元测试,后者一般是发布前的代码功能逻辑测试,在这方面已经有很多比较成熟的方案,如jasmine mocha Qunit... 为什么要做自动化 个人认为自动化测试的主要出发点有两点: 减少重复的工作.让机器自动帮我们完成需要的交互操作,验证我们的页面功能. 自动监控.通过自动回归我们的页面功能,可…

准备学习casperjs, 发现官网上说  it’s an extremely useful companion to PhantomJS, 所以决定下把它下来试试.下载安装(win7)没什么可说的,下载解压就可以用了. 运行js 文件费了一点周折, 打开那个解压后bin目录下的phantomjs.exe, 发现直接运行 .js文件总是报出 can't find variable '文件名'的错误提示, 后来发现用windows自带的命令行 phantomjs 文件名.js 就可以成功运行. 具…

CasperJs 是一个基于 PhantomJs 的工具,其比起 PhantomJs 可以更加方便的进行 navigation. 1.安装 CasperJS 依赖于 PhantomJS >= 1.3,强烈建议使用 PhantomJS1.5 版本,PhantomJS 的安装非常简单,下载后解压就可以使用,或者直接使用 npm 安装. 安装 phantomjs 环境 $ npm install -g phantomjs 接下来,我们安装 CasperJS: $ npm install -g casp…

[From] https://www.qcloud.com/community/article/641602001489391648 作者:yangchunwen 首先要解释一下为什么叫浏览器自动化测试,因为本文只关注发布后页面功能的自动化测试,也就是UI层面的自动化. 浏览器测试有别于js代码的单元测试,后者一般是发布前的代码功能逻辑测试,在这方面已经有很多比较成熟的方案,如jasmine mocha Qunit... 为什么要做自动化 个人认为自动化测试的主要出发点有两点: 减少重复的工作.…

nm -D /usr/lib64/libstdc++.so.6 | grep GLIBCnm dumps named symbols, -D for dynamic libs, and grep for your names 动态链接表 命令中 * 和 . 意义一样? grep -i glib* -i不区分大小写 find / -name libc* git 安装软件git clone git://github.com/ariya/phantomjs.gitcd phantomjsgit che…

写在前面: 继续docker的学习,学习了docker的基本常用命令之后,我在docker上安装jdk,tomcat两个基本的java web工具,这里对操作流程记录一下. 软件准备: 1.jdk-7u79-linux-x64.tar.gz 2.apache-tomcat-8.0.36.tar.gz 下载centos镜像:(下载centos这个过程极其漫长) # 启动docker服务 service docker start # 检索centos镜像 docker search centos #…

如果你正在构建一个基于 gulp 的前端自动化开发环境,那么极有可能会用到 gulp-sass ,由于网络原因你可能会安装失败,因为安装过程中部分细节会到亚马逊云服务器上获取文件.本文主要讨论在不变更网络环境的前提下安装 gulp-sass / node-sass . 问题描述 执行 npm install 安装软件包 gulp-sass $ npm install gulp-sass 这个过程中会先安装 node-sass ,因为 gulp-sass 依赖于 node-sass .中间出现的错…