用phpquery类,写了个采集的demo,以 某网贷平台的 一个列表为例,我们要采集该平台下面的 各平台名称,结构树如下

 include 'phpQuery.php';

 phpQuery::newDocumentFile('http://www.wangdaizhijia.com/dangan/');//获取Dom文档

 $artlist = pq(".terraceList")->find('.item .nameBox .name');//筛选节点

 //echo count($arrlist)  //数量

 foreach($artlist as $k=>$v){
echo pq($artlist)->find("a:eq($k)")->text()."<br/>";// text方法只文本,html方法含html代码
}

注意:html和text对于获取表单不太好使。例如<input type="hidden" name="sss" value="testvalue" />

pq("input[name='sss']")->html()/text() 是无效的。。  

要使用attr方法
pq("input[name='sss']")->attr("value");

采集结果如下:

这里要考虑到一个问题,如果采集的页面的分页链接是有分页信息的自然最好,就想我现在采集的这个网站,网站分页是用ajax加载一个url,提交页码数,返回json数据来渲染页面的,并非链接跳转第N页。

那么我们怎么做呢,phpquery显然不足以完成这些,所以我考虑到了snoopy,他不但可以采集,还可以模拟响应信息,模拟表单自然不在话下。但是dom操作没有phpquery那么人性化,所以两者结合自然是

最好的。

1,抓取http响应

得到信息:点击N页的时候 需要 提交 currPage=N 和 sort=0 两个参数  至   http://www.wangdaizhijia.com/front_select-plat

so

include "Snoopy.class.php";

$snoopy=new Snoopy;

$data=array('currPage'=>2,'sort'=>0);//获得第二页

$snoopy->submit('http://www.wangdaizhijia.com/front_select-plat',$data); //模拟提交表单

echo $snoopy->results; //输出返回结果

我需要遍历所有记录,所以我需要知道总页数,来决定循环请求的次数。

其实返回记录里面已经有了。pageCount=95页,rowCount 记录数,如果别的网站没有返回这种信息也要紧,用phpquery去采集总页数的那个dom元素的值嘛。

 $snoopy=new Snoopy;

 $url="http://www.wangdaizhijia.com/front_select-plat";

 $snoopy->submit($url,array('currPage'=>1,'sort'=>0));

 $index=$snoopy->results;//第一页

 $index_arr=json_decode($index,1);//转化数组

 $pageCount=$index_arr['pageCount'];//总页数

 $data=$index_arr['list'];//首页数据

 //第二页开始,循环采集,并追加至$data
for($i=2;$i<=$pageCount;$i++){
$snoopy->submit($url,array('currPage'=>$i,'sort'=>0));
$res=$snoopy->results;
$res=json_decode($res,1);//转化数组
foreach($res['list'] as $k=>$v){
$data[]=$res['list'][$k];
}
} var_dump($data); //入库....

注意:

1,phpQuery内存占用过大,导致溢出问题

phpQuery在每处理一个网页就会产生一个DOMDocumentWrapper 对象,而每个DOMDocumentWrapper 对象会被保存在静态成员$documents中(phpQuery::createDocumentWrapper中),

这个变量是一个数组,每解析一个 网页数组元素就增加一个。

推荐使用:phpQuery::$documents = array();

unset(phpQuery::$documents)//这个有可能会报错

Snoopy+phpquery采集demo的更多相关文章

  1. phpQuery采集微信公众号文章乱码

    终于找到解决方案了,这是一个值得庆祝的事情.... 原来是因为微信在源码中加入了防采集代码<!--headTrap<body></body><head>< ...

  2. 简单的视频采集demo

    打算做个简单的聊天软件,其中一个我没做过的,就是视频采集. 在网上查了许久资料,终于搞清楚了dshow采集视频的流程 参考资料如下: https://msdn.microsoft.com/en-us/ ...

  3. phpQuery对数据信息的采集进一步学习

    前提:需要下载:phpQuery/phpQuery.php 链接:http://www.cnblogs.com/wuheng1991/p/5145398.html 1.对于规则的部分 <?php ...

  4. phpquery 学习笔记

    phpQuery是一个基于PHP的服务端开源项目,它可以让PHP开发人员轻松处理DOM文档内容,比如获取某新闻网站的头条信息.更有意思的是,它采用了jQuery的思想,你可以像使用jQuery一样处理 ...

  5. Flume NetCat Demo

    准备工作: 1.apache官网下载flume 2.解压flume 3.修改flume-env.sh,配置JAVA_HOME NetCat采集Demo: 1.在conf中创建netcat-logger ...

  6. PHP curl_setopt函数用法介绍中篇

    此篇已实例为主. 一.一般的实例 demo1.php <?php $user = "admin123"; $pass = "admin456"; // $ ...

  7. snoopy采集

    Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单.Snoopy正确运行需要你的服务器的PHP版本在4以上,并且支持PCRE(Perl Compatible Regular ...

  8. PHP采集利器:Snoopy 试用心得

    Snoopy.class.php下载 Snoopy是一个php类,用来模拟浏览器的功能,可以获取网页内容,发送表单.Snoopy正确运行需要你的服务器的PHP版本在4以上,并且支持PCRE(Perl ...

  9. ThinkPHP Http工具类(用于远程采集 远程下载) phpSimpleHtmlDom采集类库_Jquery筛选方式 使用phpQuery轻松采集网页内容http://www.thinkphp.cn/extend/541.html

    [php]代码库 view sourceprint? <?php // +------------------------------------------------------------ ...

随机推荐

  1. matlab画带标记的折线图

    1.不带标记的 如: x=[1,5,3,7,4] plot(x) 2. 带标记 plot(x,'-*') '-s'  表示方格 '-p' 表示五角星 '-d' 表示菱形 '-h' 表示六角形 '-+' ...

  2. SSIS变量属性中EvaluateAsExpression设置的作用

    我们在做SqlServer SSIS包开发的时候,经常会用到SSIS的变量,我们可以使用和修改SSIS变量的值使得SSIS包的逻辑更灵活,如下图所示: 在定义SSIS变量的时候可以使用固定值(如上图中 ...

  3. 头疼:为什么chrome不能访问本地文件(带--disable-web-security --allow-file-access-from-files )

    如题,寻求帮助! chrome 带参数启动 --disable-web-security  --allow-file-access-from-files 照理应该可以加载本地文件,找遍google和英 ...

  4. regeneratorRuntime未定义

    babel-preset-stage-2 { "presets": ["es2015", "stage-2"], "plugins ...

  5. C#转VB.NET

    这个不能用了 http://www.developerfusion.com/tools/convert/csharp-to-vb/ 搜索几十分钟才找到另一个桌面版的,不怎么好用! http://www ...

  6. 学习激动人心的C++ 11

    1->创建7个Thread,跑个非常大的循环.观察CPU void func(string &name) { ;i<0xFFFFFFFF;i++) { //cout << ...

  7. FileItem类的常用方法

    FileItem类的常用方法: 1.  boolean isFormField() isFormField方法用于判断FileItem类对象封装的数据是一个普通文本表单字段,还是一个文件表单字段,如果 ...

  8. HTML5 History 模式

    vue-router 默认 hash 模式 -- 使用 URL 的 hash 来模拟一个完整的 URL,于是当 URL 改变时,页面不会重新加载. 如果不想要很丑的 hash,我们可以用路由的 his ...

  9. js高级程序设计书中,有一句话在全局作用域中定义的函数实际上只 能被某个对象调用???

    js没有块级作用域(题外话:函数可以作为一个块级),所以我们经常使用闭包来模拟块级作用域,以避免变量或者函数因为名称相同而产生的冲突. 重点来了: 所以,如果我们把哪个变量或者函数放在全局作用域中,那 ...

  10. github 添加 SSH key

    在 github 上添加 SSH key 的步骤: 1.首先需要检查你电脑是否已经有 SSH key 运行 git Bash 客户端,输入如下代码: $ cd ~/.ssh $ ls 这两个命令就是检 ...