PHP爬虫之queryList

根据queryList 自己花了一个下午的时间写了一个爬星座数据的类，完全手写。附上代码

 <?php

 require '../vendor/autoload.php';

 use QL\QueryList;

 class phpCrawl

 {

     //在程序执行的时候，就先判断一下是否爬过数据了，因为这个数据是每日才会更新一次。所以判断条件就是，今天是否执行过，如果今天已经执行过程序，那么今天无论之后是否执行程序，都不允许爬取数据了。直接抛出异常【爬取也是重复的，没意义】，只有今天第一次执行程序，才有爬取的意义。然后是否爬取每周，每月，每年的数据在程序里需要另行判断。

     protected static $crawlStatus = false;  //false表示没有爬取， 为了让程序每次执行的时候，状态保持住，需要使用静态变量。 如果今天爬取过了，将状态改为true。

     // 对待爬取的url进行区分，例如：年度的只爬起一次即可，每月的，每周的，url列表进行优化

     public $fortune_name = ['aries', 'taurus', 'gemini', 'cancer', 'leo', 'virgo', 'libra', 'scorpio', 'sagittarius', 'capricorn', 'aquarius', 'pisces'];

     public $baseUrl = 'https://www.xzw.com/fortune/';  //列表url，内容页的url只需要在此基础上进行拼接

     public $rules = [];  //爬虫规则

     public $data = [];

     private static $execTime;  //存储每天程序第一次执行的时间，并保存在session中。当然如果这个时间想要永久保存还是写在文件里比较好，毕竟session有过期时间的，虽然可以设置永久，但是感觉不太好吧，默认session有效期1440秒，24分钟

     public function __construct(array $rules)

     {

         session_start();

         $this->rules = $rules;

         //程序开始初始化的时候，就要判断时间并设置crawlStatus，是否能够爬虫

         $this->checkDate();

     }

     public function run()

     {

         // 如果今天爬过数据了，就终止执行。 走if判断也行，走异常也行，二选一

         // if($this->getCrawlStatus() === true){

         //     return '今天已经爬过数据了，请明天再爬~';

         // }

         try{

             if($this->getCrawlStatus() === true)

                 //试试异常，此处抛出异常，然后在run方法里捕获异常。异常不会终止程序执行，exit，die终止程序执行。

                 throw new Exception("今天已经爬过数据了，请明天再爬~", 1);

         }

         catch(Exception $e){

             echo $e->getMessage();

             exit; //不加exit，程序会继续向下执行的

         }

         $_SESSION['execTime'] = time();   //记录程序每天第一次执行的时间

         //开始爬

         $this->startCrawl($this->linkUrl());

         //处理数据

         $result = $this->handleData();

         return $result;

     }

     //设置爬虫状态

     public function setCrawlStatus($bool)

     {

         self::$crawlStatus = $bool;

     }

     public function getCrawlStatus()

     {

         return self::$crawlStatus;

     }

     /**

      * 爬虫规则，返回一个对象

      * @param rules array 爬虫规则

      * @return object

      */

     public function rule()

     {

         return QueryList::rules($this->rules);

     }

     //开始爬取页面数据

     public function startCrawl($urls)

     {

         foreach ($urls as $url) {

             $this->data[] = $this->rule()

                 ->get($url)  //queryList的方法

                 ->query()

                 ->getData();

             // 释放资源，销毁内存占用

             $this->rule()->destruct();

         }

     }

     //处理数据

     public function handleData()

     {

         $pattern = '/[0-9]{2}/';

         $res = [];

         foreach ($this->data as $key => $value) {

             foreach ($value as $k => $v) {

                 $res[$key][$k]['overall_opportunities'] = $this->extract_num($pattern, $v['overall_opportunities'], 'overall_opportunities', $key, $k);

                 $res[$key][$k]['love_fortune'] = $this->extract_num($pattern, $v['love_fortune'], 'love_fortune', $key, $k);

                 $res[$key][$k]['underprise'] = $this->extract_num($pattern, $v['underprise'], 'underprise', $key, $k);

                 $res[$key][$k]['wealth'] = $this->extract_num($pattern, $v['wealth'], 'wealth', $key, $k);

                 $res[$key][$k]['overall_opportunities_t'] = $v['overall_opportunities_t'];

                 $res[$key][$k]['love_fortune_t'] = $v['love_fortune_t'];

                 $res[$key][$k]['underprise_t'] = $v['underprise_t'];

                 $res[$key][$k]['wealth_t'] = $v['wealth_t'];

             }

         }

         return $res;

     }

     //检测是不是今天已经爬过了

     protected function checkDate()

     {

         self::$execTime = isset($_SESSION['execTime']) ? $_SESSION['execTime'] : 0;

         if(date('Y-m-d', self::$execTime) == date('Y-m-d')){

             //今天执行过了

             $this->setCrawlStatus(true);

         }else{

             $this->setCrawlStatus(false);

         }

     }

     //拼接要爬取的url，根据年月周

     public function linkUrl()

     {

         $urls = [];

         foreach ($this->fortune_name as $value) {

             $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/');

         }

         if(!$this->isSameWeek(self::$execTime, time())){

             //不在同一周

             foreach ($this->fortune_name as $value) {

                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'2.html';

             }

         }

         //判断是否在同一月

         if(date('Ym', self::$execTime) != date('Ym', time())){

             //不在同一月

             foreach ($this->fortune_name as $value) {

                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'3.html';

             }

         }

         return $urls;

     }

     //判断是否在同一周, 返回true表示同一周，false不在同一周

     public function isSameWeek($pretime,$aftertime)

     {

         $monday = strtotime('last Monday', $pretime); //离当前时间戳$pretime最近的上一个周一的时间戳，如果当前时间$pretime是周一，$monday存储的仍然是上周一

         //判断如果当前给定时间戳就是周一，那么就返回当前时间戳给$monday

         if(date('w', $pretime) == 1){

             $monday = $pretime;

         }

         $sunday = $monday+24*3600*7; //周日时间戳

         if($aftertime >= $sunday){

             return false;

         }

         if( $aftertime <= $monday ){

             return false;

         }

         return true;

     }

     //处理运势指数，把属性值转换成指数

     public function extract_num($pattern, $string)

     {

         preg_match($pattern, $string, $match);

         switch($match[0]){

             case 16:

                 $num = 1;

                 break;

             case 32:

                 $num = 2;

                 break;

             case 48:

                 $num = 3;

                 break;

             case 64:

                 $num = 4;

                 break;

             case 80:

                 $num = 5;

                 break;

         }

         return $num;

     }

 }

 //

 $rule = [

     'overall_opportunities'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(1) > span > em', 'style'),

     'love_fortune'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(2) > span > em', 'style'),

     'underprise'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(3) > span > em', 'style'),

     'wealth'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(4) > span > em', 'style'),

     'overall_opportunities_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(1) > span','text'),

     'love_fortune_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(2) > span','text'),

     'underprise_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(3) > span','text'),

     'wealth_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(4) > span','text'),

 ];

 $ql = new phpCrawl($rule);

 $data = $ql->run();

 print_r($data);

爬到的数据打印如下，存储在数组里了。下一步就可以存在数据库里了。

安装queryList使用composer，queryList v4版本。PHP>=7.0

composer require jaeger/querylist

如果爬取一些js 动态渲染的页面，使用phantomJS来辅助完成。参考链接：https://blog.kieng.cn/1088.html

PHP爬虫之queryList的更多相关文章

PHP简单爬虫基于QueryList采集库和 ezsql数据库操作类
QueryList是一个基于phpQuery的PHP通用列表采集类,得益于phpQuery,让使用QueryList几乎没有任何学习成本,只要会CSS3选择器就可以轻松使用QueryList了,它让P ...
PHP 爬虫——QueryList
前言: 来了个任务说要做个电影网站,要写个壳,数据直接从别人那扒.行吧!那就要学习下PHP爬虫了.占个博客,以后补充.http://study.querylist.cc/archives/6/ 之前开 ...
Thinkphp5与QueryList，也可以实现采集(爬虫)页面功能
QueryList 是什么 QueryList是一套用于内容采集的PHP工具,它使用更加现代化的开发思想,语法简洁.优雅,可扩展性强.相比传统的使用晦涩的正则表达式来做采集,QueryList使用了更 ...
php 爬虫框架
发现两款不错的爬虫框架,极力推荐下: phpspider 一款优秀的PHP开发蜘蛛爬虫官方下载地址:https://github.com/owner888/phpspider 官方开发手册:http ...
php爬虫学习笔记1 PHP Simple HTML DOM Parser
常用爬虫. 0. Snoopy是什么? (下载snoopy) Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务. Snoopy的一些特点: * ...
第一个get请求的爬虫程序
一:urllib库: urllib是Python自带的一个用于爬虫的库,器主要作用就是可以通过代码模拟浏览器发送请求.其被用到子模块在Python3中的urllib.request和urllib.pa ...
python爬虫爬取get请求的页面数据代码样例
废话不多说,上代码 #!/usr/bin/env python # -*- coding:utf-8 -*- # 导包 import urllib.request import urllib.pars ...
QueryList 来做采集
示例代码先来感受一下使用 QueryList 来做采集是什么样子. 1 采集百度搜索结果列表的标题和链接.大理石平台价格采集代码: $data = QueryList::get('https:// ...
PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构
百度的搜索引擎有反爬虫机制,我先直接用guzzle试试水.代码如下: <?php /** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:5 ...

随机推荐

Visual Studio 2019 离线安装方法
1. 网址 1.1 阅读官方离线安装教程离线安装官网仔细阅读离线安装官网,差不多就能学会如何下载. 1.2 工作负荷和组件 ID 进入这个网址,Visual Studio 工作负荷和组件 ID,单 ...
fputcsv 导出excel，解决内存、性能、乱码、科学计数法问题
在PHP的日常开发中,时常会需要导出 excel ,一般我们会使用 PHPExcel ,性能强大,但是在数据量大的时候,phpexcel 性能差.内存溢出等各种不可控问题就会出现.因此,如果对导出样式 ...
Python socket编程 (2)--实现文件验证登入
可以实现从客户端输入账号和密码然后发送到服务器进行验证,实现用户登入校正操作. 服务器: import socket import json server = socket.socket() serv ...
接口缓存--把接口放在redis数据库中，减少访问量
针对访问量大,且数据较固定的接口,建议建立接口缓存,建立了缓存之后,不会再直接去访问接口了. 比如下面的轮播图接口,每刷新一下首页都会访问一下轮播图接口,所以我们用接口缓存来处理,减少访问量. 视图模 ...
Android Manifest 中 uses-feature 和 uses-permission的作用关系和区别
Manifest中的 <uses-permission android:name="android.permission.CAMERA" /> 和 <uses-f ...
js new到底做了什么?如何重写new?（转）
转自:https://blog.csdn.net/lyt_angularjs/article/details/86623988
JMeter-03-元件的作用域与执行顺序
JMeter元件的作用域与执行顺序元件的作用域先来讨论一下元件有作用域.<JMeter基础元件介绍>一节中,我们介绍了8类可被执行的元件(测试计划与线程组不属于元件),这些元件中,取样 ...
windows下搭建nginx负载均衡
学习笔记,第一次记录避免忘记首先介绍一下本地环境是windows2008 R2-64位. 1. 到nginx官网上下载最新稳定版的安装包,http://nginx.org/en/download. ...
jenkins pipline
def getHost(){ def remote = [:] remote.name = 'server02' remote.host = '39.19.90' remote.user = 'roo ...
Mac 下 visual studio code 编辑器设置为中文
1,mac系统VScode设置中文 macOS 快捷键:command + shift + p 输入搜索 configure language 1.Ctrl+Shift+P 打开命令 2.搜索 ...

PHP爬虫之queryList

PHP爬虫之queryList的更多相关文章

随机推荐

热门专题