j概要:了解了爬虫的基础知识后,接下来我们来使用框架来写爬虫,用框架会使我们写爬虫更加简单,接下来我们来了解一下,pyspider框架的使用,了解了该框架,妈妈再也不用担心我们的学习了。

  前期准备:

  1、安装pyspider:pip3 install pyspider

  2、安装Phantomjs:在官网下载解压后,并将pathtomjs.exe拖进安装python路径下的Scripts下即可。

  下载地址:https://phantomjs.org/dowmload.html

  官方API地址:http://www.pyspider.cn/book/pyspider/self.crawl-16.html

  2、用法(这里只简要介绍,更多请看官方文档):

  1、首先启动pyspider

  在黑窗口中输入pyspider all 即可看到如下。

  

  提醒我们在http://localhost:5000端口打开即可。(注意不要关闭!)

  打开后点击右边的Create创建项目,Project Name是项目名称,

  Start URL(s)是你要爬取的地址点击Create就可以创建一个项目。

  2、了解pyspider的格式和过程

  创建之后我们会看到如下:

  

  Handler方法是pysqider的主类,继承BaseHandler,所有的功能,只需要一个Handler就可以解决。

  crawl_config = {}表示全局的配置,比如可以之前学的那样,定义一个headers

  @every(minutes=24 * 60)every属性表示爬取的时间间隔,minutes=24*60即是一天的意思,也就是说一天爬取一次。

  on_start方法:是爬取的入口,通过调用crawl方法来发送请求,

  callback=self.index_page:callback表示回调函数,也就是说将请求的结果交给index_page来处理。

  @config(age=10 * 24 * 60 * 60)是设置任务的有效时间为10天,也就是说在10天内不会重复执行。

  index_page函数:就是进行处理的函数,参数response,表示请求页面的返回内容。

  接下来的内容相必大家也看得懂,通过pyquery解析器(pyspider可以直接使用该解析器)获取所有的链接。并依次去请求。然后调用detail_page来处理,得到我们想要的东西。

  @config(priority=2)priority表示爬取的优先级,没有设置默认为0,数字越大,可优先调用。

  crawl的其他参数:

  exetime:表示该任务一个小时候执行

  self.crawl('http://maoyan.com/board/4', callback=self.detail_page,exetime=time.time()+60*60)

  retries:可以设置重复次数,默认为3

  auto_recrawl:设置为True时,当任务过期,即age的时间到了之后,再次执行。

  method:即HTTP的请求方式默认为get

  params:以字典的形式添加get的请求参数

  self.crawl('http://maoyan.com/board/4', callback=self.detail_page,params={'a':'123','b':'456'})

  data:post的表单数据,同样是以字典的形式

  files:上传文件

  self.crawl('http://maoyan.com/board/4', callback=self.detail_page,method='post',files={filename:'xxx'})

  user_agent:即User-Agent

  headers:即请求头信息

  cookies:字典形式

  connect_timeout:初始化的最长等待时间,默认20秒

  timeout:抓取页面的最长等待时间

  proxy:爬取时的代理,字典形式

  fetch_type:设置成js即可看到javascript渲染的页面,需要安装Phantomjs

  js_script:同样,也可以执行自己写的js脚本。如:

  self.crawl('http://maoyan.com/board/4', callback=self.detail_page,js_script='''

  function(){

  alert('123')

  }

  ''')

  js_run_at:和上面运行js脚本一起使用,可以设置运行脚本的位置在开头还是结尾

  load_images:在加载javascript时,是否加载图片,默认为否

  save:在不同方法之间传递参数:

  def on_start(self):

  self.crawl('http://maoyan.com/board/4', callback=self.index_page,save={'a':'1'})

  def index_page(self,response):

  return response.save['a']

  3、保存之后的项目是这样的

  

  status表示状态:

  TODO:表示项目刚刚被创建的状态

  STOP:表示停止

  CHECKING:正在运行的项目被修改的状态

  DEBUG/RUNNING:都是运行,DEBUG可以说是测试版本。

  PAUSE:出现多次错误。

  如何删除项目?

  将group修改成delete,staus修改成STOP,24小时后系统自动删除

  actions:

  run表示运行

  active tasks 查看请求

  results 查看结果

  tate/burst:

  1/3表示1秒发送一个请求,3个进程

  progress:表示爬取的进度。

  4、完。

  (你也可以根据自己的需要,添加自己的方法。后续会有用pyspider爬取的例子。)

  

爬虫框架pyspider的使用的更多相关文章

  1. Python的两个爬虫框架PySpider与Scrapy安装

    Python的两个爬虫框架PySpider与Scrapy安装 win10安装pyspider: 最好以管理员身份运行CMD,不然可能会出现拒绝访问文件夹的情况! pyspider:pip instal ...

  2. [转]Python爬虫框架--pyspider初体验

    标签: python爬虫pyspider 2015-09-05 10:57 9752人阅读 评论(0) 收藏 举报  分类: Python(8)  版权声明:本文为博主原创文章,未经博主允许不得转载. ...

  3. Python爬虫框架--pyspider初体验

    之前接触scrapy本来是想也许scrapy能够让我的爬虫更快,但是也许是我没有掌握scrapy的要领,所以爬虫运行起来并没有我想象的那么快,看这篇文章就是之前使用scrapy的写得爬虫.然后昨天我又 ...

  4. python爬虫框架Pyspider初次接触

    pyspider网站地址:http://docs.pyspider.org/en/latest/.文档比较好,安装起来也非常方便.既然是基于python的框架,那么首先得安装python.微软出的一款 ...

  5. Python爬虫之PySpider框架

    概述 pyspider 是一个支持任务监控.项目管理.多种数据库,具有 WebUI 的爬虫框架,它采用 Python 语言编写,分布式架构.详细特性如下: 拥有 Web 脚本编辑界面,任务监控器,项目 ...

  6. 洗礼灵魂,修炼python(72)--爬虫篇—爬虫框架:Scrapy

    题外话: 前面学了那么多,相信你已经对python很了解了,对爬虫也很有见解了,然后本来的计划是这样的:(请忽略编号和日期,这个是不定数,我在更博会随时改的) 上面截图的是我的草稿 然后当我开始写博文 ...

  7. 再次分享 pyspider 爬虫框架 - V2EX

    再次分享 pyspider 爬虫框架 - V2EX block

  8. Python3环境安装PySpider爬虫框架过程

    收录待用,修改转载已取得腾讯云授权 大家好,本篇文章为大家讲解腾讯云主机上PySpider爬虫框架的安装. 首先,在此附上项目的地址,以及官方文档 PySpider 官方文档 安装流程 pip 首先确 ...

  9. pyspider爬虫框架的安装和使用

    pyspider是国人binux编写的强大的网络爬虫框架,它带有强大的WebUI.脚本编辑器.任务监控器.项目管理器以及结果处理器,同时支持多种数据库后端.多种消息队列,另外还支持JavaScript ...

随机推荐

  1. .NET RSA解密、签名、验签

    using System; using System.Collections.Generic; using System.Text; using System.IO; using System.Sec ...

  2. 集成学习ensemble

    集成学习里面在不知道g的情况下边学习边融合有两大派:Bagging和Boosting,每一派都有其代表性算法,这里给出一个大纲. 先来说下Bagging和Boosting之间的相同点:都是不知道g,和 ...

  3. 安装PHP及Memcache扩展

    安装PHP及Memcache扩展 地址:http://blog.csdn.net/poechant/article/details/6802312   1. 下载 (1)libevent 官方网页:h ...

  4. 如何提取app软件的apk格式中的字体?

    1.下载apk格式的指定app软件: 2.将apk格式的文件名更改为后缀名为zip格式: 3.用winrar解压软件解压,然后就找到其中的ttf格式的字体文件. 举例说明,我想找到airbnb的app ...

  5. codeforces 461C

    这题说的是 给了一张长方形的纸 1*n 然后可以按照不同的做法去折这个纸张 他有两种操作,操作1 给了一个pi 点 然后将左边的纸往右边折,第2种操作是给了一个L 和 R 然后计算出 L和R 之间的纸 ...

  6. linux centos系统下升级python版本

    本文参考资料:https://www.cnblogs.com/leon-zyl/p/8422699.html,https://blog.csdn.net/tpc1990519/article/deta ...

  7. input/radio/select等标签的值获取和赋值

    input/radio/select等标签的值获取和赋值,这几个是使用率最高的几个标签,获取值和赋值以及初始化自动填充数据和选择: 页面html: <div class=" " ...

  8. 谈话准备.xmind 思维导图模版

    谈话准备.xmind 思维导图模版,谈话准备.xmind.zip 谈话准备 目标 1…… 2…… 3…… 影响决定因素 进程 经费 策略 问题 客户 竞争对手 竞争对手 潜在 现存 问题 个性 团队 ...

  9. Python入门之Python引用模块和查找模块路径

    #这篇文章主要介绍了Python引用模块和Python查找模块路径的相关资料,需要的朋友可以参考下 模块间相互独立相互引用是任何一种编程语言的基础能力.对于“模块”这个词在各种编程语言中或许是不同的, ...

  10. 20145302张薇《课程设计》数据恢复——WinHex实践

    20145302张薇<课程设计>数据恢复--WinHex实践 实践内容 使用WinHex破损一个U盘 使用WinHex通过DBR备份数据来修复已损坏U盘 实践详细步骤 1.准备一个文件格式 ...