scrapy框架安装配置

scrapy介绍

Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方

式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API

所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

Scrapy 是基于twisted框架开发而来，twisted是一个流行的事件驱动的python网络框架。因此Scrapy使用了一种非阻塞（又名异

步）的代码来实现并发。整体架构大致如下

1.引擎(EGINE)

引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。

2.调度器(SCHEDULER)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个

要抓取的网址是什么, 同时去除重复的网址

3.下载器(DOWLOADER)

用于下载网页内容, 并将网页内容返回给EGINE，下载器是建立在twisted这个高效的异步模型上的

4.爬虫(SPIDERS)

SPIDERS是开发人员自定义的类，用来解析responses，并且提取items，或者发送新的请求

5.项目管道(ITEM PIPLINES)

在items被提取后负责处理它们，主要包括清理、验证、持久化（比如存到数据库）等操作

6.下载器中间件(Downloader Middlewares)

位于Scrapy引擎和下载器之间，主要用来处理从EGINE传到DOWLOADER的请求request，已经从DOWNLOADER传到EGINE的

响应response，你可用该中间件做以下几件事

1. process a request just before it is sent to the Downloader (i.e. right before Scrapy sends the request to the website);
2. change received response before passing it to a spider;
3. send a new Request instead of passing received response to a spider;
4. pass response to a spider without fetching a web page;
5. silently drop some requests.

7.爬虫中间件(Spider Middlewares)

位于EGINE和SPIDERS之间，主要工作是处理SPIDERS的输入（即responses）和输出（即requests）

scrapy安装（win）

安装

1.pip insatll wheel #支持本地安装的模块
  pip install lxml
  pip install pyopenssl

2.下载合适的版本的twisted：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

3.安装twisted,到同一个目录，然后pip install

4.pip install pywin32

5.pip intstall scrapy

如果：在终端输入scrapy没有问题就是安装成功了

命令行常用指令

#创建工程
scrapy startproject name

#创建爬虫文件
scrapy genspider spiderName www.xxx.com

#执行爬虫任务
scrapy crawl 工程名字

其他命令

#查看帮助
 scrapy -h
 scrapy <command> -h

#有两种命令：其中Project-only必须切到项目文件夹下才能执行，而Global的命令则不需要
 Global commands:
 	startproject #创建项目
 	genspider #创建爬虫程序
 	settings #如果是在项目目录下，则得到的是该项目的配置
 	runspider #运行一个独立的python文件，不必创建项目
 	shell #scrapy shell url地址 在交互式调试，如选择器规则正确与否
 	fetch #独立于程单纯地爬取一个页面，可以拿到请求头
 	view #下载完毕后直接弹出浏览器，以此可以分辨出哪些数据是ajax请求
 	version #scrapy version 查看scrapy的版本，scrapy version -v查看scrapy依赖库的版本
 	Project-only commands:
 	crawl #运行爬虫，必须创建项目才行，确保配置文件中ROBOTSTXT_OBEY = False
 	check #检测项目中有无语法错误
 	list #列出项目中所包含的爬虫名

爬虫文件信息

# -*- coding: utf-8 -*-
import scrapy

class ZxSpider(scrapy.Spider):
    #工程名称，唯一标志
    name = 'zx'
    #允许爬取的域名（一般不用）
    # allowed_domains = ['www.baidu.com']
    #起始爬取的url,可以是多个
    start_urls = ['http://www.baidu.com/',"https://docs.python.org/zh-cn/3/library/index.html#library-index"]

    #回调函数,返回请求回来的信息
    def parse(self, response):
        print(response)

配置文件修改(setting.py)

修改UA和是否遵守爬虫协议 添加日志打印等级

# Crawl responsibly by identifying yourself (and your website) on the user-agent
#USER_AGENT = 'zx_spider (+http://www.yourdomain.com)'

# Obey robots.txt rules，君子协议不遵守
ROBOTSTXT_OBEY = True

LOG_LEVEL='ERROR'

最后测试下配置成功没有

简单案例(爬段子)

# -*- coding: utf-8 -*-
import scrapy

class DuanziSpider(scrapy.Spider):
    name = 'duanzi'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['http://duanziwang.com/']

    def parse(self, response):
        div_list=response.xpath('//main/article')
        for i in div_list:
            title=i.xpath('.//h1/a/text()').extract_first()
            #xpath返回的是存放selector对象的列表，想要拿到数据需要调用extract()函数取出内容，如果列表长度为1可以使用extract_first()
            content=i.xpath('./div[@class="post-content"]/p/text()').extract_first()
            print(title)
            print(content)

执行流程

五大核心组件

引擎(Scrapy)

（创建对象，根据数据调度方法等）

用来处理整个系统的数据流处理, 触发事务(框架核心)

调度器(Scheduler)

用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址

下载器(Downloader)

用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)

爬虫(Spiders)

爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面

项目管道(Pipeline)

负责处理爬虫从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后，将被发送到项目管道，并经过几个特定的次序处理数据。

执行流程

1.爬虫程序将url封装后发送给引擎

2.引擎拿到url后，把它给调度器

3.调度器首先过滤重复的url

4.将过滤好的url压入队列

5.将队列发给引擎

6.引擎将队列发给下载器

7.下载器向互联网请求数据

8.获取数据

9.将数据response发给引擎

10.引擎将数据发给爬虫程序的回调

11.数据处理好，在此发给引擎

12.引擎将数据发给管道，由管道进行数据的持久化存储

配置run文件启动项目

1.新建run.py
2.
from scrapy.cmdline import execute

execute(['scrapy','crawl','jd'])

高级设置

修改初始请求

#默认初始请求是这个
start_urls = ['https://www.jd.com']

#重写__init__()函数(qs)
    def __init__(self,qs=None,*args,**kwargs):
        super(JdSpider,self).__init__(*args,**kwargs)
        self.api = "http://list.tmall.com/search_product.htm?"
        self.qs = eval(qs)

#重写的start_requests函数
#初始化请求
    def start_requests(self):
        for q in self.qs:
            self.param = {
                "q": q,
                "totalPage": 1,
                'jumpto': 1,
            }
            url = self.api + urlencode(self.param)
            yield scrapy.Request(url=url,callback=self.gettotalpage,dont_filter=True)

#后续请求
    def gettotalpage(self, response):
        totalpage = response.css('[name="totalPage"]::attr(value)').extract_first()
        self.param['totalPage'] = int(totalpage)
        for i in range(1,self.param['totalPage']+1):
        # for i in range(1,3):
            self.param['jumpto'] = i
            url  = self.api + urlencode(self.param)
            yield scrapy.Request(url=url,callback=self.get_info,dont_filter=True)

自定义解析函数

    #即对应请求函数的callback函数
    def get_info(self,response):
        product_list = response.css('.product')
        for product in product_list:
            title = product.css('.productTitle a::attr(title)').extract_first()
            price = product.css('.productPrice em::attr(title)').extract_first()
            status = product.css('.productStatus em::text').extract_first()
            # print(title,price,status)
            item = items.MyxiaopapaItem()
            item['title'] = title
            item['price'] = price
            item['status'] = status
            yield item

item使用

1.items.py里面规定可以接收的参数
import scrapy
class MyxiaopapaItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    title = scrapy.Field()
    price = scrapy.Field()
    status = scrapy.Field()

2.生成items对象，并返回
from myxiaopapa import items

#解析函数返回item对象
            item = items.MyxiaopapaItem()
            item['title'] = title
            item['price'] = price
            item['status'] = status
            yield item

pipelines

存储

#yield item之后就会执行pipelines里面的方法
#前提条件是settings里面有配置
#数字为优先级，越小越优先，可以配置多个，一般用于多个存储
#ITEM_PIPELINES = {
#    'zx.pipelines.ZxPipeline': 300,
#}

配置数据库

import pymongo
import  json

class MyxiaopapaPipeline(object):

    def __init__(self,host,port,db,table):
        self.host = host
        self.port = port
        self.db = db
        self.table = table

	#优先于__init__()执行
    @classmethod
    def from_crawler(cls,crawl):
        port = crawl.settings.get('PORT')
        host = crawl.settings.get('HOST')
        db = crawl.settings.get('DB')
        table = crawl.settings.get('TABLE')
        return cls(host,port,db,table)

	#爬虫启动执行，可以用来开启数据库连接
    def open_spider(self,crawl):
        self.client = pymongo.MongoClient(port=self.port,host=self.host)
        db_obj = self.client[self.db]
        self.table_obj = db_obj[self.table]

	#爬虫结束执行，可以用来关闭数据库连接
    def close_spider(self,crawl):
        self.client.close()

    def process_item(self, item, spider):

        self.table_obj.insert(dict(item))
        print(item['title'],'存储成功')

        return item

配置请求头

#settings里面默认有

#DEFAULT_REQUEST_HEADERS = {
#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
#   'Accept-Language': 'en',
#}

#如果想要自定义,优先走自定义
    # custom_settings = {
    #     'NAME':"MAC",
    #     'DEFAULT_REQUEST_HEADERS':{
    #     'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    #     'Accept-Language': 'en',
    #     "User-Agent": "XXXX"
    # }
    #
    #
    # }

DownloaderMiddleware

request

#None
执行下一个中间件的process_request

#Response
执行最后中间件的process_response在往前执行

#Request
请求放到队列重新开始

#异常
执行最后中间件process_exception，在往前执行

Response

#默认response
正常执行

#Response(url)
执行最后中间件的process_response在往前执行

#Request
请求放到队列重新开始

#异常
执行spider的错误执行

代理

    def process_request(self, request, spider):
        request.meta['Download_timeout'] = 10
        request.meta['proxy'] = "http://" + get_proxy()

        return None

参考链接

https://www.cnblogs.com/xiaoyuanqujing/protected/articles/11805810.html