Scrapy框架（3）

一、如何提升scrapy框架的爬取效率

　　增加并发：默认scrapy开启的并发线程为32个，可以适当进行增加。在settings配置文件中修改CONCURRENT_REQUESTS = 100，并发设置成了为100。

　　降低日志级别：在运行scrapy时，会有大量日志信息的输出，为了减少CPU的使用率。可以设置log输出信息为INFO或者ERROR即可。在配置文件中编写：LOG_LEVEL = 'INFO'。

　　禁止cookie：如果不是真的需要cookie，则在scrapy爬取数据时可以禁止cookie从而减少CPU的使用率，提升爬取效率。在配置文件中编写：COOKIES_ENABLED = False。

　　禁止重试：对失败的HTTP进行重新请求（重试）会减慢爬取速度，因此可以禁止重试。在配置文件中编写：RETRY_ENABLED = False。

　　减少下载超时：如果对一个非常慢的链接进行爬取，减少下载超时可以让卡住的链接快速被放弃，从而提升效率。在配置文件中进行编写：DOWNLOAD_TIMEOUT = 10 ，超时时间为10s。

二、CrawlSpider

　　参考博客：https://www.cnblogs.com/bobo-zhang/p/9670764.html

1、介绍

　　CrawlSpider其实是Spider的一个子类，除了继承到Spider的特性和功能外，还派生出了自己独有的更加强大的特性和功能。其中最显著的功能就是"LinkExtractors链接提取器"。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。

2、使用

1）案例一：爬取抽屉网段子模块（https://dig.chouti.com/r/scoff/hot/1）第一页到最后一页的数据的标题

　　新建一个项目：scrapy startproject choutiPro

　　进入项目目录下，新建一个爬虫文件：scrapy genspider -t crawl chouti www.xxx.com

　　注意：生成爬虫文件的指令多了 "-t crawl"，表示创建的爬虫文件是基于CrawlSpider这个类的，而不再是Spider这个基类，生成的爬虫文件内容如下：

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

class ChoutiSpider(CrawlSpider):

    name = 'chouti'

    allowed_domains = ['www.xxx.com']

    start_urls = ['http://www.xxx.com/']

    rules = (

        Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),

    )

    def parse_item(self, response):

        item = {}

        #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()

        #item['name'] = response.xpath('//div[@id="name"]').get()

        #item['description'] = response.xpath('//div[@id="description"]').get()

        return item

　　项目的目录结构如下：

　　各文件内容如下：

# choutiPro/choutiPro/spiders/chouti.py

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

class ChoutiSpider(CrawlSpider):

    name = 'chouti'

    # allowed_domains = ['www.xxx.com']

    start_urls = ['https://dig.chouti.com/r/scoff/hot/1']

    # 链接提取器，参数 allow表示链接提取器提取链接的规则（正则）

    link = LinkExtractor(allow=r'/r/scoff/hot/\d+')

    # 让链接提取器继续作用到提取到的链接所对应的页面中

    rules = (

        # 规则解析器：将链接提取器提取到的链接所对应的页面数据进行指定形式的解析，注意follow要等于True

        Rule(link, callback='parse_item', follow=True),

    )

    def parse_item(self, response):
 　　　　 print(response)　　

        # div_list = response.xpath('//div[@class="item"]')

        # for div in div_list:

            # title = div.xpath('.//div[@class="part1"]/a/text()').extract_first()

            # print(title)

　　注意修改settings.py中的USER_AGENT和ROBOTSTXT_OBEY。

　　启动程序，如下图：

2）案例二：爬取糗事百科的糗图模块（https://www.qiushibaike.com/pic/）所有页码的数据

　　使用上面案例一的项目，修改爬虫文件 chouti.py文件为如下内容：

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

class ChoutiSpider(CrawlSpider):

    name = 'qiubai'

    # allowed_domains = ['www.xxx.com']

    start_urls = ['https://www.qiushibaike.com/pic/']

    link = LinkExtractor(allow=r'/pic/page/\d+\?s=\d+')

    link1 = LinkExtractor(allow=r'/pic/$')

    rules = (

        Rule(link, callback='parse_item', follow=True),

        Rule(link1, callback='parse_item', follow=True),

    )

    def parse_item(self, response):

        print(response)

　　启动项目，如下图：

三、分布式爬虫

　　参考博客：https://www.cnblogs.com/bobo-zhang/p/9686978.html

　　思考：

　　　　为什么原生的scrapy不能实现分布式？

　　　　　　- 调度器不能被共享；

　　　　　　- 管道无法被共享；

　　　　scrapy-redis组件的作用是什么？

　　　　　　- 提供了可以被共享的调度器和管道；

1、下载安装scrapy-redis

　　pip3 install scrapy-redis

2、使用流程

　　1）创建工程：scrapy startproject redisChoutiPro

　　2）进入工程，创建爬虫文件：scrapy genspider -t crawl chouti www.xxx.com

　　　　目录结构如下：

　　3）对爬虫文件，即spiders/chouti.py文件中的相关属性进行修改：

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

from scrapy_redis.spiders import RedisCrawlSpider   # 导包

class ChoutiSpider(RedisCrawlSpider):      # 修改继承的类

    name = 'chouti'

    # allowed_domains = ['www.xxx.com']

    # start_urls = ['http://www.xxx.com/']

    redis_key = 'chouti'   # 调度器队列的名称

    ......

　　4）在配置文件，即settings.py中进行配置如下参数：

# - 使用组件中封装好的可以被共享的管道类

ITEM_PIPELINES = {

    'scrapy_redis.pipelines.RedisPipeline': 400

}

# - 配置调度器（即使用组件中封装好的可以被共享的调度器）

# 增加了一个去重容器类的配置, 作用使用Redis的set集合来存储请求的指纹数据, 从而实现请求去重的持久化

DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 使用scrapy-redis组件自己的调度器

SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 配置调度器是否要持久化, 也就是当爬虫结束了, 要不要清空Redis中请求队列和去重指纹的set。如果是True, 就表示要持久化存储, 就不清空数据, 否则清空数据

SCHEDULER_PERSIST = True  # 数据指纹

　　5）指定存储数据的redis，即在settings.py文件中配置如下参数：

REDIS_HOST = 'redis服务的ip地址'

REDIS_PORT = 6379

　　6）配置redis数据库的配置文件

protected-mode no      # 取消保护模式

# bind 127.0.0.1       # 取消bind绑定

　　7）启动redis

　　8）写好爬虫文件的功能后，启动爬虫文件（进入spiders目录下执行）：scrapy runspider chouti.py

　　　　爬虫文件chouti.py内容如下：

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

from redisChoutiPro.items import RedischoutiproItem

from scrapy_redis.spiders import RedisCrawlSpider   # 导包

class ChoutiSpider(RedisCrawlSpider):      # 修改继承的类

    name = 'chouti'

    # allowed_domains = ['www.xxx.com']

    # start_urls = ['http://www.xxx.com/']

    redis_key = 'chouti'   # 调度器队列的名称

    rules = (

        Rule(LinkExtractor(allow=r'/all/hot/recent/\d+'), callback='parse_item', follow=True),

    )

    def parse_item(self, response):

        div_list = response.xpath('//div[@class="item"]')

        for div in div_list:

            title = div.xpath('./div[4]/div[1]/a/text()').extract_first()

            author = div.xpath('./div[4]/div[2]/a[4]/b/text()').extract_first()

            item = RedischoutiproItem()

            item['title'] = title

            item['author'] = author

            yield item

　　　　注意配置setting.py中的USER_AGENT和ROBOTSTXT_OBEY参数。

　　9）向调度器队列中扔入一个起始url，即在redis-cli中执行如下命令：

四、增量式爬虫

　　参考博客：https://www.cnblogs.com/bobo-zhang/p/10373942.html

1、案例一：对url去重

　　需求：爬取4567tv网站中所有的电影详情数据

　　创建项目，目录结构如下：

　　各文件内容如下：

# 爬虫文件movie.py

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

from increment1_Pro.items import Increment1ProItem

from redis import Redis

class MovieSpider(CrawlSpider):

    name = 'movie'

    # allowed_domains = ['www.xxx.com']

    start_urls = ['https://www.4567tv.tv/index.php/vod/show/id/7.html']

    rules = (

        Rule(LinkExtractor(allow=r'/index.php/vod/show/id/7/page/\d+\.html'), callback='parse_item', follow=True),

    )

    def parse_item(self, response):

        conn = Redis(host='127.0.0.1', port=6379)

        detail_url_list = response.xpath('//li[@class="col-md-6 col-sm-4 col-xs-3"]/div/a/@href').extract()

        for url in detail_url_list:

            url = 'https://www.4567tv.tv' + url

            ex = conn.sadd('movies_url',url)

            # ex == 1 表示set中没有存储url

            if ex == 1:

                yield scrapy.Request(url=url, callback=self.parse_detail)

            else:

                print('网站没有更新数据，暂无新数据可爬取！')

    def parse_detail(self, response):

        item = Increment1ProItem()

        item['name'] = response.xpath('/html/body/div[1]/div/div/div/div[2]/h1/text()').extract_first()

        item['actor'] = response.xpath('/html/body/div[1]/div/div/div/div[2]/p[3]/a/text()').extract_first()

        yield item

# 管道文件pipelines.py

from redis import Redis

class Increment1ProPipeline(object):

    conn = None

    def open_spider(self, spider):

        self.conn = Redis(host='127.0.0.1', port=6379)

    def process_item(self, item, spider):

        print('有新数据被爬取到，正在入库......')

        self.conn.lpush('movie_data', item)

        return item

# items.py文件

import scrapy

class Increment1ProItem(scrapy.Item):

    name = scrapy.Field()

    actor = scrapy.Field()

　　注意：settings.py中配置好ROBOTSTXT_OBEY、USER_AGENT和管道参数ITEM_PIPELINES。

2、案例二：对内容去重

　　需求：爬取糗事百科中的段子和作者数据

　　创建项目，目录结构如下：

　　各文件结构如下：

# 爬虫文件 qiubai.py

# -*- coding: utf-8 -*-

import scrapy

from scrapy.linkextractors import LinkExtractor

from scrapy.spiders import CrawlSpider, Rule

from increment2_Pro.items import Increment2ProItem

from redis import Redis

import hashlib

class QiubaiSpider(CrawlSpider):

    name = 'qiubai'

    # allowed_domains = ['www.xxx.com']

    start_urls = ['https://www.qiushibaike.com/text/']

    rules = (

        Rule(LinkExtractor(allow=r'/text/page/\d+/'), callback='parse_item', follow=True),

    )

    def parse_item(self, response):

        div_list = response.xpath('//div[@class="article block untagged mb15 typs_hot"]')

        conn = Redis(host='127.0.0.1', port=6379)

        for div in div_list:

            item = Increment2ProItem()

            item['content'] = div.xpath('.//div[@class="content"]/span//text()').extract()

            item['content'] = ''.join(item['content'])

            item['author'] = div.xpath('./div/a[2]/h2/text() | ./div[1]/span[2]/h2/text()').extract_first()

            source = item['author'] + item['content']

            # 自己制定了一种形式的数据指纹

            hashValue = hashlib.sha256(source.encode()).hexdigest()

            ex = conn.sadd('qiubai_hash', hashValue)

            if ex == 1:

                yield item

            else:

                print('没有更新数据要爬取！')

# 管道文件 pipelines.py

from redis import Redis

class Increment2ProPipeline(object):

    conn = None

    def open_spider(self, spider):

        self.conn = Redis(host='127.0.0.1', port=6379)

    def process_item(self, item, spider):

        dic = {

            'author': item['author'],

            'content': item['content']

        }

        self.conn.lpush('qiubaiData', dic)

        print('爬取到一条数据，正在入库......')

        return item

# items.py文件

import scrapy

class Increment2ProItem(scrapy.Item):

    content = scrapy.Field()

    author = scrapy.Field()