scrapy_redis项目配置

一、创建普通scrapy项目

二、spiders爬虫文件中修改项

 import scrapy
 from XX.items import XXItem
 import json
 # ----1 导入类
 from scrapy_redis.spiders import RedisSpider

 # ----2 修改类的继承
 class BookSpider(RedisSpider):
     name = 'book'

     # ----3 注销起始的url和允许的域
     # allowed_domains = ['xx.com', 'x.x.cn']
     # start_urls = ['https://xxxx.xx.com/xxxxx.html']

     # ----4设置 rediskey
     redis_key = 'start_url'

     # ----5 动态获取允许的域
     def __init__(self, *args, **kwargs):
         domain = kwargs.pop("domains", "")
         self.alllowed_domains = filter(None, domain.split(','))
         print("start_url:", self.alllowed_domains)
         super(BookSpider, self).__init__(*args, **kwargs)

     def parse(self, response):
         pass

三、配置文件settings中配置项

 SPIDER_MODULES = ['XX.spiders']
 NEWSPIDER_MODULE = 'XX.spiders'

 USER_AGENT = 'scrapy-redis (+https://github.com/rolando/scrapy-redis)'

 # 设置重复过滤器模块，使重复过滤器使用redis中的集合进行去重
 DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
 # 设置调度器模块，是调度器能够使用redis中的列表作为任务队列，储存和使用请求对象
 SCHEDULER = "scrapy_redis.scheduler.Scheduler"
 # 设置redis数据库中的任务队列是否保持
 SCHEDULER_PERSIST = True
 #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderPriorityQueue"
 #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderQueue"
 #SCHEDULER_QUEUE_CLASS = "scrapy_redis.queue.SpiderStack"

 ITEM_PIPELINES = {
     # 'example.pipelines.ExamplePipeline': 300,
     # 只要添加该管道，则数据都会往redis队列中做存储
     'scrapy_redis.pipelines.RedisPipeline': 400,
 }

 LOG_LEVEL = 'DEBUG'

 REDIS_URL = "redis://127.0.0.1:6379"

 # Introduce an artifical delay to make use of parallelism. to speed up the
 # crawl.
 DOWNLOAD_DELAY = 1

四、redis中设置开始url

　　1.同一个爬虫分窗口启动多次

　　　　命令：scrapy runspider spider_name.py

　　2.启动redis客户端设置开始url

　　　　redis客户端执行：lpush start_url http://baidu.com