scrapy框架之CrawlSpider全站自动爬取

全站数据爬取的方式

　　1.通过递归的方式进行深度和广度爬取全站数据，可参考相关博文（全站图片爬取），手动借助scrapy.Request模块发起请求。

　　2.对于一定规则网站的全站数据爬取，可以使用CrawlSpider实现自动爬取。

CrawlSpider是基于Spider的一个子类。和蜘蛛一样，都是scrapy里面的一个爬虫类，但 CrawlSpider是蜘蛛的子类，子类要比父类功能多，它有自己的都有功能------ 提取链接的功能LinkExtractor（链接提取器）。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网页中提取出的url进行继续的爬取工作使用CrawlSpider更合适。

项目创建

#创建工程项目：项目名CrawlSpiderPro可自定义
scrapy startproject CrawlSpiderPro
#切换到当前工程目录下
cd  CrawlSpiderPro
#创建爬虫文件，比普通的爬虫文件多了参数“-t crawl”
scrapy genspider -t crawl crawlSpiderTest www.xxx.com
#开启爬虫项目
scrapy crawl crawlSpiderTest

初始化爬虫文件解析　　

 class CrawlspidertestSpider(CrawlSpider):
     name = 'crawlSpiderTest'
     allowed_domains = ['www.xxx.com']
     start_urls = ['http://www.xxx.com/']
     #爬虫规则rules指定不同的规则解析器，一个Rule就是一个解析规则，可以定义多个
     rules = (
         #Rule是规则解析器；
         # LinkExtractor是连接提取器，提取符合allow规则的完整的url；
         #callback指定当前规则解析器的回调解析函数；
         #follow指定是否将链接提取器继续作用到链接提取器提取出的链接网页；
         Rule(LinkExtractor(allow=r'Items/'), callback='parse_item', follow=True),
     )

     def parse_item(self, response):
         item = {}
         #item['domain_id'] = response.xpath('//input[@id="sid"]/@value').get()
         #item['name'] = response.xpath('//div[@id="name"]').get()
         #item['description'] = response.xpath('//div[@id="description"]').get()
         return item

东莞阳光网(http://wz.sun0769.com/index.php/question/report?page=)全站爬取案例：

　　1.爬虫脚本crawlSpiderTest.py

 # -*- coding: utf-8 -*-
 import scrapy
 from scrapy.linkextractors import LinkExtractor
 from scrapy.spiders import CrawlSpider, Rule
 from CrawlSpiderPro.items import CrawlspiderproItem

 class CrawlspidertestSpider(CrawlSpider):
     name = 'crawlSpiderTest'
     # allowed_domains = ['www.xxx.com']

     start_urls = ['http://wz.sun0769.com/index.php/question/report?page=']
     #爬虫规则rules指定不同的规则解析器，一个Rule就是一个解析规则，可以定义多个
     rules = (
         #Rule是规则解析器；
         # LinkExtractor是连接提取器，提取符合allow规则的完整的url；
         #callback指定当前规则解析器的回调解析函数；
         #follow指定是否将链接提取器继续作用到链接提取器提取出的链接网页；
         #follow不指定默认False;
         Rule(LinkExtractor(allow=r'page=\d+'), callback='parse_item', follow=False),#提取页码
         Rule(LinkExtractor(allow=r'question/\d+/\d+.shtml'), callback='parse_detail'),#提取详细信息页面
     )

     def parse_item(self, response):
         print(response)
         item = CrawlspiderproItem()
         tr_list=response.xpath('//*[@id="morelist"]/div/table[2]/tbody/tr/td/table/tbody/tr')

         for tr in tr_list:
             item['identifier']=tr.xpath('./td[1]/text()').extract_first()#解析编号
             item['title']=tr.xpath('/td[2]/a[2]/text()').extract_first()#解析标题
             yield item

     def parse_detail(self, response):
         print(12345678765)
         item = CrawlspiderproItem()
         #xpath解析不识别tbody
         item['identifier']=response.xpath('/html/body/div[9]/table[1]/tr/td[2]/span[2]/text()').extract_first().split(':')[-1]
         item['content']="".join(response.xpath('/html/body/div[9]/table[2]//text()').extract())

         yield item

crawlSpiderTest.py

　　2.itmes.py字段属性定义

 import scrapy

 #也可以定义两个类分别存储，最后在和管道通过编号字段进行汇总对应，然后持久化存储
 class CrawlspiderproItem(scrapy.Item):

     #编号
     identifier=scrapy.Field()
     #标题
     title=scrapy.Field()
     #内容
     content=scrapy.Field()
     pass

itmes.py

　　3.pipelines.py管道配置

 #自定义持久化处理
 class CrawlspiderproPipeline(object):
     def process_item(self, item, spider):
         print(item)
         return item

pipelines.py

　　4.settings.py配置

#UA伪装
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
#robots协议
ROBOTSTXT_OBEY = False
#日志输出等级
LOG_LEVEL='ERROR'

#开启管道
ITEM_PIPELINES = {
   'CrawlSpiderPro.pipelines.CrawlspiderproPipeline': 300,
}