scrapy框架基础

一、简介

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。

二、下载安装

• Linux:
  • pip install scrapy
• widows:
  • 1. pip3 install wheel
  • 2. 下载twistedhttp://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
  • 3.进入到下载目录，执行 pip3 install Twisted-18.9.0-cp36-cp36m-win_amd64.whl
  • 4.pip3 install pywin32
  • 5. pip3 install scrapy

三.简单使用

　　1.创建scrapy工程：scrapy startproject projectName      （projectName    项目名）

　　2.创建爬虫文件：scrapy genspider  spiderName www.xxx.com    (爬虫文件的名称, 起始的url)

　　3.编写爬虫文件:在步骤2执行完毕后，会在项目的spiders中生成一个应用名的py爬虫文件，文件源码如下：

# -*- coding: utf-8 -*-
import scrapy

class FistSpider(scrapy.Spider):
    # 爬虫文件的名称
    name = 'fist'

    # 允许的域名(只有被允许的域名才能发送)，一般不用，注掉都可以被发送
    # allowed_domains = ['www.xxx.com']

    # 起始url列表(只能放url)
    start_urls = ['https://baidu.com/']

    # 用来实现数据解析
    def parse(self, response):
        print("响应对象为：",response)

4.设置修改settings.py配置文件相关配置:　

# 修改内容及其结果如下：
19行：USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36' #伪装请求载体身份

22行：ROBOTSTXT_OBEY = False  #可以忽略或者不遵守robots协议

5. 运行爬虫文件

　　　　scrapy crawl 爬虫文件名

　　　　scrapy crawl 爬虫文件名 --nolog # 不打印日志运行

持久化存储

存储爬取到的糗事百科热点的内容与发布作者

1、基于终端指令的持久化存储：只可以将parse返回值进行本地文件的存储

class TwoSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.xxx.com']   # 允许的域名
    start_urls = ['https://www.qiushibaike.com/text/']  # 起始url列表(只能放url)

# 1.基于终端指令的持久化存储：只可以将parse返回值进行本地文件的存储.
    def parse(self, response):
        div_list = response.xpath('//div[@id="content-left"]/div')
        all_data_list = []
        for div in div_list:
            # author = div.xpath('./div[1]/a[2]/h2/text()')[0].extract()
            # 如果可以保证xpath返回的列表中只有一个元素，则可以直接使用下述方法
            author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
            content = div.xpath('./a/div/span//text()').extract()  # 将列表中所有的selector对象中的数据取出返回也是列表
            content = ''.join(content)
            dic = {
                'author': author,
                'content':content
            }
            all_data_list.append(dic)

        return all_data_list

scrapy crawl qiubai -o qiubai.csv   # 运行qiubai爬虫文件并将返回内容存到qiubai.csv中

2.基于管道的持久化存储（通用性较强）

• 1.进行数据解析
• 2.在item类中定义相关的属性(为了存储解析到的数据)
• 3.在parse方法中实例化一个item类型的对象
• 4.将解析到的数据存储到item类型的对象中
• 5.使用yiled item 将item对象提交给管道 （process_item方法，提交一次调用一次）
• 6.在管道文件的process_item方法中接收item且对item中存储数据进行持久化存储
• 7.在settings配置文件中开启管道

    def parse(self, response):
        div_list = response.xpath('//div[@id="content-left"]/div')
        all_data_list = []
        for div in div_list:
            # author = div.xpath('./div[1]/a[2]/h2/text()')[0].extract()
            # 如果可以保证xpath返回的列表中只有一个元素，则可以直接使用下述方法
            author = div.xpath('./div[1]/a[2]/h2/text()').extract_first()
            content = div.xpath('./a/div/span//text()').extract()  # 将列表中所有的selector对象中的数据取出返回也是列表
            content = ''.join(content)
            # 实例化一个item类型的对象：用来存储解析到的数据
            item = FirstbloodItem()
            item["author"] = author
            item["content"] = content

            # 向管道提交item类型的对象
            yield item

在item类中定义相关的属性  items.py

import scrapy

class FirstbloodItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    # 定义属性
    author = scrapy.Field()
    content = scrapy.Field()

在管道文件的process_item方法中接收item且对item中存储数据进行持久化存储  pipeline.py :

可以存到磁盘，数据库中

import pymysql
from redis import Redis

class FirstbloodPipeline(object):
    fp = None

    # 该方法只会被执行一次，
    def open_spider(self, spider):
        self.fp = open('./qiubai.txt', 'w', encoding='utf-8')

    # 用于处理item的方法,爬虫文件每次提交一次item方法就会被调用一次
    def process_item(self, item, spider):
        # 取出item中的值
        author = item["author"]
        content = item["content"]
        self.fp.write(author + ":" + content + "\n")
        return item  #返回给了下一个即将被执行的管道类

    # 关闭文件夹
    def close_spider(self,spider):
        self.fp.close()

class MysqlPileLine(object):
    # 连接
    conn = None
    cusor = None
    def open_spider(self, spider):
        # 连接数据库
        self.conn = pymysql.Connect(host='127.0.0.1', port=3306, user='root', password="", db='spider')
        print(self.conn)

    def process_item(self, item, spider):
        self.cusor = self.conn.cursor()
        try:
            self.cusor.execute('insert into qiubai values("%s","%s")'%(item['author'],item['content']))
            self.conn.commit()
        except Exception as e:
            print(e)
            self.conn.rollback()
        return item  # 返回给下一个即将被执行的管道类

    def close_spider(self,spider):
        self.cusor.close()
        self.conn.close()

class RedisPipeLine(object):
    conn = None
    def open_spider(self,spider):
        self.conn = Redis(host='127.0.0.1',port=6379)
    def process_item(self,item,spider):
        dic = {
            'author':item['author'],
            'content':item['content']
        }
        self.conn.lpush('qiubaiData',dic)

在settings配置文件中开启管道

# 开启管道，让管道类生效
ITEM_PIPELINES = {
   'firstBlood.pipelines.FirstbloodPipeline': 300,  # 数值表示优先级
   'firstBlood.pipelines.MySqlPipeline': 301,
   'firstBlood.pipelines.RedisbloodPipeline': 303,
}

使用scrapy爬取chouti的热点内容与发布者

（递归爬取解析多页页面数据）

import scrapy

from choutiPro.items import ChoutiproItem
class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    # allowed_domains = ['www.xxx.com']
    start_urls = ['https://dig.chouti.com/r/scoff/hot/1']

    #定义一个通用的url模板
    url = 'https://dig.chouti.com/r/scoff/hot/%d'
    pageNum = 1

    def parse(self, response):
        div_list = response.xpath('//div[@id="content-list"]/div')
        for div in div_list:
            content = div.xpath('./div[2]/div[1]/a/text()').extract_first()
            author = div.xpath('./div[2]/div[2]/a[4]/b/text()').extract_first()

            item = ChoutiproItem()
            item['author'] = author
            item['content'] = content

            yield item

        #进行手动请求的发送
        if self.pageNum <= 120:
            self.pageNum += 1
            new_url = format(self.url%self.pageNum)
            yield scrapy.Request(url=new_url,callback=self.parse)