Scrapy 框架 (学习笔记-1)

环境:

1.windows 10
2.Python 3.7
3.Scrapy 1.7.3
4.mysql 5.5.53

一、Scrapy 安装

1. Scrapy:是一套基于Twisted的一部处理框架,是纯Python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容或者各种图片。
1. 安装命令:pip install scrapy
2. 查看是否安装成功,命令: scrapy

二、项目实战

1. 抓取豆瓣电影('https://movie.douban.com/top250')Top250数据,并将数据保存为csv,json和存储到数据库中
2. 一个完整项目基本包括:新建项目、明确目标、制作爬虫、存储内容四个步骤。

（一）、新建项目

1. 创建项目
    命令: scrapy startproject [项目名称]     例:scrapy startproject Douban
    项目目录结构:
        # Douban
            # Douban
                # spiders
                    # __init__.py
                # __init__.py
                # items.py
                # middlewares.py
                # pipelines.py
                # settings.py
            # scrapy.cfg
2.创建爬虫
    在spiders下执行命令: scrapy genspider [爬虫名] [待爬取网站的域名]    例:scrapy genspider douban_top250 movie.douban.com (此时spiders目录下会生成一个'douban_top250.py'爬虫文件)

== 注意：爬虫名称不能与项目名称重复 ==

（二）、明确目标

---

1. 明确要抓取哪些数据,并在 items.py 文件中进行定义.

   例:
        import scrapy

        class DoubanItem(scrapy.Item):
            # define the fields for your item here like:
            # name = scrapy.Field()

            # 序号
            serial_num = scrapy.Field()
            # 电影名称
            movie_name = scrapy.Field()
            # 电影介绍
            introduce = scrapy.Field()
            # 电影评论数
            evaluate_num = scrapy.Field()
            # 电影描述
            describe = scrapy.Field()
            # 电影星级
            star = scrapy.Field()

（三）、制作爬虫

1.打开爬虫文件(douban_top250.py)

---

    # -*- coding: utf-8 -*-
    import scrapy

    class DoubanTop250Spider(scrapy.Spider):
        # 爬虫名称
        name = 'douban_top250'
        # 允许的域名
        allowed_domains = ['movie.douban.com']
        # 入口URL
        start_urls = ['https://movie.douban.com/top250']

        def parse(self, response):
            pass

2.在settings.py文件中开启 'USER_AGENT' 并设置为正确的代理

3.输出爬取的信息 例:

  def parse(self, response):
        print(response.text)

4.执行爬虫运行命令: scrapy crawl [爬虫名称]   例: scrapy crawl douban_top250

== 注意：必须在 spiders 文件夹下执行 scrapy crawl 命令 ==

5.解析爬取的网页数据,例:

# -*- coding: utf-8 -*-
import scrapy
from Douban.items import DoubanItem
class DoubanTop250Spider(scrapy.Spider):
    # 爬虫名称
    name = 'douban_top250'
    # 允许的域名
    allowed_domains = ['movie.douban.com']
    # 入口URL
    start_urls = ['https://movie.douban.com/top250']

    # 默认的解析方法
    def parse(self, response):
        # 导入item文件,实例对象
        res = DoubanItem()
        # 书写详细的xpath语句对数据进行解析
        # 获取第一页的所有电影
        movie_list = response.xpath('//div[@class="article"]/ol[@class="grid_view"]/li')
        # 循环获得的电影
        for movie in movie_list:
            # 获取电影序号
            res['serial_num'] = movie.xpath('.//div[@class="item"]/div[@class="pic"]/em/text()').extract_first()
            # 获取电影名称
            titles = movie.xpath('.//div[@class="item"]/div[@class="info"]/div[@class="hd"]/a/span/text()').extract()
            movie_name = ''
            for title in titles:
                movie_name = movie_name + "".join(title.split())
            res['movie_name'] = movie_name
            # 获取电影介绍
            res['introduce'] = "".join(movie.xpath('.//div[@class="bd"]/p/text()').extract_first().split())
            # 获取电影评论数
            res['evaluate_num'] = movie.xpath('.//div[@class="star"]/span[4]/text()').extract_first()
            # 获取电影描述
            res['describe'] = movie.xpath('.//div[@class="bd"]/p[@class="quote"]/span/text()').extract_first()
            # 获取电影的评分
            res['score'] = movie.xpath('.//div[@class="star"]/span[2]/text()').extract_first()
            # 将结果提交至管道pipelines里面,进行数据的清洗以及存储
            yield res
        # 解析下一页规则
        string = response.xpath('.//span[@class="next"]/a/@href').extract_first()
        if string :
            href = self.start_urls[0] + string
            yield scrapy.Request(href,callback=self.parse)

（四）、存储内容

---

1、将数据保存为 json、csv 文件

   命令：scrapy crawl [爬虫名称] -o [保存文件名]
    例:
        1. scrapy crawl douban_top250 -o douban1.json
        2. scrapy crawl douban_top250 -o douban2.csv

2、将数据保存至数据库中

  1. 创建mysql数据库及相关表
    2. 在settings.py文件中开启 EXTENSIONS 设置
    3. 在pipelines.py文件中导入pymysql模块
    4. pipelines.py文件中类的命名是创建项目时自动生成的,一般为: [项目名称]Pipeline
    5. 在类中process_item方法内进行保存数据操作
    例:

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

# 导入pymysql模块
import pymysql

class DoubanPipeline(object):

    # 初始化相关属性
    def __init__(self):
        # 连接database
        try:
            self.conn = pymysql.connect(
                host="127.0.0.1",  # 数据库IP地址
                port=3306,  # 端口号
                db="python_movie",  # 数据库名称
                user="root",  # 用户名
                password="root",  # 密码
                charset="utf8",  # 编码格式
                use_unicode=True,  # 指定字符的编码、解码格式
                cursorclass=pymysql.cursors.DictCursor,  # 数据返回格式
            )
            # 得到一个可以执行SQL语句的光标对象
            self.cursor = self.conn.cursor()
        except Exception as e:
            print(e)

    # 开启爬虫时执行，只执行一次
    def open_spider(self,spider):
        pass

    # 处理提取的数据(保存数据)
    def process_item(self, item, spider):
        sql = "INSERT INTO movie (serial,`name`,introduce,evaluate,`describe`,score) VALUES (%s,%s,%s,%s,%s,%s)"
        # 执行sql语句
        try:
            self.cursor.execute(sql, tuple(item.values()))
            self.conn.commit()
        except Exception as e:
            print(e)

    # 关闭爬虫时执行，只执行一次。 (如果爬虫中间发生异常导致崩溃，close_spider可能也不会执行)
    def close_spider(self, spider):
        self.cursor.close()
        self.conn.close()

(五)、下载中间件编写

---

1. 设置代理 IP

1.在middlewares.py文件中编写
2.创建一个类,继承 object,在此类中编写代理IP
3.在类中创建方法
def process_request(self,request,spider):
        pass
注意:这个方法名称是固定默认的,
4.在process_request方法中设置request中的meta属性中的prproxy参数,参数值为自己的代理服务器与端口号
request.meta['proxy'] = '[IP地址/域名]:[端口号 ]'
5.在process_request方法中设置代理的用户名与密码,固定格式为:
proxy_name_pass = '[用户名]:[密码]'
注意:用户名与密码中间用':'号分割
6.需要用base64.b64encode()对用户名与密码进行加密,而且base64.b64encode()只接受bytes格式的字符串,故:
proxy_name_pass = base64.b64encode(b'[用户名]:[密码]')
7.设置http请求头
request.headers['Proxy-Authorization'] = 'Basic ' + proxy_name_pass.decode()
8.将代理中间添加至settings.py中的 DOWNLOADER_MIDDLEWARES 中进行注册
例:
在 middlewares.py 中编写中间件

class my_proxy(object):
    # 这个方法名 'process_request' 是固定的
    def process_request(self,request,spider):
        # 设置代理服务器IP地址
        request.meta['proxy'] = "这里写代理IP:这里写端口号"
        # 设置代理服务器账号与密码(注意账号与密码用 ':' 号分割,并且将字符串变为bytes格式)
        proxy_name_pass = b"这里写账号:这里写密码"
        # 加密账号与密码
        encode_name_pass = base64.b64encode(proxy_name_pass)
        # 设置代理服务请求头(注意:Basic后面必须加空格,而且加密后的账号与密码必须转为字符串格式才能拼接)
        request.headers['Proxy-Authorization'] = 'Basic ' + encode_name_pass.decode()　　

在 settings.py 中设置中间件

# 注意,后面的数字,表示中间件的优先级,多个中间价同时启用时优先级不可以相同
DOWNLOADER_MIDDLEWARES = {
   'Douban.middlewares.DoubanDownloaderMiddleware': 543,
   'Douban.middlewares.my_proxy': 544,
}

2. 设置 User-Agent

1.同上,在middlewares.py中创建一个类,在默认的process_request()方法中编写中间件
2.同上,将编写的中间件添加至settings.py中的 DOWNLOADER_MIDDLEWARES 中进行注册
3.具体操作直接上代码:
例:
在 middlewares.py 中编写中间件

# 设置代理IP中间件
class my_proxy(object):
    def process_request(self,request,spider):
        # 设置代理服务器IP地址
        request.meta['proxy'] = "这里写代理IP:这里写端口号"
        # 设置代理服务器账号与密码(注意账号与密码用 ':' 号分割,并且将字符串变为bytes格式)
        proxy_name_pass = b"这里写账号:这里写密码"
        # 加密账号与密码
        encode_name_pass = base64.b64encode(proxy_name_pass)
        # 设置代理服务请求头(注意:Basic后面必须加空格,而且加密后的账号与密码必须转为字符串格式才能拼接)
        request.headers['Proxy-Authorization'] = 'Basic ' + encode_name_pass.decode()

# 设置随机User_Agent中间件
class my_user_agent(object):
    def process_request(self,request,spider):
        # 在网络上搜索User_Agent列表
        USER_AGENT_LIST = [
             "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
             "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)",
             "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)",
             "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)",
             "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)",
             "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)",
             "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)",
             "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)",
             "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6",
             "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1",
             "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0",
             "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5",
             "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6",
             "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
             "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20",
             "Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; fr) Presto/2.9.168 Version/11.52",
        ]
        # 随机获取一个user_agent,而random.choice()函数,表示从序列中随机选取一个元素
        user_agent = random.choice(USER_AGENT_LIST)
        # 设置Http请求头中的User_Agent
        request.headers['User_Agent'] = user_agent

在 settings.py 中设置中间件

# 注意,后面的数字,表示中间件的优先级,多个中间价同时启用时优先级不可以相同
DOWNLOADER_MIDDLEWARES = {
   'Douban.middlewares.DoubanDownloaderMiddleware': 543,
   'Douban.middlewares.my_proxy': 544,
   'Douban.middlewares.my_user_agent': 545,
}

== 注意：1. 中间件定义编写完成以后，一定要在 settings.py 文件中的 DOWNLOADER_MIDDLEWARES = {} 中注册中间件，表示启用此中间件；2. 爬虫文件名和爬虫名称不能相同，spider 目录内不能存在相同爬虫名称的项目文件 ==

交流群：887934385