Scrapy框架之Spider模板 转

一、安装scrapy

首先安装依赖库Twisted

    pip install （依赖库的路径）

    在这个网址http://www.lfd.uci.edu/~gohlke/pythonlibs#twisted 下面去寻找符合你的python版本和系统版本的Twisted

然后在安装scrapy框架

    pip install scrapy

    【注意】路径名不能有中文，不能用管理员进入cmd，电脑系统用户路径不能是中文

二、框架简介

该框架是一个第三方的框架，许多功能已经被封装好（比如：下载功能）

 

流程原理图

由五部分构成：

引擎、下载器、爬虫、调度器、管道（item和pipeline）

以上五部分我们只需要关系其中的两部分：爬虫和管道

spiders：蜘蛛或爬虫，我们分析网页的地方，我们主要的代码写在这里

管道：包括item和pipeline，用于处理数据

引擎：用来处理整个系统的数据流，触发各种事务（框架的核心）

下载器：用于下载网页内容，并且返回给蜘蛛（下载器基于Twisted的高效异步模型）

调度器：用来接收引擎发过来的请求，压入队列中等处理任务

三、使用

• 创建项目指令

scrapy startproject 项目名

• 项目目录结构

firstSpider     项目名称
        firstSpider
            spiders           爬虫目录（写代码位置）
                __init__.py
                myspider.py       爬虫文件,以后的爬虫代码写在这里
            __init__.py
            items.py              定义数据结构地方
            middlewares.py    中间件（了解）
            pipelines.py      管道文件
            settings.py       项目配置文件
        scrapy.cfg

• 创建爬虫指令

scrapy genspider 爬虫名 域名

• 运行爬虫指令

scrapy crawl 爬虫名
scrapy crawl 爬虫名 -o xxx.csv\json\xml

四、执行流程

1输入scrapy crawl '项目名称'
2读取setting.py配置信息
3执行spiders目录下的爬虫程序，执行_init_()方法和parse()方法
4在parse方法里解析html，返回一个item实4按照配置顺序执行pipelines.py(可多个)执行逻辑，一般是存储。
5程序结束。

五、管道包含 items and pipline

• 作用

1、清理HTML数据。

2、验证爬取数据，检查爬取字段。

3、查重并丢弃重复内容。

4、将爬取结果保存到数据库。

• 几个核心的方法

创建一个项目的时候都会自带pipeline其中就实现了process_item(item, spider)方法

1、open_spider(spider)就是打开spider时候调用的,常用于初始化操作(常见开启数据库连接,打开文件)
2、close_spider(spider)关闭spider时候调用,常用于关闭数据库连接
3、from_crawler(cls, crawler)是一个类方法(需要使用@classmethod装饰器标识),一般用来从settings.py中获取常量的

4、process_item(item, spider)是必须实现的,别的都是选用的！
-   参数
        item是要处理的item对象
        spider当前要处理的spider对象

-   返回值
        返回item就会继续给优先级低的item pipeline二次处理
        如果直接抛出DropItem的异常就直接丢弃该item

• piplines.py

进行数据存储

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html

import csv
import pymysql
# 写入csv表格
class InterestingPipeline(object):

    # 开启爬虫
    def open_spider(self,spider):
        self.csv_file = open("u148.csv",'w',encoding='utf-8')
        # 创建一个列表用于整合csv数据
        self.csv_items = []

    def process_item(self, item, spider):
        # 整合csv数据
        # 把item字典转化成列表
        csv_item =[]
        csv_item.append(item['title'])
        csv_item.append(item['author'])
        csv_item.append(item['intro'])
        csv_item.append(item['img'])
        csv_item.append(item['type'])
        csv_item.append(item['date'])

        self.csv_items.append(csv_item)

        # 【注意】这里每遍历一个item以后一定要把他返回出去，如果不返回，其它优先级比这个管道低的就无法获取到其它item
        return item

    def close_spider(self,spider):

        # 把前面整合完成的数据写入csv文件
        writer = csv.writer(self.csv_file)
        # 写表头
        writer.writerow(['title','author','intro','img','type','date'])
        # 写内容
        writer.writerows(self.csv_items)
        self.csv_file.close()

# 定义一个管道类，用于写入数据库
class MysqlPipeline(object):

    def open_spider(self,spider):
        self.db =pymysql.connect(host='127.0.0.1',port=3306,user='root',password='123456',db='u148',charset='utf8')
        self.cursor =self.db.cursor()
        # self.db.begin()

    def process_item(self,item,spider):
        # 定义sql语句
        sql = "INSERT INTO music VALUES(NULL,'%s','%s','%s','%s','%s','%s')"%(item['title'],item['author'],item['img'],item['intro'],item['type'],item['date'])
        self.cursor.execute(sql)
        self.db.commit()
        return  item

    def close_spider(self,spider):
        self.cursor.close()
        self.db.close()

• items.py

import scrapy
# 主要是对待爬取的数据进行模型化，并且对接需求分析

class InterestingItem(scrapy.Item):
    # 本质是一个字典对象，

    # define the fields for your item here like:
    # name = scrapy.Field()
    # 网页里面需要爬取那些内容
    # title
    title = scrapy.Field()
    # 图片
    img = scrapy.Field()

    # 简介
    intro = scrapy.Field()
    # 作者
    author = scrapy.Field()
    # 类型
    type = scrapy.Field()
    # 日期
    date = scrapy.Field()

五、settings配置

• 代理设置

USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36'

• 是否遵循robots协议

ROBOTSTXT_OBEY = False

• 下载延时

# 单位：秒
DOWNLOAD_DELAY = 2

• 默认请求头

DEFAULT_REQUEST_HEADERS = {
    'Accept': '*/*',
    'Accept-Language': 'zh-CN,zh;q=0.9',
    'Content-Type': 'application/x-www-form-urlencoded',
    'Connection': 'keep-alive',
    # 'Host': 'passport.weibo.cn',
    'Origin': 'https://passport.weibo.cn',
    'Referer': 'https://passport.weibo.cn/signin/login?entry=mweibo&r=https%3A%2F%2Fweibo.cn%2F%3Fluicode%3D20000174&backTitle=%CE%A2%B2%A9&vt='

}

• 开启管道

ITEM_PIPELINES = {
    #300表示优先级，范围（0-1000），越小级别越高
   'Weibo.pipelines.WeiboPipeline': 300,
}