scrapy爬虫系列之开头--scrapy知识点

介绍：Scrapy是一个为了爬取网站数据、提取结构性数据而编写的应用框架，我们只需要实现少量的代码，就能够快速抓取。
Scrapy使用了Twisted异步网络框架，可以加快我们的下载速度。

0、说明：
　　保存数据的方法有4种(json、jsonl、csv、xml)，-o 输出指定格式的文件
　　scrapy crawl 爬虫名称 -o aa.json
　　在编写Spider时，如果返回的不是item对象，可以通过scrapy crawl 爬虫名称 -o aa.json 爬取数据输出到本地，保存为aa.json文件

1、使用步骤
　　1.1 新建项目：scrapy startproject xxx
　　1.2 生成爬虫：scrapy genspider aaa "http://www.aaa.com"
　　1.3 明确目标：编写items.py，明确要提取的数据
　　1.4 编写爬虫：spiders/xx.py，编写爬虫文件，处理请求和响应，以及提取数据（yield item）
　　1.5 存储内容：pipelines.py，编写管道文件，处理spider返回的item数据
　　1.6 设置配置：settings.py， 启动管道组件，以及其他相关配置
　　1.7 执行爬虫：scrapy aaa 爬虫名称

2、安装：
　　pip3 install scrapy

3、命令
　　scrapy bench 测试
　　scrapy fetch "http://www.baidu.com" 爬取页面
　　scrapy genspider 爬虫名称 'http://www.baidu.com' 生成一个爬虫
　　scrapy runspider 运行一个爬虫
　　scrapy shell "url地址" 发送完请求后，用shell交互读取响应内容
　　　　response.body 响应体，response.body.decode()
　　　　response.headers 报头
　　　　response.selector Selector对象，此时可以通过response.selector.xpat() 或response.selector.css()来对response进行查询，或者把中间的selector省略也可以使用（新版）
　　　　Selector选择器，有4个基本的方法，最常用xpath
　　　　　　xpath()，传入xpath表达式，返回该表达式所对应的所有结点的selector list列表，使用方式：response.xpath("表达式")
　　　　　　extract()，序列化该结点为Unicode字符串并返回列表
　　　　　　css()，插入css表达式，返回该表达式所对应的所有结点的selector list列表，语法同 bs4
　　　　　　re()，根据传入的正则表达式进行提取，返回Unicode字符串列表

　　scrapy startproject 创建项目
　　scrapy list 查看项目下有多少个爬虫

4、其他
　　CrawlSpider

5、使用pipeline
　　可以有多个，为什么要有多个？
　　　　不同的pipeline处理不同的item的内容
　　　　一个spider的内容可能要做不同的操作，比如存入不同的数据库中
　　5.1 一个爬虫项目，包含多个爬虫，爬取多个网站，可以建多个Spider
　　5.2 当有多个爬虫，一个pipeline时，如何操作不同的数据呢？
　　　　可以在爬虫返回item时，加：item["come_from"] = '网站1'，然后在pipeline的process_item方法里进行判断：if item["come_from"] == '网站1': do something
　　　　或者，根据spider.name来进行判断是哪个spider返回的数据

6、日志logging
　　普通用法：
　　　　import logging
　　　　logging.warning()
　　scrapy中的用法：
　　　　settings里配置日志级别：LOG_LEVEL = "WARNING"
　　　　settings里配置日志存放位置：LOG_FILE = './log.log' 当前目录
　　普通py项目的日志用法
　　　　import logging
　　　　logging.basicConfig(filename='example.log',level=logging.DEBUG) #还有很多参数可以设置
　　　　logger = logging.getLogger(__name__)
　　　　logger.warning("ssssssssss")