scrapy爬虫框架使用

一、scrapy框架

　　1.什么是scrapy：

　　　爬虫中封装好的一个明星框架。功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式。

　　2.使用方法：

　　　安装：

　　　　下载tiwisted，此处位下载地址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

　　　　安装tiwisted，pip install tiwisted-xxxx

　　　　安装pywin32：pip install pywin32　

　　　　安装scrapy：pip install scrapy

　　　　安装完成后在终端输入scrapy如果没有报错即安装成功。

　　　　创建项目：

　　　　　　输入 scrapy startprojet projectName 创建项目

　　创建爬虫文件：cd至spiders文件夹下，在终端输入 scrapy genspider spidername www.xxx.com 用以创建爬虫文件。