1:scrapy框架原理与环境搭设

1：原理图：

（*此图来自网络）

2：开发过程：

　　1）编写items.py，确定要抓取的关键字段名称

　　2）编写spider，确定发送request的形式以及对于response的处理

　　3）编写pipelines.py，进一步处理spider处理完毕后的数据的持久化，清洗.......

3：环境搭设

　　我是由这篇博客指导完成搭建的，很全面。