一． Scrapy基础概念 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,我们只需要实现少量的代码,就能够快速的抓取.Scrapy 使用了 Twisted异步网络框架,可以加快我们的下载速度. 二． 操作 1. 基本操作 1)创建一个scrapy项目 scrapy startproject mySpider 2)生成一个爬虫 scrapy genspider itcast "itcast.cn” 3)提取数据 完善spider,使用xpath等方法 4)保存数据 pipel…

一.递归解析: 需求:将投诉_阳光热线问政平台中的投诉标题和状态网友以及时间爬取下来永久储存在数据库中 url:http://wz.sun0769.com/index.php/question/questionType?type=4&page= 需求分析:每一个页面对应的是一个url,scrapy框架发起请求对一个url进行解析,解析完后又对另一个url发起请求进行解析. 实现方案: 1.可以将每一个页面的url放在爬虫程序中的start_urls中请求.(不推荐,累死人) 2.另一种请求使用R…