使用scrapy搭建大型爬虫系统

最近新项目准备启动，在开始前内容、词库这些都需要提前做好准备，所以就有了这篇文章。
在开始动手，看了下行业核心词排在首页的站，发现内容都多得不要不要的，各种乱七八糟的频道、页面模板，心想，如果每个网站、每套页面都写一套采集模板的话，那简直要累死。

所以，这次，玩点不一样的。

首先，根据需求，采集一个行业的文章内容，可以拆分为两个模块：

1. 爬虫系统：主要负责在浩瀚的互联网上，找到有内容价值的页面并且把页面抓取回来。涉及到URL去重、爬虫策略深度、广度一些杂事。
2. 内容处理系统：主要负责处理爬虫抓回来的内容，并从里面提取出内容。

正文提取

以前在用印象笔记的时候，自带的一些小插件就很好用，只需要在浏览器上点一个按钮，就会自动提取出当前网页的正方，并且保存到笔记库里面。
在网上找了下，发现已经有很多现成的解决方案了，而且解决的方案/算法也很有意思。就是基于DOM树来处理的。
凡是DOM节点 name 或ID带有article、content、body的，加权重值。
DOM节点name或ID带有foot、comment、menu……的，降权。
经过一轮遍历后，把得分最高的节点提取出来，作为页面正文所在的节点。
算法参考：python-readability
测试了下，识别率还是挺高的，80%以上的成功率应该有。

 ​

提取正文效果

抓取系统

爬虫制作上面，选择了一直以来，用的比较顺手的scrapy做框架，代码如下：

 1 # -- coding: utf-8 --
 2 import scrapy
 3 from scrapy import Request
 4 from scrapy.linkextractors import LinkExtractor
 5 from scrapy.spiders import CrawlSpider, Rule
 6
 7 class LinkSpider(CrawlSpider):
 8     name = 'link'
 9     alloweddomains =
10     starturls =
11     rules = (
12         Rule(LinkExtractor(allow=r'\.htm', deny='baidu\.com'), callback='parseitem', follow=True),
13     )
14
15     def startrequests(self):
16         keywords = open('keywords.txt').readlines()
17         baseurlbaidu = 'https://www.baidu.com/s?rn=50&tn=baidulocal&wd=0&pn=1'
18         for kw in keywords:
19             # 构造百度搜索结果页URL
20             for pn in range(0,700,50):
21                 yield Request(baseurlbaidu.format(kw,pn))
22
23     def parsestarturl(self, response):
24         """从种子页面提取URL作为初始链接"""
25         links = response.css('td.f a:first-childattr(href)').extract()
26         for link in links:
27             yield Request(url=link)
28
29     def parseitem(self, response):
30         """提取符合要求的网站内页"""
31         return response.url  

代码有木有非常简单(滑稽)，种子页面是从百度搜索结果页开始的，为了减少网络请求次数，把百度结果页的网站数量从默认的10个，改成了50，同时使用了无广告版的百度，URL是没有经过加密的。

到这里，基本上一个简单的行业内容采集爬虫就完成了，随意测试了下scrapy的速度，发现在我的 I5机器上，每分钟可以抓3356个页面，这还只是单机单进程，鹅妹子嘤～～

参考资料：
如何实现有道云笔记的网页正文抓取功能？