浅谈 Scrapy 爬虫（二）

越写越像官方文档的翻译，偏离了初衷。写一些官方文档里没有的内容吧。

 

1. 在不限制宽带的环境下，根据页面的大小， Scrapy 一秒能爬取40-70个页面，一天在400万到600万页面。也就是说 Scrapy 应付千万级或者亿级的爬取没有问题。
2. Scrapy 主要限制是select函数，在其他方面优化完美的情况下，大概有60%-70%的CPU花费在select上，剩下10%花费在框架本身。
3. Scrapy 可以使用Windows下的IOCP或者Linux下的epoll机制。IOCP我试过，效果很一般，而且有很多链接出错的情况，应该是Twisted本身对Windows支持的问题。据说epoll效果要好一些，我没试过。
4. Scrapy 支持续爬，在启动的时候指定JOBDIR即可。JOBDIR实际原理是Scrapy在启动的时候检查是否设置了变量JOBDIR，如果设置了，则读取该目录的数据进行初始化。
5. 续爬不是非常靠谱，只有使用Ctrl+C退出才能保证下次能续爬，如果不小心多按了一次Ctrl+C，没有执行到收尾工作，有很大几率下次续爬的时候会出问题。
6. Scrapy本身没有增量爬取的机制，这个得根据需求，自己实现。
7. Python有一个MySQLdb库，有一个函数executemany，开始以为这个函数是内部多次执行execute，后来实际测试发现不是。在大量插入数据的情况下，many函数的执行效率比execute高很多。
8. Scrapy本身已经带了URL去重。
9. Scrapy不会执行class AJianSpider(BaseSpider)类的__DEL__。如果有在蜘蛛关闭的时候执行的收尾工作，可以使用扩展机制，在spider_closed中处理。
10. Request有一个meta属性，可以用于存储和传递附加数据，实际是一个dict。
11. 获取链接建议用正则表达式，解析整个HTML非常耗时，哪怕使用最快的lxml，依然会比Python里的正则表达式慢四倍以上。而且还有大量的不规范HTML，处理起来很麻烦。正则的问题是会匹配到script里的网址，可以简单总结一下遇到的不正常URL，过滤一下即可。
12. 实际爬抓时，爬取国内网站会有卡住一段时间的情况，几秒到十几秒下载流量为几k，过段时间恢复正常。爬取外国网站会有ConnectionLost的情况，原因不明。我采取的是比较暴力的方式，设置重试次数为1000次。或者修改一下代码，Scrapy用的中间件处理的错误重试，可以修改retry.py的代码，在多次重试失败的情况下，把URL存储到数据库或文件中。
13. Scrapy有一个比较坑的地方是二进制文件，Scrapy会爬取到二进制文件，Scrapy内置的二进制文件处理方式，是过滤扩展名，显然不能满足需求。Scrapy没有一个只获取URL HTTP头的功能。如果在获取URL的时候自己抓取HTTP头获取Content-Type会破坏twisted本身的机制，导致爬取异常缓慢。这里我的处理方法是写了一个中间件，发送请求的时候过滤扩展名，如果扩展名在黑名单中，再自己获取一下HTTP头。如果文件类型真的是二进制文件则放弃请求。
14. 中间件出现异常的时候Scrapy会直接退出，不会打印堆栈，写中间件的时候可以先try住，在except主动打印异常。
15. Scrapy自带cProfile，分析性能很管用。