ken桑带你读源码 之scrapy scrapy\extensions

logstats.py

爬虫启动时 打印抓取网页数   item数

memdebug.py

爬虫结束 统计还被引用的内存 也就是说gc 回收不了的内存  　　

memusage.py

监控爬虫 内存占用  一旦超过 MEMUSAGE_LIMIT_MB  就stop spider  如果启动email  还会发送邮件     抓取过程中 还会统计 内存占用的峰值

spiderstate.py

爬虫启动时 把state 对象 读出来  关闭时 写回去

statsmailer.py

把爬虫全局统计信息  和 单个spider 的 统计信息发送到  email

telnet.py

启动telnet 服务器

throttle.py

这个是自动限速的

debug.py

捕捉 signal.SIGUSR2    进入调试状态  Pdb().set_trace(frame.f_back)

closespider.py

监控  爬虫错误次数  抓取次数   达到阀值即close spider