scrapy中crawlspide中callback和follow函数的作用及使用方法

Rule(LinkExtractor(allow=r'i/tems'),callback='parse_item',follow=True)  当前代码的含义就是将当前页面及按照allow=r'i/tems'规则找出来的url的代码返回给callback='parse_item'或者供下一个rule使用。

1.在这句函数中，allow表示：

2.callback是一个解析函数，就是需要解析出页面中需要的内容：

def parse_item(self,response):

　　response.xpath("//div[@class='ksdjfk']")

如果在当前页面仅仅需要找出子页面的url，那么就不需要写这个参数，直接删除掉callback='parse_item',

3.follow表示的是需要不需要跟进，,follow=True就是当前页面没有把全部的页面都展现出来，例如：下面的页面之中没有第4页的url，只有当页面处于第3页时才会出来第4页及以后的url，如果,follow=False，那么就不需要跟进，当前页面中有需要的所以url。