进阶——scrapy登录豆瓣解决cookie传递问题并爬取用户参加过的同城活动©seven_clear

最近在用scrapy重写以前的爬虫，由于豆瓣的某些信息要登录后才有权限查看，故要实现登录功能。豆瓣登录偶尔需要输入验证码，这个在以前写的爬虫里解决了验证码的问题，所以只要搞清楚scrapy怎么提交表单什么的就OK了。从网上找了点资料，说要重写CrawlSpider的start_requests，在重写的函数里发个request，在其回调函数里提交表单。至于request是啥，参考scrapy文档（中文版：http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html）。废话少说，上代码。

重写start_requests：

def start_requests(self):
        return [Request('https://www.douban.com/accounts/login',
                        meta={'cookiejar': 1}
                        callback=self.post_login)]

Scrapy通过使用cookiejar Request meta key来支持单spider追踪多cookie session。 默认情况下其使用一个cookie jar(session)，不过可以传递一个标示符来使用多个。如meta={'cookiejar': 1}这句，后面那个1就是标示符。下面就是post_login函数了，这个函数主要是提交登录表单，要处理有验证码和无验证码两种情况：

def post_login(self, response):
        print 'Preparing login====', response.url
        # s = 'index_nav'
        html = urllib2.urlopen(response.url).read()
        # print 'htnl:', html
        # 验证码图片地址
        imgurl = re.search('<img id="captcha_image" src="(.+?)" alt="captcha" class="captcha_image"/>', html)
        if imgurl:
            url = imgurl.group(1)
            # 将图片保存至同目录下
            res = urllib.urlretrieve(url, 'v.jpg')
            # 获取captcha-id参数
            captcha = re.search('<input type="hidden" name="captcha-id" value="(.+?)"/>', html)
            if captcha:
                vcode = raw_input('请输入图片上的验证码：')
                return [FormRequest.from_response(response,
                                                  meta={'cookiejar': response.meta['cookiejar']},
                                                  formdata={
                                                      'source': 'index_nav',
                                                      # 'source': s,
                                                      'form_email': 'your_email',
                                                      'form_password': 'your_password',
                                                      'captcha-solution': vcode,
                                                      'captcha-id': captcha.group(1),
                                                      'user_login': '登录'
                                                  },
                                                  callback=self.after_login,
                                                  dont_filter=True)
                        ]
        return [FormRequest.from_response(response,
                                          meta={'cookiejar': response.meta['cookiejar']},
                                          formdata={
                                              'source': 'index_nav',
                                              # 'source': s,
                                              'form_email': 'your_email',
                                              'form_password': 'your_password'
                                          },
                                          callback=self.after_login,
                                          dont_filter=True)
                ]

这里通过meta传递cookie（为什么要传cookie，因为cookiejar meta key不是“粘性的”），并且source：index_nav这句是必须的，如果没有这句会登录不上，dont_filter是为了不过滤，因为前面写了自定义的Rule（后面会贴出代码），下面就是回调的after_login函数了：

def after_login(self, response):
        print 'after_login============'

        for url in self.start_urls:
            print '======url:', url
            # 上面定义了Rule，这里只需要生成初始爬取Request即可
            req = Request(url, meta={'cookiejar': response.meta['cookiejar']})

            yield req

这里同样用meta传递cookie，不过这样是不成功的，运行时老是302重定向，肯定是cookie没传过去，后来找到一种方法，要重写下面的这个方法：

def _requests_to_follow(self, response):

        if not isinstance(response, HtmlResponse):
            return
        seen = set()
        for n, rule in enumerate(self._rules):
            links = [l for l in rule.link_extractor.extract_links(response) if l not in seen]
            if links and rule.process_links:
                links = rule.process_links(links)
            for link in links:
                seen.add(link)
                r = Request(url=link.url, callback=self._response_downloaded)
                # 下面这句是重写的
                r.meta.update(rule=n, link_text=link.text, cookiejar=response.meta['cookiejar'])
                yield rule.process_request(r)

重写那句是每次更新meta都将cookie也更新了，这样传递即可cookie。当然，我这么菜，肯定不是自己想出来的（->_->）©seven_clear
最关键一步，在配置文件里启用cookie，在settings里设置COOKIES_ENABLED=True。如果想看cookie的传递信息，可设置COOKIES_DEBIG=True（别问我怎么知道的，文档上看的）
登录问题解决了，就搞点事，网上爬电影的一大堆，不想盲目随大流，搞个同城爽一下，爬别的模块看下网页源码，稍微动一下脑子就能搞出来。首先要把规则写好，在rules里加上同城的Rule：

Rule(SgmlLinkExtractor(allow=(r'https://www.douban.com/location/people/[0-9a-zA-Z]*/events/attend$')),
             callback='parse_eventlist'),

SgmLinkExtractor是用来筛选链接的，用法最好还是看文档（文档往往是最好的参考资料）。

哦哦，还得确定爬取哪些内容，写一个Item，随便打开几个活动页面，发现活动都有时间、地点、费用、类型、主办方（发起人）这五项，则爬取这些信息：

class EventItem(Item):
    itype = Field()  # 类型
    title = Field()  # 活动标题
    time = Field()  # 时间
    address = Field()  # 地点
    fee = Field()  # 费用
    etype = Field()  # 类型
    actor = Field()  # 发起人/主办方

写好Item，还要处理Item，ItemPipiLines就是干这事的，这里将数据写入json，如果爬的数据量很大，json就不太合适了，可以用JsonLinesItemExporter，每个Item一项，具体用法以后应该会写个例子。pipeline代码：

class EventPipeLine(object):
    def __init__(self):
        self.file = codecs.open('event.json', 'w', encoding='utf-8')

    def process_item(self, item, spider):

        if item['itype'] is not 'event':
            return item
        name = json.dumps('活动名：' + str(item['title']), ensure_ascii=False) + '\n'
        time = json.dumps('时间：' + str(item['time']), ensure_ascii=False) + '\n'
        address = json.dumps('地点：' + str(item['address']), ensure_ascii=False) + '\n'
        fee = json.dumps('费用：' + str(item['fee']), ensure_ascii=False) + '\n'
        etype = json.dumps('类型：' + str(item['etype']), ensure_ascii=False) + '\n'
        actor = json.dumps('发起人/主办方：' + str(item['actor']), ensure_ascii=False) + '\n'
        line = name + owner + time + address + fee + etype + actor
        self.file.write(line)
        self.file.write('==================================================\n')
        return item

    def spider_closed(self, spider):
        self.file.close()

这样的代码在网上烂大街了，自己看看理解思路就行，ensure_ascii=False解决写入时中文乱码问题。对了，item类里有两个类型，注释没写好，itype是说明Item类的类型，即这个item是处理什么类型的数据（电影、音乐或者同城等等），下面那个etype是活动详情页里的那个类型（活动的），在pipeline里用itype来判断item的类型，这只是一个思路，当爬的模块多的时候避免pipeline冲突，因为我爬的模块多，设置pipeline优先级后老冲突，爬取过程中返回的item顺序不一定和pipeline的顺序一致，于是就加了这么一个字段判断，当然要把各pipeline的优先级设一样（在settings里设置ITEM_PIPELINES）。

都OK了，可以写rule里的回调函数了，流程大致为：从用户主页筛选用户同城活动链接->进入链接后筛已过期链接（参加过的当然是已过期）->进入链接筛活动列表->对列表的活动进入详情页筛要爬的数据©seven_clear。一个三个函数：

def parse_eventlist(self, response):
        print 'url=====', response.url
        url = response.url
        nextp = url + '/expired'
        print 'nextpage:', nextp
        req = Request(nextp, callback=self.event_list)
        # ===========================================================================
        req.meta['cookiejar'] = response.meta['cookiejar']  # 传递cookie
        # ===========================================================================
        yield req

    def event_list(self, response):
       page = response.body
        soup = BeautifulSoup(page, 'html.parser')
        # 获取条目总页数
        pagenum = soup.find("span", {"class", "thispage"})['data-total-page'] \
            if soup.find("span", {"class", "thispage"}) else 0
        print 'before====pagenum===:', pagenum
        print 'type:', type(pagenum)
        if int(pagenum) > 5:
            pagenum = 5
        print '====pagenum===:', pagenum
        # 获取当前页数
        thispage = soup.find("span", {"class", "thispage"}).next_element \
            if soup.find("span", {"class", "thispage"}) else 0
        print 'thispage:', thispage
        # 获取下一页链接
        if soup.find('span', {'class': 'next'}).find('a'):
            nexturl = soup.find('span', {'class': 'next'}).find('a')['href']
            nexturl = 'https://www.douban.com' + nexturl
            print 'nexturl:', nexturl
        result = soup.findAll("div", {"class": "info"})
        print 'num:', len(result) - 1
        for item in result:
            if item.find('h1'):  # 去除杂项
                pass
            else:
                event_url = item.find('a')['href']
                # print '========================================='
                # print 'address:', item.find('a')['href']
                req = Request(event_url, callback=self.parse_event)  # 请求条目详情页
                # ===========================================================================
                req.meta['cookiejar'] = response.meta['cookiejar']  # 传递cookie
                # ===========================================================================
                yield req
        print '==========page', thispage, 'print done!============'
        if int(thispage) < int(pagenum):  # 若当前页不到最后页或者指定页数，则请求下一页
            req = Request(nexturl, callback=self.event_list)
            # ===========================================================================
            req.meta['cookiejar'] = response.meta['cookiejar']  # 传递cookie
            # ===========================================================================
            yield req

    def parse_event(self, response):
        sel = Selector(response)
        item = EventItem()
        item['itype'] = 'event'
        item['title'] = sel.xpath('//*[@id="event-info"]/div[1]/h1/text()').extract()[0].strip()
        item['time'] = sel.xpath('//*[@id="event-info"]/div[1]/div[1]/ul/li/text()').extract()[0]
        item['address'] = ''.join(sel.xpath('//*[@id="event-info"]/div[1]/div[2]/span[2]/span/text()').extract())
        item['fee'] = sel.xpath('//*[@id="event-info"]/div[1]/div[3]/text()').extract()[1].strip()
        item['etype'] = sel.xpath('//*[@id="event-info"]/div[1]/div[4]/a/text()').extract()[0]
        item['actor'] = sel.xpath('//*[@id="event-info"]/div[1]/div[5]/a/text()').extract()[0]
        yield item
       

在实现过程中还是有些坑的，比如判断总页数的时候，因为爬的数据是Unicode类型的，要转为int再与指定页数比较，不然可能会有这种情况（假设指定页数为5）：活动总页数是4，但是if pagenum > 5的结果是True，导致爬取过程中出错；还有下一页的链接是不全的，要在前面加上前缀；活动的地址分级不一样，可以都爬下来用join方法连接起来。处理event信息是用xpath，这个很好用，可以看一下。

这样就O了，做出来觉得没什么，但做的过程是很曲折的，主要是思路的突破口，看了说一句这很简单也不容易，背后还是要付出点的，继续前行©seven_clear

对了，还有要import的东西，这里提一下：

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector  # 选择器，xpath找数据
from ..items import EventItem  # 导入item
import re  #以下3个用于验证码登录时下载验证码
import urllib
import urllib2
from scrapy.http import Request, FormRequest, HtmlResponse  # 表单登录

最后一句，我是菜鸟，别介意我的代码烂，哈哈哈