Scrapy基础(十四)————知乎模拟登陆

#-*-coding:utf-8 -*-
__author__ = "ruoniao"
__date__ = "2017/5/31 20:59"

之前我们通过爬取伯乐在线的文章,伯乐在线对爬取没有什么限制，这次爬取知乎，就有了爬取限制，首先就是
登录限制；为破解限制，首先就是模拟登录

模拟登陆首先要明白的就是session和cookie机制:

简单的说(个人理解):
  http是一种无状态的协议，为解决用户每次都需要输入密码登录的烦恼，也为了服务器能够记住每次请求的浏览器，就有了会话机制，

就是每次对话不需要问你是谁，浏览器只需要将服务器原先发送给浏览器的ID原封不动的还给服务器，这样服务器就可以在自己的
数据库中查找这个ID就可以，而只有这个ID是没用的，若想要用户登录,还需要用用户名和密码,加密后以cookie的形式存储在本地，

下次请求直接发送给服务器就行

总之：为了服务器和浏览器之间互相确认身份，服务器生成一个session_id并且保存在服务器，还有给浏览器一份，浏览器将这个session_id写入cookie,

发送给服务器，服务器对照自己保存在本地的，就能互相确认身份；不同的是：cookie中还带了用户的个人信息等

　　　　
        cookie是存储在本地的记录某个网站的个人信息的机制
        session是存储在服务器中的记录某个浏览器(用户)的信息的机制，更安全；
具体理解可参考这篇文章

不同的网站模拟登录的策略不同，不同的网站要进行不同的分析；但都是大同小异；做过web的明白，无非就是用户的验证；较难的就是识别验证码了

知乎的登录破解：

1:这里遇到了坑，因为在firebug中测试时，post到url时没有填写验证码；而通过requests post到URL
   具体参数时报错：验证码错误，这就很纳闷了；
    2：原来：当向首页get时，因为有cookies,所以登录时就不需要填写验证码；通过代码时没有加cookies,需要填写验证码
    而验证码不好识别，只能更换思路
    3: 模拟浏览器的行为，若当初为取的xsrf时get带上cookie，下次登录就不需要验证码了
    4：那么怎么才能将cookie post到URL呢？了解requests.post()方法的知道：post()可带的参数很多
    其中cookies= {}或CookieJar
    5:将cookies以字典的形式post方便操作，只需要在firebug中的cookies复制为字典的格式
       以CookieJar的形式：因为cookie是保存在硬盘的，可以参考这篇博文

6：因为cookie是有生存周期的额，为了下面重新登录，可以将登录后的cookie以txt的形式保存在本地，下次直接load就可以

实例代码注释

 import requests
 #适合python2和python3版本的导包
 try:
     import cookielib
 except:
     import http.cookiejar as cookielib
 import re
 from urllib import parse, request

 #使用会话机制向url发送request,提高效率，不必每次都发请求(类比浏览器直接在本标签页操作，不需重新产生新的标签页)
 session = requests.session()
 #将会话产生的cookies保存在本地
 session.cookies = cookielib.LWPCookieJar(filename="cookies.txt")

 #浏览器版本信息，目的是伪装成一个浏览器，让服务器认为我们的代码是一个浏览器请求而不是爬虫，避免被拒绝
 headers = {
     "User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64; rv:53.0) Gecko/20100101 Firefox/53.0",
     "Host":"www.zhihu.com",
     "Referer":"https://www.zhihu.com/",
 }

 #获取登录xsrf
 def get_xsrf():

     url = "https://www.zhihu.com/#signin"

     try:
         #带上cookie,避免产生验证码识别
         req = session.get(url=url,cookies=cookies,headers=headers)
         #通过正则表达式解析出 xsrf 类比csrf机制
         xsrf = re.findall('<input type="hidden" name="_xsrf" value="(.*?)"/>',req.text)
         if xsrf:
             xsrf = xsrf[0]
             print(xsrf)
             return xsrf
         else:
             return xsrf
     except Exception as e:
         print(e)
         print("failed download")

 #知乎登录
 def zhihu_login(account,password):

     #首先获取xsrf
     xsrf = get_xsrf()
     #判断是手机号：以手机号登录，提交表单和提交URL不同，构造不同的URL和表单
     if re.match("\d{10}",account):

         url = "https://www.zhihu.com/login/phone_num"
         data={
             "_xsrf":xsrf,
             'remember_me': 'true',
             "password":password,
             "phone_num":account
         }
     if '@' in account:
         url = "https://www.zhihu.com/login/email"
         data={
             "_xsrf":xsrf,
             'remember_me': 'true',
             "password":password,
             "email":account
         }
     #将获取到的xsrf加载到cookie中
     cookies["_xsrf"] = xsrf
     #带上表单，头信息，cookies申请登录
     r = session.post(url=url,data=data,headers=headers,cookies=cookies)
     print(r.text)
     #登录成功将cookies保存到本地
     session.cookies.save()

 #获取首页;登录后可直接获取，因为session中已经(带了)加载了cookie
 def get_index():
     response = session.get("https://www.zhihu.com/",headers=headers)
     print(response.status_code)
     #将首页写入本地文件
     with open("index_page.html","wb") as f:
         f.write(response.text.encode("utf-8"))
     print("write ok")

 #查看登录状态;向一个只有登录的页面get,若登录会返回200；否则304，会重定向到登录页(重定向后会返回200)
 def is_login():
     url = "https://www.zhihu.com/inbox"
     #allow_redirects  禁止重定向
     response  = session.get(url=url,headers=headers,allow_redirects=False)
     #判断是否登录
     if response.status_code != 200:
         return False
     else:
         return True

 #先尝试本地cookie登录，不成功使用浏览器copy下来的cookies重新登录,生成本地cookies
 try:
     #先尝试加载之前保存在本地的cookies
     session.cookies.load(ignore_discard=True)
     print("cookies 已记载")
 except:
     #没加载就重新登录
     print("cookie 未加载")
     #这个cookie是从firebug中复制来的
     cookies = {
     "d_c0":"",
     "l_cap_id":"",
     "r_cap_id":"",
     "cap_id":"",
     "_zap":"",
     "__utmc":"",
     "__utmb":"",
     "__utmv":"",
     "__utma":"",
     "__utmz":"",
     "q_c1":""
 }
     #调用登录函数,成功后会更新cookie到本地
     zhihu_login("342200377@qq.com","")
     #更新成功后重新加载cookies
     session.cookies.load(ignore_discard=True)

 print(is_login())