爬虫学习（二）requests模块的使用

一、requests的概述

requests模块是用于发送网络请求，返回响应数据。底层实现是urllib，而且简单易用，在python2、python3中通用，能够自动帮助我们解压(gzip压缩的等)网页内容。

二、requests的基本使用

1、基本使用：

• 安装requests模块： pip install requests
• 导入模块：import reqeusts
• 发送请求，获取响应：response = requests.get(url)
• 从响应中获取数据

2、方法：

（1）requests.get(url, params=None, **kwargs)，发送一个get请求，返回一个Response对象

• url：请求的url
• params：get请求的?后面可选参数字典
  方式一：自己拼接一个带有参数的URL，比如"https://www.sogou.com/web?query={}"
  方式二：在发送请求时，使用params指定，格式requests.get("url", params={})
• **kwargs：可选参数
  headers：请求头参数字典。
  

  # 请求头格式
  headers = {
      "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36"
  }
  requests.get(url, headers=headers)

  proxies：代理参数字典。

  # 代理格式
  proxies = {
      "http": "http://ip:端口号",
      "https": "https://ip:端口号"
  }
  requests.get(url, proxies=proxies)
  
  # 使用需要账号和密码的代理
  proxies = {
       "http":"http://username:password@ip:端口号",
       "https": "https://username:password@ip:端口号"
  }
  request.get(url, proxies=proxies)

  cookies：cookies参数字典。
  verify：请求SSL证书验证。
  timeout：设置超时。能够加快整体的请求速度。

（2）requests.post(url, data=None, json=None, **kwargs)，发送一个post请求

• url：
• data：
• json：
• **kwargs：可选参数
  headers：请求头参数字典
  proxies：代理参数字典。
  cookies：cookies参数字典。
  

（3）requests.util.dict_from_cookiejar(cj)：把cookie对象转化为字典

• cj：cookie对象（response.cookies）

（4）requests.util.quote(url)：URL编码

（5）requests.util.unquote(url)：URL解密

3、对象：

（1）Response对象，是发送请求后的响应对象

常用属性：

• Response.text：str类型的响应数据
• Response.content：二进制类型的响应数据
• Response.status_code：响应状态码
• Response.headers：响应头
• Response.request.headers：请求头
• Response.json() ：获取json类型的响应数据，如果返回的数据不是json类型就不能使用

三、代理

在requests模块中使用代理发送请求的原因是：如果使用一个固定IP不断的发送请求，服务器会认为这样的操作不是人干的，就把你的IP给封了，而且还会根据你的IP快速锁定你。

代理的分类：

1、正向代理：

• 客户端知道代理的存在，正向代理是为了保护客户端，防止被追踪。
• 服务端不知道真实的客户端。

2、反向代理：

• 服务器端知道代理的存在，反向代理是为了保护服务器或负责负载均衡。
• 客户端不知道代理的存在。

代理IP的分类

1、根据匿名程度：

• 透明代理：透明代理虽然可以直接隐藏你的IP地址，但是还是可以查到你是谁。
• 匿名代理：别人只能知道你用了代理，无法知道你是谁。
• 高匿代理：让别人根本无法发现你是在用代理，所以是最好的选择。

2、根据请求的协议：

• http代理
• https代理
• socket代理

不同分类的代理，在使用的时候需要根据抓取网站的协议来选择。

使用代理IP的注意点：

• 反反爬：使用代理IP时使用随机的方式进行选择使用，不要每次都使用一个代理IP。
• 更新代理IP池：购买的代理IP很多时候大部分可能无法使用了，需要通过程序去检验哪些可用，把不能用的删除掉。

  import random
  import requests
  # 1. 准备代理列表
  proxies = [
      {'http': '121.8.98.198:80'},
      {'http': '39.108.234.144:80'},
      {'http': '125.120.201.68:808'},
      {'http': '120.24.216.39:60443'},
      {'http': '121.8.98.198:80'},
      {'http': '121.8.98.198:80'}
  ]
  
  # 2. 随机选出一个代理
  for i in range(0, 10):
       proxy = random.choice(proxies)
       print(proxy)
       try:
             response = requests.get("http://www.baidu.com", proxies=proxy, timeout=3)
             print(response.status_code)
       except Exception as ex:
             print("代理有问题: %s" % proxy)

 四、获取服务器端登录后的资源

三种方式：

• 发送请求的时候，在headers中指定cookie字符串。

  headers = {
      "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
      # "Cookie": cookie_str
  }

• 发送请求的时候，通过cookies参数指定，是一个字典。
  

  response = requests.get(url, headers= headers, cookies=cookie_dic)

• 使用session进行登录，登录后使用session访问登录后资源，这时session会自动携带cookie信息。

• import requests
  
  # 1. 获取session对象
  session = requests.session()
  
  headers = {
          "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
  }
  
  # 2. 使用session对象,进行登录,登录后seesion对象会记录用户相关的cookie信息
  login_url = "http://www.renren.com/PLogin.do"
  data = {
     "email":"15565280933",
     "password":"a123456"
  }
  
  response = session.post(login_url, data=data, headers=headers)
  print(response.status_code)
  print(response.content.decode())
  # 3. 再使用记录cookie信息对象session访问个人主页
  profile_url = "http://www.renren.com/965194180/profile"
  response = session.get(profile_url)

五、retrying模块的使用

如果访问速度很慢，可以选择刷新页面，在代码中使用retrying模块刷新请求，通过装饰器的方式，让被装饰的函数反复执行。

@retry(stop_max_attempt_number=3)，让函数报错后继续重新执行，达到最大执行次数的上限，如果每次都报错，整个函数报错，如果中间有一个成功，程序继续往后执行

• stop_max_attempt_number：最大重试次数。

import requests
from retrying import retry

headers = {}

#最大重试3次，3次全部报错，才会报错
@retry(stop_max_attempt_number=3)
def _parse_url(url)
    #超时的时候会报错并重试
    response = requests.get(url, headers=headers, timeout=3)
    #状态码不是200，也会报错并重试
    assert response.status_code == 200
    return response

def parse_url(url)
    try: #进行异常捕获
        response = _parse_url(url)
    except Exception as e:
        print(e)
        #报错返回None
        response = None
    return response