python爬虫（6）--Requests库的用法

1.安装

利用pip来安装reques库，进入pip的下载位置，打开cmd，默认地址为

C:\Python27\Scripts

可以看到文件中有pip.exe，直接在上面输入cmd回车，进入命令行界面，输入下载指令即可下载

pip install requests

2.基本请求

requests库提供了http所有的基本请求方式。

r = requests.get("http://httpbin.org/get")
r = requests.post("http://httpbin.org/post")
r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/head")
r = requests.options("http://httpbin.org/options")

1）基本GET请求

一个简单的例子

import requests

word = {'key1': 'value1', 'key2': 'value2'}
headers = {'content-type': 'application/json'}
r = requests.get("http://httpbin.org/get", params=word, headers=headers)
print r.url
print type(r)
print r.status_code
print r.encoding
print r.cookies

这里requests.get可以打开网址，如果想要加参数，可以利用 params 参数，如果想添加 headers，可以传 headers 参数。得到结果如下：

http://httpbin.org/get?key2=value2&key1=value1
<class 'requests.models.Response'>
200
None
<RequestsCookieJar[]>

2）基本POST请求

对于 POST 请求来说，我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

以表单形式传送数据：

import requests

word = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=word)
print r.text

运行结果

{
  "args": {},
  "data": "",
  "files": {},
  "form": {
    "key1": "value1",
    "key2": "value2"
  },
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "",
    "Content-Type": "application/x-www-form-urlencoded",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4"
  },
  "json": null,
  "origin": "211.69.161.114",
  "url": "http://httpbin.org/post"
}

传JSON格式的数据，可以用 json.dumps() 方法把表单数据序列化：

import requests
import json

word = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=json.dumps(word))
print r.text

运行结果

{
  "args": {},
  "data": "{\"key2\": \"value2\", \"key1\": \"value1\"}",
  "files": {},
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4"
  },
  "json": {
    "key1": "value1",
    "key2": "value2"
  },
  "origin": "211.69.161.114",
  "url": "http://httpbin.org/post"
}

通过上述方法，我们可以POST JSON格式的数据

上传文件，直接用 file 参数

新建一个test.txt里面写上一段话：hello，zcx~

import requests

files = {'file': open('test.txt', 'rb')}
r = requests.post("http://httpbin.org/post", files=files)
print r.text

运行结果

{
  "args": {},
  "data": "",
  "files": {
    "file": "hello zcx~"
  },
  "form": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Content-Length": "",
    "Content-Type": "multipart/form-data; boundary=1908d06ba8ed4066b557bf5e44359eaa",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4"
  },
  "json": null,
  "origin": "211.69.161.114",
  "url": "http://httpbin.org/post"
}

requests 是支持流式上传的，这允许你发送大的数据流或文件而无需先把它们读入内存。要使用流式上传，仅需为你的请求体提供一个类文件对象即可

import requests

with open('test.txt') as f:
    a = requests.post('http://httpbin.org/post', data=f)
print a.text

3.Cookies

如果一个响应中包含了cookie，那么我们可以利用 cookies 变量来拿到

import requests

url = 'http://example.com'
r = requests.get(url)
print r.cookies

另外可以利用 cookies 变量来向服务器发送 cookies 信息

import requests

url = 'http://httpbin.org/cookies'
cookies = dict(cookies_are='working')
r = requests.get(url, cookies=cookies)
print r.text

运行结果：

{
  "cookies": {
    "cookies_are": "working"
  }
}

4.超时配置

可以利用 timeout 变量来配置最大请求时间

requests.get('https://www.baidu.com', timeout=0.1)

注：timeout 仅对连接过程有效，与响应体的下载无关。

也就是说，这个时间只限制请求的时间。即使返回的 response 包含很大内容，下载需要一定时间

5.会话对象

在以上的请求中，每次请求其实都相当于发起了一个新的请求。也就是相当于我们每个请求都用了不同的浏览器单独打开的效果。也就是它并不是指的一个会话，即使请求的是同一个网址

很明显，这不在一个会话中，无法获取 cookies，那么在一些站点中，我们需要保持一个持久的会话怎么办呢？就像用一个浏览器逛淘宝一样，在不同的选项卡之间跳转，这样其实就是建立了一个长久会话

解决方案如下

import requests

s = requests.Session()
s.get('http://httpbin.org/cookies/set/sessioncookie/123456')
r = s.get("http://httpbin.org/cookies")
print r.text

这里我们请求了两次，一次是设置 cookies，一次是获得 cookies

运行结果

{
  "cookies": {
    "sessioncookie": ""
  }
}

发现可以成功获取到 cookies 了，这就是建立一个会话到作用。

会话是一个全局的变量，可以用来全局的配置

import requests

s = requests.Session()
s.headers.update({'x-test': 'true'})
r = s.get('http://httpbin.org/headers', headers={'x-test2': 'true'})
print r.text

运行结果

{
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.18.4",
    "X-Test": "true",
    "X-Test2": "true"
  }
}

如果get方法传的headers 同样也是 x-test ，那么它会覆盖掉全局变量。如果不想要全局配置中的一个变量了，设置为 None 即可

headers = {'x-test': None}

6.SSL证书验证

现在随处可见 https 开头的网站，Requests可以为HTTPS请求验证SSL证书，就像web浏览器一样。要想检查某个主机的SSL证书，可以使用 verify 参数

import requests

r = requests.get('https://kyfw.12306.cn/otn', verify=True)
print r.text

如果想跳过证书验证，把 verify 设置为 False 即可，就可以正常请求了。在默认情况下 verify 是 True，所以如果需要的话，需要手动设置下这个变量。

7.代理

如果需要使用代理，可以通过为任意请求方法提供 proxies 参数来配置单个请求

import requests

proxies = {
    "https": "http://41.118.132.69:4433"
}
r = requests.post("http://httpbin.org/post", proxies=proxies)
print r.text

也可以通过环境变量 HTTP_PROXY 和 HTTPS_PROXY 来配置代理

export HTTP_PROXY="http://10.10.1.10:3128"
export HTTPS_PROXY="http://10.10.1.10:1080"