requests高级用法

会话对象

当你向同一主机发送多个请求时，session会重用底层的tcp连接，从而提升性能，同时session也会为所有请求保持 cookie。

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# __author__:kzg
import requests

s = requests.Session()
# 此地址cookie为空
r = s.get('http://httpbin.org/cookies')
print(r.text)
结果：
{
  "cookies": {}
}

　　session可以保持cookie来访问后续同一服务器上的地址

#!/usr/bin/env python
# -*- coding:utf-8 -*-
# __author__:kzg
import requests

s = requests.Session()
r = s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
print(r.text)
# cookie被保持来访问此url
rc = s.get('http://httpbin.org/cookies')
print(rc.text)

结果：
{
  "cookies": {
    "sessioncookie": "123456789"
  }
}

{
  "cookies": {
    "sessioncookie": "123456789"
  }
}

　　

　　可以修改session的属性(cookies,headers)来为请求方法(get,post)提供缺省数据，可保跨请求保持。

# -*- coding:utf-8 -*-
# __author__:kzg
import requests
# 生成session对象
s = requests.Session()
print(s.headers)
# 修改session属性
s.headers.update({'User-Agent':'kong'})
print(s.headers)
r = s.get('http://httpbin.org/headers')
print(r.text)
结果：
{'Connection': 'keep-alive', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'User-Agent': 'python-requests/2.18.1'}
{'Connection': 'keep-alive', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'User-Agent': 'kong'}
{
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "kong"
  }
}

 

　也可以通过传递方法层的参数来提供缺省数据，它会与已设置的会话层数据合并，不能跨请求保持。

# -*- coding:utf-8 -*-
# __author__:kzg
import requests
# 生成session对象
s = requests.Session()
# 修改session属性
s.headers.update({'User-Agent':'kong'})
# 方法级参数cookies
r = s.get('http://httpbin.org/headers',cookies={'from-my': 'browser'})
print(r.text)
# 方法级参数不能被保持到下一个请求
r1 = s.get('http://httpbin.org/headers')
print(r1.text)
结果：
{
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Cookie": "from-my=browser",
    "Host": "httpbin.org",
    "User-Agent": "kong"
  }
}

{
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Connection": "close",
    "Host": "httpbin.org",
    "User-Agent": "kong"
  }
}

　　

　　请求与响应对象

你任何时间调用requests.*()的时候，都是在做两件重要的事情。

　　1、你在构建request对象，并把它发送到某服务器去请求或查询一些资源

　　2、产生response对象来接收从服务器返回的所有响应，也包含你创建的request对象

# _*_ coding: utf-8 _*_
import requests

# 生成一个会话对象
s = requests.Session()

r = requests.get('http://en.wikipedia.org/wiki/Monty_Python')
# 服务器返回来的头部信息
print r.headers
# 发送给服务器的头部信息
print r.request.headers

　　

　　工作流响应体内容

如果你在请求中使用了stream=True:

　　1、仅有响应体会被立即下载，只有当访问response.content属性时响应体才会被下载

　　2、此时连接保持打开状态，需要调用response.close来关闭连接

　　3、连接效率低下

# _*_ coding: utf-8 _*_
import requests

tarball_url = 'https://github.com/kennethreitz/requests/tarball/master'
r = requests.get(tarball_url, stream=True)
print r.headers['content-length']
结果：
3336071

　　

　　文件上传

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests

url = 'http://httpbin.org/post'
files = {'file': open('D:\\projects\\blog\\my_temp.xlsx', 'rb')}
ret = requests.post(url, files=files)
print(ret.text)

　　

　　设置文件名、文件类型和请求头

#!/usr/bin/python3
# -*- coding: utf-8 -*-
import requests

url = 'http://httpbin.org/post'
files = {'file': ('my_temp.xlsx',open('D:\\projects\\blog\\my_temp.xlsx', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}
ret = requests.post(url, files=files)
print(ret.text)

　　

 　　流式上传

允许你在请求中发送大的数据流或文件,此时requests会根据文件大小来设置headers中的content-length,所以文件最好以二进制方式打开

with open('massive-body','rb') as f:
    requests.post('http://some.url/streamed', data=f)

　　

　　为请求设置代理

如果需要为请求设置代理，只需要给相应的请求提供proxies参数即可。

方法一、

$ export HTTP_PROXY="http://10.10.1.10:3128"
$ export HTTPS_PROXY="http://10.10.1.10:1080"

$ python
>>> import requests
>>> requests.get("http://example.org")

方法二、

# _*_ coding: utf-8 _*_
import requests

proxies={
    "http":"http://10.10.1.10:3128",
    "https":"http://10.10.1.10:1080",
}

r = requests.get("http://example.org",proxies=proxies)

　　

　　超时

为防止服务器不能及时响应，大部分发至外部服务器的请求都应该带着 timeout 参数

# _*_ coding: utf-8 _*_
import requests

# 同时设置connect,read的timeout
r = requests.get('https://github.com', timeout=5)
# 分别设置connect和read的timeout
r = requests.get('https://github.com', timeout=(3.05, 27))
# 永久等待，直到读完
r = requests.get('https://github.com', timeout=None)