Requests:Python HTTP Module学习笔记(二)(转)
在上一篇日志中对Requests做了一个整体的介绍,接来下再介绍一些高级的用法,主要资料还是翻译自官网的文档,如有错漏,欢迎指正。
参考资料:http://docs.python-requests.org/en/latest/user/advanced/
会话对象(Session Objects)
一个请求传递的参数,在另一个请求是无效的,不过会话对象允许跨请求的保存参数,还可以从会话实例中保存所有请求的cookies数据。
下面介绍一下在Requests中会话对象主要的API。
跨请求的保存cookies数据:
s = requests.Session() s.get('http://httpbin.org/cookies/set/sessioncookie/123456789')
r = s.get("http://httpbin.org/cookies") print r.text
# '{"cookies": {"sessioncookie": "123456789"}}'
传递到请求方法中任何字典类型的数据都会设置成会话级别的值,方法级别的参数会覆盖会话级别的参数。
删除一个字典类型的参数:
有时,想从会话中删除一个字典的键,要做到这一点,只要设置方法参数中键的值为None
,它就会自动的被删除掉。
请求和响应对象(Request and Response Objects)
每当调用requests.*()的请求方法时,主要做两个事情,第一个是构造一个请求对象对服务器发起请求或者查询一些资源。第二个是在请求从服务器获得一个响应时生成一个响应对象。响应对象包含从服务器返回的所有信息也包含最初构造的请求对象。以下这个例子是一个简单的请求从Wikipedia的服务器返回一些重要的信息:
>>> r = requests.get('http://en.wikipedia.org/wiki/Monty_Python')
如果想访问从服务器返回给我们的标头信息,可以这样做:
>>> r.headers
{'content-length': '56170', 'x-content-type-options': 'nosniff', 'x-cache':
'HIT from cp1006.eqiad.wmnet, MISS from cp1010.eqiad.wmnet', 'content-encoding':
'gzip', 'age': '3080', 'content-language': 'en', 'vary': 'Accept-Encoding,Cookie',
'server': 'Apache', 'last-modified': 'Wed, 13 Jun 2012 01:33:50 GMT',
'connection': 'close', 'cache-control': 'private, s-maxage=0, max-age=0,
must-revalidate', 'date': 'Thu, 14 Jun 2012 12:59:39 GMT', 'content-type':
'text/html; charset=UTF-8', 'x-cache-lookup': 'HIT from cp1006.eqiad.wmnet:3128,
MISS from cp1010.eqiad.wmnet:80'}
然而,如果想访问请求发送给服务器的标头信息:
>>> r.request.headers
{'Accept-Encoding': 'identity, deflate, compress, gzip',
'Accept': '*/*', 'User-Agent': 'python-requests/0.13.1'}
SSL证书验证(SSL Cert Verification)
Requests就像一个web浏览器一样,可以验证SSL证书和HTTPS请求,检查主机的SSL证书,可以使用verify
参数:
>>> requests.get('https://kennethreitz.com', verify=True)
requests.exceptions.SSLError: hostname 'kennethreitz.com' doesn't match either of '*.herokuapp.com', 'herokuapp.com'
https://kennethreitz.com
这个域名没有设置SSL证书,所以它验证失败了,Github就能通过验证:
>>> requests.get('https://github.com', verify=True)
<Response [200]>
默认情况下verify
的值为True,verify
选项只适用于验证主机的证书。
还可以指定本地的证书文件作为一个路径或键值对:
>>> requests.get('https://kennethreitz.com', cert=('/path/server.crt', '/path/key'))
<Response [200]>
如果指定一个错误的路径或无效的证书:
>>> requests.get('https://kennethreitz.com', cert='/wrong_path/server.pem')
SSLError: [Errno 336265225] _ssl.c:347: error:140B0009:SSL routines:SSL_CTX_use_PrivateKey_file:PEM lib
正文内容的工作流程(Body Content Workflow)
默认情况下,当发出一个请求,响应正文会立即被下载,你可以覆盖这个行为来推迟下载响应正文直到你通过stream
这个参数来访问Response.content属性:
tarball_url = 'https://github.com/kennethreitz/requests/tarball/master'
r = requests.get(tarball_url, stream=True)
这时候,只有响应的标头被下载和连接仍然保持打开,因此,我们可以有条件的检索内容:
if int(r.headers['content-length']) < TOO_LONG:
content = r.content
...
通过使用Response.iter_content
和Response.iter_lines
方法你可以进一步的控制工作流程,或者通过Response.raw
阅读底层urllib3的urllib3.HTTPResponse.
Keep-Alive
由于使用urllib3,在会话中keep-Alive是100%自动的,在一个会话中创建的任何请求都会自动使用适当的连接。
注意,当所有的正文数据已被读取,连接会被释放回池中以便重用;一定要设置stream
为False或者读取响应对象的content
属性。
流上传(Streaming Uploads)
Requests支持流上传,它允许你发送大量的流或文件而不读取到内存中,流上传,只需要为正文提供一个类似文件的对象:
with open('massive-body') as f:
request.post('http://some.url/streamed', data=f)
数据块编码请求(Chunk-Encoded Requests)
Requets还为传入和传出的请求提供块传输编码的支持,发送一个块编码的请求,为你的正文简单的提供一个生成器(或者任何没有长度的迭代器):
def gen():
yield 'hi'
yield 'there' request.post('http://some.url/chunked', data=gen())
事件钩子(Event Hooks)
Requests有一个hook系统,你可以用它来操纵部分请求过程,或者进行信号事件的处理。
可用的hooks:response
:
响应从一个请求产生。
根据每条请求可以指定一个hook函数通过一个{hook_name: callback_function}
字典类型的hook请求参数:
hooks=dict(response=print_url)
回调函数会收到一个块数据作为第一个参数。
def print_url(r):
print(r.url)
当执行回调的时候如果出现了错误,会给出一个警告。
如果回调函数返回一个值,就认为它是在传递时替换数据的,如果函数没有返回任何值,那它就没有什么其他的影响。
在运行时输出一些请求方法的参数:
>>> requests.get('http://httpbin.org', hooks=dict(response=print_url))
http://httpbin.org
<Response [200]>
自定义的身份验证(Custom Authentication)
Requests允许你使用指定的自定义的身份验证机制。
任何可调用的请求方法通过auth
参数,在派发之前可以修改请求。
身份验证很容易定义,都是继承于requests.auth.AuthBase
的子类。Requests提供两种常见的身份验证方案实现在requests.auth: HTTPBasicAuth
和HTTPDigestAuth
。
我们假装我们有一个web服务,它只会在标头的X-Pizza
被设置为一个密码值时返回响应,虽然不太可能,但只是用它就好:
from requests.auth import AuthBase class PizzaAuth(AuthBase):
"""Attaches HTTP Pizza Authentication to the given Request object."""
def __init__(self, username):
# setup any auth-related data here
self.username = username def __call__(self, r):
# modify and return the request
r.headers['X-Pizza'] = self.username
return r
然后,我们可以创建一个请求使用Pizza验证:
>>> requests.get('http://pizzabin.org/admin', auth=PizzaAuth('kenneth'))
<Response [200]>
流请求(Streaming Requests)
利用requests.Response.iter_lines()
方法,你可以轻松的遍历流API如Twitter Streaming API.
使用Twitter Streaming API去跟踪“requests”关键字:
import requests
import json r = requests.post('https://stream.twitter.com/1/statuses/filter.json',
data={'track': 'requests'}, auth=('username', 'password'), stream=True) for line in r.iter_lines():
if line: # filter out keep-alive new lines
print json.loads(line)
代理(Streaming Requests)
如果你需要使用一个代理,你可以在任何请求方法中使用proxies
参数配置单个请求:
import requests proxies = {
"http": "10.10.1.10:3128",
"https": "10.10.1.10:1080",
} requests.get("http://example.org", proxies=proxies)
你也可以通过环境变量HTTP_PROXY
和HTTPS_PROXY
来配置代理:
$ export HTTP_PROXY="10.10.1.10:3128"
$ export HTTPS_PROXY="10.10.1.10:1080"
$ python
>>> import requests
>>> requests.get("http://example.org")
为你的代理使用HTTP的基本认证,可以使用这样http://user:password@host/
的格式:
proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}
符合(Compliance)
编码(Encodings)
超文本传输协议(HTTP Verbs)
链接标题(Link Headers)
Requests:Python HTTP Module学习笔记(二)(转)的更多相关文章
- Requests:Python HTTP Module学习笔记(一)(转)
Requests:Python HTTP Module学习笔记(一) 在学习用python写爬虫的时候用到了Requests这个Http网络库,这个库简单好用并且功能强大,完全可以代替python的标 ...
- python3.4学习笔记(二十六) Python 输出json到文件,让json.dumps输出中文 实例代码
python3.4学习笔记(二十六) Python 输出json到文件,让json.dumps输出中文 实例代码 python的json.dumps方法默认会输出成这种格式"\u535a\u ...
- python3.4学习笔记(二十五) Python 调用mysql redis实例代码
python3.4学习笔记(二十五) Python 调用mysql redis实例代码 #coding: utf-8 __author__ = 'zdz8207' #python2.7 import ...
- python3.4学习笔记(二十四) Python pycharm window安装redis MySQL-python相关方法
python3.4学习笔记(二十四) Python pycharm window安装redis MySQL-python相关方法window安装redis,下载Redis的压缩包https://git ...
- python3.4学习笔记(二十三) Python调用淘宝IP库获取IP归属地返回省市运营商实例代码
python3.4学习笔记(二十三) Python调用淘宝IP库获取IP归属地返回省市运营商实例代码 淘宝IP地址库 http://ip.taobao.com/目前提供的服务包括:1. 根据用户提供的 ...
- python3.4学习笔记(二十二) python 在字符串里面插入指定分割符,将list中的字符转为数字
python3.4学习笔记(二十二) python 在字符串里面插入指定分割符,将list中的字符转为数字在字符串里面插入指定分割符的方法,先把字符串变成list然后用join方法变成字符串str=' ...
- python3.4学习笔记(二十一) python实现指定字符串补全空格、前面填充0的方法
python3.4学习笔记(二十一) python实现指定字符串补全空格.前面填充0的方法 Python zfill()方法返回指定长度的字符串,原字符串右对齐,前面填充0.zfill()方法语法:s ...
- python3.4学习笔记(二十) python strip()函数 去空格\n\r\t函数的用法
python3.4学习笔记(二十) python strip()函数 去空格\n\r\t函数的用法 在Python中字符串处理函数里有三个去空格(包括'\n', '\r', '\t', ' ')的函数 ...
- python3.4学习笔记(二) 类型判断,异常处理,终止程序
python3.4学习笔记(二) 类型判断,异常处理,终止程序,实例代码: #idle中按F5可以运行代码 #引入外部模块 import xxx #random模块,randint(开始数,结束数) ...
随机推荐
- HDU 4738 Caocao's Bridges
Caocao's Bridges Time Limit: 2000/1000 MS (Java/Others) Memory Limit: 32768/32768 K (Java/Others) ...
- 区域生长算法(附MATLAB代码实现)
一.理论概念 区域生长是按照事先定义的生长准则将一个像素或者子区域逐步聚合成一个完整独立的连通区域过程.对于图像感兴趣目标区域R,z为区域R上事先发现的种子点,按照规定的生长准则逐步将与种子点z一定邻 ...
- Openstack-Mitaka Ceilometer 中使用 SNMP 监控真实物理机
Ceilometer 是 Openstack 的监控管理计费模块,我所用的版本为 Mitaka 版本.在 Ceilometer 中,可以使用 SNMP 监控服务器的实时硬件资源信息. 系统环境为 Ce ...
- asp.net 配置 X-Frame-Options
近日网站在安全检查,送检的网站被反馈有以下问题 X-Frame-Options Header未配置 漏洞描述: 弱点描述: X-Frame-Options HTTP响应头可以指示浏览器是否允许当前网页 ...
- 学习总结 html一般标签的使用
body的属性: bgcolor 页面背景色 background 背景壁纸.图片 text 文字颜色 topmargin 上边距 leftmargin 左边距 rightmargin 右边 ...
- 【SSH 1】SSH框架的基本理解
导读:在结束了BS之后,接触到的第一个项目算是网上商城了.这次用到了和之前都不一样的框架:SSH.这个项目就和之前学牛腩一样,有着里程碑的意义.当然了,这也就意味着,什么都是新鲜的,接触到的东西,有时 ...
- 【Linux】自动化部署可信任登录
Linux信任登录,免密码登录的脚本: 需要安装expect,可以yum也可以编译安装,编译后注意脚本中的expect路径. rsa.exp #!/usr/bin/expect ########### ...
- python os模块sys模块常用方法
官方文档看这里 https://docs.python.org/3.5/library/os.html http://www.cnblogs.com/wupeiqi/articles/5501365. ...
- Windows server 共享文件夹权限设置
概念:共享权限应用于通过网络连接到共享文件夹的用户.共享权限不会影响本地登录或使用远程桌面登录的用户. 若要为本地登录用户或使用远程桌面登录的用户设置权限,请使用“安全”选项卡而不是“共享权限”选项卡 ...
- 逻辑回归的分布式实现 [Logistic Regression / Machine Learning / Spark ]
1- 问题提出 2- 逻辑回归 3- 理论推导 4- Python/Spark实现 # -*- coding: utf-8 -*- from pyspark import SparkContext f ...