http://blog.csdn.net/pipisorry/article/details/48086195

requests简介

requests是一个很实用的Python HTTP客户端库，编写爬虫和测试服务器响应数据时经常会用到。大神kennethreitz的作品，简易明了的HTTP请求操作库, 是urllib2的理想替代品。requests is an elegant HTTP library。API简洁明了，这才是Python开发者喜欢的。

requests跟urllib，urllib2类似，但是python的标准库urllib2提供了大部分需要的HTTP功能，但是API太逆天了，一个简单的功能就需要一大堆代码。

Requests 使用的是 urllib3，因此继承了它的所有特性。Requests 支持 HTTP 连接保持和连接池，支持使用 cookie 保持会话，支持文件上传，支持自动确定响应内容的编码，支持国际化的 URL 和 POST 数据自动编码。现代、国际化、人性化。

requests的功能特性
Requests 完全满足如今网络的需求：
国际化域名和 URLs
Keep-Alive & 连接池
持久的 Cookie 会话
类浏览器式的 SSL 加密认证
基本/摘要式的身份认证
优雅的键/值 Cookies
自动解压
Unicode 编码的响应体
多段文件上传
连接超时
支持 .netrc
适用于 Python 2.6—3.4
线程安全

>>> r = requests.get('https://api.github.com/user', auth=('user', 'pass'))
>>> r.status_code
200
>>> r.headers['content-type']
'application/json; charset=utf8'
>>> r.encoding
'utf-8'
>>> r.text
u'{"type":"User"...'
>>> r.json()
{u'private_gists': 419, u'total_private_repos': 77, ...}

皮皮Blog

requests和python自带urllib的对比

py2:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import urllib2

gh_url = 'https://api.github.com'

req = urllib2.Request(gh_url)

password_manager = urllib2.HTTPPasswordMgrWithDefaultRealm()
password_manager.add_password(None, gh_url, 'user', 'pass')

auth_manager = urllib2.HTTPBasicAuthHandler(password_manager)
opener = urllib2.build_opener(auth_manager)

urllib2.install_opener(opener)

handler = urllib2.urlopen(req)

print handler.getcode()
print handler.headers.getheader('content-type')

# ------
# 200
# 'application/json'

requests 

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import requests

r = requests.get('https://api.github.com', auth=('user', 'pass'))

print r.status_code
print r.headers['content-type']

# ------
# 200
# 'application/json'

皮皮Blog

[urllib2 vs requests]

requests使用举栗

安装

pip install requests

基本使用

  >>>import requests
  >>> r = requests.get('http://www.****.com')  # 发送请求
  >>> r.status_code  # 返回码 200
  >>> r.headers['content-type']  # 返回头部信息'text/html; charset=utf8'
  >>> r.encoding  # 编码信息'utf-8'
  >>> r.text  #内容部分（如果存在编码问题，也可以使用r.content，见下面的编码问题部分）
  u'<!DOCTYPE html>\n<html xmlns="http://www.***/xhtml"...'...

各种不同HTTP请求

  >>> r = requests.post("http://httpbin.org/post")
  >>> r = requests.put("http://httpbin.org/put")
  >>> r = requests.delete("http://httpbin.org/delete")
  >>> r = requests.head("http://httpbin.org/get")
  >>> r = requests.options("http://httpbin.org/get")

带参数的请求

  >>> payload = {'wd': '张亚楠', 'rn': '100'}
  >>> r = requests.get("http://www.baidu.com/s", params=payload)
  >>> print r.url
  u'http://www.baidu.com/s?rn=100&wd=%E5%BC%A0%E4%BA%9A%E6%A5%A0'

Note: 这里的params可以不用自己进行urlencode的。

获取json结果

  >>>r = requests.get('...'）
  >>>r.json()['data']['country']
  '中国'


>>> r = requests.get('https://github.com/timeline.json')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...




Note: 实际内容：{"message":"Hello there, wayfaring stranger......","documentation_url":"https://developer.github.com/v3/..."}


皮皮Blog


requests库的编码问题


Request对象在访问服务器后会返回一个Response对象，这个对象将返回的Http响应字节码保存到content属性中。

但是如果你访问另一个属性text时，会返回一个unicode对象，乱码问题就会常常发成在这里。因为Response对象会通过另一个属性encoding来将字节码编码成unicode，而这个encoding属性居然是responses自己猜出来的。


官方文档：




text
Content of the response, in unicode.
If Response.encoding is None, encoding will be guessed using chardet.
The encoding of the response content is determined based solely on HTTP headers, following RFC 2616 to the letter. If you can take advantage of non-HTTP knowledge to make a better guess at the encoding, you should set r.encoding appropriately before accessing this property.





所以要么你直接使用content(字节码)，要么记得把encoding设置正确。


比如获取一段gbk编码的网页,就需要以下方法才能得到正确的unicode。


import requests
url = "http://xxx.xxx.xxx"

response = requests.get(url)
response.encoding = 'gbk'
print response.text


皮皮Blog


python3 httplib2


不过小编皮皮告诉大家另一种python3的简洁网络请求之道


import httplib2

h = httplib2.Http(".cache")
h.add_credentials('user', 'pass')
r, content = h.request("https://api.github.com", "GET")

print r['status']
print r['content-type']


Note: 也是等同requests的几行代码啊！[urllib2 vs requests]

from:http://blog.csdn.net/pipisorry/article/details/48086195


ref:Requests: HTTP for Humans


requests快速上手


[https://github.com/kennethreitz/requests]
												


											
python爬虫 - python requests网络请求简洁之道的更多相关文章
	

    
								
  1. python网络请求简洁之道--python requests简介
		
    #requests中文文档:http://cn.python-requests.org/en/latest/#学习出处:http://mp.weixin.qq.com/s?__biz=MjM5NzU0 ...
    
		
    2. 
						
  2. 使用Python爬虫爬取网络美女图片
		
    代码地址如下:http://www.demodashi.com/demo/13500.html 准备工作 安装python3.6 略 安装requests库(用于请求静态页面) pip install ...
    
		
    3. 
						
  3. python爬虫之分析Ajax请求抓取抓取今日头条街拍美图（七）
		
    python爬虫之分析Ajax请求抓取抓取今日头条街拍美图 一.分析网站 1.进入浏览器,搜索今日头条,在搜索栏搜索街拍,然后选择图集这一栏. 2.按F12打开开发者工具,刷新网页,这时网页回弹到综合 ...
    
		
    4. 
						
  4. 孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块
		
    孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块 (完整学习过程屏幕记录视频地址在文末) 从今天起开始正式学习Python的爬虫. 今天已经初步了解了两个主要的模块: ...
    
		
    5. 
						
  5. Python爬虫练习(requests模块)
		
    Python爬虫练习(requests模块) 关注公众号"轻松学编程"了解更多. 一.使用正则表达式解析页面和提取数据 1.爬取动态数据(js格式) 爬取http://fund.e ...
    
		
    6. 
						
  6. Python爬虫之requests库介绍(一)
		
    一:Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 ...
    
		
    7. 
						
  7. Python爬虫之requests模块(1)
		
    一.引入 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃 ...
    
		
    8. 
						
  8. python爬虫值requests模块
		
    - 基于如下5点展开requests模块的学习 什么是requests模块 requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用法简洁高效.在 ...
    
		
    9. 
						
  9. Python爬虫 【requests】request for humans
		
    安装 pip install requests 源码 git clone git://github.com/kennethreitz/requests.git 导入 import requests 发 ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. PHP echo和print 语句
			
    PHP  echo 和 print 语句 在 PHP 中有两个基本的输出方式: echo 和 print. 本章节中我们会详细讨论两个语句的用法,并在实例中演示如何使用 echo 和 print. P ...
    
			
    2. 
						
  2. Docker常见仓库WordPress
			
    WordPress 基本信息 WordPress 是开源的 Blog 和内容管理系统框架,它基于 PhP 和 MySQL. 该仓库提供了 WordPress 4.0 版本的镜像. 使用方法 启动容器需 ...
    
			
    3. 
						
  3. mysql5.7在centos上安装的完整教程以及相关的“坑”
			
    安装前的准备 Step1: 如果你系统已经有mysql,如一般centos自带mysql5.1系列,那么你需要删除它,先检查一下系统是否自带mysql yum list installed | gre ...
    
			
    4. 
						
  4. cassandra 3.x官方文档(5)---探测器
			
    写在前面 cassandra3.x官方文档的非官方翻译.翻译内容水平全依赖本人英文水平和对cassandra的理解.所以强烈建议阅读英文版cassandra 3.x 官方文档.此文档一半是翻译,一半是 ...
    
			
    5. 
						
  5. Linux SWAP 交换分区配置说明
			
    一．SWAP 说明1.1 SWAP 概述        当系统的物理内存不够用的时候,就需要将物理内存中的一部分空间释放出来,以供当前运行的程序使用.那些被释放的空间可能来自一些很长时间没有什么操作的 ...
    
			
    6. 
						
  6. Maven 核心原理
			
    Maven 核心原理 标签 : Java基础 Maven 是每一位Java工程师每天都会接触的工具, 但据我所知其实很多人对Maven理解的并不深, 只把它当做一个依赖管理工具(下载依赖.打包), M ...
    
			
    7. 
						
  7. ROS机器人程序设计（原书第2版）补充资料 （捌） 第八章 导航功能包集入门 navigation
			
    ROS机器人程序设计(原书第2版)补充资料 (捌) 第八章 导航功能包集入门 navigation 书中,大部分出现hydro的地方,直接替换为indigo或jade或kinetic,即可在对应版本中 ...
    
			
    8. 
						
  8. HTTP状态码总结
			
    HTTP状态码(HTTP Status Code)是用以表示网页服务器HTTP响应状态的3位数字代码.有些 App 端接口与 HTML 接口用的是同一个,所以做移动端开发也有必要了解一下HTTP状态码 ...
    
			
    9. 
						
  9. 使用Java正则表达式去掉Double类型的数据后面多余的0
			
    方法 /** * 使用java正则表达式去掉多余的.与0 * @param s * @return */ public static String subZeroAndDot(String s){ i ...
    
			
    10. 
						
  10. iOS常见控件的基本使用
			
    UI相关类继承关系 UIView 常见属性和方法 UIView属性 UIView方法 UIControl 常用控件 UIImageView 图片显示控件android ImageView UISlid ...
    
			
    11.