python requests包的基本使用

Requests
安装requests模块：
D:\Install\Python36>pip3 install requests
请求方式
#coding:utf-8
import requests
requests.get("http://www.baidu.com")
requests.post("http://www.baidu.com")
#requests.put("http请求")
#requests.delete("http请求")
#requests.head("http请求")
#requests.options("http请求")

带参数GET请求
第一种
#coding:utf-8
import requests

response = requests.get("http://httpbin.org/get?name=gemey&age=22")
print(response.text)
第二种
#coding:utf-8
import requests

d = {
    'name': 'tom',
    'age': 20
}
response = requests.get('http://httpbin.org/get', params=d)
print(response.text)

get请求也可以跟data参数，与params的区别是：
1、params直接将 d 参数 拼接到url，而使用data类似post请求的data使用不会拼接到url；
2、对类似flask服务端而言，params参数通过request.args读取传入参数，而data参数通过request.data读取，post请求同样处理
3、headers的Content-Type传输格式对服务端获取请求数据，也有影响，如果传输json格式，
　　heads={'Content-Type':'application/json'},服务端可以通过request.json或者request.get_json(),直接转化为字典操作；
不设置headers 可能只有request.data获取数据，不能直接转换dict
4、服务端如果返回的json串，中文乱码，则可以设置json.dumps(d,ensure_ascii=False) 或者flask的app设置 app.config['JSON_AS_ASCII'] = False

response = requests.get('http://httpbin.org/get', data=d)

带请求头
#coding:utf-8
import requests
heads = {}
heads['User-Agent'] = 'Mozilla/5.0 ' \
                          '(Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 ' \
                          '(KHTML, like Gecko) Version/5.1 Safari/534.50'
response = requests.get('http://www.baidu.com',headers=heads)

POST请求
#coding:utf-8
import requests

data = {'name':'tom','age':''}

response = requests.post('http://httpbin.org/post', data=data).status_code
#需要加cokkie使用下面的请求模式，get请求格式一致
#response = requests.post('http://httpbin.org/post', data=data, cookies=cookies).status_code

print (response)

#持续保持同一会话（使用相同的 session）
#coding:utf-8
import requests

session = requests.Session()#保持同一会话的核心
session.get('http://httpbin.org/cookies/set/number/12345')
response = session.get('http://httpbin.org/cookies')
print(response.text)

#证书取消验证
#coding:utf-8
import requests
from requests.packages import urllib3

urllib3.disable_warnings()  #从urllib3中消除警告
response = requests.get('https://www.12306.cn',verify=False)  #证书验证设为FALSE
print(response.status_code)

#超时异常
import urllib.request
response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)  #设置超时时间为0.1秒,将抛出异常
print(response.read())
#运行结果
#urllib.error.URLError: <urlopen error timed out>

import urllib.request
from urllib import error
import socket
try:
    response=urllib.request.urlopen('http://httpbin.org/get',timeout=0.1)
    print(response.read())
except error.URLError as e:
    if isinstance(e.reason, socket.timeout):  # 判断对象是否为类的实例
        print(e.reason)  # 返回错误信息

#运行结果
#timed out
服务返回结果用法
#coding:utf-8
import requests

response = requests.get('http://www.baidu.com')
print (response.status_code)  # 打印状态码
print (response.url)         # 打印请求url
print (response.headers)       # 打印头信息
print (response.cookies)       # 打印cookie信息
print (response.text)   #以文本形式打印网页源码
print (response.content)  #以字节流形式打印

上传文件
>>> import requests
>>> url = 'http://httpbin.org/post'
>> files = {'file': ('e:\\a.py', open('e:\\a.py', 'rb'), 'application/python','Expires': ''})}
>> r = requests.post(url, files=files)
>> r.text
返回json格式结果处理

#coding:utf-8
import requests

response = requests.get('http://httpbin.org/get')
print (response.text) #返回的是Unicode型的数据
print (response.json())  #response.json()方法同json.loads(response.text)
print (u"对返回结果进行json处理之后的类型是: ")
print (type(response.json()))

Urllib
urllib是python内置的HTTP请求库，无需安装即可使用，它包含了4个模块：
request：它是最基本的http请求模块，用来模拟发送请求
error：异常处理模块，如果出现错误可以捕获这些异常
parse：一个工具模块，提供了许多URL处理方法，如：拆分、解析、合并等
robotparser：主要用来识别网站的robots.txt文件，然后判断哪些网站可以爬
URL编码
#coding:utf-8
from urllib import parse
print (parse.quote('http://www.baidu.com')) #未编码斜杠
print (parse.quote_plus('http://www.baidu.com'))  #编码斜杠

URL参数拼接及get、post请求
#coding:utf-8
import urllib
import urllib.parse
import urllib.request
param={'spam':1,'eggs':2,'bacon':0}
print (u"初始参数")
print (param)
params= urllib.parse.urlencode(param)
print (u"编码后的参数")
print (params)
url="http://python.org/query?%s" % params
print (u"最终get请求")
print ('urllib.request.urlopen("http://python.org/query?%s" % params)')
print (u"最终post请求方式")
print ('urllib.request.urlopen("http://python.org/query",parmas)')

服务器返回结果
# coding: utf-8
import urllib
import urllib.request

response = urllib.request.urlopen('http://www.baidu.com')
print (response.getcode()) #打印状态码信息  其方法和response.getcode() 一样  都是打印当前response的状态码
print (response.headers) #打印出响应的头部信息，内容有服务器类型，时间、文本内容、连接状态等等
print (response.headers['Server'])   #这种拿到响应头的方式需要加上参数，指定你想要获取的头部中那一条数据
print (response.geturl())  #获取响应的url
print (response.readline()) #读取html页面第一行
print (response.fileno())   #文件描述符
print (response.read()) #使用read()方法得到响应体内容，这时是一个字节流bytes，看到明文还需要decode为charset格式

带有header 发送数据
#! /usr/bin/env python3

import urllib.parse

import urllib.request

url = 'http://httpbin.org/post'

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'

values = {  'act' : 'login',  'login[email]' : 'abc@abc.com',  'login[password]' : ''  }

headers = { 'User-Agent' : user_agent }

data = urllib.parse.urlencode(values)

req = urllib.request.Request(url, data.encode("utf-8"), headers)

response = urllib.request.urlopen(req)

the_page = response.read()

print(the_page.decode("utf8"))

异常处理
#! /usr/bin/env python3

from urllib.request import Request, urlopen

from urllib.error import URLError, HTTPError

req = Request('http://www.python.org/')

try:
    response = urlopen(req)
except HTTPError as e:
    print('The (www.python.org)server couldn\'t fulfill the request.')
    print('Error code: ', e.code)
except URLError as e:
    print('We failed to reach a server.')
    print('Reason: ', e.reason)
else:
    print("good!")
    print(response.read().decode("utf8"))

设定超时时间
import socket

import urllib.request

# timeout in seconds

#timeout = 0.1  #超时的
timeout = 2
socket.setdefaulttimeout(timeout)

# this call to urllib.request.urlopen now uses the default timeout

# we have set in the socket module

req = urllib.request.Request('http://www.python.org/')

a = urllib.request.urlopen(req).read()

服务返回结果保存为html
# coding: utf-8
import urllib
import urllib.request

result=urllib.request.urlretrieve('https://www.cnblogs.com/sysu-blackbear/p/3629420.html',filename="e://pic//baidu.html")
print (u"网页保存文件地址地址: ",result[0])
print (u"网页内容: ",result[1])
urllib.request.urlcleanup() #清除urllib.urlretrieve产生的缓存

下载一张图片
方法1：
from urllib.request import urlretrieve
urlretrieve("http://pic1.win4000.com/pic/b/20/b42b4ca4c5_250_350.jpg", "e:\\pic\\1.jpg")

方法2：
from urllib.request import urlretrieve
import urllib

imgPath="http://pic1.win4000.com/pic/7/8a/1e81de5511_250_350.jpg"
pic_content = (urllib.request.urlopen(imgPath)).read()
f = open('e:\\pic\\img2.jpg', 'wb')
f.write(pic_content)
f.close()

Urllib2:(python3以后已经合并成了urllib库)
python 3.x中urllib库和urilib2库合并成了urllib库。。
其中urllib2.urlopen()变成了urllib.request.urlopen()
urllib2.Request()变成了urllib.request.Request()