requests 模块笔记
import requests 请求方式: requests.get("https://www.baidu.com")
requests.post("http://httpbin.org/post")
requests.put("http://httpbin.org/put")
requests.delete("http://httpbin.org/delete")
requests.head("http://httpbin.org/get")
requests.options("http://httpbin.org/get") 获取数据: r = requests.get('http://www.baidu.com') #像目标url地址发送get请求,返回一个response对象 response.text返回的是Unicode格式,通常需要转换为utf-8格式。
response.content是二进制模式,可以下载视频之类的,如果想看的话需要decode成utf-8格式。
# response.content.decode("utf-8) 或 response.encoding="utf-8" 转码 print(r.text) # 返回响应的内容
print(r.content) # 这样获取的数据是二进制数据
print(r.url) # 打印请求网址的地址
print(r.status_code) # 打印请求页面的状态(状态码)# r.ok的布尔值便可以知道是否登陆成功
print(r.cookies) # 打印请求网址的cookies信息
print(r.headers) # 打印请求网址的headers所有信息
print(r.encoding) # 获取/修改网页编码
print(r.json()) # 返回json数据 print(r.history) # 打印请求的历史记录(以列表的形式显示) # 下载图片
response = requests.get("https://github.com/favicon.ico")
with open('favicon.ico', 'wb') as f:
f.write(response.content) 例子:往请求链接中添加一些数据(data、headers、cookies、proxies...): import requests data = {'name': 'germey', 'age': ''}
cookie = {'key':'value'}
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'}
proxies = {"http": "http://127.0.0.1:9743} requests.get(url='https://www.baidu.com/baidu', params={'wd': 'python',})
# 为url传递参数 https://www.baidu.com/baidu?wd=python response = requests.post(
"https://www.zhihu.com/explore",
data=data, # 如果传递的是string而不是dict,需要先调用dumps方法格式化一下
cookies=cookie,
headers=headers,
proxies=proxies)
print (response.headers.get('content-type')) #访问响应头部分内容
补:
requests.get(url, allow_redirects=False) # 不允许重定向,默认True
# verify=False # 关闭证书验证 其他操作 会话维持 cookie的一个作用就是可以用于模拟登陆,做会话维持 import requests session = requests.session()
session.get('http://httpbin.org/cookies/set/number/12456')
response = session.get('http://httpbin.org/cookies')
print(response.text) 代理设置 import requests proxies = {
"http": "http://127.0.0.1:9743", # 设置普通代理
"https": "https://127.0.0.1:9743", # 设置普通代理
"http": "http://user:password@127.0.0.1:9743/", # 设置用户名和密码代理
} response = requests.get("https://www.taobao.com", proxies=proxies)
print(response.status_code) 设置socks代理 安装socks模块 pip3 install 'requests[socks]' import requests
proxies = {
'http': 'socks5://127.0.0.1:9742',
'https': 'socks5://127.0.0.1:9742'
}
response = requests.get("https://www.taobao.com", proxies=proxies)
print(response.status_code) 超时设置 import requests from requests.exceptions import ReadTimeout
try:
response = requests.get("http://httpbin.org/get", timeout = 0.5)#设置秒数超时,仅对于连接有效
print(response.status_code)
except ReadTimeout:
print('Timeout') 获取cookie import requests response = requests.get("https://www.baidu.com")
print(response.cookies)
for key, value in response.cookies.items():
print(key + '=' + value) 文件上传 import requests files = {'file': open('favicon.ico', 'rb')}
response = requests.post("http://httpbin.org/post", files=files)
print(response.text) 认证设置 import requests
from requests.auth import HTTPBasicAuth r = requests.get('http://120.27.34.24:9001', auth=HTTPBasicAuth('user', '')) # r = requests.get('http://120.27.34.24:9001', auth=('user', '123'))
print(r.status_code) 关闭证书验证 import requests
response = requests.get('https://www.12306.cn',verify=False)
print(response.status_code) 消除验证证书的警报 from requests.packages import urllib3
import requests urllib3.disable_warnings()
response = requests.get('https://www.12306.cn',verify=False)
print(response.status_code) 手动设置证书 import requests response = requests.get('https://www.12306.cn', cert=('/path/server.crt', '/path/key'))
print(response.status_code) 异常处理 # RequestException继承IOError,
# HTTPError,ConnectionError,Timeout继承RequestionException
# ProxyError,SSLError继承ConnectionError
# ReadTimeout继承Timeout异常 import requests
from requests.exceptions import ReadTimeout, ConnectionError, RequestException
try:
response = requests.get("http://httpbin.org/get", timeout = 0.5)
print(response.status_code)
except ReadTimeout:
print('Timeout')
except ConnectionError:
print('Connection error')
except RequestException:
print('Error') # RequestException # 发送一个模糊的异常
# ConnectionError # 发生连接错误时的异常
# HTTPError # 发生HTTP错误时的异常
# URLRequired # URL错误时的异常
# ConnectTimeout # 连接服务器是请求超时
# ReadTimeout # 服务器没有在指定的时间内发送数据
# Timeout # 请求超时
requests 模块笔记的更多相关文章
- Python requests模块学习笔记
目录 Requests模块说明 Requests模块安装 Requests模块简单入门 Requests示例 参考文档 1.Requests模块说明 Requests 是使用 Apache2 Li ...
- python学习笔记(十八)网络编程之requests模块
上篇博客中我们使用python自带的urllib模块去请求一个网站,或者接口,但是urllib模块太麻烦了,传参数的话,都得是bytes类型,返回数据也是bytes类型,还得解码,想直接把返回结果拿出 ...
- 爬虫学习笔记(三)requests模块使用
前面在说爬虫原理的时候说了,就写代码自动化的获取数据,保存下来数据,那怎么写代码来请求一个网址,获取结果呢,就得用requests模块了. 这篇博客说一下requests模块的使用,requests模 ...
- python学习笔记:网络请求——requests模块
上面讲过的urllib模块太麻烦了,还有一个比较方便的模块,就是requests模块,好用到你怀疑人生·^_^,一定要会哦 需要安装,pip install requests即可,下面是request ...
- requests模块--python发送http请求
requests模块 在Python内置模块(urllib.urllib2.httplib)的基础上进行了高度的封装,从而使得Pythoner更好的进行http请求,使用Requests可以轻而易举的 ...
- 孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块
孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块 (完整学习过程屏幕记录视频地址在文末) 从今天起开始正式学习Python的爬虫. 今天已经初步了解了两个主要的模块: ...
- requests模块 简单使用
目录 requests模块 简单使用 Anaconda简单了解 简单了解 requests模块 使用requests模块 爬取搜狗首页源码数据 实现一个简易的网页采集器 解决乱码问题 解决UA检测问题 ...
- 爬虫requests模块 1
让我们从一些简单的示例开始吧. 发送请求¶ 使用 Requests 发送网络请求非常简单. 一开始要导入 Requests 模块: >>> import requests 然后,尝试 ...
- requests 模块
发送请求 使用Requests发送网络请求非常简单. 一开始要导入Requests模块: >>> import requests 然后,尝试获取某个网页.本例子中,我们来获取Gith ...
随机推荐
- the little schemer 笔记(8)
第八章 lambda the ultimate 还记得我们第五章末的rember和insertL吗 我们用equal?替换了eq? 你能用你eq?或者equal?写一个函数rember-f吗 还不能, ...
- the little schemer 笔记(3)
第三章 cons the magnificent (rember a lat)是什么,其中a是mint,lat是(lamb chops and mint jelly) (lamb chops and ...
- multiprocessing多进程模块
1 基本理解 python不支持真多线程,无法在单进程中调用多核cpu.对于cpu密集型任务,可以使用多进程.python会调用OS原生多进程,运行在多核上,以此提高运行速度. 2 基本实现 impo ...
- 2015 ACM-ICPC国际大学生程序设计竞赛北京赛区网络赛 1002 Mission Impossible 6
题目链接: #1228 : Mission Impossible 6 解题思路: 认真读题,细心模拟,注意细节,就没有什么咯!写这个题解就是想记录一下rope的用法,以后忘记方便复习. rope(块状 ...
- 洛谷 P2216 [HAOI2007]理想的正方形 || 二维RMQ的单调队列
题目 这个题的算法核心就是求出以i,j为左上角,边长为n的矩阵中最小值和最大值.最小和最大值的求法类似. 单调队列做法: 以最小值为例: q1[i][j]表示第i行上,从j列开始的n列的最小值.$q1 ...
- 洛谷 P2261 [CQOI2007]余数求和 ||整除(数论)分块
参考:题解 令f(i)=k%i,[p]表示不大于p的最大整数f(i)=k%i=k-[k/i]*i令q=[k/i]f(i)=k-qi如果k/(i+1)=k/i=qf(i+1)=k-q(i+1)=k-qi ...
- iOS UILabel UITextView自适应文本,或文本大小自适应
//UILabel自适应文本的高度 UILabel *label = [[UILabel alloc]initWithFrame:CGRectMake(, , , )]; label.numberOf ...
- Linux下cpu过高问题排查
原文地址:https://blog.csdn.net/chenjunan888/article/details/80447800 在服务器报cpu过高时,可使用以下命令,快速导出堆栈信息,以方便查看具 ...
- Unity基础知识
hierarchy视图选中,点击scene视图,按f键聚焦 persp相当于是透视视野 在persp模式下,物体在scene界面上所呈现的画面是给人一种距离摄像头近的物体显示的大,距离摄像头远的物体显 ...
- CSS实现文字旋转/实现角标
主要用到属性transform:rotate(-30deg) example: .divedittable .project-tag div { width: 43px; line-height: 4 ...