requests请求库
# coding = utf-8
"""
同urllib一样
requests 也是发送http请求的第三方库 兼容Python2和3
实现了http的绝大部分功能。 安装 pip install requests
""" # 1.requests发送请求
"""
同直接同requests.get/post来指定发送请求的方式
pycharm环境下,可通过alt+鼠标点击进入源代码,可观察requests的相关参数
"""
# import requests
# 请求百度页面
# response = requests.get('http://www.baidu.com')
# print(response)
# 打印响应内容,也可通过debug来查看response对象里面包含的值
# 请求返回值是一个Response对象,是对HTTP协议中服务端返回给客户端响应数据的封装
# 包括状态码,响应头,响应体 # 显示状态码
# code = response.status_code # 状态码 # 响应头信息
# for key, value in response.headers.items():
# print('{}:{}'.format(key, value)) # 响应体
# print(response.content)
# content返回原始数据,字节串,bytes类型,一般图片、音频、视频数据,就用content
# 可通过response.content.decode()解码,默认utf-8解码,将字节串转码为字符串 # print(response.text)
# 返回文本数据, str类型,是经过转码的数据,但是文本中的中文可能出现乱码 # 显示请求网页的编码方式
# print(response.encoding) # 一般为ISO-8859 # 设置网页编码方式
# response.encoding = 'utf-8'
# 因为网页默认编码为ISO8859,所以显示中文的时候,可能乱码,
# 因此通过以上方法设置编码为utf-8,可解决中文乱码问题 # 2.requests请求url传参
"""
通过对url传参,拼接字符串,因此请求变为http://www.baidu.com/s?wd=python
"""
# import requests
# get请求的传参
# parms = {'wd': 'python'}
# response = requests.get('http://www.baidu.com/s?', parms=parms) # post请求的传参,此处的url为测试网站
# 同get一样,参数类型也是字典格式
# data = {'key1': 2, 'key3': 3}
# r = requests.post('http://httpbin.org/post', data=data)
# print(r.text) # 3.requests中的超时设置
# import requests
# 设置超时时间为5秒,若5s内目标地址没有响应,则抛出异常
# requests.get('https://www.google.com', timeout=5) # 4.request中的cookies处理
"""
通过requests请求目标网站,返回值中自动携带cookies
可通过response.cookies查看
可将返回的cookie保存下来,然后下一次访问时携带上即可
例:
cookie = response.cookies
下次请求时:resquest.get(xxx.xxx, cookies=cookie)即可携带上次访问
页面时返回的cookie信息
"""
# import requests
# params = {'wd':"python"}
# response = requests.get('http://www.baidu.com/s?', params=params)
# print(response.cookies) #5.requests中的会话--session
"""
http协议是一种无状态协议,无法保持会话状态,因此出现cookies,访问时携带cookie信息,
即可保持上一次会话的信息,requests中返回值中携带cookies信息,但是下次访问时需要
手动传入,依旧不方便,因此出现session,它会自动保存cookies信息,
并在下一次访问中自动传入
访问网页的方式基本和requests相同
"""
# import requests
# 构建一个会话 api基本和requests相同,后面的访问操作都通过该会话进行
# session = requests.session()
# 请求方式和request相同
# session.get('http://www.baidu.com') #6.requests中的ssl 认证
"""
部分网站请求时需要证书,因此需要对证书进行一定处理
设置verify=False来设定请求网站时不验证证书
同样的,通过设置verify=True设置请求时验证证书
"""
# import requests
# r = requests.get('https://www.jianshu.com', verify=False) # 7.requests伪装浏览器访问目标网站
"""
部分网站会识别是通过代码请求还是人来请求的,requests中同样提供将请求伪装为
浏览器的接口, 通过headers传参即可 因为知乎在未登录时,会自动跳转到登录页面
通过allow_redirects=False设置不跳转
"""
# import requests
# headers = {
# 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'
# }
# r = requests.get('http://www.zhihu.com', verify=False,
# headers=headers, allow_redirects=False) #
# 8.requests中的代理设置
# import requests
# 将代理设置为如下格式,参数传入即可
# proxies = {
# 'http': 'http://10.11.12.13:1234',
# 'https': 'http://10.11.12.13:1234',
# }
# requests.get("http://httpbin.org/ip", proxies=proxies) # 9. json
"""
将json格式数据转成字典格式,前提是目标网站返回值是json格式的
因此该方法用的也很少
"""
# import requests
# url = 'http://www.baidu.com'
# r = requests.get(url)
# print(r.json())
requests请求库的更多相关文章
- 爬虫(一)—— 请求库(一)requests请求库
目录 requests请求库 爬虫:爬取.解析.存储 一.请求 二.响应 三.简单爬虫 四.requests高级用法 五.session方法(建议使用) 六.selenium模块 requests请求 ...
- 爬虫之requests请求库
介绍 #介绍:使用requests可以模拟浏览器的请求,比起之前用到的urllib,requests模块的api更加便捷(本质就是封装了urllib3) #注意:requests库发送请求将网页内容下 ...
- 爬虫之requests请求库高级应用
1.SSL Cert Verification #证书验证(大部分网站都是https) import requests respone=requests.get('https://www.12306. ...
- requests请求库练习--GitHub登录
# coding = utf-8 """ 结合抓包工具,采用两种方法模拟登录github直接利用session登录和利用requests登录 ""&q ...
- Python爬虫requests请求库
requests:pip install request 安装 实例: import requestsurl = 'http://www.baidu.com'response = requests. ...
- Selenium请求库
阅读目录 一 介绍 二 安装 三 基本使用 四 等待元素被加载 五 选择器 六 元素交互操作 七 其他 八 项目练习 九 破解登录验证 一 介绍 1.selenium是什么? selenium最初是一 ...
- 爬虫请求库——requests
请求库,即可以模仿浏览器对网站发起请求的模块(库). requests模块 使用requests可以模拟浏览器的请求,requests模块的本质是封装了urllib3模块的功能,比起之前用到的urll ...
- Python3 网络爬虫(请求库的安装)
Python3 网络爬虫(请求库的安装) 爬虫可以简单分为几步:抓取页面,分析页面和存储数据 在页面爬取的过程中我们需要模拟浏览器向服务器发送请求,所以需要用到一些python库来实现HTTP的请求操 ...
- Python浅谈requests三方库
requests 三方库用于获取URL资源 1.GET请求访问一个页面 import requests r = requests.get('https://www.cnblogs.com/xqxacm ...
随机推荐
- APP打包设置程序版本号
正确设置方式是: 注意,以下修改不会起作用<manifestxmlns:android="http://schemas.android.com/apk/res/android" ...
- split分割文件与数据
split主要用途:在之前计算机发展的时候,我们必须分割文件,才能将大量数据放入多张软盘中,而今我们分割文件有了其他的目的,比如提高可读性,生成日志以及发送有大小限制的E-mail附件. 工作原理:s ...
- 在VMware下的Linux中的RAID5校验位算法下的磁盘管理
前景:1988年由加利福尼亚大学伯克利分校发表的文章首次提到并定义了RAID,当今CPU性能每年可提升30%-50%但硬盘仅提升7%,渐渐的已经成为计算机整体性能的瓶颈,并且为了避免硬盘的突然损坏导致 ...
- NLP预训练模型-百度ERNIE2.0的效果到底有多好【附用户点评】
ERNIE是百度自研的持续学习语义理解框架,该框架支持增量引入词汇(lexical).语法 (syntactic) .语义(semantic)等3个层次的自定义预训练任务,能够全面捕捉训练语料中的词法 ...
- 【51nod 1251】 Fox序列的数量(以及带限制插板法讲解)
为什么网上没有篇详细的题解[雾 可能各位聚聚觉得这道题太简单了吧 /kk 题意 首先题目是求满足条件的序列个数,条件为:出现次数最多的数仅有一个 分析 感谢 刚睡醒的 JZ姐姐在咱写题解忽然陷入自闭的 ...
- Lost My Music:倍增实现可持久化单调栈维护凸包
题目就是求树上每个节点的所有祖先中(ci-cj)/(dj-di)的最小值. 那么就是(ci-cj)/(di-dj)的最大值了. 对于每一个点,它的(ci,di)都是二维坐标系里的一个点 要求的就是祖先 ...
- KETTLE常见问题和优化
1.创建MySQL空资源库报错问题:因为boolean类型的问题,Mysql中的boolean类型实际上保存为TINYINT,需要手动的修改生成资源库的sql脚本,将其中的插入用户ENABLED的值由 ...
- 推荐一款Diffy:Twitter的开源自动化测试工具
1. Diffy是什么 Diffy是一个开源的自动化测试工具,是一种Diff测试技术.它能够自动检测基于Apache Thrift或者基于HTTP的服务.通过同时运行新/老代码,对比运行结果,发现潜在 ...
- 2684亿!阿里CTO张建锋:不是任何一朵云都撑得住双11
2019天猫双11 成交额2684亿! "不是任何一朵云都能撑住这个流量.中国有两朵云,一朵是阿里云,一朵叫其他云."11月11日晚,阿里巴巴集团CTO张建锋表示,"阿里 ...
- 去除word文档页眉处的横杠
如何去除上图word文档页眉处的横杠 wps软件使用者 第一步双击页眉,到页眉页脚: 第一步点击上图页眉横线,点击无线型或者删除横线即可: Microsoft Office 专业增 ...