爬虫入门 requests库
写在最前的具体资料:
https://2.python-requests.org//zh_CN/latest/user/quickstart.html
https://www.liaoxuefeng.com/wiki/1016959663602400/1183249464292448
http://cn.python-requests.org/zh_CN/latest/
以下为个人理解:
首先先列举一下requests库的方法,具体有.get() .head() .post() .put() .patch() .delete()。这些方法都是和HTTP协议的方法一一对应的。
get()方法可以获取全部资源,而head()方法仅仅是获取头部信息,post,put,patch方法可以将自己的资源放入url对应的位置上,delete()方法可以删掉这个url对应的现有资源
put和patch方法的区别是,put方法要把所有对应的资源全部提交一遍,而patch只需要提交需要修改的那个资源,而不需要像put一样提交所有对应的资源。post方法可以向服务器提交新增数据
request
requests库还有一种方法是request方法,即requests.request(method,url,**kwargs)。其中还有三个参数,method表示请求方法,对应HTTP协议的七种方法,url则对应的是url链接,即网址。**kwargs就是13种控制访问的参数,即
params(字典或者字节序列,可以作为参数添加到url中),
data(作为向服务提交数据时使用),
json(json格式的数据 ),
headers(可以用改字段来定义自己发起访问时http的头字段,可以用来模拟任何我们想模拟的浏览器向url发起请求),
cookies(用来解析http中的cookies),
auth(元组,支持http认证功能),
files(字典类型,传输文件时使用的字段),
proxies(字典类型,设定访问代理服务器,可以增加登录认证,可以有效的隐藏自己ip地址信息),
allow_redirects
stream(获取内容立即下载)
verify
cert(本地ssl证书路径)
timeout(超时)
request.get(url,parpams,**kwargs)与request相同 使用的最多也是最关键
request.head(url,**kwargs)同上
request.post(url,data,json,**kwargs)和request中相同
request.put(url,data,**kwargs)同上
request.petch(url,data,**kwargs)同
request.delete(url,**kwargs) 同上
代码框架
import requests
url = 'http://www.baidu.com'
try:
#模拟浏览器
kv = {'user-agent':'Mozilla/5.0'}
r = requests.get(url , headers = kv)
#状态码检查
r.raise_for_status()
r.encoding = r.apparent_encoding
print(r.text)
except:
("爬取失败")
爬虫入门 requests库的更多相关文章
- 【Python爬虫】爬虫利器 requests 库小结
requests库 Requests 是一个 Python 的 HTTP 客户端库. 支持许多 HTTP 特性,可以非常方便地进行网页请求.网页分析和处理网页资源,拥有许多强大的功能. 本文主要介绍 ...
- Python爬虫之requests库介绍(一)
一:Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 ...
- python爬虫之requests库
在python爬虫中,要想获取url的原网页,就要用到众所周知的强大好用的requests库,在2018年python文档年度总结中,requests库使用率排行第一,接下来就开始简单的使用reque ...
- 爬虫相关--requests库
requests的理想:HTTP for Humans 一.八个方法 相比较urllib模块,requests模块要简单很多,但是需要单独安装: 在windows系统下只需要在命令行输入命令 pip ...
- Python爬虫:requests 库详解,cookie操作与实战
原文 第三方库 requests是基于urllib编写的.比urllib库强大,非常适合爬虫的编写. 安装: pip install requests 简单的爬百度首页的例子: response.te ...
- Python爬虫之requests库的使用
requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests宣传是 "HTTP for ...
- 爬虫值requests库
requests简介 简介 Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库 ,使用起来比urllib简洁很多 因为是第三方库, ...
- (爬虫)requests库
一.requests库简介 urllib库和request库的作用一样,都是服务器发起请求数据,但是requests库比urllib库用起来更方便,它的接口更简单,选用哪种库看自己. 如果没有安装过这 ...
- 【Python爬虫】Requests库的基本使用
Requests库的基本使用 阅读目录 基本的GET请求 带参数的GET请求 解析Json 获取二进制数据 添加headers 基本的POST请求 response属性 文件上传 获取cookie 会 ...
随机推荐
- 大json直接序列化成dataset
rtnDs= JsonConvert.DeserializeObject<DataSet>(strBuff);
- linux2.4.0源码下载地址(配合毛德操情景分析)
https://www.kernel.org/pub/linux/kernel/v2.4/
- 获取url参数(jq 扩展包)
(function($){ $.extend({ urlGet:function(url) { var getUrl = url ? url.split("?") : window ...
- 如何通过给MM修电脑培养感情
文章来自网络 在修之前,向MM反复声明,这电脑故障是有硬件和软件之分的,如果是硬件故障,例如显卡风扇不转了,显示器连线老化,显示器分辨率超出显示器指标,等等都会导致黑屏啊,这个我不回家用专门的工具是修 ...
- java mail发送html格式的邮件
// 获取系统属性 Properties properties = System.getProperties(); // 设置邮件服务器 properties.setProperty("ma ...
- Ubuntu 安装交叉编译器出错问题
安装教程网上有很多,可参考:Ubuntu14.04(64位)下gcc-linaro-arm-linux-gnueabihf交叉编译环境搭建 但是我的问题一直是路径搭好了,就是找不到文件:反复查找,花了 ...
- dgango 反射
相关 """ 反射 由字符串反向找 变量.函数.类 """ import sys class Person(object): def __i ...
- Nessus安装出现localhost:8834无法访问
1.下载Nessus https://www.tenable.com/downloads/nessus#download 2.安装方法 详细安装方法参考下文 https://www.ld80.cn/a ...
- Go键盘输入与打印输出
输出 格式化打印占位符 符号 说明 %v 默认格式 %T 打印类型 %t 布尔类型 %s 字符串 %f 浮点数 %d 十进制的整数 %b 二进制的整数 %o 八进制 %x 十六进制0-9 a-f %X ...
- 用户注册代码(php)
<!DOCTYPE HTML><html><head><meta charset="utf-8"><script type=& ...