一、基本用法

1.GET请求

①r=requests.get(url) --返回Response对象

def get(url, params=None, **kwargs):

params={... },还可增加头信息如requests.get(url,headers={...})

如果r是JSON格式的字符串,可以调用r.json()转化为字典,若不是JSON格式,则json.decoder.JSONDecoderError

②抓取网页

r.text可以获取网页信息,并且为字符串类型

③抓取二进制数据

r.content可以获取二进制数据,如图片、音频、视频等文件

④添加headers

requests.get(url,headers={...}) ---伪装成浏览器

2.POST请求

def post(url, data=None, json=None, **kwargs):

requests.post(url,data={...})

3.响应

r.status_code   --返回int类型  100信息性  200成功 300重定向 400客户端错误 500服务端错误

r.headers  --返回CaseInsensitiveDict类型

r.cookies  --返回RequestsCookieJar类型

r.url --返回str类型

r.history --返回list类型

requests.codes ---requests内置的状态码查询对象 如requests.codes.ok 为 200

二、高级用法

1.文件上传 ---post方法的file关键字

files={"file":open("路径","rb")}

r=requests.post(url,files=files)

2.Cookies

①获取cookies

r.cookies
for k,v in r.cookies.itemes():
print(k+'='+v)  

②设置cookies

直接在headers={'Cookie':...}里加上cookies

也可以通过cookies关键字来设置,不过先要构造RequestCookieJar对象

jar=requests.cookies.RequestCookieJar()
cookies=...
for cookie in cookies.split(';')
k,v=cookie.split('=',1)
jar.set(k,v)
r=requests.get(url,cookies=jar,headers=...)

3.会话维持

直接用get()或post()相当于不同的绘画,等于用两个不同的浏览器打开页面,每次都要设置cookie时很繁琐.

session相当于打开一个新的浏览器选项卡而不是一个新的浏览器,利用session可以用于模拟成功登陆成功之后再进行下一步操作

s=requests.Session()
s.get(url)
...

4.SSL证书验证

如12306的证书没有被CA机构信任,用requests访问会出现requests.exceptions.SSLError

①只需把verify参数设置为False即可

requests.get(url,verify=False)

 不过有警告,可以使用requests.packages下的urllib3模块  urllib3.disable_warnings() 或者 捕获到logging模块的日志 logging.captureWarnings(True)

②使用本地证书

requests.get(url,cert='包含密钥和证书的单个文件路径')
#或
requests.get(url,cert=('cert文件路径1','key文件路径2')) #key必须是解密状态

5.代理设置

设置proxies参数

proxies={
      'http':'http://10.0.0.1:3228',
'https':'https://10.0.0.1:3028',
}
requests.get(url,proxies=proxies)

若代理需要设置HTTP Basic Auth,可以使用类似http://user:password@host:port的格式来设置

proxies={'http':'http://user:password@10.0.0.1:3128',}

 requests还支持SOCK协议的代理,首先安装 pip3 install 'requests[socks]'

proxies={
     'http':'http':'socks5://user:password@10.0.0.1:3128',
   'https':'https':'socks5://user:password@10.0.0.1:3128',
     } 

6.超时设置  

 timeout参数,默认为None,永久等待

request.get(url,timeout=1)

7.身份认证

使用HTTPBasicAuth类

import requests.auth import HTTPBasicAuth

requests.get(url,auth=HTTPBasicAuth('username','password')) 或 requests.get(url,auth=('username','password')) 默认使用HTTPBasicAuth类

requests还提供了其他认证方式,如OAuth认证,pip install requests_oauthlib ...

8.Prepared Request

from requests import Request,Session
url='...'
data={...}
headers={...}
s=Session()
req=Request('POST',url,data=data,headers=headers)
prepped=s.prepare_request(req)
r=s.send(prepped)

 有了Request对象,就可以将请求作为独立的对象来看待,对于构造Request队列非常方便

本文参考文献:[1]崔庆才.python3网络爬虫开发实战[M].北京:人民邮电出版社,2018:122-138.

 

  

  

爬虫之requests的更多相关文章

  1. Python爬虫之requests

    爬虫之requests 库的基本用法 基本请求: requests库提供了http所有的基本请求方式.例如 r = requests.post("http://httpbin.org/pos ...

  2. 第三百二十二节,web爬虫,requests请求

    第三百二十二节,web爬虫,requests请求 requests请求,就是用yhthon的requests模块模拟浏览器请求,返回html源码 模拟浏览器请求有两种,一种是不需要用户登录或者验证的请 ...

  3. 孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块

    孤荷凌寒自学python第六十七天初步了解Python爬虫初识requests模块 (完整学习过程屏幕记录视频地址在文末) 从今天起开始正式学习Python的爬虫. 今天已经初步了解了两个主要的模块: ...

  4. Python爬虫练习(requests模块)

    Python爬虫练习(requests模块) 关注公众号"轻松学编程"了解更多. 一.使用正则表达式解析页面和提取数据 1.爬取动态数据(js格式) 爬取http://fund.e ...

  5. 自定义 scrapy 爬虫的 requests

    之前使用 scrapy 抓取数据的时候 ,默认是在逻辑中判断是否执行下一次请求 def parse(self): # 获取所有的url,例如获取到urls中 for url in urls: yiel ...

  6. python爬虫 - python requests网络请求简洁之道

    http://blog.csdn.net/pipisorry/article/details/48086195 requests简介 requests是一个很实用的Python HTTP客户端库,编写 ...

  7. 爬虫之requests模块

    requests模块 什么是requests模块 requests模块是python中原生的基于网络请求的模块,其主要作用是用来模拟浏览器发起请求.功能强大,用法简洁高效.在爬虫领域中占据着半壁江山的 ...

  8. 爬虫之Requests&beautifulsoup

    网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟程序或者蠕 ...

  9. 04.Python网络爬虫之requests模块(1)

    引入 Requests 唯一的一个非转基因的 Python HTTP 库,人类可以安全享用. 警告:非专业使用其他 HTTP 库会导致危险的副作用,包括:安全缺陷症.冗余代码症.重新发明轮子症.啃文档 ...

随机推荐

  1. fdsafdsafds

    name1 = input('请输入一个名字:') name2 = input('请输入一个名字: ') animal = input('请输入一个名字 :') print('刚按完摩的{}出门看见{ ...

  2. creator rotationY的问题

    最近在做一个2D的小游戏,碰撞方面由于懒,就直接使用cocos自带的物理组件RigidBody了. 但是在父节点挂载RigidBody之后,会导致设置rotationY时失效,具体原因没有深查,估计是 ...

  3. linux子系统ubuntu16.04安装使用xrdp当远程桌面

    参考文献:https://icytown.com/windows/windows-subsystem-for-linux-gui-xubuntu/ https://jingyan.baidu.com/ ...

  4. magento 1.9 nginx 404

    原来的nginx 配置 lnmp 环境默认的 location ~ [^/]\.php(/|$) { fastcgi_param SCRIPT_FILENAME $document_root$fast ...

  5. TZipFile FileNames中文乱码解决办法

    TEncoding.Default.GetString(zip.FileInfo[0].FileName); 补充说明: Zip.Extract(Zip.FileName[0], 'd:\'); 解压 ...

  6. centos7 时间自动同步

    设置开机自动同步Internet时间,并作定时同步任务1.修改时区 rm -rf /etc/localtime ln -s /usr/share/zoneinfo/Asia/Shanghai /etc ...

  7. [例子]Ubuntu虚拟机设置固定IP上网

    宿主机器     win7 linux            Ubuntu 14.04 LTS 参考: Linux系列:Ubuntu虚拟机设置固定IP上网(配置IP.网关.DNS.防止resolv.c ...

  8. vue-cli环境配置

    1.安装npm 从node.js官网下载并安装node node -v 命令,查看node的版本,若出现相应的版本号,则说明你安装成功了. npm包管理器,是集成在node中的,所以安装了node也就 ...

  9. SpringBoot启动源码探究----configureHeadlessProperty()方法

    该方法只做了一件事:设置了一个名为java.awt.headless的系统属性,源码如下: private void configureHeadlessProperty() { System.setP ...

  10. 如何找出单链表中的倒数第k个元素

    方法一:快慢指针法 在查找过程中,设置两个指针,初始时指向首元结点(第一个元素结点). 然后,让其中一个指针先前移k步. 然后两个指针再同时往前移动.当先行的指针值为NULL时,另一个指针所指的位置就 ...