写在最前的具体资料:

  https://2.python-requests.org//zh_CN/latest/user/quickstart.html

  https://www.liaoxuefeng.com/wiki/1016959663602400/1183249464292448

  http://cn.python-requests.org/zh_CN/latest/

以下为个人理解:

首先先列举一下requests库的方法,具体有.get() .head() .post() .put() .patch() .delete()。这些方法都是和HTTP协议的方法一一对应的。

get()方法可以获取全部资源,而head()方法仅仅是获取头部信息,post,put,patch方法可以将自己的资源放入url对应的位置上,delete()方法可以删掉这个url对应的现有资源

put和patch方法的区别是,put方法要把所有对应的资源全部提交一遍,而patch只需要提交需要修改的那个资源,而不需要像put一样提交所有对应的资源。post方法可以向服务器提交新增数据

request

requests库还有一种方法是request方法,即requests.request(method,url,**kwargs)。其中还有三个参数,method表示请求方法,对应HTTP协议的七种方法,url则对应的是url链接,即网址。**kwargs就是13种控制访问的参数,即

  params(字典或者字节序列,可以作为参数添加到url中),

  data(作为向服务提交数据时使用),

  json(json格式的数据 ),

  headers(可以用改字段来定义自己发起访问时http的头字段,可以用来模拟任何我们想模拟的浏览器向url发起请求),

   cookies(用来解析http中的cookies),

  auth(元组,支持http认证功能),

  files(字典类型,传输文件时使用的字段),

  proxies(字典类型,设定访问代理服务器,可以增加登录认证,可以有效的隐藏自己ip地址信息),

  allow_redirects

  stream(获取内容立即下载)

  verify

  cert(本地ssl证书路径)

  timeout(超时)

request.get(url,parpams,**kwargs)与request相同   使用的最多也是最关键

request.head(url,**kwargs)同上

request.post(url,data,json,**kwargs)和request中相同

request.put(url,data,**kwargs)同上

request.petch(url,data,**kwargs)同

request.delete(url,**kwargs) 同上

代码框架

  import requests

  url = 'http://www.baidu.com'
  try:
      #模拟浏览器
      kv = {'user-agent':'Mozilla/5.0'}
      r = requests.get(url , headers = kv)
      #状态码检查
      r.raise_for_status()
      r.encoding = r.apparent_encoding
      print(r.text)
  except:
      ("爬取失败")

  

爬虫入门 requests库的更多相关文章

  1. 【Python爬虫】爬虫利器 requests 库小结

    requests库 Requests 是一个 Python 的 HTTP 客户端库. 支持许多 HTTP 特性,可以非常方便地进行网页请求.网页分析和处理网页资源,拥有许多强大的功能. 本文主要介绍 ...

  2. Python爬虫之requests库介绍(一)

    一:Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests 自称 ...

  3. python爬虫之requests库

    在python爬虫中,要想获取url的原网页,就要用到众所周知的强大好用的requests库,在2018年python文档年度总结中,requests库使用率排行第一,接下来就开始简单的使用reque ...

  4. 爬虫相关--requests库

    requests的理想:HTTP for Humans 一.八个方法 相比较urllib模块,requests模块要简单很多,但是需要单独安装: 在windows系统下只需要在命令行输入命令 pip ...

  5. Python爬虫:requests 库详解,cookie操作与实战

    原文 第三方库 requests是基于urllib编写的.比urllib库强大,非常适合爬虫的编写. 安装: pip install requests 简单的爬百度首页的例子: response.te ...

  6. Python爬虫之requests库的使用

    requests库 虽然Python的标准库中 urllib模块已经包含了平常我们使用的大多数功能,但是它的 API 使用起来让人感觉不太好,而 Requests宣传是 "HTTP for ...

  7. 爬虫值requests库

    requests简介 简介 Requests是用python语言基于urllib编写的,采用的是Apache2 Licensed开源协议的HTTP库 ,使用起来比urllib简洁很多 因为是第三方库, ...

  8. (爬虫)requests库

    一.requests库简介 urllib库和request库的作用一样,都是服务器发起请求数据,但是requests库比urllib库用起来更方便,它的接口更简单,选用哪种库看自己. 如果没有安装过这 ...

  9. 【Python爬虫】Requests库的基本使用

    Requests库的基本使用 阅读目录 基本的GET请求 带参数的GET请求 解析Json 获取二进制数据 添加headers 基本的POST请求 response属性 文件上传 获取cookie 会 ...

随机推荐

  1. 大json直接序列化成dataset

    rtnDs= JsonConvert.DeserializeObject<DataSet>(strBuff);

  2. linux2.4.0源码下载地址(配合毛德操情景分析)

    https://www.kernel.org/pub/linux/kernel/v2.4/

  3. 获取url参数(jq 扩展包)

    (function($){ $.extend({ urlGet:function(url) { var getUrl = url ? url.split("?") : window ...

  4. 如何通过给MM修电脑培养感情

    文章来自网络 在修之前,向MM反复声明,这电脑故障是有硬件和软件之分的,如果是硬件故障,例如显卡风扇不转了,显示器连线老化,显示器分辨率超出显示器指标,等等都会导致黑屏啊,这个我不回家用专门的工具是修 ...

  5. java mail发送html格式的邮件

    // 获取系统属性 Properties properties = System.getProperties(); // 设置邮件服务器 properties.setProperty("ma ...

  6. Ubuntu 安装交叉编译器出错问题

    安装教程网上有很多,可参考:Ubuntu14.04(64位)下gcc-linaro-arm-linux-gnueabihf交叉编译环境搭建 但是我的问题一直是路径搭好了,就是找不到文件:反复查找,花了 ...

  7. dgango 反射

    相关 """ 反射 由字符串反向找 变量.函数.类 """ import sys class Person(object): def __i ...

  8. Nessus安装出现localhost:8834无法访问

    1.下载Nessus https://www.tenable.com/downloads/nessus#download 2.安装方法 详细安装方法参考下文 https://www.ld80.cn/a ...

  9. Go键盘输入与打印输出

    输出 格式化打印占位符 符号 说明 %v 默认格式 %T 打印类型 %t 布尔类型 %s 字符串 %f 浮点数 %d 十进制的整数 %b 二进制的整数 %o 八进制 %x 十六进制0-9 a-f %X ...

  10. 用户注册代码(php)

    <!DOCTYPE HTML><html><head><meta charset="utf-8"><script type=& ...