python的爬虫

requests库的安装

https://blog.csdn.net/xiaokuang5020/article/details/80580631

Response对象属性

属性　　　　　　　　　　　　　　　　　　　　　　　　　　说明

r.status_code　　　　　　　　　　　　　　HTTP请求的返回状态，200表示连接成功，404表示失败

r.text　　　　　　　　　　　　　　　　　　HTTP响应内容的字符串形式，即，url对应的页面内容

r.encoding　　　　　　　　　　　　　　　 从HTTP Header中猜测的响应内容编码方式

r.apparent_encoding            　　　　　　　  从内容中分析出的响应内容编码方式(备选编码方式)

r.content　　　　　　　　　　　　　　　　HTTP响应内容的二进制形式

Requests库的7个主要方法

方法　　　　　　　　　　　　　　　　　　　　　　　　　　说明

requests.request( )　　　　　　　　　　　　　　　　　　构造一个请求,支撑以下各方法的基础方法

requests.get()                              　　　　　　　　　　　　获取HTML网页的主要方法,对应于HTTP的GET

requests.head() 　　　　　　　　　　　　　　　　　　　获取HTML网页头信息的方法，对应于HTTP的HEAD

requests.post( )　　　　　 　　　　　　　　　　　　　　向HTML网页提交POST请求的方法,对应于HTTP的POST　　　　　　　　　　　　　　

requests.put( )　　　　　　　　　　　　　　　　　　　　向HTML网页提交PUT请求的方法,对应于HTTP的PUT

requests. patch()　　　　　　　　　　　　　　　　　　　向HTML网页提交局部修改请求,对应于HTTP的PATCH

requests.delete( )　　　　　　　　　　　　　　　　　　　向HTML页面提交删除请求,对应于HTTP的DELETE

PS:

HTTP协议

HTTP：Hypertext　　Transfer   　　Protocol   , 超文本传输协议

HTTP是一个基于"请求与响应"模式的， 无状态的应用层协议

HTTP协议采用URL作为定位网络资源的标识，URL格式如下：

　　　　　　　　http://host[:port][path]

　　　　　host:合法的Internet主机域名或IP地址

　　　　　port:端口号，缺省端口为80

　　　　　path:请求资源的路径

HTTP URL实例：

　　　　http://www.baidu.com

　　　　http://220.181.111.188/duty

HTTP URL的理解

　　URL是通过HTTP协议存取资源的Internet路径 ， 一个URL对应一个数据资源

HTTP协议对资源的操作

方法　　　　　　　　　　　　　　　　说明

GET　　　　　　　　请求获取URL位置的资源

HEAD　　　　　　　请求获取URL位置资源的响应消息报告，即获得该资源的头部信息

POST　　　　　　    请求向URL位置的资源后附加新的数据

PUT　　　　　　　   请求向URL位置存储一个资源，覆盖原URL位置的资源

PATCH　　　　　　  请求局部更新URL位置的资源，即改变该处资源的部分内容

DELETE 　　　　　   请求删除URL位置存储的资源

PATCH和PUT的区别

PATCH 仅向URL提交局部更新的要求

PUT必须将所有资源更新

PATCH的最主要好处：节省网络带宽

Requests库的异常

异常　　　　　　　　　　　　　　　　　　　　　　　　　　　　说明

requests.ConnectionError　　　　　　　　　　　　　　　　网络连接错误异常，如DNS查询失败，拒绝连接等

requests.HTTPError　　　　　　　　　　　　　　　　　　  HTTP错误异常

requests.URLRequired　　　　　　　　　　　　　　　　　 URL缺失异常

requests.TooManyRedirects　　　　　　　　　　　　　　　超过最大重定向次数，产生重定向异常

requests.ConnectTimeout　　　　　　　　　　　　　　　　

requests.Timeout　　　　　　　　　　　　　　　　　　

　

1. request.get()

requests.get( url ,  params = None , ** Kwargs)

url            : 拟获取页面的url链接

params    : url中的额外参数，字典或字节流格式，可选

**Kwargs : 12个控制访问的参数

2.requests.request(method , url , **kwargs)

method:请求方式，对应get/put/post等7种

url　　　拟获取页面的url链接

**kwargs 控制访问的参数，共12个

method :请求方式

　　r = requests.request('GET' ， url  , **kwargs)

　　r = requests.request('HEAD' ， url , **kwargs)

　　r = requests.request('POST' ， url , **kwargs)

　　r = requests.request('PUT' ， url , **kwargs)

　　r = requests.request('PATCH' ， url , **kwargs)

　　r = requests.request('DELETE' ， url , **kwargs)

　　r = requests.request('OPTIONS' ， url , **kwargs)

**kwargs :控制访问的参数 ，均为可选项

　　params : 字典或字节排列 ， 作为参数增加到url中

　　data        字典.字节序列或文件对象，作为Request的内容

　　json        JSON格式的数据，作为Request的内容

　　headers  字典。HTTP定制头

　　cookies   字典或CookieJar , Request中的cookie

　　auth        元组，支持HTTP认证功能

　　files         字典类型，传输文件

　　timeout  设定超时时间，秒为单位

　　proxies   字典类型，设定访问代理服务器，可以增加登录认证

　　allow_redirects  True/False ,默认为True , 重定向开关

　　stream   True/False , 默认为True , 获取内容立即下载开关

　　verify      True/False, 默认为True, 认证SSL证书开关

　　cert       本地SSL证书路径

3.requests.head(url , ** kwargs)

url　　　拟获取页面的url链接

**kwargs 控制访问的参数，共12个

4.requests.post(url , data = None , json = None , **kwargs  )

url　　　拟获取页面的url链接

data        字典.字节序列或文件 , Request的内容

json         JSON格式的数据，Request的内容

**kwargs 控制访问的参数，共12个

5.requests.put(url , data=None , ** kwargs)

url　　　拟获取页面的url链接

data        字典.字节序列或文件 , Request的内容

**kwargs 控制访问的参数，共12个

6.requests.patch(url , data=None , ** kwargs)

url　　　拟获取页面的url链接

data        字典.字节序列或文件 , Request的内容

**kwargs 控制访问的参数，共12个

7..requests.delete(url , ** kwargs)

url　　　拟获取页面的url链接

**kwargs 控制访问的参数，共12个