Spider_基础总结1_Request(get/post__url传参_headers_timeout)+Reponse

网络爬虫（一）

一、简介

　　1、robot协议（爬虫协议）：这个协议告诉引擎哪些页面可以抓取，哪些不可以

-User-agent:爬虫引擎

-allow:允许robot访问的URL

-disallow:禁止访问的URL

　　2、爬虫约束：过快/频繁的网络爬虫会对服务器产生巨大的压力，网站可能封锁你的IP，或者采取法律行动，所以需要将请求速度限定在一个合理范围内

　　3、爬虫流程：

　　-获取网页：给网页一个网址发送请求，该网址会返回整个网页的数据；

　　-解析网页（提取数据）：从整个网页中提取想要的数据

　　-存储数据：将数据存储下来，可以存在csv中，或者数据库中

二、新建爬虫

　　1、获取网页：

　　-导入request类，使用requests.get(link,headers=headers)获取网页

　　·requests的header伪装成浏览器访问；

　　·r是requests的Response回复对象，从中获取想要的信息，r.text是获取的网页内容代码

　　2、提取需要的数据：需要用到 bs4库的BeautifulSoup类，后续会将到。

三、静态页面抓取

　　　1、参数介绍：

　　-r.text:服务器响应的内容，会自动根据响应头部的字符编码进行解码
　　-r.encoding:服务器内容使用的文本编码；
　　-r.status_code:用于检测响应的状态码.
                ·返回200，表示请求成功；
                ·返回4xx,表示客户端错误；
                ·返回5xx,表示服务器错误响应
　　-r.content:字节方式的响应体，会自动解码gzip和deflate编码的响应数据；
　　-r.json:是Requests中的内置的JSON解码器

四、代码讲解：

# 1-Request库及Reponse对象：
import requests

r=requests.get("http://www.baidu.com")  # r,服务器响应对象   get方法
print(r.url)              # http://www.baidu.com/
print(r.encoding)         # ISO-8859-1  文本编码
print(r.status_code)      # 200         响应状态码  200--请求成功   4xx--客户端错误  5xx--服务器错误
# print(r.text)           # 服务器响应的代码

# 2-定制Requests

# 1)传递 url参数
# 2)定制请求头
# 3)发送 Post请求
# 4)超时

# 2-1)传递 url参数：
import requests

# 方式1：
url='http://httpbin.org/get?key1=value1'   # 转义字符 r有没有都行
r=requests.get(url)
# 方式2：
parm_dict={'key1':'value1','key2':'value2'}
url='http://httpbin.org/get'              # url以 /get结尾
r=requests.get(url,params=parm_dict)

print(r.status_code)  # 200

# 2-2)定制请求头
# 请求头提供了关于请求，响应，或其他发送实体的信息。
# 1）打开网址：www.santostang.com
# 2）右键--检查元素--网络--左侧资源里单击要请求的网页www.santostang.com
# 3）点击右侧的‘消息头’，并复制。

# 复制内容如下：
# Host: www.santostang.com
# User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0
# Accept: text/css,*/*;q=0.1
# Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
# Accept-Encoding: gzip, deflate
# Connection: keep-alive
# Cookie: Hm_lvt_752e310cec7906ba7afeb24cd7114c48=1591794256,1591794423; PHPSESSID=1plcgphukjij28c42ns9octmq2; Hm_lpvt_752e310cec7906ba7afeb24cd7114c48=1591794423

# 提取上面内容的重要信息，得到如下的 headers：
import requests
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0',
    'Host':'www.santostang.com'
}

url='http://www.santostang.com'
r=requests.get(url,headers=headers)
print(r.status_code)  # 200

# 2-3)发送Post请求
# get方法发送请求会将一些信息暴露在url里很不安全，此时可以使用 Post方法，发送编码为表单形式的请求。
# 只需要将数据存储在字典中，并传递给Post方法的data参数就可以：

import requests

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0',
    'Host':'www.santostang.com'
}
parm_dict={'key1':'value1','key2':'value2'}
url='http://httpbin.org/post'  # url以 /post结尾
r=requests.post(url,data=parm_dict,headers=headers)
print(r.status_code)           # 200
print(r.text)

200

{

"args": {},

"data": "",

"files": {},

"form": {

"key1": "value1",

"key2": "value2"

},

"headers": {

"Accept": "/",

"Accept-Encoding": "gzip, deflate",

"Content-Length": "23",

"Content-Type": "application/x-www-form-urlencoded",

"Host": "www.santostang.com",

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:77.0) Gecko/20100101 Firefox/77.0",

"X-Amzn-Trace-Id": "Root=1-5ee5c1c1-fd164ea0042482a055a977c0"

},

"json": null,

"origin": "116.153.38.222",

"url": "http://www.santostang.com/post"

}

# 2-4)超时
# 有时候爬虫会遇到服务器长时间不返回，这时就会一直等待，造成爬虫程序没有顺利执行，此时可以给get或post方法的 timeout参数设置一个时间限制：
# 一般可以设置为20
# import requests
# url='http://httpbin.org/get'
# r=requests.get(url,timeout=0.00001)  # 为了观察报错效果，故意设置的非常小

# 报错信息为：
# ConnectTimeout: HTTPConnectionPool(host='httpbin.org', port=80):
# Max retries exceeded with url: /get (Caused by ConnectTimeoutError(<requests.packages.urllib3.connection.
# HTTPConnection object at 0x000001DE11B38160>, 'Connection to httpbin.org timed out. (connect timeout=1e-05)'))

# 用 try except处理如下：
import requests
parm_dict={'key1':'value1','key2':'value2'}
url='http://httpbin.org/post'  # url以 /post结尾
try:
    r=requests.post(url,data=parm_dict,timeout=0.00001)
    print(r.status_code)
    print(r.text)
except:
    print('请求超时，请尝试将timeout设置的大一些试试')

请求超时，请尝试将timeout设置的大一些试试