爬虫初阶requests模块的使用

一、安装requests库

pip install requests

二、引用这个模块

import requests

三、requests的基本使用

1.发送GET请求

调用requests模块中的get()函数

import requests  # 引入第三方库
response = requests.get('https://www.baidu.com')
print(response.text)  # 以文本形式打印响应的内容

带参数的GET请求，有时候需要在URL中加入一些参数来完成请求，requests提供使用params参数来传递参数

import requests

url = 'https://www.baidu.com'
params = {'key1': 'value1', 'key2': 'value2'}
response = requests.get(url, params=params)
print(response.text)

2.发送POST请求

发送POST请求时需要设置data参数或json参数

import requests

data = {'key1': 'value1', 'key2': 'value2'}
response = requests.post('https://www.baidu.com', data=data)
print(response.text)
or
response = requests.post('https://www.baidu.com', json=data)
print(response.text)

3.设置请求头信息

在很多情况中，我们都需要进行请求头伪装，需要在请求中添加一些HTTP头信息。设置一个user-agent的请求头来模拟浏览器请求的方式。使用requests时，只需要调用请求对象的headers属性

import requests

headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36'}
response = requests.get('https://www.baidu.com', headers=headers)
print(response.text)