python爬虫自定义header头部

一、Handler处理器 和 自定义Opener

关注公众号“轻松学编程”了解更多。

opener是 urllib.OpenerDirector 的实例，我们之前一直都在使用的urlopen，它是一个特殊的opener（也就是模块帮我们构建好的）。
但是基本的urlopen()方法不支持代理、cookie等其他的HTTP/HTTPS高级功能。所以要支持这些功能，可以自定义打开器，流程如下：

1、自定义处理器(hander)对象，可以处理cookie等高级功能

# handler = urllib.request.HTTPHandler() # 处理http
handler = urllib.request.HTTPSHandler()  # 可以处理https、http

2、自定义打开器(opener)对象，用来打开处理器

opener = urllib.request.build_opener(handler)  # 打开器

3、通过open()来打开网页，获取响应

req = urllib.request.Request(url,data, headers)
response = opener.open(req)  # 通过打开器打开网页

4、把打开器安装成全局打开器（也可以不设置）

urllib.request.install_opener(opener)

然后就可以使用两种方式来打开http请求

response = opener.open(url)
urllib.request.urlopen(url)

如果程序里所有的请求都使用自定义的opener，可以使用urllib.install_opener()将自定义的 opener 对象 定义为 全局opener，表示如果之后凡是调用urlopen，都将使用这个opener（根据自己的需求来选择）

二、简单的自定义opener()

import urllib.request
# 构建一个HTTPHandler 处理器对象，支持处理HTTP请求
# handel = urllib.request.HTTPHandler()

# 构建一个HTTPHandler 处理器对象，支持处理HTTPS请求
handel = urllib.request.HTTPSHandler()

# 创建支持处理HTTP请求的opener对象
opener = urllib.request.build_opener(handel)
# 构建 Request请求
url = "https://www.baidu.com"
# 设置请求头，模拟成是浏览器访问
header = {
    "User-Agent": '''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'''
}
req = urllib.request.Request(url,headers=header)
# 调用自定义opener对象的open()方法，发送request请求
response = opener.open(req)
# 获取服务器响应内容
print(response.read().decode("utf-8"))

这种方式发送请求得到的结果，和使用urllib.request.urlopen()发送HTTP/HTTPS请求得到的结果是一样的。

如果在 HTTPHandler()增加 debuglevel=1参数，还会将 Debug Log 打开，这样程序在执行的时候，会把收包和发包的报头在屏幕上自动打印出来，方便调试，有时可以省去抓包的工作

# 仅需要修改的代码部分：

# 构建一个HTTPHandler 处理器对象，支持处理HTTP请求
# handel = urllib.request.HTTPHandler(debuglevel=1)

# 构建一个HTTPHandler 处理器对象，支持处理HTTPS请求
handel = urllib.request.HTTPSHandler(debuglevel=1)

三、Cookie

1、简介

Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。

2、Cookie原理

HTTP是无状态的面向连接的协议, 为了保持连接状态, 引入了Cookie机制 Cookie是http消息头中的一种属性，格式为键值对 name:value。包括：

Cookie的过期时间（Expires/Max-Age）
Cookie作用路径（Path）
Cookie所在域名（Domain），
使用Cookie进行安全连接（Secure）。

前两个参数是Cookie应用的必要条件，另外，
还包括Cookie大小（Size，不同浏览器对Cookie个数及大小限制是有差异的）。

Cookie由变量名和值组成，根据 Netscape公司的规定，Cookie格式如下：

Set－Cookie: NAME=VALUE；Expires=DATE；
Path=PATH；Domain=DOMAIN_NAME；SECURE

3、Cookie应用

Cookies在爬虫方面最典型的应用是判定注册用户是否已经登录网站，用户可能会得到提示，是否在下一次进入此网站时保留用户信息以便简化登录手续。

4、cookielib库 和 HTTPCookieProcessor处理器

在Python处理Cookie，一般是通过cookielib模块和 urllib模块的HTTPCookieProcessor处理器类一起使用。

cookielib模块：主要作用是提供用于存储cookie的对象

HTTPCookieProcessor处理器：主要作用是处理这些cookie对象，并构建handler对象。

5、cookielib 库

该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

######5.1 CookieJar

管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

######5.2 FileCookieJar

FileCookieJar(filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

######5.3 MozillaCookieJar

MozillaCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。

LWPCookieJar (filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的 Set-Cookie3 文件格式兼容的FileCookieJar实例。

其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar() 或 LWPCookieJar()

我们来做几个案例：
1.获取Cookie，并保存到CookieJar()对象中

流程：a.创建cookie对象 b.创建处理器对象 c.创建打开器对象 d.获取请求

import urllib.request
from http import cookiejar
# 创建cookie对象
cookie = cookiejar.CookieJar()
# 创建cookie处理器对象
cookie_handle = urllib.request.HTTPCookieProcessor(cookie)
# 创建打开器对象
opener = urllib.request.build_opener(cookie_handle)
# 全局安装
# urllib.request.install_opener(opener)
response = opener.open("http://www.baidu.com")
print(response)

2.访问网站获得cookie，并把获得的cookie保存在cookie文件中

流程：a.创建cookie对象 b.创建处理器对象 c.创建打开器对象 d.设置表单数据 e.设置请求体

f. 获取响应 h.保存cookie

'''
#a.创建cookie对象 b.创建处理器对象 c.创建打开器对象 d.设置表单数据  e.设置请求体
#f. 获取响应 h.保存cookie
'''

import urllib
from urllib import  request,parse
from http import cookiejar
# 创建cookie对象,写入文件
cookieFile = "cookie.txt"
cookie = cookiejar.LWPCookieJar()
# 创建处理器对象，提取cookie
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
# 创建打开器对象
opener = urllib.request.build_opener(cookie_handler)
# 设置登录url,登录人人网
url = "http://www.renren.com/PLogin.do"
# 设置请求头，模拟成是浏览器访问
header = {
    "User-Agent": '''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'''
}
# 设置表单数据
data = {
    "email": "账号",
    "password": "密码"
}
data = urllib.parse.urlencode(data).encode("utf-8")
# 设置请求体
req = urllib.request.Request(url,data=data,headers=header)
# 获取响应
response = opener.open(req)
# 保存cookie
cookie.save(filename=cookieFile, ignore_discard=True, ignore_expires=True)
print(response.read().decode("utf-8"))

1. 从文件中获取cookies，做为请求的一部分去访问

   流程a.创建cookie对象 b.获取cookie文件 c.创建处理器对象 d.创建打开器对象 e.设置请求体 f.获取响应

import urllib
from urllib import request
from http import cookiejar
# 创建cookie对象
cookie = cookiejar.LWPCookieJar()
# 获取cookie文件
cookieFile = "./cookie.txt"
cookie.load(filename=cookieFile,ignore_discard=True,ignore_expires=True)
# 创建处理器对象
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)
# 创建打开器对象
opener = urllib.request.build_opener(cookie_handler)
# 设置请求头，模拟成是浏览器访问
header = {
    "User-Agent": '''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'''
}
url = "http://www.renren.com/965557295/profile"
# 设置请求体
req = urllib.request.Request(url,headers=header)
# 获取响应
response = opener.open(req)
print(response.read().decode("utf-8"))

使用登录后的cookie进行认证

import urllib
from urllib import request
# 设置请求头，模拟成是浏览器访问
header = {
    "Cookie": "从已经登录的csdn网站中获取cookie,放到这里",
    "User-Agent": '''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'''
}
url = "https://my.csdn.net/"
req = urllib.request.Request(url,headers=header)
response = urllib.request.urlopen(req)
print(response.read().decode("utf-8"))

四、HTTP代理神器Fiddler

Fiddler是一款强大Web调试工具，它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候，默认IE的代理设为了127.0.0.1:8888，而其他浏览器是需要手动设置。（抓包工具）

五、请求 (Request) 部分详解

Headers —— 显示客户端发送到服务器的 HTTP 请求的 header，显示为一个分级视图，包含了 Web 客户端信息、Cookie、传输状态等。
Textview —— 显示 POST 请求的 body 部分为文本。
WebForms —— 显示请求的 GET 参数 和 POST body 内容。
HexView —— 用十六进制数据显示请求。
Auth —— 显示响应 header 中的 Proxy-Authorization(代理身份验证) 和 Authorization(授权) 信息.
Raw —— 将整个请求显示为纯文本。
JSON - 显示JSON格式文件。
XML —— 如果请求的 body 是 XML 格式，就是用分级的 XML 树来显示它。

六、响应 (Response) 部分详解

Transformer —— 显示响应的编码信息。
Headers —— 用分级视图显示响应的 header。
TextView —— 使用文本显示相应的 body。
ImageVies —— 如果请求是图片资源，显示响应的图片。
HexView —— 用十六进制数据显示响应。
WebView —— 响应在 Web 浏览器中的预览效果。
Auth —— 显示响应 header 中的 Proxy-Authorization(代理身份验证) 和 Authorization(授权) 信息。
Caching —— 显示此请求的缓存信息。
Privacy —— 显示此请求的私密 (P3P) 信息。
Raw —— 将整个响应显示为纯文本。
JSON - 显示JSON格式文件。
XML —— 如果响应的 body 是 XML 格式，就是用分级的 XML 树来显示它 。

七、ProxyHandler处理器（代理设置）

使用代理IP，这是爬虫/反爬虫的第二大招，通常也是最好用的。（可以使用软件ccproxy来设置IP代理）

很多网站会检测某一段时间某个IP的访问次数(通过流量统计，系统日志等)，如果访问次数多的不像正常人，它会禁止这个IP的访问。

所以我们可以设置一些代理服务器，每隔一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：
流程: a.设置IP代理 b.创建处理器对象 c.创建打开器对象 d.设置请求体 e.获取响应

import urllib
from urllib import request
# 设置ip代理
proxy = {"HTTP": "121.42.167.160:3128"}  # 无密码

# {"协议类型":"用户名:密码@IP:PORT"}
# proxy = {"http": "User1:123456@10.3.137.91:808"} # 有密码 407: Proxy Authentication Required

# ip池
# proxyList = [{},{},{}]
# proxy = random.choice(proxyList)
# proxies

# 创建处理器对象
proxy_handler = urllib.request.ProxyHandler(proxy)
# 创建打开器对象
opener = urllib.request.build_opener(proxy_handler)
# 设置请求体
# 设置请求头，模拟成是浏览器访问
header = {
    "User-Agent": '''Mozilla/5.0 (Windows NT 10.0; Win64; x64)
            AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'''
}

req = urllib.request.Request("http://www.baidu.com/",headers=header)
response = opener.open(req)
print(response.read().decode("utf-8"))

免费的开放代理获取基本没有成本，我们可以在一些代理网站上收集这些免费代理，测试后如果可以用，就把它收集起来用在爬虫上面。

免费短期代理网站举例：

西刺免费代理IP
快代理免费代理
Proxy360代理
全网代理IP
如果代理IP足够多，就可以像随机获取User-Agent一样，随机选择一个代理去访问网站。

import random

import requests

# 假设此时有一已经格式化好的ip代理地址proxies
# 西刺代理：http://www.xicidaili.com/
iplist = [
    "http://183.159.84.198:18118",
    "http://183.159.92.206:18118",
    "http://119.179.209.43:61234",
    "http://183.159.82.181:18118"
]

# print(random.choice(iplist))

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36X-Requested-With: XMLHttpRequest"}
url = 'https://blog.csdn.net/linangfs/article/details/78331419?locationNum=9&fps=1'
for i in range(10):
    proxies = {"http": random.choice(iplist)}
    try:
        page = requests.get(url, headers=headers, proxies=proxies)
    except:
        print('失败')
    else:
        print('成功')

后记

【后记】为了让大家能够轻松学编程，我创建了一个公众号【轻松学编程】，里面有让你快速学会编程的文章，当然也有一些干货提高你的编程水平，也有一些编程项目适合做一些课程设计等课题。

也可加我微信【1257309054】，拉你进群，大家一起交流学习。
如果文章对您有帮助，请我喝杯咖啡吧！

公众号

关注我，我们一起成长~~