ProxyHandler处理器（代理设置）

很多网站会检测某一段时间某个IP的访问次数（通过流量统计，系统日志等），如果访问的次数多得不像正常人，它会禁止这个IP的访问。

所以我们可以设置一些代理服务器，每个一段时间换一个代理，就算IP被禁止，依然可以换个IP继续爬取。

1.代理的原理：在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的网站的数据后，再转发给我们的代码。

2.http://httpbin.org：这个网站可以方便的查看HTTP请求的一些参数。

3.urllib中通过ProxyHandler来设置使用代理服务器，下面代码说明如何使用自定义opener来使用代理：

　　* 使用`urllib.request.ProxyHandler`，传入一个代理，这个代理是一个字典，字典的key依赖于代理服务器能够接收的类型，一般是`http`或者`https`，值是`ip:port`。

　　* 使用上一步创建的`handler`，以及`request.bulid_opener`创建一个`opener`对象。

　　* 使用上一步创建的`opener`，调用`open`函数，发起请求。

from urllib import request

# 这个是没有使用代理的
# resp = request.urlopen("http://httpbin.org/get")
# print(resp.read().decode("utf-8"))

# 下面是使用了代理的
handler = request.ProxyHandler({"http": "218.66.161.88:31769"})

opener = request.bulid_opener(handler)
req = request.Request(""http://httpbin.org/ip")
resp = opener.open(req)
print(resp.read())

常用的代理有：

- 西刺免费代理IP：http://www.xicidaili.com/

- 快代理：http:/www.kuaidaili.com/

- 代理云：http://www.dailiyun.com/