第二十六节：urllib、requests、selenium请求库代理设置

1、urllib代理设置

 1 from urllib.error import URLError
 2 from urllib.request import ProxyHandler
 3 from urllib.request import build_opener
 4
 5 # 通过ProxyHandler来设置代理服务器，参数为字典类型，键名为协议，键值为代理
 6 proxy_handler = ProxyHandler({"http": "http://113.120.33.75:9999",
 7                               "https":"https://120.83.99.72:9999"})
 8
 9 # 创建一个opener对象，比openurl多了一个header
10 opener = build_opener(proxy_handler)
11 try:
12     # 通过opener对象打开url
13     response = opener.open("http://httpbin.org/get")
14     print(response.read().decode("utf-8"))
15 except URLError as e:
16     print(e.reason)

结果会出现两种情况

[WinError 10061] 由于目标计算机积极拒绝，无法连接。

解决方法：主要是代理不可用，更换代理就行

[WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

解决方法：将浏览器的代理设置中的局域网设置，里面的自动配置脚本选项改为自动检测设置即可。

运行结果如下，可以看到origin已经改成了代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "113.120.33.75, 113.120.33.75",
  "url": "https://httpbin.org/get"
}

2、requests代理设置

 1 import requests
 2
 3 # 设置代理
 4 proxies = {"http":"http://182.92.113.183:8118",
 5            "https":"https://120.83.99.72:9999"}
 6 try:
 7     # 请求url链接
 8     response = requests.get("http://httpbin.org/get",proxies=proxies)
 9
10     # 输出文本内容
11     print(response.text)
12 except requests.exceptions.ConnectionError as e:
13     print(e.args)

运行结果如下，origin已经更改为代理IP了，显然比urllib简单多了，且不用创建opener对象

{
  "args": {},
  "headers": {
    "Accept": "*/*",
    "Accept-Encoding": "gzip, deflate",
    "Host": "httpbin.org",
    "User-Agent": "python-requests/2.21.0"
  },
  "origin": "182.92.113.183, 182.92.113.183",
  "url": "https://httpbin.org/get"
}

3、selenium代理设置

 1 import time
 2 from selenium import webdriver
 3
 4 # 代理IP地址
 5 proxy = "182.92.113.183:8118"
 6
 7 # url链接
 8 url = "http://httpbin.org/get"
 9
10 # 启动谷歌控制选项，以便添加代理
11 chrom_options = webdriver.ChromeOptions()
12
13 # 设置代理，注意“=”号两边不能有空格
14 chrom_options.add_argument("--proxy-server=http://" + proxy)
15
16 # 模拟谷歌浏览器，并通过chrome_options参数传递代理
17 browser = webdriver.Chrome(executable_path="D:\chromedriver.exe",chrome_options=chrom_options)
18
19 # 打开url链接
20 browser.get(url=url)
21 time.sleep(10)
22
23 # 退出并清除浏览器缓存
24 browser.quit()

运行结果如下，可以看到origin已经更改为代理IP了

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "182.92.113.183, 182.92.113.183",
  "url": "https://httpbin.org/get"
}

4、PhantomJS代理设置（新版本selenium已经弃用，使用谷歌无界面浏览器）

from selenium import webdriver
"""service_args = [
    ‘--proxy=%s‘ % ip_html,         # 代理 IP：prot    （eg：192.168.0.28:808）
    ‘--proxy-type=http’,            # 代理类型：http/https
    ‘--load-images=no’,             # 关闭图片加载（可选）
    ‘--disk-cache=yes’,             # 开启缓存（可选）
    ‘--ignore-ssl-errors=true’      # 忽略https错误（可选）
]"""
# url链接
url = "http://httpbin.org/get"
service_args = ["--proxy=121.233.206.44:9999",      # 代理IP
                "--proxy-type=http"]                # 代理协议类型http/HTTPS

# 启用PhantomJS无界面浏览器，并传递参数为代理IP
browser = webdriver.PhantomJS(executable_path=r"D:\phantomjs-2.1.1-windows\bin\phantomjs.exe",service_args=service_args)
browser.get(url=url)
print(browser.page_source)

运行结果出乎意料的是最新版本的selenium不在支持PhantomJS了，让我们使用谷歌或者火狐的无头浏览器

UserWarning: Selenium support for PhantomJS has been deprecated,
please use headless versions of Chrome or Firefox instead
warnings.warn('Selenium support for PhantomJS has been deprecated, please use headless '

由于我的浏览器是谷歌浏览器，所以我就使用谷歌的无头浏览器进行IP代理，

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

# 创建谷歌浏览器模拟设置对象
chrome_options = Options()
proxy = "182.92.113.183:8118"       # 代理IP
url = "http://httpbin.org/get"      # url链接

# 设置谷歌浏览器无界面模式，即浏览器不停可视化页面
chrome_options.add_argument("--headless")

# 禁用使用GPU加速
chrome_options.add_argument("--disable-gpu")

# 设置语言
chrome_options.add_argument("-lang=zh-cn")      # 中文
# chrome_options.add_argument("-lang=en-GB")    # 英文

# 设置谷歌浏览器代理IP
chrome_options.add_argument("--proxy-server=http://" + proxy)

# 指定浏览器分辨率
chrome_options.add_argument("window-size=1920x3000")

# 模拟谷歌浏览器，并通过chrome_options参数传递代理IP
browser = webdriver.Chrome(chrome_options=chrome_options,executable_path="D:\chromedriver.exe")
browser.get(url=url)
print(browser.find_element_by_xpath("/html/body/pre").text)

运行结果如下，origin的IP地址已经更改为代理IP

{
  "args": {},
  "headers": {
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
    "Accept-Encoding": "gzip, deflate",
    "Accept-Language": "zh-cn",
    "Host": "httpbin.org",
    "Upgrade-Insecure-Requests": "1",
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) HeadlessChrome/74.0.3729.169 Safari/537.36"
  },
  "origin": "182.92.113.183, 182.92.113.183",
  "url": "https://httpbin.org/get"
}

最后附上selenium模块add_argument常用参数

chrome_options.add_argument('--user-agent=""')                  # 设置请求头的User-Agent
chrome_options.add_argument('--window-size=1280x1024')          # 设置浏览器分辨率（窗口大小）
chrome_options.add_argument('--start-maximized')                # 最大化运行（全屏窗口）,不设置，取元素会报错
chrome_options.add_argument('--disable-infobars')               # 禁用浏览器正在被自动化程序控制的提示
chrome_options.add_argument('--incognito')                      # 隐身模式（无痕模式）
chrome_options.add_argument('--hide-scrollbars')                # 隐藏滚动条, 应对一些特殊页面
chrome_options.add_argument('--disable-javascript')             # 禁用javascript
chrome_options.add_argument('--blink-settings=imagesEnabled=false')  # 不加载图片, 提升速度
chrome_options.add_argument('--headless')                       # 浏览器不提供可视化页面
chrome_options.add_argument('--ignore-certificate-errors')      # 禁用扩展插件并实现窗口最大化
chrome_options.add_argument('--disable-gpu')                    # 禁用GPU加速
chrome_options.add_argument('--disable-software-rasterizer')
chrome_options.add_argument('--disable-extensions')             # 禁止扩展
chrome_options.add_argument('--start-maximized')                # 启动就最大化
chrome_options.add_argument("--proxy-server=http://xxxxxxx")    # 设置IP代理

另外还有其他参数，请参考https://blog.csdn.net/liaojianqiu0115/article/details/78353267