如何解决Requests的SSLError(转)
add by zhj: 我使用方法2“更新系统的certificate”解决了问题
原文:https://www.jianshu.com/p/8deb13738d2c
这两天在Linux上爬Google Play的app列表时,发现之前的脚本不能用了,总是报SSLError。花了一天的时间进行定位,虽然还是不明白为什么脚本之前能用,现在却不能用,但总算找到了解决办法。记录一下解决思路和过程,以供他人遇到类似问题时参考。
问题
脚本是用Python 3.4写的,用到了一个开源的库play-scraper,调用其collection
API来获取Google Play的Top App列表。该库使用了requests作为客户端来对Google Play进行操作。当脚本执行时,会报如下错误:certificate verify failed。
Traceback (most recent call last):
File "/home/me/py3.4/lib/python3.4/site-packages/urllib3/connectionpool.py", line 600, in urlopen
chunked=chunked)
File "/home/me/py3.4/lib/python3.4/site-packages/urllib3/connectionpool.py", line 345, in _make_request
self._validate_conn(conn)
File "/home/me/py3.4/lib/python3.4/site-packages/urllib3/connectionpool.py", line 844, in _validate_conn
conn.connect()
File "/home/me/py3.4/lib/python3.4/site-packages/urllib3/connection.py", line 326, in connect
ssl_context=context)
File "/home/me/py3.4/lib/python3.4/site-packages/urllib3/util/ssl_.py", line 325, in ssl_wrap_socket
return context.wrap_socket(sock, server_hostname=server_hostname)
File "/usr/local/lib/python3.4/ssl.py", line 365, in wrap_socket
_context=self)
File "/home/me/py3.4/lib/python3.4/site-packages/gevent/_ssl3.py", line 232, in __init__
raise x
File "/home/me/py3.4/lib/python3.4/site-packages/gevent/_ssl3.py", line 228, in __init__
self.do_handshake()
File "/home/me/py3.4/lib/python3.4/site-packages/gevent/_ssl3.py", line 545, in do_handshake
self._sslobj.do_handshake()
ssl.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:600)
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/home/me/py3.4/lib/python3.4/site-packages/requests/adapters.py", line 440, in send
timeout=timeout
File "/home/me/py3.4/lib/python3.4/site-packages/urllib3/connectionpool.py", line 630, in urlopen
raise SSLError(e)
urllib3.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:600)
定位过程
仔细分析Traceback,发现问题出在def send(self, request, stream=False, timeout=None, verify=True, cert=None, proxies=None)
中。注意verify
参数,默认为True。在play-scraper中也是将其设为True的,说明在SSL握手过程中要验证certificate的。
Google了一下错误信息,大致有以下几种解决方法:
1. 将verify设为False,不验证certificate
参考:https://stackoverflow.com/a/30373147/2510797
简单粗暴,但是有效。不报错误了,但总是有Insecure request的告警。对于有代码洁癖的本人来说,这显然是不能接受的,除非时间非常紧迫。继续定位。
2. 更新系统的certificate。
参考:https://stackoverflow.com/a/24212501/2510797
sudo apt-get install ca-certificates
看了一下所用Linux系统的ca-certificates package,确实比较老了,但之前一直没有问题。死马当活马医试试吧,但问题依旧。
3. 指定系统certificate的路径
参考: https://stackoverflow.com/a/16085737/2510797
Linux系统certificate的certificate路径在/etc/ssl/certs
。使用verify="/etc/ssl/certs"
试试,发现确实不报错误了。但是这个方法的弊端也是显而易见:play-scraper并没有在API中提供传入参数verify,必须要修改其代码才行。不同的操作系统,其certificate存放的位置肯定不一样,要是代码支持跨平台,就需要判断操作系统的类型,然后传入相应的verify值。对于一个相对使用比较广泛的requests库来说,这么做显然不太合理。
4. 使用certifi的certitificate路径
参考:https://stackoverflow.com/a/35791445/2510797
看了一下requests的文档,发现它使用了certifi package。然后再去看certifi的文档,发现其certificate路径有两个:certifi.where()
和certifi.old_where()
。快速浏览了一下requests的源码,发现如果verify=True
的话,所用的certificate就是certifi.where()
,所以就试了一下old_where(),居然不报错了。但看到certifi的文档中建议尽量不要用old_where(),所以还是不甘心,继续定位。
5. 安装requests的security extras
参考:https://stackoverflow.com/a/39580231/2510797
pip install -U requests[security]
注意后面的方括号,pip会安装三个security相关的package:pyopenssl cryptography idna。
试了一下,果然有效,不再报错。再去读requests和urllib3的源码,发现确实使用了pyopenssl。具体是怎么用的,还没有来得及分析。
至此个人觉得比较好的解决方法基本成型:修改play-scraper的dependency,使用requests[security]来安装那三个安全相关的包。
另外,系统的openssl版本太旧或太新也可能会造成问题。在目前最新版本的openssl上,该解决方法是有效的。
总结
使用开源软件的好处是可以看实现源码,花点时间读源码,调试定位,问题基本不难解决。但是文档有可能不是那么完备,需要进行Google或仔细读源码。希望自己的分析思路对别人有所帮助吧。
作者:PythonDeveloper
链接:https://www.jianshu.com/p/8deb13738d2c
来源:简书
简书著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。
如何解决Requests的SSLError(转)的更多相关文章
- 解决python爬虫requests.exceptions.SSLError: HTTPSConnectionPool(host='XXX', port=443)问题
爬虫时报错如下: requests.exceptions.SSLError: HTTPSConnectionPool(host='某某某网站', port=443): Max retries exce ...
- 关于requests.exceptions.SSLError: HTTPSConnectionPool
问题: requests.exceptions.SSLError: HTTPSConnectionPool(host='mall.christine.com.cn', port=443): Max r ...
- python使用requests时报错requests.exceptions.SSLError: HTTPSConnectionPool
报错信息 Traceback (most recent call last): File "<stdin>", line 1, in <module> Fi ...
- requests.exceptions.SSLError……Max retries exceeded with url错误求助!!!
import requests head = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) Appl ...
- requests.exceptions.SSLError报错
requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries excee ...
- pycharm fiddler requests.exceptions.SSLError
一.SSL问题1.不启用fiddler,直接发https请求,不会有SSL问题(也就是说不想看到SSL问题,关掉fiddler就行) 2.启动fiddler抓包,会出现这个错误:requests.ex ...
- Python中request的post请求报requests.exceptions.SSLError:
今天发送一个post请求,提示错误 requests.exceptions.SSLError: HTTPSConnectionPool(host='user.zaful.com', port=443) ...
- 解决requests获取源代码时中文乱码问题
用requests获取源代码时,如果是中文网页,就可能会出现乱码,下面我以中关村的网站为例: import requests url = 'http://desk.zol.com.cn/meinv/' ...
- [未解决]报错:SSLError
参考网友解决的方法 任何报SSLError类的错,解决方法: 引入ssl模块 import ssl 在url链接代码上方添加语句: ssl._create_default_https_context ...
随机推荐
- 中文版Postman测试需要登陆才能访问的接口(基于Cookie)
ApiPost堪称增强版的中文postman,是一个支持团队协作,并可直接生成文档的API调试.管理工具.它支持模拟POST.GET.PUT等常见请求,是后台接口开发者或前端.接口测试人员不可多得的工 ...
- DF1协议简述
DF1协议 1. 概述 可编程控制器(PLC)因编程方便,抗干扰能力强,被广泛应用于各种领域.DF1协议是AB公司可编程控制器系统广泛支持的数据链路层通信协议,各系列可编程控制器及装有RSLin ...
- MySQL索引(九)
一.索引介绍 1.1 什么是索引 索引就好比一本书的目录,它会让你更快的找到内容. 让获取的数据更有目的性,从而提高数据库检索数据的性能. 分为以下四种: BTREE:B+树索引(基本上都是使用此索引 ...
- Jupyter notebook 添加或删除内核
1.切换到要添加的虚拟环境,确认是否安装 ipykernel python -m ipykernel --version 如果没有安装,则安装: python -m pip install ipyke ...
- vue-router编程式跳转
除了使用 <router-link> 创建 a 标签来定义导航链接,我们还可以借助 router 的实例方法,通过编写代码来实现. [语法] .
- 嵌入式linux开发uboot启动过程源码分析(一)
一.uboot启动流程简介 与大多数BootLoader一样,uboot的启动过程分为BL1和BL2两个阶段.BL1阶段通常是开发板的配置等设备初始化代码,需要依赖依赖于SoC体系结构,通常用汇编语言 ...
- 前端(5)之jQuery
前端(5)之jQuery jQuery介绍 1.jQuery是一个轻量级的,兼容多浏览器的JavaScript库. 2.jQuery使用户能够更方便地处理HTML Document.Events.实现 ...
- 07-C#笔记-运算符
1. 支持++和-- 含义和C++中相同 2. 条件运算 同C++ 3. 位运算 ^ 异或 ~ 取反 4. 支持?:运算 5. 特殊 is 判断对象是否为某一类型. If( Ford is Car) ...
- 12-cmake语法-内部变量-系统信息
系统信息 CMAKE_MAJOR_VERSION CMAKE 主版本号,比如 2.4.6 中的 2 CMAKE_MINOR_VERSION CMAKE 次版本号,比如 2.4.6 中的 4 CMAKE ...
- 15-cmake语法-math
math 数学表达式 math(EXPR <output variable> <math expression>) 例子: math(EXPR VAR "${VAR} ...