Python request SSL证书问题
错误信息如下:
1
|
requests.exceptions.SSLError: ( "bad handshake: Error([('SSL routines', 'tls_process_server_certificate', 'certificate verify failed')],)" ,) |
python做爬虫,对于有的网站,需要验证证书,比如:12306,https://inv-veri.chinatax.gov.cn/等网站
那么我参考这个作者的简书:http://www.jianshu.com/p/e42005d48929 解决了这个错误:
加上一个参数:verify=证书路径,或verify=False
1
2
3
4
5
6
7
8
|
#方法一<br>import requests from bs4 import BeautifulSoup url = 'https://inv-veri.chinatax.gov.cn/' req = requests.get(url,verify = False ) req.encoding = 'utf-8' soup = BeautifulSoup(req.text, 'lxml' ) print (soup) |
错误消失了但是有提醒,不过没事,可以解析出源代码。然后我根据他的简书继续下载证书,但是不知道为什么,我下载的证书不管用,然后没辙,幸好之前做过12306这个网站。OK,第二种简单的方法来了,下载啥安全证书?不需要,不需要。直接上一段添加证书代码:
1
|
ssl._create_default_https_context = ssl._create_unverified_context #注意用了这个就不能用requests了,得用urllib2.Request |
完整代码如下:
1
2
3
4
5
6
7
8
9
|
# 方法二(推荐): import ssl import urllib2 ssl._create_default_https_context = ssl._create_unverified_context req = urllib2.Request( 'https://inv-veri.chinatax.gov.cn/' ) data = urllib2.urlopen(req).read() print (data) |
总结:经过我的测试,推荐大家使用方法二。喜欢的话点个赞哦~
经过大半年之后我又回到了爬虫:对于咱们上面两个方法我又发现了一个好的SSL证书验证的方法:加参数:verify=False
完整代码如下:
1
2
3
4
5
|
#SSL证书验证 import requests response = requests.get( 'https://www.12306.cn' , verify = False ) print (response.status_code) |
不过我们发现报了一个警告,它建议我们给它指定证书。我们可以通过设置忽略警告的方式来屏蔽这个警告:
1
2
3
4
5
6
|
import requests from requests.packages import urllib3 urllib3.disable_warnings() response = requests.get( 'https://www.12306.cn' , verify = False ) print (response.status_code) |
或者通过捕获警告到日志的方式忽略警告:
1
2
3
4
5
|
import logging import requests logging.captureWarnings( True ) response = requests.get( 'https://www.12306.cn' , verify = False ) print (response.status_code) |
如果我上面三种方法还不能解决你ssl的错误的话,请重新安装requests:
1
|
python2下载版本: |
1
|
pip install requests = = 2.6 . 0 |
1
|
python3下载版本 |
1
|
pip install requests = = 2.7 . 0 |
再次运行成功。
示例:例如这个网址https://grwsyw.bjgjj.gov.cn/ish/,必须使用对的requests版本
:
1
2
3
|
import requests req = requests.get( 'https://grwsyw.bjgjj.gov.cn/ish/' ,verify = False ) print (req.text) |
转载至:https://www.cnblogs.com/fh-fendou/p/7479812.html
Python request SSL证书问题的更多相关文章
- python爬虫(3)——SSL证书与Handler处理器
一.SSL证书问题 上一篇文章,我们创建了一个小爬虫,下载了上海链家房产的几个网页.实际上我们在使用urllib联网的过程中,会遇到证书访问受限的问题. 处理HTTPS请求SSL证书验证,如果SSL证 ...
- (转)python requests 高级用法 -- 包括SSL 证书错误的解决方案
我在使用requests访问某个https网站时出现错误 error::SSL routines:SSL3_GET_SERVER_CERTIFICATE:certificate verify fai ...
- python requests 高级用法 -- 包括SSL 证书错误的解决方案
Session Objects会话对象 Session对象在请求时允许你坚持一定的参数.此外,还坚持由Session实例的所有请求的cookie. 让我们坚持在请求时使用 s = requests.S ...
- Python‘ssl.match_hostname()’函数SSL证书验证安全绕过漏洞
漏洞名称: Python‘ssl.match_hostname()’函数SSL证书验证安全绕过漏洞 CNNVD编号: CNNVD-201312-033 发布时间: 2013-12-04 更新时间: 2 ...
- [python][nginx][https] Nginx 服务器 SSL 证书安装部署
目录 前言 1 申请证书 2 Nginx 服务器 SSL 证书安装部署 2.1.准备 Nginx 环境 2.2 证书部署 2.3 Nginx 配置 3 最后 参考链接 前言 博主博客中的图片,使用的是 ...
- 通过python代码对域名ssl证书进行监控
根据公司要求,要求用zabbix对域名的ssl证书进行到期监控 直接上代码 #!/usr/bin/env python3 from urllib3.contrib import pyopenssl f ...
- python Request模块
---恢复内容开始--- Request的五种请求方式: request.get() request.post() request.head() requst.put() request.patch( ...
- 网络请求 爬虫学习笔记 一 requsets 模块的使用 get请求和post请求初识别,代理,session 和ssl证书
前情提要: 为了养家糊口,为了爱与正义,为了世界和平, 从新学习一个爬虫技术,做一个爬虫学习博客记录 学习内容来自各大网站,网课,博客. 如果觉得食用不良,你来打我啊 requsets 个人觉得系统自 ...
- 关闭SSL证书验证
转载 Python3之关闭SSL证书验证 转载 Python requests 移除SSL认证,控制台输出InsecureRequestWarning取消方法 报错信息: Traceback (mos ...
随机推荐
- 【原创】大叔问题定位分享(9)oozie提交spark任务报 java.lang.NoClassDefFoundError: org/apache/kafka/clients/producer/KafkaProducer
oozie中支持很多的action类型,比如spark.hive,对应的标签为: <spark xmlns="uri:oozie:spark-action:0.1"> ...
- Python 通用爬虫 和讯博客 scrapy
目标站点需求分析 通用爬虫,获取和讯博客所有博文 涉及的库 scrapy,re,requests,mysql URL RULE 解析单页源码 保存到数据库 结果
- Allegro PCB Design GXL (legacy) 将brd文件另存为低版本文件
Allegro PCB Design GXL (legacy) version 16.6-2015 参考:https://blog.csdn.net/qq_29761395/article/detai ...
- JavaScript 动态选择方法和属性
<html> <head> <meta http-equiv="Content-Type" content="text/html; char ...
- labview使用了报表模块,在生成exe时需要添加以下内容,否则打包后不能开启excel功能
1.在你的安装目录下找到文件夹(D:\Program Files (x86)\National Instruments\LabVIEW 2016\vi.lib\Utility\NIReport.llb ...
- Windows10 永久激活查询/激活时间查询/激活查询命令/激活码查询
1.使用 Windows + R组合快捷键打开运行命令框 运行: slmgr.vbs -dlv 命令 可以查询到Win10的激活信息,包括:激活ID.安装ID.激活截止日期等信息.看不懂的 ...
- redis学习(八)——redis应用场景
毫无疑问,Redis开创了一种新的数据存储思路,使用Redis,我们不用在面对功能单调的数据库时,把精力放在如何把大象放进冰箱这样的问题上,而是利用Redis灵活多变的数据结构和数据操作,为不同的大象 ...
- 关于eclipse配置tomcat时,console打印成功消息,但是不能成功访问页面的问题
解决方法:在首选项中配置tomcat后,为项目添加runtime后,在左下方的选项中,选择中间一项即可 重启发布,就可以正常访问了
- 牛顿二项式与 e 级数
复习一下数学, 找一下回忆. 先是从二项式平方开始: 其实展开是这样的: 再看立方: 通过排列组合的方式标记, 于是: 通过数学归纳法可以拓展: 使用求和简写可得: e 级数 数学常数 e (The ...
- windows应用程序框架及实例
应用程序框架:同一类型应用程序的结构大致相同,并有很多相同的源代码,因此可以通过一个应用程序框架AFX(Application FrameWorks)编写同一类型应用程序的通用源代码. 主要向导: D ...