访问我的博客 前言 在今年二月份在项目中引入了 WebMagic 技术,用来抓取合作方的书籍,详见之前文章:WebMagic之爬虫监控,这两天新接入了一个合作商,对方接口采取的是 HTTPS 协议,而以前合作商的接口全都是 HTTP 的,在接入这家合作商的时候,发现了问题,只要是 HTTPS 的 URL 全部无法爬取. 一.问题复现 在 WebMagic-core 包中,us.codecraft.webmagic.processor.example.GithubRepoPageProcessor…

服务器环境为CentOS,php-fpm,使用curl一个https站时失败,打开curl_error,捕获错误:Problem with reading the SSL CA cert (path? access rights?) 解决方案:1. sudo yum install ca-certificates (无论有没有,安装确认一下) 2. 重启php-fpm,这步比较重要,更改底层的东西时一定要重启一下 3. curl时设置:curl_setopt($ch, CURLOPT_SSL_V…

新解决方案 重置Fiddler,具体步骤: Tools > Fiddler Options > HTTPS > “Certificates generated by MakeCert engine” > Choose CertEnroll > Actions > Reset All Certificates > restart Fiddler.…

安装了fiddlercertmaker.exe 后,对 https://www.baidu.com 进行抓包时,右侧界面提示"HTTPS decryption is disabled." 原因:没有启用 https 解密.…

Fiddler对https抓包时,提示"HTTPS decryption is disabled." 原因:没有启用 https 解密. 破解: -------------------------------------------------------------以下为转载内容---------------------------------from @韩子迟------------------------------------------------ 如何用fiddler捕获h…

之前公司的app使用的http协议,因此不需要安装证书也能够转包. 后来改成https协议后,在使用fiddler进行抓包时,一直出现tunnel to 443. 百度了好久也没有具体的解决办法,后来发现需要在手机端安装fiddler的证书才行,安装后,再次抓包,立即解决. 要解密HTTPS流量,还需要在移动设备上安装刚刚设置的根证书: 具体步骤如下,以Android手机为例: 1.要保证pc端的fiddler打开,如图 2.打开手机浏览器,输入http://[FIDDLERSERVER]:[P…

针对近期iOS 10.3以上的系统charles抓https信任问题 前言 最近iPhone系统更新到ios 10.3后,在公司里用Charles抓包竟然出现了一些问题,https的请求都会失败,提示错误信息为Failure SSLHandshake: Received fatal alert: unknown_ca 和You may need to configure your browser or application to trust the Charles Root Certifica…

1. fidder抓https包的基本配置,可参见以下博文 http://blog.csdn.net/idlear/article/details/50999490 2. 遇到问题:抓包看只有Tunnel to xxx:443,没有其他的请求包 http://blog.csdn.net/htdeyanlei/article/details/52874248 补充fidder小工具:http://www.telerik.com/fiddler/add-ons,其中可找到生成证书的小工具 certM…

解决Python安装包时提示Unable to find vcvarsall.bat的问题   by:授客 QQ:1033553122 问题 Python安装包时,提示Unable to find vcvarsall.bat,如下 解决方法 安装MinGW,安装完成后,设置环境变量,把 $install_dir\bin添加到path中,比如MinGW安装在C:\MinGW,则把C:\MinGW\bin添加到path中 MinGW下载地址:https://sourceforge.net/proje…

抓取时光网的电影列表并生成网页 源码 https://github.com/YouXianMing/BeautifulSoup4-WebCralwer 分析 利用BeautifulSoup进行分析网页并抓取数据,并利用正则表达式替换模板生成网页. 效果…