工作记录之 [ python请求url ] v s [ java请求url ]
背景:
模拟浏览器访问web,发送https请求url,为了实验需求需要获取ipv4数据包
由于不做后续的内容整理(有内部平台分析),故只要写几行代码请求发送https请求url列表中的url即可
开始使用python的urllib库的urllib.request.openurl()来进行访问,例如访问百度的:
page = urllib.request.urlopen('https://www.baidu.com')
如果请求成功则执行后续任务,失败则采用异常捕获,跳过此url并记录到文件(在此不给出代码,其实我主要就是想说明java与python的请求有很大不同之处)
在请求某些url时,如yahoo.com 采用分析平台捕获不到ipv4的数据包:

出于好奇,我使用浏览器人工去访问下此网站,发现浏览器中访问时是ipv4的:

放弃python,直接上java:
try {
     URL reqURL = new URL("https://www.yahoo.com/news" );
     HttpsURLConnection httpsConn = (HttpsURLConnection)reqURL.openConnection();
     new InputStreamReader(httpsConn.getInputStream());
}catch(Exception e) {
    System.out.println(e);;
}
再次查看捕获的数据包(应该是它更加优秀的模拟了浏览器去请求url):

(在此只作记录,没有深入研究(^_^))
本节完......
工作记录之 [ python请求url ] v s [ java请求url ]的更多相关文章
- 工作记录 - OBB的解决方案
		
之前关于OBB的内容: Android上使用native IO 最近工作中的问题笔记 工作记录[续] android OBB 自从用了Java来mount OBB, 再也没有遇到挂载的问题. 但最近在 ...
 - Jmeter性能测试实践之java请求
		
前言 Apache Jmeter是开源.易用的性能测试工具,之前工作中用过几次对http请求进行性能测试,对jmeter的基本操作有一些了解.最近接到开发的对java请求进行性能测试的需求,所以需要 ...
 - Java获取URL对应的资源
		
Java获取URL对应的资源 认识IP.认识URL是进行网络编程的第一步.java.net.URL提供了丰富的URL构建方式,并可以通过java.net.URL来获取资源. 一.认识URL ...
 - Python自动化--语言基础8--接口请求及封装
		
基于http协议,最常用的是GET和POST两种方法. 接口文档需要包含哪些信息: 接口名称接口功能接口地址支持格式 json/xml请求方式请求示例请求参数(是否必填.数据类型.传递参数格式)返回参 ...
 - IIS 7 反向代理 URL重写 转发动态请求
		
一.反向代理是什么 有一篇文章说的挺好的 Nginx 反向代理.负载均衡.页面缓存.URL重写及读写分离详解 http://www.server110.com/nginx/201402/5534.ht ...
 - python使用代理ip发送http请求
		
一.需求背景 网站刷票时,经常会遇到限制一个ip只能投票一次的限制,为此需要使用代理ip 二.脚本如下: 1.Proxy_http.py使用代理ip发送httpr的get和post请求 #coding ...
 - HTTP基础:URL格式、 HTTP请求、响应、消息
		
HTTP URL 格式: http://host[:port][abs_path] 其中http表示要通过HTTP协议来定位网络资源. host表示合法的Internet主机域名或IP地址(以点分十进 ...
 - 大概看了一天python request源码。写下python requests库发送 get,post请求大概过程。
		
python requests库发送请求时,比如get请求,大概过程. 一.发起get请求过程:调用requests.get(url,**kwargs)-->request('get', url ...
 - python  爬虫  重复下载     二次请求
		
在写爬虫的时候,难免会遇到报错,比如 4XX ,5XX,有些可能是网络的原因,或者一些其他的原因,这个时候我们希望程序去做第二次下载, 有一种很low的解决方案,比如是用 try except t ...
 
随机推荐
- RedHat Linux关闭seLinux命令
			
Redhat使用了SELinux来增强安全,关闭的办法为: 1. 永久有效 修改 /etc/selinux/config 文件中的 SELINUX="" 为 disabled ,然 ...
 - Mac配置Jdk 安装及系统环境配置
			
注:本文来于< Mac配置Java开发环境 > 1. 下载JDK 从下面链接选择合适版本的安装包进行下载...笔者下载的是jdk-9.0.1 链接:http://www.oracl ...
 - 华为手机浏览器 onclick失灵的问题
			
开发h5 遇到的问题是华为浏览器onclick 点击失灵. 下面这个网站是检查 浏览器是否支持es6语法的网站 http://ruanyf.github.io/es-checker/index.cn. ...
 - Dig  skipfish  proxystrike
			
1.DNS域名信息收集,(Dig,挖掘局域网的信息之前的博客中已经做过介绍) 查询需要认证的域名服务器 dig -t ns + 网址 使用工具 fierce 判断主机上存活的其他域名服务器 ...
 - 微信开发者工具_小程序js文件后面的M代表什么
			
Git 版本管理为了方便开发者更简单快捷地进行代码版本管理,简化一些常用的 Git 操作,以及降低代码版本管理使用的学习成本,开发者工具集成了 Git 版本管理面板.A: 增加的文件.C: 文件的一个 ...
 - C++ Primer 笔记——智能指针
			
1.新的标准库提供了两种智能指针类型,shared_ptr允许多个指针指向同一个对象,unique_ptr则独占所指的对象.标准库还定义了一个名为weak_ptr的伴随类,它是一种弱引用,指向shar ...
 - Docker相关释义
			
Docker相关释义 基础网站:http://www.runoob.com/docker/docker-tutorial.html Docker的思想来自于集装箱,集装箱解决了什么问题?在一艘大船上, ...
 - Ubuntu 进入、退出命令行的快捷键
			
进入: Ctrl+Alt+F1 退出: Ctrl+Alt+F7(或者 Alt+F7) 进入命令行窗口:Ctrl+Alt+T
 - linux基础练习题(3)
			
关卡三 练习题 在家路径下创建A文件夹 在上一步创建的A文件夹中,创建B/C/D文件夹 在上一步所在的路径中,创建C/E/F文件夹 使用目录树查看文件夹结构 A/B/C中创建一个hello.py文件 ...
 - urls.py路由系统分发的本质
			
路由系统分发的本质 反向生成redirect跳转url 1.在urls.py中指定url的name from django.conf.urls import url from django.contr ...