网页信息抓取 Jsoup的不足之处 httpunit
今天又遇到一个网页数据抓取的任务,给大家分享下。
说道网页信息抓取,相信Jsoup基本是首选的工具,完全的类JQuery操作,让人感觉很舒服。但是,今天我们就要说一说Jsoup的不足。
1、首先我们新建一个页面
- <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
- <html>
- <head>
- <title>main.html</title>
- <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
- <meta http-equiv="description" content="this is my page">
- <meta http-equiv="content-type" content="text/html; charset=UTF-8">
- <style type="text/css">
- a {
- line-height: 30px;
- margin: 20px;
- }
- </style>
- <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
- <script type="text/javascript">
- var datas = [ {
- href : "http://news.qq.com/a/20140416/017800.htm",
- title : "高校一保安长相酷似作家莫言"
- }, {
- href : "http://news.qq.com/a/20140416/015167.htm",
- title : "男子单臂托举悬空女半小时"
- }, {
- href : "http://news.qq.com/a/20140416/013808.htm",
- title : "女子上门讨房租遭强奸拍裸照"
- }, {
- href : "http://news.qq.com/a/20140416/016805.htm",
- title : "澳洲骆驼爱喝冰镇啤酒解暑"
- } ];
- window.onload = function() {
- var infos = document.getElementById("infos");
- for( var i = 0 ; i < datas.length ; i++)
- {
- var a = document.createElement("a");
- a.href = datas[i].href ;
- a.innerText = datas[i].title;
- infos.appendChild(a);
- infos.appendChild(document.createElement("br"))
- }
- }
- </script>
- </head>
- <body>
- Hello Main HttpUnit!
- <br>
- <div id="infos"
- style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
- </div>
- </body>
- </html>
页面上观察是这样显示的:
我们审查元素:
如果你看到这样的页面,你会觉得拿Jsoup来抓取,简直就是呵呵,小菜一叠,于是我们写了这样的代码:
- @Test
- ublic void testUserJsoup() {
- try {
- Document doc = Jsoup.connect(
- "http://localhost:8080/strurts2fileupload/main.html")
- .timeout(5000).get();
- Elements links = doc.body().getElementsByTag("a");
- for (Element link : links) {
- System.out.println(link.text() + " " + link.attr("href"));
- }
- } catch (IOException e) {
- e.printStackTrace();
- }
你会觉得就这几行代码,轻轻松松搞定,快快乐乐下班。于是运行发现,其实什么的抓取不到。
于是我们再回到页面,打开页面源代码,也就是上面的HTML代码,你恍然大悟,我靠,body里面根本没有数据,难怪抓不到。这就是Jsoup的不足,如果Jsoup去抓取的页面的数据,全都是页面加载完成后,ajax获取形成的,是抓取不到的。
下面给大家推荐另一个开源项目:HttpUnit,看名字是用于测试的,但是用来抓取数据也不错
我们开始编写类似Jsoup的代码:
- @Test
- public void testUserHttpUnit() throws FailingHttpStatusCodeException,
- MalformedURLException, IOException {
- /** HtmlUnit请求web页面 */
- WebClient wc = new WebClient(BrowserVersion.CHROME);
- wc.getOptions().setUseInsecureSSL(true);
- wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器,默认为true
- wc.getOptions().setCssEnabled(false); // 禁用css支持
- wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时,是否抛出异常
- wc.getOptions().setTimeout(100000); // 设置连接超时时间 ,这里是10S。如果为0,则无限期等待
- wc.getOptions().setDoNotTrackEnabled(false);
- HtmlPage page = wc
- .getPage("http://localhost:8080/strurts2fileupload/main.html");
- DomNodeList<DomElement> links = page.getElementsByTagName("a");
- for (DomElement link : links) {
- System.out
- .println(link.asText() + " " + link.getAttribute("href"));
- }
- }
再看一下运行结果:
完美解决,HttpUnit其实就相当于一个没有UI的浏览器,它可以让页面上的js执行完成后,再抓取信息
网页信息抓取 Jsoup的不足之处 httpunit的更多相关文章
- 网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处
转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...
- httpclient+jsoup实现网页信息抓取
需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...
- Android登录client,验证码的获取,网页数据抓取与解析,HttpWatch基本使用
大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...
- Ajax异步信息抓取方式
淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z 判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...
- 爬虫---selenium动态网页数据抓取
动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...
- 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp)
转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...
- Java---网络蜘蛛-网页邮箱抓取器~源码
刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...
- Atitit.web的自动化操作与信息抓取 attilax总结
Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...
- 接口测试——fiddler对soapui请求返回信息抓取
原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...
随机推荐
- Spring的IOC原理 通俗解释
1. IoC理论的背景我们都知道,在采用面向对象方法设计的软件系统中,它的底层实现都是由N个对象组成的,所有的对象通过彼此的合作,最终实现系统的业务逻辑. 图1:软件系统中耦合的对象 如果我们打开机械 ...
- 从c#数组求和说起
c#是一种玩具语言 为什么这么说, 举个简单的例子,提问:对数组[1,2,3]求和有几种方法? 我能说出来的,四种.说出来,不是上网查出来. for,foreach,sum,while. for好像大 ...
- 【Spring学习笔记-MVC-13.2】Spring MVC之多文件上传
作者:ssslinppp 1. 摘要 前篇文章讲解了单文件上传<[Spring学习笔记-MVC-13]Spring MVC之文件上传>http://www.cnblogs.co ...
- Javascript之类型检测(一)
js中有7种内置类型,这7种类型又分为2大类:基本数据类型和对象(object) 一.检测原始(基本数据:字符串.数字.布尔.null.undefined.symbol)类型. 用typeof检测原始 ...
- 云-AWS-清单:清单列表
ylbtech-云-AWS-清单:清单列表 1.返回顶部 2.返回顶部 3.返回顶部 4.返回顶部 5.返回顶部 6.返回顶部 作者:ylbtech出处:http://yl ...
- JSON: JSON 用法
ylbtech-JSON: JSON 用法 1. JSON Object creation in JavaScript返回顶部 1. <!DOCTYPE html> <html> ...
- centos7开机界面出现多个选项
第一个选项正常启动,第二个选项急救模式启动(系统出项问题不能正常启动时使用并修复系统) 在CentOS更新后,并不会自动删除旧内核.所以在启动选项中会有多个内核选项,可以手动使用以下命令删除多余的内核 ...
- mysql 协议分析
MYSQL Binlog协议分析 此处不讨论建立连接,验证和handshake的交互协议 Binlog协议 一个MYSQL 通信包由包头包体组成 包体根据具体的交互协议有自身的组成结构, 在binlo ...
- 比较java枚举成员使用equal还是==
问题 我知道Java枚举会被编译成一个包含私有构造参数和一堆静态方法的类,当去比较两个枚举的时候,总是使用equals()方法,例如: public useEnums(SomeEnum a) { if ...
- Spark学习笔记3:键值对操作
键值对RDD通常用来进行聚合计算,Spark为包含键值对类型的RDD提供了一些专有的操作.这些RDD被称为pair RDD.pair RDD提供了并行操作各个键或跨节点重新进行数据分组的操作接口. S ...