今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
  2. <html>
  3. <head>
  4. <title>main.html</title>
  5. <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
  6. <meta http-equiv="description" content="this is my page">
  7. <meta http-equiv="content-type" content="text/html; charset=UTF-8">
  8. <style type="text/css">
  9. a {
  10. line-height: 30px;
  11. margin: 20px;
  12. }
  13. </style>
  14. <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
  15. <script type="text/javascript">
  16. var datas = [ {
  17. href : "http://news.qq.com/a/20140416/017800.htm",
  18. title : "高校一保安长相酷似作家莫言"
  19. }, {
  20. href : "http://news.qq.com/a/20140416/015167.htm",
  21. title : "男子单臂托举悬空女半小时"
  22. }, {
  23. href : "http://news.qq.com/a/20140416/013808.htm",
  24. title : "女子上门讨房租遭强奸拍裸照"
  25. }, {
  26. href : "http://news.qq.com/a/20140416/016805.htm",
  27. title : "澳洲骆驼爱喝冰镇啤酒解暑"
  28. } ];
  29. window.onload = function() {
  30. var infos = document.getElementById("infos");
  31. for( var i = 0 ; i < datas.length ; i++)
  32. {
  33. var a = document.createElement("a");
  34. a.href = datas[i].href ;
  35. a.innerText = datas[i].title;
  36. infos.appendChild(a);
  37. infos.appendChild(document.createElement("br"))
  38. }
  39. }
  40. </script>
  41. </head>
  42. <body>
  43. Hello Main HttpUnit!
  44. <br>
  45. <div id="infos"
  46. style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
  47. </div>
  48. </body>
  49. </html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

  1. @Test
  2. ublic void testUserJsoup() {
  3. try {
  4. Document doc = Jsoup.connect(
  5. "http://localhost:8080/strurts2fileupload/main.html")
  6. .timeout(5000).get();
  7. Elements links = doc.body().getElementsByTag("a");
  8. for (Element link : links) {
  9. System.out.println(link.text() + " " + link.attr("href"));
  10. }
  11. } catch (IOException e) {
  12. e.printStackTrace();
  13. }

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

  1. @Test
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,
  3. MalformedURLException, IOException {
  4. /** HtmlUnit请求web页面 */
  5. WebClient wc = new WebClient(BrowserVersion.CHROME);
  6. wc.getOptions().setUseInsecureSSL(true);
  7. wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
  8. wc.getOptions().setCssEnabled(false); // 禁用css支持
  9. wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常
  10. wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待
  11. wc.getOptions().setDoNotTrackEnabled(false);
  12. HtmlPage page = wc
  13. .getPage("http://localhost:8080/strurts2fileupload/main.html");
  14. DomNodeList<DomElement> links = page.getElementsByTagName("a");
  15. for (DomElement link : links) {
  16. System.out
  17. .println(link.asText() + "  " + link.getAttribute("href"));
  18. }
  19. }

再看一下运行结果：

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息

网页信息抓取 Jsoup的不足之处 httpunit的更多相关文章

  1. 网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

    转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...

  2. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  3. Android登录client，验证码的获取，网页数据抓取与解析，HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  4. Ajax异步信息抓取方式

    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...

  5. 爬虫---selenium动态网页数据抓取

    动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...

  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）

    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...

  7. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  8. Atitit.web的自动化操作与信息抓取 attilax总结

    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...

  9. 接口测试——fiddler对soapui请求返回信息抓取

    原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...

随机推荐

  1. oracle 恢复备份

    select * from dbconninfo update dbconninfo set url = 'jdbc:oracle:thin:@(description=(address_list=( ...

  2. O(n)空间复杂度，打印杨辉三角形的前n行

    做小米的笔试题,给出一个整数n,求出它在杨辉三角形中第一次出现的行号. 想了半天,只能暴力法,从第1行开始找,一直找到第n行,若找得到则返回行号,若找不到则返回n+1(因为第n+1行第2列肯定是n). ...

  3. ASP.NET Web Pages：帮助器

    ylbtech-.Net-ASP.NET Web Pages:帮助器 1.返回顶部 1. ASP.NET Web Pages - 帮助器 Web 帮助器大大简化了 Web 开发和常见的编程任务. AS ...

  4. js在table指定tr行上或底下添加tr行

    js在table指定tr行上或下面添加tr行 function onAddTR(trIndex)         {             var tb = document.getElementB ...

  5. Eclipse修改workspace目录的几种方式

    Eclipse是一款很强的Java IDE,我们在开始的时候,往往设定了默认的workspace,当用久在之后,我们可能要去更改一下workspace的位置.下面有几种方法可以更改workspace的 ...

  6. Lua中的metatable详解

    转自:http://www.jb51.net/article/56690.htm Lua 中 metatable 是一个普通的 table,但其主要有以下几个功能: 1.定义算术操作符和关系操作符的行 ...

  7. [datatable]关于在DataTable中执行DataTable.Select("条件")返回DataTable的解决方法

    -- :09关于在DataTable中执行DataTable.Select("条件")返回DataTable的解决方法 在实际编程工程中,常常遇到这样的情况:DataTable并不 ...

  8. Oracle导出DMP文件的两种方法

    本文转载自:http://www.cnblogs.com/o-andy-o/archive/2013/06/05/3118611.html   导出: 方法一:利用PL/SQL Developer工具 ...

  9. php使用tcpdf实现在线PDF功能

    今天看书,发现有个例子就是实现php生成pdf格式文件的例子,所以扩展了下百度了下 找了个tcpdf Git上有地址,如果感冒自行下载 https://github.com/tecnickcom/tc ...

  10. C#_Markov_心得感想

    来到实验室正好有一个月了,趁着端午假期稍微轻松一些,在大改程序体系之前,想将自己在这30天中工作之一Markov回顾一下,将从真实的写程序中学习到的知识.思想记录下来.希望能和大家积极讨论! 本文会以 ...