今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
  2. <html>
  3. <head>
  4. <title>main.html</title>
  5. <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
  6. <meta http-equiv="description" content="this is my page">
  7. <meta http-equiv="content-type" content="text/html; charset=UTF-8">
  8. <style type="text/css">
  9. a {
  10. line-height: 30px;
  11. margin: 20px;
  12. }
  13. </style>
  14. <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
  15. <script type="text/javascript">
  16. var datas = [ {
  17. href : "http://news.qq.com/a/20140416/017800.htm",
  18. title : "高校一保安长相酷似作家莫言"
  19. }, {
  20. href : "http://news.qq.com/a/20140416/015167.htm",
  21. title : "男子单臂托举悬空女半小时"
  22. }, {
  23. href : "http://news.qq.com/a/20140416/013808.htm",
  24. title : "女子上门讨房租遭强奸拍裸照"
  25. }, {
  26. href : "http://news.qq.com/a/20140416/016805.htm",
  27. title : "澳洲骆驼爱喝冰镇啤酒解暑"
  28. } ];
  29. window.onload = function() {
  30. var infos = document.getElementById("infos");
  31. for( var i = 0 ; i < datas.length ; i++)
  32. {
  33. var a = document.createElement("a");
  34. a.href = datas[i].href ;
  35. a.innerText = datas[i].title;
  36. infos.appendChild(a);
  37. infos.appendChild(document.createElement("br"))
  38. }
  39. }
  40. </script>
  41. </head>
  42. <body>
  43. Hello Main HttpUnit!
  44. <br>
  45. <div id="infos"
  46. style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
  47. </div>
  48. </body>
  49. </html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

  1. @Test
  2. ublic void testUserJsoup() {
  3. try {
  4. Document doc = Jsoup.connect(
  5. "http://localhost:8080/strurts2fileupload/main.html")
  6. .timeout(5000).get();
  7. Elements links = doc.body().getElementsByTag("a");
  8. for (Element link : links) {
  9. System.out.println(link.text() + " " + link.attr("href"));
  10. }
  11. } catch (IOException e) {
  12. e.printStackTrace();
  13. }

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

  1. @Test
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,
  3. MalformedURLException, IOException {
  4. /** HtmlUnit请求web页面 */
  5. WebClient wc = new WebClient(BrowserVersion.CHROME);
  6. wc.getOptions().setUseInsecureSSL(true);
  7. wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
  8. wc.getOptions().setCssEnabled(false); // 禁用css支持
  9. wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常
  10. wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待
  11. wc.getOptions().setDoNotTrackEnabled(false);
  12. HtmlPage page = wc
  13. .getPage("http://localhost:8080/strurts2fileupload/main.html");
  14. DomNodeList<DomElement> links = page.getElementsByTagName("a");
  15. for (DomElement link : links) {
  16. System.out
  17. .println(link.asText() + "  " + link.getAttribute("href"));
  18. }
  19. }

再看一下运行结果：

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息

网页信息抓取 Jsoup的不足之处 httpunit的更多相关文章

  1. 网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

    转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...

  2. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  3. Android登录client，验证码的获取，网页数据抓取与解析，HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  4. Ajax异步信息抓取方式

    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...

  5. 爬虫---selenium动态网页数据抓取

    动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...

  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）

    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...

  7. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  8. Atitit.web的自动化操作与信息抓取 attilax总结

    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...

  9. 接口测试——fiddler对soapui请求返回信息抓取

    原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...

随机推荐

  1. windows下elasticsearch配置及spring boot 简单demod的 整合

    学习过程: elasticsearch 下载安装 elasticsearch-head 安装 spring boot 下elasticsearch的配置 使用ElasticsearchReposito ...

  2. 使用XML-RPC进行远程文件共享

    这是个不错的练习,使用python开发P2P程序,或许通过这个我们可以自己搞出来一个P2P下载工具,类似于迅雷.XML-RPC是一个远程过程调用(remote procedure call,RPC)的 ...

  3. [UE4]产生开枪特效

  4. pandas的map函数与apply函数的区别

    import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(4,3),columns=list("ABC ...

  5. Mybatis 接口绑定

    MyBatis的接口绑定: 参考链接:http://blog.csdn.net/chris_mao/article/details/48836039 接口映射就是在IBatis中任意定义接口,然后把接 ...

  6. HTC Vive的定位技术

    Lighthouse空间定位,chaperone系统避免实际障碍物 HTC vive所用的Lighthouse技术属于激光定位技术,Oculus Rift以及索尼PlayStation VR所用的定位 ...

  7. Delphi Webbrowser使用方法详解（一）

    1.webbroser介绍 该组件是一个浏览器组件,可以显示一个指定地址的网页.设置网页打开时的主页以及对网页进行相关的操作,同时也可以对HTML文件进行剪切.复制.粘贴.删除等操作.该 组件在Int ...

  8. php字符串类型讲解

    PHP 支持八种原始类型(type). 四种标量类型: string(字符串) integer(整型) float(浮点型,也作 double ) boolean(布尔型) 两种复合类型: array ...

  9. jps命令发生异常

    当在集群里输入jps命令时报如下错误: 我就开始检查jdk,感觉应该是centos自动的jdk没卸载干净跟后面安装的jdk冲突 先通过命令 rpm -qa|grep java 查看jdk信息 把这几个 ...

  10. linux 定时

    http://blog.csdn.net/jingxiangren/article/details/4745631