今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
  2. <html>
  3. <head>
  4. <title>main.html</title>
  5. <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
  6. <meta http-equiv="description" content="this is my page">
  7. <meta http-equiv="content-type" content="text/html; charset=UTF-8">
  8. <style type="text/css">
  9. a {
  10. line-height: 30px;
  11. margin: 20px;
  12. }
  13. </style>
  14. <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
  15. <script type="text/javascript">
  16. var datas = [ {
  17. href : "http://news.qq.com/a/20140416/017800.htm",
  18. title : "高校一保安长相酷似作家莫言"
  19. }, {
  20. href : "http://news.qq.com/a/20140416/015167.htm",
  21. title : "男子单臂托举悬空女半小时"
  22. }, {
  23. href : "http://news.qq.com/a/20140416/013808.htm",
  24. title : "女子上门讨房租遭强奸拍裸照"
  25. }, {
  26. href : "http://news.qq.com/a/20140416/016805.htm",
  27. title : "澳洲骆驼爱喝冰镇啤酒解暑"
  28. } ];
  29. window.onload = function() {
  30. var infos = document.getElementById("infos");
  31. for( var i = 0 ; i < datas.length ; i++)
  32. {
  33. var a = document.createElement("a");
  34. a.href = datas[i].href ;
  35. a.innerText = datas[i].title;
  36. infos.appendChild(a);
  37. infos.appendChild(document.createElement("br"))
  38. }
  39. }
  40. </script>
  41. </head>
  42. <body>
  43. Hello Main HttpUnit!
  44. <br>
  45. <div id="infos"
  46. style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
  47. </div>
  48. </body>
  49. </html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

  1. @Test
  2. ublic void testUserJsoup() {
  3. try {
  4. Document doc = Jsoup.connect(
  5. "http://localhost:8080/strurts2fileupload/main.html")
  6. .timeout(5000).get();
  7. Elements links = doc.body().getElementsByTag("a");
  8. for (Element link : links) {
  9. System.out.println(link.text() + " " + link.attr("href"));
  10. }
  11. } catch (IOException e) {
  12. e.printStackTrace();
  13. }

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

  1. @Test
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,
  3. MalformedURLException, IOException {
  4. /** HtmlUnit请求web页面 */
  5. WebClient wc = new WebClient(BrowserVersion.CHROME);
  6. wc.getOptions().setUseInsecureSSL(true);
  7. wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
  8. wc.getOptions().setCssEnabled(false); // 禁用css支持
  9. wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常
  10. wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待
  11. wc.getOptions().setDoNotTrackEnabled(false);
  12. HtmlPage page = wc
  13. .getPage("http://localhost:8080/strurts2fileupload/main.html");
  14. DomNodeList<DomElement> links = page.getElementsByTagName("a");
  15. for (DomElement link : links) {
  16. System.out
  17. .println(link.asText() + "  " + link.getAttribute("href"));
  18. }
  19. }

再看一下运行结果：

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息

网页信息抓取 Jsoup的不足之处 httpunit的更多相关文章

  1. 网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

    转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...

  2. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  3. Android登录client，验证码的获取，网页数据抓取与解析，HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  4. Ajax异步信息抓取方式

    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...

  5. 爬虫---selenium动态网页数据抓取

    动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...

  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）

    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...

  7. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  8. Atitit.web的自动化操作与信息抓取 attilax总结

    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...

  9. 接口测试——fiddler对soapui请求返回信息抓取

    原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...

随机推荐

  1. vim配置之目录结构

    我喜欢作配置分离,这样比较好管理,这里直接贴一下tree的目录结构 xxx@debian:~/vimConfig$ tree . ├── install │   ├── install.sh │   ...

  2. AIX6.1 线程模型说明

    引文:线程模型(Threading Model)默认从进程域 (M:N 模型 ) 改为系统全局域 (1:1 模型 ) 在 AIX 5L 中,pthread 线程的默认模型是 m:n 方式,而从 AIX ...

  3. 不重启修改'log_slave_updates'变量

    Variable 'log_slave_updates' is a read only variable 不重启修改mysql变量 执行复制的时候遇到的问题 mysql> show variab ...

  4. Hibernate 一对多/多对多

    一对多关联(多对一): 一对多关联映射: 在多的一端添加一个外键指向一的一端,它维护的关系是一指向多 多对一关联映射: 咋多的一端加入一个外键指向一的一端,它维护的关系是多指向一 在配置文件中添加: ...

  5. rman备份恢复命令之switch(转)

    一 switch 命令1 switch命令用途更新数据文件名为rman下镜像拷贝时指定的数据文件名更新数据文件名为 set newname 命令指定的名字. 2 switch 命令使用前提条件rman ...

  6. 使用CMQ和SCF实现邮件发送

    准备腾讯云 API 调用工具 使用 API 命令行工具来管理和运行无服务器云函数(SCF),下面就先来安装配置该工具. 安装 Python 和 PIP Python 环境是腾讯云命令行工具运行时的必要 ...

  7. 内置锁（三）synchronized的几个要注意的对象监视器

    前言    经过前面的两篇文章的介绍,可以清楚知道,synchronized可以用于修饰一个方法 或者 代码块,线程要访问这些临界区代码,则要先获取对应的 对象监视器 ,从而使多个线程互斥访问临界区. ...

  8. 2018-2019-2 《网络对抗技术》Exp6 信息搜集与漏洞扫描 Week9 20165233

    Exp6 信息搜集与漏洞扫描 目录 一.基础问题 二.实验步骤 实验点一:各种搜索技巧的应用 实验点二:DNS IP注册信息的查询 实验点三:基本的扫描技术:主机发现.端口扫描.OS及服务版本探测.具 ...

  9. UVA548

    题意: 根据二叉树中序和后序建立二叉树,从根结点开始计算和到叶子结点,输出总和最小的叶子结点,如果有俩个和一样大,输出叶子结点最小的 AC:80ms #include<stdio.h> # ...

  10. js运动框架逐渐递进版

    运动,其实就是在一段时间内改变left.right.width.height.opactiy的值,到达目的地之后停止. 现在按照以下步骤来进行我们的运动框架的封装: 匀速运动. 缓冲运动. 多物体运动 ...