今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

  1. <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">
  2. <html>
  3. <head>
  4. <title>main.html</title>
  5. <meta http-equiv="keywords" content="keyword1,keyword2,keyword3">
  6. <meta http-equiv="description" content="this is my page">
  7. <meta http-equiv="content-type" content="text/html; charset=UTF-8">
  8. <style type="text/css">
  9. a {
  10. line-height: 30px;
  11. margin: 20px;
  12. }
  13. </style>
  14. <!--<link rel="stylesheet" type="text/css" href="./styles.css">-->
  15. <script type="text/javascript">
  16. var datas = [ {
  17. href : "http://news.qq.com/a/20140416/017800.htm",
  18. title : "高校一保安长相酷似作家莫言"
  19. }, {
  20. href : "http://news.qq.com/a/20140416/015167.htm",
  21. title : "男子单臂托举悬空女半小时"
  22. }, {
  23. href : "http://news.qq.com/a/20140416/013808.htm",
  24. title : "女子上门讨房租遭强奸拍裸照"
  25. }, {
  26. href : "http://news.qq.com/a/20140416/016805.htm",
  27. title : "澳洲骆驼爱喝冰镇啤酒解暑"
  28. } ];
  29. window.onload = function() {
  30. var infos = document.getElementById("infos");
  31. for( var i = 0 ; i < datas.length ; i++)
  32. {
  33. var a = document.createElement("a");
  34. a.href = datas[i].href ;
  35. a.innerText = datas[i].title;
  36. infos.appendChild(a);
  37. infos.appendChild(document.createElement("br"))
  38. }
  39. }
  40. </script>
  41. </head>
  42. <body>
  43. Hello Main HttpUnit!
  44. <br>
  45. <div id="infos"
  46. style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">
  47. </div>
  48. </body>
  49. </html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

  1. @Test
  2. ublic void testUserJsoup() {
  3. try {
  4. Document doc = Jsoup.connect(
  5. "http://localhost:8080/strurts2fileupload/main.html")
  6. .timeout(5000).get();
  7. Elements links = doc.body().getElementsByTag("a");
  8. for (Element link : links) {
  9. System.out.println(link.text() + " " + link.attr("href"));
  10. }
  11. } catch (IOException e) {
  12. e.printStackTrace();
  13. }

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

  1. @Test
  2. public void testUserHttpUnit() throws FailingHttpStatusCodeException,
  3. MalformedURLException, IOException {
  4. /** HtmlUnit请求web页面 */
  5. WebClient wc = new WebClient(BrowserVersion.CHROME);
  6. wc.getOptions().setUseInsecureSSL(true);
  7. wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true
  8. wc.getOptions().setCssEnabled(false); // 禁用css支持
  9. wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常
  10. wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待
  11. wc.getOptions().setDoNotTrackEnabled(false);
  12. HtmlPage page = wc
  13. .getPage("http://localhost:8080/strurts2fileupload/main.html");
  14. DomNodeList<DomElement> links = page.getElementsByTagName("a");
  15. for (DomElement link : links) {
  16. System.out
  17. .println(link.asText() + "  " + link.getAttribute("href"));
  18. }
  19. }

再看一下运行结果：

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息

网页信息抓取 Jsoup的不足之处 httpunit的更多相关文章

  1. 网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处

    转载请标明出处:http://blog.csdn.net/lmj623565791/article/details/23866427 今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取 ...

  2. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  3. Android登录client，验证码的获取，网页数据抓取与解析，HttpWatch基本使用

    大家好,我是M1ko.在互联网时代的今天,假设一个App不接入互联网.那么这个App一定不会有长时间的生命周期,因此Android网络编程是每个Android开发人员必备的技能.博主是在校大学生,自学 ...

  4. Ajax异步信息抓取方式

    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...

  5. 爬虫---selenium动态网页数据抓取

    动态网页数据抓取 什么是AJAX: AJAX(Asynchronouse JavaScript And XML)异步JavaScript和XML.过在后台与服务器进行少量数据交换,Ajax 可以使网页 ...

  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）

    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...

  7. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  8. Atitit.web的自动化操作与信息抓取 attilax总结

    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...

  9. 接口测试——fiddler对soapui请求返回信息抓取

    原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...

随机推荐

  1. github for windows 使用

    先在github上申请账号,已有略过. 下载github for windows安装,可以提前安装.NET FRAMEWORK 4.0,否则它会在线下载安装.NET 4. 安装后登录账号,不要急着CL ...

  2. python-appium520-2初步使用

    1.录制自动化脚本 场景:启动雪球,点击我的,登陆雪球,选择手机及其他登陆,输入手机号 2.Appium客户端 客户端介绍:https://github.com/appium/appium/blob/ ...

  3. shell 4注释

    单行注释 每一行加一个#号. #shell #!/bin/sh echo "#" #轻轻的我走了 #正如我轻轻的来 #我挥一挥衣袖 #不带走一片云彩 echo "#&qu ...

  4. IE6 CSS高度height:100% 无效解决方法总结

    原文地址:http://www.cnblogs.com/huangyong8585/archive/2013/02/05/2893058.html   上面红色部分为 height:100%; 自动拉 ...

  5. centos 7.5 安装mongodb

    MongoDB安装和启动 从官网下载最新对应的版本然后解压,本文以3.6.9为例,将文件拷贝到opt目录下,然后解压: [root@localhost opt]# tar zxvf mongodb-l ...

  6. Linux下XAMPP装完之后，Navicat无法连上数据库的问题的解决 注意'mypassword'是当前的mysql登录密码

    Linux下装完XAMPP之后,mysql是自带装好了的,这个时候,mysql的root用户没有密码. 在mac 下安装好xampp后,需要在终端命令行操作时,比如输入:mysql -u root - ...

  7. python 简单的单例模式日志模块

    # -*- coding: utf-8 -*-import logging def singleton(cls): instance = {} def _singleton(*args, **kw): ...

  8. Java Internet

    网络通信: 网络通信三要素: IP 协议 端口 TCP: 建立连接,发送速度慢 三次握手协议 UDP: 不需要建立连接,发送速度快 安全性低 a) 使用UDP实现数据的发送 1 创建Socket端点实 ...

  9. 【Linux_Unix系统编程】Chapter9 进程凭证

    chapter9 进程凭证 每个进程都有一套用数字表示的用户ID(UID)和组ID(GID).有时也将这些ID称子为进程凭证. 1:实际用户ID和实际组ID 2:有效用户ID和有效组ID 3:保存的s ...

  10. python入门-IF语句

    1 格式 cars = ['audi','bmw','subaru','toyata'] for car in cars: if car =='bmw': print(car.upper()) els ...