转载请标明出处：http://blog.csdn.net/lmj623565791/article/details/23866427

今天又遇到一个网页数据抓取的任务，给大家分享下。

说道网页信息抓取，相信Jsoup基本是首选的工具，完全的类JQuery操作，让人感觉很舒服。但是，今天我们就要说一说Jsoup的不足。

1、首先我们新建一个页面

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN">

<html>

	<head>

		<title>main.html</title>

		<meta http-equiv="keywords" content="keyword1,keyword2,keyword3">

		<meta http-equiv="description" content="this is my page">

		<meta http-equiv="content-type" content="text/html; charset=UTF-8">

	<style type="text/css">

		a {

			line-height: 30px;

			margin: 20px;

		}

	</style>

		<!--<link rel="stylesheet" type="text/css" href="./styles.css">-->

		<script type="text/javascript">

var datas = [ {

	href : "http://news.qq.com/a/20140416/017800.htm",

	title : "高校一保安长相酷似作家莫言"

}, {

	href : "http://news.qq.com/a/20140416/015167.htm",

	title : "男子单臂托举悬空女半小时"

}, {

	href : "http://news.qq.com/a/20140416/013808.htm",

	title : "女子上门讨房租遭强奸拍裸照"

}, {

	href : "http://news.qq.com/a/20140416/016805.htm",

	title : "澳洲骆驼爱喝冰镇啤酒解暑"

} ];

window.onload = function() {

	var infos = document.getElementById("infos");

	for( var i = 0 ; i < datas.length ; i++)

		{

			var a = document.createElement("a");

			a.href = datas[i].href ;

			a.innerText = datas[i].title;

			infos.appendChild(a);

			infos.appendChild(document.createElement("br"))

		}

}

</script>

	</head>

	<body>

		Hello Main HttpUnit!

		<br>

		<div id="infos"

			style="width: 60%; border: 1px solid green; border-radius: 10px; margin: 0 auto;">

		</div>

	</body>

</html>

页面上观察是这样显示的：

我们审查元素：

如果你看到这样的页面，你会觉得拿Jsoup来抓取，简直就是呵呵，小菜一叠，于是我们写了这样的代码：

        @Test

	public void testUserJsoup() {

		try {

			Document doc = Jsoup.connect(

					"http://localhost:8080/strurts2fileupload/main.html")

					.timeout(5000).get();

			Elements links = doc.body().getElementsByTag("a");

			for (Element link : links) {

				System.out.println(link.text() + " " + link.attr("href"));

			}

		} catch (IOException e) {

			e.printStackTrace();

		}

	}

你会觉得就这几行代码，轻轻松松搞定，快快乐乐下班。于是运行发现，其实什么的抓取不到。

于是我们再回到页面，打开页面源代码，也就是上面的HTML代码，你恍然大悟，我靠，body里面根本没有数据，难怪抓不到。这就是Jsoup的不足，如果Jsoup去抓取的页面的数据，全都是页面加载完成后，ajax获取形成的，是抓取不到的。

下面给大家推荐另一个开源项目：HttpUnit，看名字是用于测试的，但是用来抓取数据也不错

我们开始编写类似Jsoup的代码：

       @Test

	public void testUserHttpUnit() throws FailingHttpStatusCodeException,

			MalformedURLException, IOException {

		/** HtmlUnit请求web页面 */

		WebClient wc = new WebClient(BrowserVersion.CHROME);

		wc.getOptions().setUseInsecureSSL(true);

		wc.getOptions().setJavaScriptEnabled(true); // 启用JS解释器，默认为true

		wc.getOptions().setCssEnabled(false); // 禁用css支持

		wc.getOptions().setThrowExceptionOnScriptError(false); // js运行错误时，是否抛出异常

		wc.getOptions().setTimeout(100000); // 设置连接超时时间 ，这里是10S。如果为0，则无限期等待

		wc.getOptions().setDoNotTrackEnabled(false);

		HtmlPage page = wc

				.getPage("http://localhost:8080/strurts2fileupload/main.html");

		DomNodeList<DomElement> links = page.getElementsByTagName("a");

		for (DomElement link : links) {

			System.out

					.println(link.asText() + "  " + link.getAttribute("href"));

		}

	}

再看一下运行结果：

完美解决，HttpUnit其实就相当于一个没有UI的浏览器，它可以让页面上的js执行完成后，再抓取信息，具体的介绍，google一下就行。主要给大家介绍一种方案！

如果你觉得这篇文章对你有用，就顶一个~

网页信息抓取进阶 支持Js生成数据 Jsoup的不足之处的更多相关文章

  1. 网页信息抓取 Jsoup的不足之处 httpunit

    今天又遇到一个网页数据抓取的任务,给大家分享下. 说道网页信息抓取,相信Jsoup基本是首选的工具,完全的类JQuery操作,让人感觉很舒服.但是,今天我们就要说一说Jsoup的不足. 1.首先我们新 ...

  2. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  3. Ajax异步信息抓取方式

    淘女郎模特信息抓取教程 源码地址: cnsimo/mmtao 网址:https://0x9.me/xrh6z   判断一个页面是不是Ajax加载的方法: 查看网页源代码,查找网页中加载的数据信息,如果 ...

  4. Atitit.web的自动化操作与信息抓取 attilax总结

    Atitit.web的自动化操作与信息抓取 attilax总结 1. Web操作自动化工具,可以简单的划分为2大派系: 1.录制回放 2.手工编写0 U' z; D! s2 d/ Q! ^1 2. 常 ...

  5. Java---网络蜘蛛-网页邮箱抓取器~源码

    刚刚学完Socket,迫不及待的做了这个网页邮箱抓取~~~ 现在有越来越多的人热衷于做网络爬虫(网络蜘蛛),也有越来越多的地方需要网络爬虫,比如搜索引擎.资讯采集.舆情监测等等,诸如此类.网络爬虫涉及 ...

  6. 网易新闻页面信息抓取（htmlagilitypack搭配scrapysharp）

    转自原文 网易新闻页面信息抓取(htmlagilitypack搭配scrapysharp) 最近在弄网页爬虫这方面的,上网看到关于htmlagilitypack搭配scrapysharp的文章,于是决 ...

  7. 接口测试——fiddler对soapui请求返回信息抓取

    原文:接口测试——fiddler对soapui请求返回信息抓取 背景:接口测试的时候,需要对接口的请求和返回信息进行查阅或者修改请求信息,可利用fiddler抓包工具对soapui的请求数据进行抓取或 ...

  8. Hawk： 20分钟无编程抓取大众点评17万数据

    1. 主角出场:Hawk介绍 Hawk是沙漠之鹰开发的一款数据抓取和清洗工具,目前已经在Github开源.详细介绍可参考:http://www.cnblogs.com/buptzym/p/545419 ...

  9. 测试开发Python培训：抓取新浪微博评论提取目标数据-技术篇

    测试开发Python培训:抓取新浪微博评论提取目标数据-技术篇   在前面我分享了几个新浪微博的自动化脚本的实现,下面我们继续实现新的需求,功能需求如下: 1,登陆微博 2,抓取评论页内容3,用正则表 ...

随机推荐

  1. 《Java程序代理器》- java桌面程序运行的前端启动框架

    虽说让java直接在桌面运行,有很多方法,但最简单的还是有个exe双击执行 要java执行就得有虚拟机,但原本的虚拟机文件体积太大,不方便随同打包,精简的虚拟机功能又不全,指不定什么时候报错 所以正规 ...

  2. JavaEE session机制

    JavaEE session机制 Http协议: 在讲session之前,必须说下Http协议,HTTP是一个client和server端请求和应答的标准(TCP).由HTTPclient发起一个请求 ...

  3. Java 泛型具体解释

    在Java SE1.5中.添加了一个新的特性:泛型(日本语中的总称型).何谓泛型呢?通俗的说.就是泛泛的指定对象所操作的类型.而不像常规方式一样使用某种固定的类型去指定. 泛型的本质就是将所操作的数据 ...

  4. LIS（最长的序列）和LCS(最长公共子）总结

    LIS(最长递增子序列)和LCS(最长公共子序列)的总结 最长公共子序列(LCS):O(n^2) 两个for循环让两个字符串按位的匹配:i in range(1, len1) j in range(1 ...

  5. CSS3 Media Query实现响应Web设计(宽度为不同的移动设备)

    现在的屏幕分辨率.小到320px(iPhone),大到2560px或甚至更高(大显示屏).范围内变化很大.除了使用传统的台式机.用户会越来越多的通过手机.上网本.iPad一类的平板设备来浏览页面. 这 ...

  6. python实现了字符串的按位异或和php中的strpad函数

    近期在写自己主动化測试,因为开发加密中用到strpad和字符串的按位异或,而python中没有这种函数和功能,所以必须自己写一套,要不自己主动化測试无法进行,所以就用python实现了一下,因为在写字 ...

  7. 调用WCF的异步方法

    原文:调用WCF的异步方法 AsyncCallback aLoginCallback = delegate(IAsyncResult result) { var aSystemUser = WcfCl ...

  8. Phaser是一款专门用于桌面及移动HTML5 2D游戏开发的开源免费框架

    Phaser是一款专门用于桌面及移动HTML5 2D游戏开发的开源免费框架,提供JavaScript和TypeScript双重支持,内置游戏对象的物理属性,采用Pixi.js引擎以加快Canvas和W ...

  9. leetcode - Pascal&#39;s Triangle

    Given numRows, generate the first numRows of Pascal's triangle. For example, given numRows = 5, Retu ...

  10. 第1次实验——NPC问题(回溯算法、聚类分析)

    题目:八皇后问题,是一个古老而著名的问题,是回溯算法的典型案例.该问题是国际西洋棋棋手马克斯·贝瑟尔于1848年提出:在8X8格的国际象棋上摆放八个皇后,使其不能互相攻击,即随意两个皇后都不能处于同一 ...