Jsoup爬虫解析

需要下载jsoup-1.8.1.jar包

jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

网页获取和解析速度飞快，推荐使用。
主要功能如下：
1. 从一个URL，文件或字符串中解析HTML；
2. 使用DOM或CSS选择器来查找、取出数据；
3. 可操作HTML元素、属性、文本；

范例代码如下：

import java.io.FileWriter;
import java.io.IOException;
import java.io.PrintWriter;

import org.jsoup.Jsoup;

/**
* 基于Jsoup抓取网页内容
* @author www.yshjava.cn
*/
public class JsoupTest {

public static void main(String[] args) throws IOException {
//目标页面
String url = "http://www.4399.com";

//使用Jsoup连接目标页面,并执行请求,获取服务器响应内容
String html = Jsoup.connect(url).execute().body();
String str = new String(html.getBytes("ISO8859_1"), "UTF-8");
PrintWriter pw = new PrintWriter(new FileWriter("d:/url.txt"), true);

pw.println(str);
//打印页面内容
System.out.println(str);
}
}

http://www.cnblogs.com/huangwentian/p/6484688.html