该类并不是一个通用的工具类，需要按自己的要求实现，这里只记录了Htmlparse.jar包的一些用法。仅此而已！
详细看这里：http://gundumw100.iteye.com/blog/704311

import java.util.*;

import org.htmlparser.Node;

import org.htmlparser.NodeFilter;

import org.htmlparser.Parser;

import org.htmlparser.filters.AndFilter;

import org.htmlparser.filters.HasAttributeFilter;

import org.htmlparser.filters.NodeClassFilter;

import org.htmlparser.filters.TagNameFilter;

import org.htmlparser.tags.BodyTag;

import org.htmlparser.tags.LinkTag;

import org.htmlparser.util.NodeList;

import org.htmlparser.util.ParserException;  

/**

 * httpclient与htmlparse对网页的解析

 *

 * @author Administrator

 *

 */

public class HtmlparseUtil {

    WebHttpClient util=new WebHttpClient();

    /**

     * 获得网页中的超链接，将href和text保存在Map中：map(href,text)

     * @param url

     * @param charset

     * @return

     */

    public Map<String, String> linkGet(String url, String charset) {

        String content=util.getWebContentByGet(url,charset);

        Map<String, String> linkMap = new HashMap<String, String>();

        try {

            //开始解析

            Parser parser = Parser.createParser(content, charset);

            // 过滤出<a></a>标签

            NodeFilter linkFilter = new NodeClassFilter(LinkTag.class);

            NodeList list = parser.extractAllNodesThatMatch(linkFilter);

            Node node = null;

            for (int i = 0; i < list.size(); i++) {

                node = list.elementAt(i);

                // 获得网页中的链接map(href,text)

                linkMap.put(((LinkTag) node).getLink(), this.processText(((LinkTag) node).getLinkText()));

            }

        } catch (ParserException e) {

            e.printStackTrace();

        }

        return linkMap;

    }  

    /**

     * 获得网页<body></body>标签中的内容， 保存在body中

     * @param url

     * @param charset

     * @return

     */

    public String bodyGet(String url, String charset) {

        String content=util.getWebContentByGet(url,charset);

        String body = "";

        try {

            Parser parser = Parser.createParser(content, charset);

            // 过滤<body></body>标签

            NodeFilter bodyFilter = new NodeClassFilter(BodyTag.class);

            NodeList list = parser.extractAllNodesThatMatch(bodyFilter);

            Node node = null;

            for (int i = 0; i < list.size(); i++) {

                node = list.elementAt(i);

                // 获得网页内容 保存在content中

                body = ((BodyTag) node).getBody();

            }

        } catch (ParserException e) {

            e.printStackTrace();

        }

        return body;

    }  

    /**

     * 过滤出class为term的<span>元素,并获得他们的文本

     * @param url

     * @param charset

     * @return

     */

    public Map<String,String> termGet(String url, String charset) {

        String content=util.getWebContentByGet(url,charset);  

        Map<String, String> map = new HashMap<String, String>();

        try {

            //开始解析

            // 过滤出class为term的<span>元素

            Parser parser = Parser.createParser(content, charset);

            AndFilter filter =

                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","term"));  

            Node node = null;

            NodeList nodeList = parser.parse(filter);  

            for (int i = 0; i < nodeList.size(); i++) {

                node = nodeList.elementAt(i);

                map.put("term", node.toPlainTextString());

            }

            // 过滤出class为start-time的<span>元素

            Parser parser2 = Parser.createParser(content, charset);

            AndFilter filter2 =

                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","start-time"));

            NodeList nodeList2 = parser2.parse(filter2);

            for (int i = 0; i < nodeList2.size(); i++) {

                node = nodeList2.elementAt(i);

                map.put("start-time", node.toPlainTextString());

            }

            // 过滤出id为J_SingleEndTimeLabel的<span>元素

            Parser parser3 = Parser.createParser(content, charset);

            AndFilter filter3 =

                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("id","J_SingleEndTimeLabel"));

            NodeList nodeList3 = parser3.parse(filter3);

            for (int i = 0; i < nodeList3.size(); i++) {

                node = nodeList3.elementAt(i);

                map.put("end-time", node.toPlainTextString());

            }  

            // 过滤出class为box post的<div>元素

            Parser parser4 = Parser.createParser(content, charset);

            AndFilter filter4 =

                new AndFilter(new TagNameFilter("div"),new HasAttributeFilter("class","box post"));

            NodeList nodeList4 = parser4.parse(filter4);

            for (int i = 0; i < nodeList4.size(); i++) {

                node = nodeList4.elementAt(i);

                String temp=node.toPlainTextString().trim();

                temp=temp.substring(10,20).trim();

                map.put("pre-term", temp);

            }  

            // 过滤出class为J_AwardNumber的<span>元素

            Parser parser5 = Parser.createParser(content, charset);

//          AndFilter filter5 =

//                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","J_AwardNumber"));

            NodeList nodeList5 = parser5.parse(new HasAttributeFilter("class","J_AwardNumber"));

            StringBuffer buffer=new StringBuffer();

            for (int i = 0; i < nodeList5.size(); i++) {

                node = nodeList5.elementAt(i);

                buffer.append(","+node.toPlainTextString());

            }

            buffer.append("|");  

            // 过滤出class为blue J_AwardNumber的<span>元素

            Parser parser6 = Parser.createParser(content, charset);

//          AndFilter filter6 =

//                new AndFilter(new TagNameFilter("span"),new HasAttributeFilter("class","blue J_AwardNumber"));

            NodeList nodeList6 = parser6.parse(new HasAttributeFilter("class","blue J_AwardNumber"));

            for (int i = 0; i < nodeList6.size(); i++) {

                node = nodeList6.elementAt(i);

                buffer.append(node.toPlainTextString()+",");

            }  

            map.put("numbers", buffer.toString());

        } catch (ParserException e) {

            // TODO Auto-generated catch block

            e.printStackTrace();

        }  

        return map;

    }  

    private String processText(String content){

        content=content.trim().replaceAll("&nbsp;", "");

//      content=content.replaceAll("<p>", "\n");

//      content=content.replaceAll("</TD>", "");

//      content=content.replaceAll("</div>", "");

//      content=content.replaceAll("</a>", "");

//      content=content.replaceAll("<a href=.*>", "");

        return content;

    }     

    public static void main(String[] str) {  

        String url="http://caipiao.taobao.com/lottery/order/lottery_dlt.htm?type=1";

        HtmlparseUtil util=new HtmlparseUtil();

        Map<String,String> map=util.termGet(url, "gb2312");

        System.out.println("term="+map.get("term"));//<span class="term">第<em>10074</em>期</span>

        System.out.println("start-time="+map.get("start-time"));//

        System.out.println("end-time="+map.get("end-time"));//

        System.out.println("pre-term="+map.get("pre-term"));//

        System.out.println("numbers="+map.get("numbers"));//  

        /*

        Map<String, String> linkMap = util.linkGet(url, "gb2312");

        for (String s : linkMap.keySet()) {

            System.out.println(s + " = " + linkMap.get(s));

            //如果是个链接，则再获取它的<body>中的内容

//          if (s.startsWith("http")) {

//              util.bodyGet(s, "gb2312");

//          }

        }

        */  

    }  

}

HtmlparseUtil.java的更多相关文章

  1. Spark案例分析

    一.需求:计算网页访问量前三名 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} /* ...

  2. 故障重现(内存篇2)，JAVA内存不足导致频繁回收和swap引起的性能问题

    背景起因: 记起以前的另一次也是关于内存的调优分享下   有个系统平时运行非常稳定运行(没经历过大并发考验),然而在一次活动后,人数并发一上来后,系统开始卡. 我按经验开始调优,在每个关键步骤的加入如 ...

  3. Elasticsearch之java的基本操作一

    摘要   接触ElasticSearch已经有一段了.在这期间,遇到很多问题,但在最后自己的不断探索下解决了这些问题.看到网上或多或少的都有一些介绍ElasticSearch相关知识的文档,但个人觉得 ...

  4. 论：开发者信仰之“天下IT是一家“(Java .NET篇)

    比尔盖茨公认的IT界领军人物,打造了辉煌一时的PC时代. 2008年,史蒂夫鲍尔默接替了盖茨的工作,成为微软公司的总裁. 2013年他与微软做了最后的道别. 2013年以后,我才真正看到了微软的变化. ...

  5. 故障重现, JAVA进程内存不够时突然挂掉模拟

    背景,服务器上的一个JAVA服务进程突然挂掉,查看产生了崩溃日志,如下: # Set larger code cache with -XX:ReservedCodeCacheSize= # This ...

  6. 死磕内存篇 --- JAVA进程和linux内存间的大小关系

    运行个JAVA 用sleep去hold住 package org.hjb.test; public class TestOnly { public static void main(String[] ...

  7. 【小程序分享篇 一 】开发了个JAVA小程序， 用于清除内存卡或者U盘里的垃圾文件非常有用

    有一种场景, 手机内存卡空间被用光了,但又不知道哪个文件占用了太大,一个个文件夹去找又太麻烦,所以我开发了个小程序把手机所有文件(包括路径下所有层次子文件夹下的文件)进行一个排序,这样你就可以找出哪个 ...

  8. Java多线程基础学习（二）

    9. 线程安全/共享变量——同步 当多个线程用到同一个变量时,在修改值时存在同时修改的可能性,而此时该变量只能被赋值一次.这就会导致出现“线程安全”问题,这个被多个线程共用的变量称之为“共享变量”. ...

  9. Java多线程基础学习（一）

    1. 创建线程    1.1 通过构造函数:public Thread(Runnable target, String name){}  或:public Thread(Runnable target ...

随机推荐

  1. CSS设计模式之三权分立模式篇

    分类: Html/CSS | 转载请注明: 出自 海玉的博客 本文地址: http://www.hicss.net/separation-of-powers-model-in-css-design-p ...

  2. 怎么保护PDF文档和扫描文件里的机密信息

    从事商务工作的人,必然要处理带有机密信息的文档,需要分享这些文档的时候,如何谨慎小心地对待那些机密信息,说到底还是取决于自己.分享文档的目的不同,对文档的保护类型和级别也不一样.例如,只有授权的读者才 ...

  3. svg如何用marker 定义一个黑色的小圆点

    <defs> <marker id="markerStartArrow" viewBox="0 0 30 30" refX="10& ...

  4. SpringMVC常用注解,返回方式,路径匹配形式,验证

    常用注解元素 @Controller 标注在Bean的类定义处 @RequestMapping 真正让Bean具备 Spring MVC Controller 功能的是 @RequestMapping ...

  5. CentOs 设置静态IP 方法 dhcp的配置

    0.自动获取配置 DEVICE=eth0 HWADDR=00:0C:39:AD:11:48 TYPE=Ethernet UUID=c230a1e5-a535-487a-aab5-2fad7cd5583 ...

  6. linux vi 工具的使用

    linux vi 工具的使用 1.打开文件 vi filename 如果存在该文件,则打开,不存在,则删除 2. 进入vi后,按i建,可以输入内容, 按ESC 在按: ,输入wq保存并退出. 3.移动 ...

  7. 【jmeter】JMeter测试MongoDB

    JMeter测试MongoDB性能有两种方式,一种是利用JMeter直接进行测试MongoDB,还有一种是写Java代码方式测试MongoDB性能. 第一种方法 1.编写Java代码,内容如下: pa ...

  8. 【linux】Cache和Buffer的区别

  9. WPF性能改善---之化整为零(蜂窝的衍生应用)

    在有的项目中,有这样的需求,由于显示器的显示区域是有限的,而软件却要展示一个远大于显示区域的一些元素,此时就要引入放大.缩小.拖动等UI控制技术,而在使用这些技术的同时,在后台有效的控制渲染元素的个数 ...

  10. 51nod 1336 RMQ逆问题

    RMQ问题是一类区间最值问题,这里给出一个特殊的RMQ问题,初始给定一个n长的排列P,注:n长排列是指有1~n这n个整数构成的一个序列每个整数恰好出现一次.并对这个排列P进行M次查询操作,每次查询形如 ...