HtmlParser的使用-爬虫学习（三）
关于这个HtmlParser的学习资料，网上真的很匮乏，这个好用的东西不要浪费啊，所以我在这里隆重的介绍一下。
HtmlParser是一个用来解析HTML文件的Java包，主要用于转换盒抽取两个方面。
利用HtmlParser，你可以实现下面的内容的抽取：
a.文本抽取 b.链接抽取 c.资源抽取。可以搜集到图像和声音文件等资源
d.链接检查。保证链接是有用的 e.站点检查，可以查看页面不同版本之间的差异
利用HtmlParser，你可以利用它的转换功能，主要体现在几个方面：
a.URL重写。能够修正页面中的错误链接 b.广告清楚。清除页面中的广告内容和指向广告的链接
c.将HTML页面转化成XML页面 d.HTML页面的清理
我们开始学习了，我们先来看看这个包中的类的大体框架：
在org.htmlparser包下，有几个接口和类：
Parser类：这个是HtmlParser的核心类，主要的完成对Html页面的分析工具，通过这个类我们可以得到这个页面的各种信息。
Parser()：无参数的构造方法。
Parser(String resource)：根据String参数构建对象，这个参数可以是URL或者本地文件的路径。
Parser(URLConnection connection)：根据一个URLConnection对象构建对象。
createParser(String html, String charset)：通过路径名创建对象，并且设置编码格式。
elements()：返回这个类的元素节点的迭代器，通过这个迭代器我们遍历页面的节点。
setURL():设置这个Parser类要解析的页面的地址。
parset():根据一个NodeFilter，也就是一个过滤器去获取过滤剩下的页面信息。
visitAllNodeWith(NodeVisitor visitor)：通过一个NodeVisitor去遍历所有的节点。
小试牛刀(这个只是简单的使用，具体的类看下面的介绍)：
@Test
public void testVisitAllNodeWith() throws Exception {
Parser parser = new Parser();
parser.setURL("http://www.google.cn");
parser.setEncoding(parser.getEncoding());
NodeVisitor visitor = new NodeVisitor() {
public void visitTag(Tag tag) {
System.out.println("*************************");
System.out.println(tag.getTagName());
System.out.println("*************************");
}
};
parser.visitAllNodesWith(visitor); } @Test
public void testElements() throws Exception {
Parser parser = new Parser();
parser.setURL("http://www.google.cn");
parser.setEncoding(parser.getEncoding());
NodeIterator iterator = parser.elements();
while(iterator.hasMoreNodes()) {
Node node = iterator.nextNode();
System.out.println("*************************");
System.out.println(node.getText());
System.out.println("*************************");
}
}
Node接口：这个接口就好像定义了一颗树来表示一个HTML页面，定义获取父子兄弟节点的方法，定义了节点到对应节点的html文本的方法，从上面的图中我们看到有AbstractNode这个类，这个是Node的实现类，起到形成树形结构的作用，在HTML页面中有三种类型的Node，RemarkNode代表html中的注释，TagNode代表标签节点，TextNode代表文本节点。
getChildren()：获取子节点，返回一个NodeList对象。
getFirstChildren():获取第一个子节点，返回一个Node对象。
getLastChildren()：获取最后一个子节点，返回一个Node对象。
getPreviousSibling()：获取前一个兄弟节点。
getNextSibling():获取后一个兄弟节点。
getParent():获取父节点。
getText():获得文本内容。
toPlainTextString():获取纯文本信息。
toHtml():获取Html信息。
accept(NodeVisitor visitor):对这个node应用visitor。
为了方法大家观看，还是自己写一个Html，然后练练方法：
node.html
<!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8">
<title>Title Node</title>
</head>
<body>
<!-- remark -->
<h1>H1 Node</h1>
<div id="d1">
<div id="d2">
<a>Div Node</a>
</div>
</div>
</body>
</html>
测试方法：
@Test
public void testNode() throws Exception {
Parser parser = new Parser();
parser.setURL("src/node.html");
parser.setEncoding(parser.getEncoding());
NodeIterator iterator = parser.elements();
while(iterator.hasMoreNodes()) {
Node node = iterator.nextNode();
System.out.println("*************************");
System.out.println("Text:" + node.getText());
System.out.println("PlainText:" + node.toPlainTextString());
System.out.println("ToHtml:" + node.toHtml());
System.out.println("*************************");
}
}
Remark接口：这个接口代表了注释。实现类有RemarkNode，这个类代表了注释节点。
getText():获取文本。
setText():设置文本。
Tag接口：这个接口就代表了Html页面的标签，实现类有TagNode，就是标签节点。
getAttribute(String name)：根据name拿到该标签的属性，当然有对应的setAttribute方法。
getTagName():拿到这个标签的名字。
toTagHtml():返回这个标签的html。
Text接口：这个接口代表Html的文本，实现类有TextNode，就是文本节点。
getText():拿到文本值。
setText():设置文本值。
NodeFilter接口：这个接口定义的是过滤器，通过各种各样的过滤器可以筛选出特定的节点，具体的应用看下面的org.htmlparser.filters包下的类的应用，
accept(Node node)：这个方法的返回值是boolean，方法的作用就是判断要不要保留这个节点。
在org.htmlparser.visitors包下，有一个很重要的类NodeVisitor，下面讲解一下：
NodeVisitor类：通过这个visitor我们可以遍历树的每一个节点，对于一个符合条件的节点，我们还可以进行适当的处理。
visitRemarkNode(Remark remark):访问remark类型的节点，通过重写这个方法可以实现对这个remark类型节点的特定操作。
visitStringNode(Text text)：访问Text类型的节点，通过重写这个方法可以实现对这个Text类型节点的特定操作。
visitTag(Tag tag)：访问Tag类型的节点，通过重写这个方法可以实现对这个Tag类型节点的特定操作。
小试牛刀：
public class MyVisitor extends NodeVisitor{
public MyVisitor() {
}
public void visitTag(Tag tag) {
if(tag.getTagName().equals("BODY"))
System.out.println("**********body**************");
System.out.println("TagName:" + tag.getTagName());
}
public void visitStringNode(Text text) {
System.out.println("text" + text.getText());
}
public static void main(String[] args) throws Exception{
Parser parser = new Parser("src/node.html");
MyVisitor visitor = new MyVisitor();
parser.visitAllNodesWith(visitor);
}
}
在org.htmlparset.filters包下，有着很多过滤器，每个过滤器类都有自己特定的作用：
判断类Filter：
TagNameFilter
HasAttributeFilter
HasChildFilter
HasParentFilter
HasSiblingFilter
IsEqualFilter
逻辑运算Filter：
AndFilter
NotFilter
OrFilter
XorFilter
其他Filter：
NodeClassFilter
StringFilter
LinkStringFilter
LinkRegexFilter
RegexFilter
CssSelectorNodeFilter
下面是一个关于TagNameFilter的小试牛刀：
@Test
public void testTagNameFilter() throws Exception{
Parser parser = new Parser("src/node.html");
NodeFilter filter = new TagNameFilter("DIV");
NodeList nodeList = parser.extractAllNodesThatMatch(filter);
if(nodeList != null) {
for(int i = 0; i < nodeList.size(); i++) {
Node node = nodeList.elementAt(i);
System.out.println("Text:" + node.getText());
System.out.println("****************************");
}
}
}
HtmlParser的使用-爬虫学习（三）的更多相关文章
- Python爬虫学习三------requests+BeautifulSoup爬取简单网页
第一次第一次用MarkDown来写博客,先试试效果吧! 昨天2018俄罗斯世界杯拉开了大幕,作为一个伪球迷,当然也得为世界杯做出一点贡献啦. 于是今天就编写了一个爬虫程序将腾讯新闻下世界杯专题的相关新 ...
- python爬虫学习(三)：使用re库爬取"淘宝商品"，并把结果写进txt文件
第二个例子是使用requests库+re库爬取淘宝搜索商品页面的商品信息 (1)分析网页源码 打开淘宝,输入关键字“python”,然后搜索,显示如下搜索结果 从url连接中可以得到搜索商品的关键字是 ...
- day48-python爬虫学习三
Python的urllib和urllib2模块都做与请求URL相关的操作,但他们提供不同的功能.他们两个最显着的差异如下: urllib2可以接受一个Request对象,并以此可以来设置一个URL的h ...
- Python爬虫学习：三、爬虫的基本操作流程
本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:三.爬虫的基本操作与流程 一般我们使用Python爬虫都是希望实现一套完整的功能,如下: 1.爬虫目标数据.信息: 2.将 ...
- scrapy爬虫学习系列三：scrapy部署到scrapyhub上
系列文章列表: scrapy爬虫学习系列一:scrapy爬虫环境的准备: http://www.cnblogs.com/zhaojiedi1992/p/zhaojiedi_python_00 ...
- python爬虫学习(1) —— 从urllib说起
0. 前言 如果你从来没有接触过爬虫,刚开始的时候可能会有些许吃力 因为我不会从头到尾把所有知识点都说一遍,很多文章主要是记录我自己写的一些爬虫 所以建议先学习一下cuiqingcai大神的 Pyth ...
- 爬虫学习之基于Scrapy的爬虫自动登录
###概述 在前面两篇(爬虫学习之基于Scrapy的网络爬虫和爬虫学习之简单的网络爬虫)文章中我们通过两个实际的案例,采用不同的方式进行了内容提取.我们对网络爬虫有了一个比较初级的认识,只要发起请求获 ...
- Python爬虫学习：二、爬虫的初步尝试
我使用的编辑器是IDLE,版本为Python2.7.11,Windows平台. 本文是博主原创随笔,转载时请注明出处Maple2cat|Python爬虫学习:二.爬虫的初步尝试 1.尝试抓取指定网页 ...
- 《Python爬虫学习系列教程》学习笔记
http://cuiqingcai.com/1052.html 大家好哈,我呢最近在学习Python爬虫,感觉非常有意思,真的让生活可以方便很多.学习过程中我把一些学习的笔记总结下来,还记录了一些自己 ...
随机推荐
- SQL Server编程系列(1):SMO介绍
原文:SQL Server编程系列(1):SMO介绍 续篇:SQL Server编程系列(2):SMO常用对象的有关操作 最近在项目中用到了有关SQL Server管理任务方面的编程实现,有了一些自己 ...
- DynamicReports
try { response.setCharacterEncoding("UTF-8"); response.setHeader("Content-disposition ...
- hdu 2191 (多重背包+二进制优化)
Problem Description 急!灾区的食物依然短缺!为了挽救灾区同胞的生命,心系灾区同胞的你准备自己采购一些粮食支援灾区,现在假设你一共有资金n元,而市场有m种大米,每种大米都是袋装产品, ...
- C#操作Xml：XmlSerializer 对象的Xml序列化和反序列化
这篇随笔对应的.Net命名空间是System.Xml.Serialization:文中的示例代码需要引用这个命名空间. 为什么要做序列化和反序列化? .Net程序执行时,对象都驻留在内存中:内存中的对 ...
- 用css2属性clip实现网页进度条
前言 看了网上一些关于网页进度条样式的资料,有很多方式实现,针对其展现形式,有用图片的,有用css2属性clip,有用flash的,本人就学会了一种,下面就简单来介绍一下. css2的属性clip 如 ...
- [Android]Parcelable encountered IOException writing serializable object (name = xxx)
Activity之间通过Intent传递值,支持基本数据类型和String对象及它们的数组对象byte.byte[].char.char[].boolean.boolean[].short.short ...
- EasyUi TreeGrid封装
礼物一:树型实体的抽象与封装 所谓树型实体,就是具有树型结构关系的实体,比如省.市.区.对于初学者,可能会创建三张表进行存储,有经验的开发者通过引入ParentId将设计简化为一张表,但是基于Pare ...
- Hack 语言学习/参考---1.3 Summary
Summary Hack provides the following, non-exhaustive list of features: Ability to annotate function a ...
- NSString 常用分类
#pragma mark 清空字符串中的空白字符 - (NSString *)trimString { return [self stringByTrimmingCharactersInSet:[NS ...
- hdu1005 Number Sequence
f(n-1)和f(n-2)所有组合都49种子,这期可达49,但f(n-1)=f(n-2)=0如果是,列的总数目0.话题条件f(1)=f(2)=1.因此排除这样的情况.的最长期限48. #include ...