160718、jsoup-1.8.1.jar操作html
导入jsoup-1.8.1.jar
import java.io.IOException;
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.safety.Whitelist;
import org.jsoup.select.Elements;
/**
* jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
jsoup的主要功能如下：
1. 从一个URL，文件或字符串中解析HTML；
2. 使用DOM或CSS选择器来查找、取出数据；
3. 可操作HTML元素、属性、文本；
jsoup是基于MIT协议发布的，可放心使用于商业项目。
注意：获取到了document对象之后，可以类似于操作dom一样来操作
*
*/
public class TestJsoup {
/**
* 文档输入
* jsoup 可以从包括字符串、URL地址以及本地文件来加载HTML 文档，并生成Document 对象实例。
* 获取指定HTML 文档指定的body
* @throws IOException
*/
public static Document getBody() throws IOException{
/**方式一*/
String html = "<html><head><title>开源中国社区</title></head>"
+"<body><p>这里是jsoup 项目的相关文章</p></body></html>";
Document doc1 = Jsoup.parse(html);//直接从字符串中输入HTML 文档,有很多其他的构造方法可以使用
System.out.println(doc1);
/**方式二*/
Document doc2 = Jsoup.connect("http://www.baidu.com/more/index.html")//
.data("query", "java")//请求参数
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36")//设置User-Agent
.cookie("auth", "token")//设置cookie
.timeout(3000)//设置连接超时时间
.post();//使用POST方法访问URL
System.out.println(doc2);
/**方式三*/
Document doc3 = Jsoup.connect("http://www.baidu.com").get();//直接获取doc
System.out.println(doc3);
return doc3;
}
/**
* 解析并提取HTML 元素
* 里面有很多操作document的方法，这里以通过id做例子
* @throws IOException
*/
public static Element getElement() throws IOException{
Document doc = Jsoup.connect("http://www.baidu.com").get();
Element elementById = doc.getElementById("ftConw");
System.out.println(elementById);
return elementById;
}
/**
* 改变属性，样式等等
* 可以通过jsoup提供的各种选择器操作很多东西
* @throws IOException
*/
public static void changeAttr() throws IOException{
Document doc = Jsoup.connect("http://www.baidu.com").get();
Element elementById = doc.getElementById("ftConw");
Elements select = elementById.select("a");
Element element = select.get(0);
System.out.println("before:"+element);
element.removeAttr("onmousedown");
System.out.println("after:"+element);
}
/**
* HTML 文档清理
* @throws IOException
*/
public static void cleanHtml() throws IOException{
Connection connect = Jsoup.connect("http://www.baidu.com");
Document doc = connect.get();
/**
* Whitelist.basic()：a, b, blockquote, br, cite, code, dd, dl, dt, em, i, li, ol, p, pre, q,small,strike, strong, sub, sup, u, ul;
* Whitelist.basicWithImages()：a, b, blockquote, br, cite, code, dd, dl,dt, em, i, li, ol, p, pre, q, small, strike, strong, sub, sup, u, ul、img、src;
* Whitelist.relaxed():a, b, blockquote,br, caption, cite, code, col, colgroup, dd, dl, dt, em, h1, h2, h3, h4, h5, h6,i, img, li, ol, p, pre, q, small,
strike, strong, sub, sup, table, tbody, td,tfoot, th, thead, tr, u, ul;
* Whitelist.simpleText():简单的文本属性b, em, i, strong, u
* Whitelist.none();//只保留了文本
* 如果还不能满足要求，可以使用使用addAttributes、addEnforcedAttribute、addProtocols、addTags进行添加
* 可以结合springmvc的initBinder一起使用
*/
Whitelist whitelist = Whitelist.basic();//只保留了文本
String clean = Jsoup.clean(doc.toString(), whitelist);
System.out.println(clean);
}
public static void main(String[] args) throws IOException {
//getBody();
// getElement();
// changeAttr();
cleanHtml();
}
}
160718、jsoup-1.8.1.jar操作html的更多相关文章
- poi-3.11-beta2-20140822.jar操作excel方法
poi-3.11-beta2-20140822.jar操作excel方法 根据不同类型读取值的方法: // 获取单元格内不同类型的值 public String getValueByType(HSSF ...
- jar - 操作jar包的工具
jar - Manipulates Java Archive (JAR) files. jar命令是一种通用的存档和压缩工具,基于ZIP和ZLIB压缩格式. 常用格式: * 创建jar文件 jar c ...
- 使用jxl.jar操作Excel
在工程的build path中添加jxl.jar,网址:http://www.andykhan.com/jexcelapi/ import java.io.BufferedReader; import ...
- org.jsoup.Jsoup找不到jar包问题解决思路
今天在idea中导入项目,出现了这样的问题 通过idea的自带的导包功能,却提示找不到这个东西.于是就去maven仓库搜索这个咚咚 <!-- https://mvnrepository.com/ ...
- 常见 jar包详解
常见 jar包详解 jar包 用途 axis.jar SOAP引擎包 commons-discovery-0.2.jar 用来发现.查找和实现可插入式接口,提供一些一般类实例化.单件的生命周期 ...
- Jsoup解析HTML、加载文档等实例
一.引入jsoup的jar包:http://jsoup.org/download 补充:http://jsoup.org/apidocs/ Jsoup API 可以了解更详细的内容 二.Js ...
- Jsoup简介
Jsoup简介 一.概述 Jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址.HTML文本内容.它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来 ...
- Jsoup使用随记
这段时间工作比较空闲,在网上找资料学习的时候看到数据抓取这一块,来了兴趣 用jsoup实现数据抓取着实方便,唯一美中不足的是官方API是英文版的,对我这样英语水平不好的程序员来说着实困扰,只能一点点的 ...
- 常用jar包用途
jar包 用途 axis.jar SOAP引擎包 commons-discovery-0.2.jar 用来发现.查找和实现可插入式接口,提供一些一般类实例化.单件的生命周期管理的常用方法. jaxrp ...
随机推荐
- 使用Python SDK管理Azure Load Balancer
概述 下面将演示如何使用Python SDK管理中国区Azure Load balancer.关于Azure负载均衡器的详细功能介绍,请参考官方文档. Code Sample import os fr ...
- CORS解决WebApi跨域问题(转)
CORS全称Cross-Origin Resource Sharing,中文全称跨域资源共享.它解决跨域问题的原理是通过向http的请求报文和响应报文里面加入相应的标识告诉浏览器它能访问哪些域名的请求 ...
- C#通过WIN32 API实现嵌入程序窗体
本文实例讲述了C#通过WIN32 API实现嵌入程序窗体的方法,分享给大家供大家参考.具体如下: 这是一个不使用COM,而是通过WIN32 API实现的示例, 它把写字板程序嵌在了自己的一个面板中. ...
- 优化数据页面（22）——n:n的数据关系
设计要点:优化数据页面.界面设计.美化exce 阿金:那n::n就复杂了,你倒是想留有空间. 可是现实社会有时却不同意. 秀秀:唉.说的也是. 阿金:那怎么表达才合适啊? 秀秀:仅仅实用网格了. 阿金 ...
- 【ZYNQ-7000开发之九】使用VDMA在PL和PS之间传输视频流数据
[ZYNQ-7000开发之九]使用VDMA在PL和PS之间传输视频流数据 原创 2016年01月14日 11:35:02 标签: VDMA / zynq / zedbaord / AXI 10384 ...
- Java对象的浅克隆和深克隆
为什么需要克隆 在实际编程过程中,我们常常要遇到这种情况:有一个对象A,在某一时刻A中已经包含了一些有效值,此时可能会需要一个和A完全相同新对象B, 并且此后对B任何改动都不会影响到A中的值 ...
- python学习之运算表达式优先级
python中,有变量.值和运算符参与的语句叫做表达式. 比如: #字符串表达式 "hello" #运算表达式 + #赋值表达式 test = "hello" ...
- c++ friend 遇到 namespace 无法访问 private 成员的问题
相关的文章(比较有意思,记录一下):http://www.cnblogs.com/lx20030303/archive/2012/09/21/2696258.html 先看例子.如下. 尝试编译的话, ...
- js 旋转控件 jQueryRotate
插代码 .. <%@ page language="java" contentType="text/html; charset=UTF-8" pageEn ...
- pip 使用技巧
指定豆瓣源安装 pip install configparser -i http://pypi.douban.com/simple/ --trusted-host=pypi.douban.com/si ...