jsoup web scraping
jsoup简介
jsoup是一款HTML解析器，可用与解析URL地址、HTML文本内同等，操作类似于jQuery，可通过DOM查找数据，操作数据, 使用时需引入jsoup jar
jsoup可以从包含字符串、url及本地文件加载html文档，生成Document对象，通过Document对象即可操作文档中的数据
eg：
//通过url
Document doc = Jsoup.connect("http://www.cnblogs.com/wishyouhappy").get(); //通过html 字符串
String html = "<html><head></head> <body><p>#####</p></body></html>";
Document doc = Jsoup.parse(html); //通过文件加载,第三个参数指示baseURL
File input = new File("D:/test.html");
Document doc = Jsoup.parse(input,"UTF-8","http://www.cnblogs.com/wishyouhappy");
数据操作eg：
Document doc = Jsoup.connect("http://www.cnblogs.com/wishyouhappy").get();
System.out.println(doc.title());
常用函数
parse相关：
static Document parse(File in, String charsetName)
static Document parse(File in, String charsetName, String baseUri)
static Document parse(InputStream in, String charsetName, String baseUri)
static Document parse(String html)
static Document parse(String html, String baseUri)
static Document parse(URL url, int timeoutMillis)
static Document parseBodyFragment(String bodyHtml)
static Document parseBodyFragment(String bodyHtml, String baseUri)
url connect相关：
Connection connect(String url) //根据给定的url(必须是http或https)来创建连接 Connection cookie(String name, String value) //发送请求时放置cookie
Connection data(Map<String,String> data) //传递请求参数
Connection data(String... keyvals) //传递请求参数 Document get() //以get方式发送请求并对返回结果进行解析
Document post()//以post方式发送请求并对返回结果进行解析 Connection userAgent(String userAgent)
Connection header(String name, String value) //添加请求头
Connection referrer(String referrer) //设置请求来源
获取html元素：
getElementById(String id) //用id获得元素
getElementsByTag(String tag) //用标签获得元素
getElementsByClass(String className) //用class获得元素
getElementsByAttribute(String key) //用属性获得元素 siblingElements(),
firstElementSibling(),
lastElementSibling();
nextElementSibling(),
previousElementSibling()
获取和设置元素的值：
attr(String key) //获得元素的数据
attr(String key, String value) //设置元素数据
attributes() //获得所以属性
id(),
className()
classNames()
text() //获得文本值
text(String value) //设置文本值
html() //获取html
html(String value)//设置html
outerHtml()
data()
tag() //获得tag
tagName() //获得tagname
添加元素：
append(String html),
prepend(String html)
appendText(String text),
prependText(String text)
appendElement(String tagName),
prependElement(String tagName)
选择器：
| tagname | 使用标签名来定位，例如 a |
|---|---|
| ns|tag | 使用命名空间的标签定位，例如 fb:name 来查找 <fb:name> 元素 |
| #id | 使用元素 id 定位，例如 #logo |
| .class | 使用元素的 class 属性定位，例如 .head |
| [attribute] | 使用元素的属性进行定位，例如 [href] 表示检索具有 href 属性的所有元素 |
| [^attr] | 使用元素的属性名前缀进行定位，例如 [^data-] 用来查找 HTML5 的 dataset 属性 |
| [attr=value] | 使用属性值进行定位，例如 [width=500] 定位所有 width 属性值为 500 的元素 |
| [attr^=value], [attr$=value], [attr*=value] | 这三个语法分别代表，属性以 value 开头、结尾以及包含 |
| [attr~=regex] | 使用正则表达式进行属性值的过滤，例如 img[src~=(?i)\.(png|jpe?g)] |
| * | 定位所有元素 |
| el#id | 定位 id 值某个元素，例如 a#logo -> <a id=logo href= … > |
|---|---|
| el.class | 定位 class 为指定值的元素，例如 div.head -> <div class="head">xxxx</div> |
| el[attr] | 定位所有定义了某属性的元素，例如 a[href] |
| 以上三个任意组合 | 例如 a[href]#logo 、a[name].outerlink |
| ancestor child | 这五种都是元素之间组合关系的选择器语法，其中包括父子关系、合并关系和层次关系。 |
| parent > child | |
| siblingA + siblingB | |
| siblingA ~ siblingX |
| :lt(n) | 例如 td:lt(3) 表示 小于三列 |
|---|---|
| :gt(n) | div p:gt(2) 表示 div 中包含 2 个以上的 p |
| :eq(n) | form input:eq(1) 表示只包含一个 input 的表单 |
| :has(seletor) | div:has(p) 表示包含了 p 元素的 div |
| :not(selector) | div:not(.logo) 表示不包含 class="logo" 元素的所有 div 列表 |
| :contains(text) | 包含某文本的元素，不区分大小写，例如 p:contains(oschina) |
| :containsOwn(text) | 文本信息完全等于指定条件的过滤 |
| :matches(regex) | 使用正则表达式进行文本过滤：div:matches((?i)login) |
| :matchesOwn(regex) | 使用正则表达式找到自身的文本 |
例子：
package jsoup; /**
*
* 创建人：wish
* 创建时间：2014年6月13日 下午1:22:49
*/
import java.io.IOException; import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements; public class BlogCatch {
/**
* main
* @param args
* @throws Exception
*/
public static void main(String[] args) throws Exception { // getArticleTitle("http://www.cnblogs.com/wishyouhappy");
Document doc = Jsoup.connect("http://www.cnblogs.com/wishyouhappy")
.data("query", "Java") // 请求参数
.userAgent("I ’ m jsoup") // 设置 User-Agent
.cookie("auth", "token") // 设置 cookie
.timeout(3000) // 设置连接超时时间
.post();
System.out.println(doc.title());
} /**
* 获取指定HTML 文档指定的body
* 传入html string
* @throws IOException
*/
@SuppressWarnings("unused")
private static void getBlogBodyByString(String html) {
Document doc = Jsoup.parse(html);
System.out.println(doc.body());
} /**
*
* getBlogBodyByURL 通过url获取文档body
* @param url
* @return
*
*/
@SuppressWarnings("unused")
private static void getBlogBodyByURL(String url) throws IOException {
// 从 URL 直接加载 HTML 文档
Document doc2 = Jsoup.connect(url).get();
String title = doc2.body().toString();
System.out.println(title);
} /**
*
* article 获取博客上的文章标题和链接
* @param url
* @return
* @Exception 异常对象
*/
public static void getArticleTitle(String url) {
Document doc;
try {
doc = Jsoup.connect(url).get();
Elements ListDiv = doc.getElementsByAttributeValue("class","postTitle");
for (Element element :ListDiv) {
Elements links = element.getElementsByTag("a");
for (Element link : links) {
String linkHref = link.attr("href");
String linkText = link.text().trim();
System.out.println(linkHref);
System.out.println(linkText);
}
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } /**
*
* getBlog 获取指定博客文章的内容
* @param name
* @return
* @Exception 异常对象
*/
public static void getBlog(String url) {
Document doc;
try {
doc = Jsoup.connect(url).get();
Elements ListDiv = doc.getElementsByAttributeValue("class","postBody");
for (Element element :ListDiv) {
System.out.println(element.html());
}
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} } }
jsoup web scraping的更多相关文章
- Web Scraping with Python读书笔记及思考
Web Scraping with Python读书笔记 标签(空格分隔): web scraping ,python 做数据抓取一定一定要明确:抓取\解析数据不是目的,目的是对数据的利用 一般的数据 ...
- [Node.js] Web Scraping with Pagination and Advanced Selectors
When web scraping, you'll often want to get more than just one page of data. Xray supports paginatio ...
- <Web Scraping with Python>:Chapter 1 & 2
<Web Scraping with Python> Chapter 1 & 2: Your First Web Scraper & Advanced HTML Parsi ...
- Web scraping with Python (part II) « Jean, aka Sig(gg)
Web scraping with Python (part II) « Jean, aka Sig(gg) Web scraping with Python (part II)
- 《Web Scraping With Python》Chapter 2的学习笔记
You Don't Always Need a Hammer When Michelangelo was asked how he could sculpt a work of art as mast ...
- Web Scraping with Python
Python爬虫视频教程零基础小白到scrapy爬虫高手-轻松入门 https://item.taobao.com/item.htm?spm=a1z38n.10677092.0.0.482434a6E ...
- 阅读OReilly.Web.Scraping.with.Python.2015.6笔记---Crawl
阅读OReilly.Web.Scraping.with.Python.2015.6笔记---Crawl 1.函数调用它自身,这样就形成了一个循环,一环套一环: from urllib.request ...
- 阅读OReilly.Web.Scraping.with.Python.2015.6笔记---找出网页中所有的href
阅读OReilly.Web.Scraping.with.Python.2015.6笔记---找出网页中所有的href 1.查找以<a>开头的所有文本,然后判断href是否在<a> ...
- 阅读OReilly.Web.Scraping.with.Python.2015.6笔记---BeautifulSoup---findAll
阅读OReilly.Web.Scraping.with.Python.2015.6笔记---BeautifulSoup---findAll 1..BeautifulSoup库的使用 Beautiful ...
随机推荐
- hook研究结果备忘
hook研究结果: 最近一周时间仔细研究了一下hook,也许不能称之为研究吧.顶多是让别人的思想拿过来抄袭一遍而已,写点结果也算对得起自己的这几天的苦心了. 1,首先从同事旁边听到了hook,然后看的 ...
- Note | javascript权威指南[第六版] 第2章：词法结构
语法结构规定了诸如变量名是什么样的.怎么写注释,以及程序语句之间如何分隔等规则.本章用很短的篇幅来介绍JavaScript的词法结构. 2.1.字符集 JavaScript程序是用Unic ...
- 模板-->单变元模线性方程
如果有相应的OJ题目,欢迎同学们提供相应的链接 相关链接 所有模板的快速链接 extend_gcd模板 poj_2115_C Looooops,my_ac_code 简单的测试 None 代码模板 / ...
- Topcoder SRM 656 (Div.1) 250 RandomPancakeStack - 概率+记忆化搜索
最近连续三次TC爆零了,,,我的心好痛. 不知怎么想的,这题把题意理解成,第一次选择j,第二次选择i后,只能从1~i-1.i+1~j找,其实还可以从j+1~n中找,只要没有被选中过就行... [题意] ...
- HTML DOM节点
在 DOM 树中,基本上一切都是节点.每个元素在最底层上都是 DOM 树中的节点.每个属性都是节点.每段文本都是节点.甚至注释.特殊字符(如版权符号 ©).DOCTYPE 声明(如果 HTML 或者 ...
- maven在mac上的入门使用
首先博主也是在入门学习,在学习maven时遇到了不少问题.查资料时发现网上maven的使用大多是win的,所以我打算写点maven在mac入门使用的笔记,希望可以帮助到跟我一样有困难的你们. 1.ht ...
- gdb调试 使用心得
1: 对于在应用程序中加入参数进行调试的方法: 直接用 gdb app -p1 -p2 这样进行调试是不行的. 需要像以下这样使用: #gdb app (gdb) r -p1 -p ...
- 【USACO 1.1.3】黑色星期五
[问题描述] 13号又是一个星期五.13号在星期五比在其他日子少吗?为了回答这个问题,写一个程序,要求计算每个月的十三号落在周一到周日的次数.给出N年的一个周期,要求计算1900年1月1日至1900+ ...
- TalkingDataGame SDK在android Lua上的使用
千呼万唤使出来...终于开始更新lua版本的内容了,之前一直有这方面的计划,由于公司业务比较多,一直比较忙-见谅.. 费话不多说,直接上内容.. 整体来讲,先是先建议看一下之前关于cocos2dx上的 ...
- $().change事件
change([[data],fn]) 当元素的value值发生改变时发生change事件 适用于: 文本域 text textarea和select元素 text textarea 元素失去焦点时发 ...