java正则 读取html 获取标题/超链接/链接文本/内容

参考链接:http://yijianfengvip.blog.163.com/blog/static/17527343220114278593064/

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/**
 * 
 * @author 
 * 
 */
public class WebContent
{
 /**
  * 读取一个网页全部内容
  */

///此方法 读取小量数据网站 速度较快

  public static String getOneHtml(String urlString)throws Exception{
InputStreamReader in = new InputStreamReader(new URL(urlString).openStream());
// read contents into string buffer
StringBuilder input = new StringBuilder();
int ch;
while ((ch = in.read()) != -1) input.append((char) ch);
//System.out.println(input);
return input.toString();
}

///此方法 读取大量数据网站 速度较快 但是不能太大。 例如sina.com.cn  本方法  运行十次耗时  7688毫秒  getOneHtml 耗时 41016毫秒

 public static String getAllHtml(String urlString)throws Exception{
// ConnectionManager manager = Parser.getConnectionManager();
// Cookie cookie = new Cookie("ASP.NET_SessionId","szpgjr45ucsacir0d1p4g255");
// Cookie cookie1 = new Cookie("SID", "111017");
// Cookie cookie2 = new Cookie("LID", "");
// manager.setCookie(cookie, "acad.cnki.net");
// manager.setCookie(cookie1, "acad.cnki.net");
// manager.setCookie(cookie2, "acad.cnki.net");
//Parser parser = new Parser("");
Parser parser = new Parser(urlString);
parser.setEncoding("utf8");
String filterStr = "html";
NodeFilter innerFilter = new TagNameFilter(filterStr);
NodeList nodes = parser.parse(innerFilter);
return nodes.toHtml();
//System.out.println(nodes.toHtml());
}
  /**
*
* @param s
* @return 获得网页标题
*/
public String getTitle(final String s)
{
String regex;
String title = "";
final List<String> list = new ArrayList<String>();
regex = "<title>.*?</title>";
final Pattern pa = Pattern.compile(regex, Pattern.CANON_EQ);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
for (int i = 0; i < list.size(); i++)
{
title = title + list.get(i);
}
return outTag(title);
}
  /**
*
* @param s
* @return 获得链接
*/
public List<String> getLink(final String s)
{
String regex;
final List<String> list = new ArrayList<String>();
regex = "<a[^>]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s>]*))[^>]*>(.*?)</a>";
final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
return list;
}
  /**
*
* @param s
* @return 获得脚本代码
*/
public List<String> getScript(final String s)
{
String regex;
final List<String> list = new ArrayList<String>();
regex = "<script.*?</script>";
final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
return list;
}
  /**
*
* @param s
* @return 获得CSS
*/
public List<String> getCSS(final String s)
{
String regex;
final List<String> list = new ArrayList<String>();
regex = "<style.*?</style>";
final Pattern pa = Pattern.compile(regex, Pattern.DOTALL);
final Matcher ma = pa.matcher(s);
while (ma.find())
{
list.add(ma.group());
}
return list;
}
  /**
*
* @param s
* @return 去掉标记
*/
public String outTag(final String s)
{
return s.replaceAll("<.*?>", "");
}
  /**
*
* @param s
* @return 获取雅虎知识堂文章标题及内容
*/
public HashMap<String, String> getFromYahoo(final String s)
{
final HashMap<String, String> hm = new HashMap<String, String>();
final StringBuffer sb = new StringBuffer();
String html = "";
System.out.println("\n------------------开始读取网页(" + s + ")--------------------");
try
{
html = getOneHtml(s);
}
catch (final Exception e)
{
e.getMessage();
}
// System.out.println(html);
System.out.println("------------------读取网页(" + s + ")结束--------------------\n");
System.out.println("------------------分析(" + s + ")结果如下--------------------\n");
String title = outTag(getTitle(html));
title = title.replaceAll("_雅虎知识堂", "");
// Pattern pa=Pattern.compile("<div
// class=\"original\">(.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)</div>",Pattern.DOTALL);
final Pattern pa = Pattern.compile("<div class=\"original\">(.*?)</p></div>", Pattern.DOTALL);
final Matcher ma = pa.matcher(html);
while (ma.find())
{
sb.append(ma.group());
}
String temp = sb.toString();
temp = temp.replaceAll("(<br>)+?", "\n");// 转化换行
temp = temp.replaceAll("<p><em>.*?</em></p>", "");// 去图片注释
hm.put("title", title);
hm.put("original", outTag(temp));
return hm; }
  /**
*
* @param args
* 测试一组网页,针对雅虎知识堂
*/
public static void main(final String args[])
{
String url = "";
final List<String> list = new ArrayList<String>();
System.out.print("输入URL,一行一个,输入结束后输入 go 程序开始运行: \n");
/*
* http://ks.cn.yahoo.com/question/1307121201133.html
* http://ks.cn.yahoo.com/question/1307121101907.html
* http://ks.cn.yahoo.com/question/1307121101907_2.html
* http://ks.cn.yahoo.com/question/1307121101907_3.html
* http://ks.cn.yahoo.com/question/1307121101907_4.html
* http://ks.cn.yahoo.com/question/1307121101907_5.html
* http://ks.cn.yahoo.com/question/1307121101907_6.html
* http://ks.cn.yahoo.com/question/1307121101907_7.html
* http://ks.cn.yahoo.com/question/1307121101907_8.html
*/
final BufferedReader br = new BufferedReader(new InputStreamReader(System.in));
try
{
while (!(url = br.readLine()).equals("go"))
{
list.add(url);
}
}
catch (final Exception e)
{
e.getMessage();
}
final WebContent wc = new WebContent();
HashMap<String, String> hm = new HashMap<String, String>();
for (int i = 0; i < list.size(); i++)
{
hm = wc.getFromYahoo(list.get(i));
System.out.println("标题: " + hm.get("title"));
System.out.println("内容: \n" + hm.get("original"));
}
/*
* String htmlurl[] = {
* "http://ks.cn.yahoo.com/question/1307121201133.html",
* "http://ks.cn.yahoo.com/question/1307121101907.html",
* "http://ks.cn.yahoo.com/question/1307121101907_2.html",
* "http://ks.cn.yahoo.com/question/1307121101907_3.html",
* "http://ks.cn.yahoo.com/question/1307121101907_4.html",
* "http://ks.cn.yahoo.com/question/1307121101907_5.html",
* "http://ks.cn.yahoo.com/question/1307121101907_6.html",
* "http://ks.cn.yahoo.com/question/1307121101907_7.html",
* "http://ks.cn.yahoo.com/question/1307121101907_8.html" }; WebContent
* wc = new WebContent(); HashMap<String, String> hm = new HashMap<String,
* String>(); for (int i = 0; i < htmlurl.length; i++) { hm =
* wc.getFromYahoo(htmlurl[i]); System.out.println("标题: " +
* hm.get("title")); System.out.println("内容: \n" + hm.get("original")); }
*/
/*
* String html=""; String link=""; String sscript=""; String content="";
* System.out.println(htmlurl+" 开始读取网页内容:");
* html=wc.getOneHtml(htmlurl); System.out.println(htmlurl+"
* 读取完毕开始分析……"); html=html.replaceAll("(<script.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)(</script>)","
* ");//去除脚本 html=html.replaceAll("(<style.*?)((\r\n)*)(.*?)((\r\n)*)(.*?)(</style>)","
* ");//去掉CSS html=html.replaceAll("<title>.*?</title>"," ");//除去页面标题
* html=html.replaceAll("<a[^>]*href=(\"([^\"]*)\"|\'([^\']*)\'|([^\\s>]*))[^>]*>(.*?)</a>","
* ");//去掉链接 html=html.replaceAll("(\\s){2,}?"," ");//除去多余空格
* html=wc.outTag(html);//多余标记 System.out.println(html);
*/ /*
* String s[]=html.split(" +"); for(int i=0;i<s.length;i++){
* content=(content.length()>s[i].length())?content:s[i]; }
* System.out.println(content);
*/ // System.out.println(htmlurl+"网页内容结束");
/*
* System.out.println(htmlurl+"网页脚本开始:"); List
* script=wc.getScript(html); for(int i=0;i<script.size();i++){
* System.out.println(script.get(i)); }
* System.out.println(htmlurl+"网页脚本结束:");
*
* System.out.println(htmlurl+"CSS开始:"); List css=wc.getCSS(html);
* for(int i=0;i<css.size();i++){ System.out.println(css.get(i)); }
* System.out.println(htmlurl+"CSS结束:");
*
* System.out.println(htmlurl+"全部链接内容开始:"); List list=wc.getLink(html);
* for(int i=0;i<list.size();i++){ link=list.get(i).toString(); }
* System.out.println(htmlurl+"全部链接内容结束:");
*
* System.out.println("内容"); System.out.println(wc.outTag(html));
*/
}
}

java正则 读取html 获取标题/超链接/链接文本/内容的更多相关文章

  1. 获取checkbox后面的文本内容

    http://alygle.blog.51cto.com/1922399/669040 <head> <meta http-equiv="Content-Type" ...

  2. [SoapUI]怎样获取隐藏元素的文本内容Get text of hidden element

    隐藏元素无法通过gettext()获取其文本内容,须用javascript来获取 String actualDataPointName = (String) ((JavascriptExecutor) ...

  3. APP自动化 -- 获取toast元素的文本内容

    一.toast元素 1.表现形式:toast元素就是下图中  “操作成功” 那个一闪而过的标签. 2.特殊点:因为一闪而过,时间太短,用UIAutomatorView截屏截不到. 二.获取方法 1.用 ...

  4. java 正则操作之获取

    // 正则操作 获取import java.util.regex.*;class Demo{ public static void main(String[] args){  String str=& ...

  5. wpf ComboBox 获取选中项的文本内容

    一:根据数据源类型获取选中项 类: public class Region { public int REGION_ID { get; set; } public string REGION_CODE ...

  6. 4-4 Selector有一个方法可以获取Selector中的文本内容---extract()

    ####### 例如: response.xpath('//div[@class ="entry-header"]/h1/text()').extract()

  7. Python爬虫:爬取自己博客的主页的标题,链接,和发布时间

    代码 # -*- coding: utf-8 -*- """ ------------------------------------------------- File ...

  8. js如何获取select下拉框的value以及文本内容

    select下拉框在项目开发中是经常用到的,特别是在联级菜单方面的应用更为广泛.但是,对于一些初学者来说,如何获取下拉框子节点option的value值和文本内容,还是有一点难度的.其他的就不说了,现 ...

  9. Android开发之异步获取并下载网络资源-下载图片和下载文本内容

    在android网络开发过程中,经常需要获取网络资源,比如下载图片,下载文本文件内容等,这个时候就需要http请求来获取相应的网络资源.首先看看实例效果图:              下载图片截图   ...

随机推荐

  1. 2019 OI日记

    //  我觉得记日记是个好习惯吧 毕竟指不定哪天就学不下去了 就AFO了 就没有梦了   // [置顶]活跃于你谷普及训练场.ybt(没底气说全部).loj(提高基础部分)  //优先级从前往后 因为 ...

  2. JS:利用for循环进行数组去重

    <script> var a = [1, 3, 2, 4, 5, 3, 2, 1, 4, 6, 7, 7, 6, 6]; //示例数组    var b = []; for(var i = ...

  3. C++用sqlite3_open连接打开指定数据库的小问题

    一开始我也纳闷,我以为是我数据库没弄好,但是当我仔细检查,才发现 原来我少了分号 写少了分号,可能会导致  database    和  table    找不到... 所以用的时候需要注意... 代 ...

  4. uniapp 小程序实现自定义底部导航栏(tarbar)

    在小程序开发中,默认底部导航栏很难满足实际需求,好在官方给出了自定义形式,效果如下: 话不多说,直接上代码 1.组件 custom-tarbar.vue文件 <template> < ...

  5. http请求的过程及潜在的性能优化点

    web前端的看富于部署过程 开发者将开发的代码发布到远程的服务器(webserver/cdn),用户通过访问浏览器输入相应的网址,浏览器向远程服务器发送请求,动态的增量式的加载资源 web前端就是一个 ...

  6. SharePreference的使用

    SharePreference 一般用于保存偏好设置,比如说我们设置里的条目 sharepreference使用步骤 1.拿到sharepreference //拿到share preference ...

  7. phpStudy配置站点解决各种不能访问问题(本地可www.xx.com访问)

    1.配置站点:打开phpStudy->其他选项菜单->站点域名管理 2.配置站点:打开phpStudy->其他选项菜单->打开hosts(www访问重点) 3.在apache的 ...

  8. 数据结构必做题参考:实验一T1-20,实验2 T1

    实验一T1-10 #include <bits/stdc++.h> using namespace std; ; struct Book { string isbn; string nam ...

  9. Ajax请求传递数组参数的方法

    方法一:拼接字符串参数 var arr={params:['param','param2']}; $.ajax({url:请求地址, data:arr, type:"POST", ...

  10. Fedora 32大变化:将删除Python 2及其软件包

    导读 虽然Fedora 30还没有上市,Fedora 32直到大约一年后才上市,但我们已经知道一个很大的变化:删除Python 2和包依赖它.随着Fedora 32将于2020年上半年推出,超过了Py ...