java根据URL获取网页编码

然后呢,每个网站是不是GZIP还得判断,贼麻烦...

但是没办法啊,麻烦也得写呗,业务需求啊...

正当我写着方法,把HTML转为Document对象,进行下一步解析标签时...

我发现了...

这不是明明可以直接解析url的嘛,那我还费什么劲找编码,费什么劲确定是不是GZIP啊...直接用Jsoup就解决了啊...

所以,进入正题

----------------------上面都是废话-------------------------

引入Jsoup(jar包自己找,以下是maven项目演示)

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->

        <dependency>

            <groupId>org.jsoup</groupId>

            <artifactId>jsoup</artifactId>

            <version>1.10.2</version>

        </dependency>

使用这个方法就行:

Document doc= Jsoup.parse(new URL("你要获取的网址"),(int型的等待超时毫秒数));

想要String型的再接:

String html = doc.toString();

用的方法是Jsoup的,用来解析文本贼好用(如从HTML中找出a标签啊啥的)

如果不会的话建议去学学

或者你们谁还有更好的解析文本的包或者库告诉我,我学学

java根据URL获取HTML内容的更多相关文章

Java从URL获取PDF内容
Java直接URL获取PDF内容题外话网上很多Java通过pdf转 HTML,转文本的,可是通过URL直接获取PDF内容,缺没有,浪费时间,本人最近工作中刚好用到,花了时间整理下,分享出来,防止浪 ...
java通过URL获取文本内容
原文地址https://www.cnblogs.com/myadmin/p/7634262.html public static String readFileByUrl(String urlStr) ...
JAVA通过url获取页面内容
String address = "http://sports.sina.com.cn/nba/live.html?id=2015050405"; URL url = new UR ...
java根据URL获取网页编码
由于很多原因,我们要获取网页的编码(多半是写批量抓取的脚本吧...嘻嘻嘻) 注意: 如果你的目的是获取不乱码的网页内容(而不是根据网址发送post请求获取返回值),切记切记,移步这里 java根据UR ...
java根据url获取json对象
package test; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; ...
fopen()、 file_get_contents() 通过url获取链接内容
功能:获得网页内容区别如下: fopen()打开URL 下面是一个使用fopen()打开URL的例子: <?php $fh = fopen('http://www.baidu.com/', ' ...
java的Scanner获取输入内容
//导入 scanner的包 import java.util.Scanner; Scanner scanner = new Scanner(System.in); System.out.printl ...
java根据url获取完整域名
private String getDomain(String destination){ if(destination==null||destination.trim().equals(" ...
Java根据路径获取文件内容
文章目录一.思路二.实现给出一个资源路径.然后获取资源文件信息,常见三种方式:①网络地址 ②本地绝对路径 ③本地相对路径一.思路首先,给出一个string表示资源文件的标识,如何判断是网络中 ...

随机推荐

产品经理-需求分析-用户故事-敏捷开发详解一张图帮你了解Scrum敏捷流程
产品经理-需求分析-用户故事-敏捷开发详解用户故事是从用户的角度来描述用户渴望得到的功能.一个好的用户故事包括三个要素:1. 角色:谁要使用这个功能.2. 活动:需要完成什么样的功能.3. 商业价 ...
使用BenchmarkSQL测试PostgreSQL
BenchmarkSQL是一款经典的开源数据库测试工具,内嵌了TPCC测试脚本,可以对EnterpriseDB.PostgreSQL.MySQL.Oracle以及SQL Server等数据库直接进行测 ...
学习Linux shell脚本中连接字符串的方法
这篇文章主要介绍了Linux shell脚本中连接字符串的方法,如果想要在变量后面添加一个字符,可以用一下方法: 代码如下: $value1=home $value2=${value1}"= ...
The Little Prince-12/01
The Little Prince-12/01 The people have no imagination. They repeat whatever one says to them… On my ...
JOBDU 题目1131：合唱队形
时间限制:1 秒内存限制:32 兆特殊判题:否提交:4546 解决:1445 题目描述: N位同学站成一排,音乐老师要请其中的(N-K)位同学出列,使得剩下的K位同学不交换位置就能排成合唱队形. ...
everything不显示移动硬盘中路径
点击他的设置选项,里面有NTFS,移除那些硬盘就可以了.
django外使用django ORM
import os, sys import django BASE_DIR = os.path.dirname(os.path.abspath(__file__)) # 定位到你的django根目录 ...
Redis可以用来做什么？（摘自http://www.lianpenglin.cc廉鹏林博客）
Redis 是互联网技术领域使用最为广泛的存储中间件,它是「Remote Dictionary Service」的首字母缩写,也就是「远程字典服务」.Redis 以其超高的性能.完美的文档.简洁易懂的 ...
Golang内存分配内置函数之new函数
new函数用来分配内存,主要分配值类型,比如int.float32.struct等,返回的是指针 package main import ( "fmt" ) func main() ...
一套权威的 MQTT Client 库
主流的语言都支持,可链接到 github ,亲测golang client 简单好用 http://www.eclipse.org/paho/downloads.php

java根据URL获取HTML内容

java根据URL获取网页编码

java根据URL获取HTML内容的更多相关文章

随机推荐

热门专题