Jsoup.parse解析HTML字符串，如Jsoup.parse("<html><head><title>Firstparse</title></head>")

Jsoup.connect解析url网站地址，如Jsoup.connect(http://www.baidu.com).get()

可以用httpclient获取网页，再用Jsoup.parse解析页面

String text = getMethod.getResponseBodyAsString();
Document doc = Jsoup.parse(text);

法一：httpclient+Jsoup

 String dataUrl = "http://hi.mop.com/?";

 HttpClient httpClient = new HttpClient();

 String cookies = "_ml=371386500452711504675;";

 GetMethod getMethod = new GetMethod(dataUrl);

 // 每次访问需授权的网址时需带上前面的 cookie 作为通行证

 getMethod.setRequestHeader("cookie", cookies);

 getMethod.setRequestHeader("Referer", "http://passport.mop.com/");

 getMethod.setRequestHeader("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");

 int statusCodes = httpClient.executeMethod(getMethod);

 System.out.println(statusCodes);

 System.out.println("模拟登录成功");

 String text = getMethod.getResponseBodyAsString();

法二：Jsoup Connction + Jsoup解析

Connection conn = Jsoup.connect(String url);

conn.data("txtBill", key);// 设置关键字查询字段

Document doc = null;

doc = conn.timeout(100000).post();//设置请求类型为post型或者get型，超时100000毫秒

results = doc.select(TagName);// 处理返回数据

for (Element result : results){}
package Step1;

import java.io.BufferedReader;

import java.io.InputStream;

import java.io.InputStreamReader;

import javax.lang.model.element.Element;

import org.apache.commons.httpclient.Cookie;

import org.apache.commons.httpclient.HttpClient;

import org.apache.commons.httpclient.NameValuePair;

import org.apache.commons.httpclient.cookie.CookiePolicy;

import org.apache.commons.httpclient.methods.GetMethod;

import org.apache.commons.httpclient.methods.PostMethod;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.select.Elements;

/**

 *

    * @ClassName: HttpLogin

    * @Description:  java通过httpclient结合Jsoup

    * @author zeze

    * @date 2015年11月10日 下午5:07:33

    *

 */

public class HttpLogin {

    public static void main(String[] args) {

        //Url

        String dataUrl = "http://hi.mop.com/?";

        HttpClient httpClient = new HttpClient();

        try {

            // 获得登陆后的 Cookie

            String cookies = "_ml=371386500452711504675;";

            GetMethod getMethod = new GetMethod(dataUrl);

            // 每次访问需授权的网址时需带上前面的 cookie 作为通行证

            getMethod.setRequestHeader("cookie", cookies);

            getMethod.setRequestHeader("Referer", "http://passport.mop.com/");

            getMethod.setRequestHeader("User-Agent", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)");

            int statusCodes = httpClient.executeMethod(getMethod);

            System.out.println("状态码："+statusCodes);

            //如果返回的头信息没有指定长度或长度大于1M则抛出异常需把 getResponseBodyAsString（）换成 getResponseBodyAsStream（）

            //String text = getMethod.getResponseBodyAsString();

            InputStream inputStream = getMethod.getResponseBodyAsStream();

            BufferedReader br = new BufferedReader(new InputStreamReader(inputStream));

            StringBuffer stringBuffer = new StringBuffer();

            String str= "";

            while((str = br.readLine()) != null){

                stringBuffer.append(str );

            }

            //Element result=text;

             Document doc = Jsoup.parse(stringBuffer.toString());

             Elements name=doc.select("[class=tc c068 fs14 yahei mt5 username]");

             System.out.println(name.text());

        }

        catch (Exception e) {

            e.printStackTrace();

        }

    }

}

httpclient+Jsoup总结的更多相关文章

  1. HttpClient + Jsoup模拟登录教务处并获取课表

    1.概述 最近想做一个校园助手类的APP,由于第一次做,所以打算先把每个功能单独实现,防止乱了阵脚.利用教务处登录获取课表和成绩等是一个基本功能,所以以获取课表为例实现了这个功能.完整代码点这里,尝试 ...

  2. HttpClient+Jsoup 抓取网页信息（网易贵金属为例）

    废话不多说直接讲讲今天要做的事. 利用HttpClient和Jsoup技术抓取网页信息.HttpClient是支持HTTP协议的客户端编程工具包,并且它支持HTTP协议. jsoup 是一款基于 Ja ...

  3. httpclient+jsoup实现小说线上采集阅读

    前言 用过老版本UC看小说的同学都知道,当年版权问题比较松懈,我们可以再UC搜索不同来源的小说,并且阅读,那么它是怎么做的呢?下面让我们自己实现一个小说线上采集阅读.(说明:仅用于技术学习.研究) 看 ...

  4. HttpClient+Jsoup模拟登陆贺州学院教务系统，获取学生个人信息

    前言 注:可能学校的教务系统已经做了升级,当前的程序不知道还能不能成功获取信息,加上已经毕业,我的账户已经被注销,试不了,在这里做下思路跟过程的记录. 在我的毕业设计中”基于SSM框架贺州学院校园二手 ...

  5. HttpClient&Jsoup爬虫的简单应用

    详细的介绍已经有很多前辈总结,引用一下该篇文章:https://blog.csdn.net/zhuwukai/article/details/78644484 下面是一个代码的示例: package ...

  6. HttpClient+jsoup登录+解析 163邮箱

    找了几个,只有这个靠谱,用的是httpclient4,另外还需要commons-lang和jsoup包 http://jsoup.org/ http://www.oschina.net/code/sn ...

  7. httpclient+jsoup实现网页信息抓取

    需求分析:抓取:http://tools.2345.com/rili.htm中的万年历(阳历.阴历等等). 1.首先为抓取的内容创建一个类.实现封装. package com.wan.domain; ...

  8. 【小型系统】简单的刷票系统（突破IP限制进行投票）

    一.前言 相信大家平时肯定会收到朋友发来的链接,打开一看,哦,需要投票.投完票后弹出一个页面(恭喜您,您已经投票成功),再次点击的时候发现,啊哈,您的IP(***.***.***.***)已经投过票了 ...

  9. (转）投票系统，更改ip刷票

    前言 相信大家平时肯定会收到朋友发来的链接,打开一看,哦,需要投票.投完票后弹出一个页面(恭喜您,您已经投票成功),再次点击的时候发现,啊哈,您的IP(***.***.***.***)已经投过票了,不 ...

随机推荐

  1. Android学习笔记——TableLayout

    该工程的功能是实现在一个activity中显示一个表格 以下代码是MainActivity.java中的代码 package com.example.tablelayout; import andro ...

  2. java 运行指定类的main函数

    运行jar文件的方法是: java -jar xxx.jar 但是有时,我们希望运行里面的具体某个类,这时可以通过: java -cp xxx.jar xxx.com.xxxx  它会找到这个类的ma ...

  3. mysql 插入/更新数据

    mysql 插入/更新数据 INSERT 语句 1.一次性列出全部字段的值,例如: INSERT INTO student VALUES('Chenqi','M', 29); INSERT INTO ...

  4. Yii2 rules验证规则

    Rules验证规则:  required : 必须值验证属性||CRequiredValidator 的别名, 确保了特性不为空. [['字段名1','字段名2'],required]    //字段 ...

  5. CentOS更改yum源与更新系统

    [1] 首先备份/etc/yum.repos.d/CentOS-Base.repo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/Cent ...

  6. PHP7的安装

    PHP7和HHVM比较PHP7的在真实场景的性能确实已经和HHVM相当, 在一些场景甚至超过了HHVM.HHVM的运维复杂, 是多线程模型, 这就代表着如果一个线程导致crash了, 那么整个服务就挂 ...

  7. rabbitmq的web管理界面无法使用guest用户登录

    安装最新版本的rabbitmq(3.3.1),并启用management plugin后,使用默认的账号guest登陆管理控制台,却提示登陆失败. 翻看官方的release文档后,得知由于账号gues ...

  8. 并发下常见的加锁及锁的PHP具体实现代码（转）

    在最近的项目中有这样的场景 1.生成文件的时候,由于多用户都有权限进行生成,防止并发下,导致生成的结果出现错误,需要对生成的过程进行加锁,只容许一个用户在一个时间内进行操作,这个时候就需要用到锁了,将 ...

  9. PHP 短连接生成

    <?php #短连接生成算法 class Short_Url { #字符表 public static $charset = "0123456789ABCDEFGHIJKLMNOPQR ...

  10. oracle中的sql%rowcount,sql%found、sql%notfound、sql%rowcount和sql%isopen

     Oracle 存储过程 删除表记录时删除不存在的记录也是显示删除成功 create or replace procedure delDept(p_deptno in dept.deptno%type ...