HttpClient + Jsoup模拟登录教务处并获取课表
1、概述
最近想做一个校园助手类的APP，由于第一次做，所以打算先把每个功能单独实现，防止乱了阵脚。利用教务处登录获取课表和成绩等是一个基本功能，所以以获取课表为例实现了这个功能。完整代码点这里，尝试了好几次的，所以写的比较乱。
2、涉及的关键知识
首先，明确获取课表的流程：其实，获取课表就是让手机模拟浏览器，给服务器传去账号、密码，然后服务器会返回cookies（不懂自行百度），利用cookie就可以穿梭自如了，比如查课表。但是，浏览器登录时，返回的html文件浏览器是会自动解析成网页展现在我们面前的，但是APP就不行了，所以需要我们自己从html字符流中解析出我们需要的信息。就我自己的情况来看，模拟登录花了不少时间（这方面很不熟），解析html很快就解决了（可能是之前实践偶解析JSON）。
这样一个APP主要涉及到3个重要知识点：
1、如何模拟登录：java有自己的HttpURLConnection，但是不够灵活，所以用 apache的HttpClient更方便
2、如何解析HTML：网上查一下，Jsoup很合适。
3、AsyncTask：显然获取网页并解析是不能再主线程进行的，所以需要使用异步任务。
4、回调函数：这个不是必须的，但是我为了降低程序耦合度把网络请求那部分单独成了一个类，这时候更新主UI就需要利用回调函数了，之后细说。
3、模拟登陆（以窝工UPR为例）
1、解析教务处登录界面，看到一些教程用的还是HttpWatch，确实过时了，显然直接Google浏览器F12就行了。如下图，选择Network
点一下登录，就可以看到一大堆信息，我们需要的是第一个：
点击就可以看到详细信息了：
重要的有两个，Cookie，拿到这个我们才能导出去访问，Form Data就是模拟登录时要提交（POST）的表单数据；
4、HTML解析
利用上一步模拟登录拿到的Cookie就可以去获取课表了，同理，需要解析网页，如下，点击我的课表
可以看到一大堆信息，找到需要的
这个Response就是会返回我们的字符流，我们需要的就是解析它，设计到Jsoup的详细使用就不细说了，自己也是今天才接触，
总之借助以上两步就可以写出主要类Login.java的代码了，如下：
package com.example.upr.net; import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.List; import org.apache.http.HttpEntity;
import org.apache.http.HttpResponse;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.HttpClient;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import org.apache.http.cookie.Cookie;
import org.apache.http.impl.client.AbstractHttpClient;
import org.apache.http.impl.client.DefaultHttpClient;
import org.apache.http.message.BasicNameValuePair;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements; import com.example.upr.CompleteListener; import android.R.integer;
import android.os.AsyncTask;
import android.provider.ContactsContract.Contacts.Data;
import android.util.Log;
import android.widget.Toast; public class Login extends AsyncTask<Void, Void, String[][]>{ private String zjh;
private String mm;
private String webPage;
private String [][] kebiao = new String[15][8];
private CompleteListener listener;
public Login(String account, String password, CompleteListener listener) {
zjh = account;
mm = password; this.listener = listener;
}
@Override
protected String[][] doInBackground(Void... arg0) {
List<NameValuePair> list = new ArrayList<NameValuePair>();
list.add(new BasicNameValuePair("zjh", zjh));
list.add(new BasicNameValuePair("mm", mm));//表单信息
String encode = "gb2312";//编码格式，从F12工具中可以找到
HttpClient httpClient = new DefaultHttpClient();
List<Cookie> cookies;
try {
HttpEntity entity = new UrlEncodedFormEntity(list ,encode);//封装数据
HttpPost post = new HttpPost(com.example.upr.Constant.LOGIN_URL);//建立POST请求
post.setEntity(entity);
HttpResponse httpResponse = httpClient.execute(post);
String data, result;
if (httpResponse.getStatusLine().getStatusCode() == 200) {//登录成功
cookies = ((AbstractHttpClient) httpClient).getCookieStore().getCookies();//获取Cookie
HttpGet httpGet = new HttpGet("http://zhjw.dlut.edu.cn/xkAction.do?actionType=6");
httpGet.setHeader("Cookie", "JSESSIONID="+ cookies.get(0).getValue()+";"+
"NSC_kjbpxv-iuuq="+cookies.get(1).getValue());//注意分号
httpResponse = new DefaultHttpClient().execute(httpGet); StringBuffer sb = new StringBuffer();
entity = httpResponse.getEntity();
InputStream inputStream = entity.getContent();
BufferedReader br = new BufferedReader(new InputStreamReader(inputStream, encode));
while ((data = br.readLine()) != null) {
sb.append(data); //读取返回的网页
}
result = sb.toString();
webPage = result; } else {
return null;
}
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
return null;
} catch (ClientProtocolException e) {
// TODO Auto-generated catch block
e.printStackTrace();
return null;
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
return null;
} Document document = Jsoup.parse(webPage);
if (document != null) {
Element element = document.getElementById("user");//通过id直接定位到数据
Elements trElements = element.select("tr");
//以下是提取课表信息，每个网站不同，一下代码要解析的html放在最下面了
for (int i = 0; i < trElements.size(); i++) {
Elements tdElements = trElements.get(i).select("td");
for (int j = 0; j < tdElements.size(); j++) {
String text = tdElements.get(j).text();
if (tdElements.size() == 1) {
continue;
} else if (tdElements.size()==9) {
if (j != 0) {
kebiao[i][j-1] = text;
}
}else {
kebiao[i][j] = text;
} }
}
return kebiao;
} else {
return null;
} }
@Override
protected void onPostExecute(String[][] result) {
super.onPostExecute(result);
listener.onConnectFinish(result);//执行回调函数，更新主UI
}
}
/*
<table cellpadding="0" width="100%" class="displayTag" cellspacing="0" border="1" id="user">
<tr>
<td colspan="2" class="sortable"> </td>
<td width="13%" class="sortable">
<div align="center">星期一</div></td>
<td width="13%" class="sortable">
<div align="center">星期二</div></td>
<td width="13%" class="sortable">
<div align="center">星期三</div></td>
<td width="13%" class="sortable">
<div align="center">星期四</div></td>
<td width="13%" class="sortable">
<div align="center">星期五</div></td>
<td width="13%" class="sortable">
<div align="center">星期六</div></td>
<td width="13%" class="sortable">
<div align="center">星期日</div></td>
</tr>
<tr bgcolor="#FFFFFF">
<td width="3%" rowspan="4">
<p class="style4">上午</p></td>
<td width="11%">第1节(08:00-08:45)</td>
<td> 计算机网络A_01(西部校区综合教学2号楼B406)
<br></td>
<td> </td>
<td> </td>
<td> 编译原理_01(校部综合教学1号楼综151)
<br></td>
<td> 计算机组成原理_01(西部校区综合教学2号楼B103)
<br></td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第2节(08:50-09:35)</td>
<td> 计算机网络A_01(西部校区综合教学2号楼B406)
<br></td>
<td> </td>
<td> </td>
<td> 编译原理_01(校部综合教学1号楼综151)
<br></td>
<td> 计算机组成原理_01(西部校区综合教学2号楼B103)
<br></td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第3节(10:05-10:50)</td>
<td> </td>
<td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
<br></td>
<td> </td>
<td> 人工智能_01(西部校区综合教学2号楼A101)
<br></td>
<td> </td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第4节(10:55-11:40)</td>
<td> </td>
<td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
<br></td>
<td> </td>
<td> 人工智能_01(西部校区综合教学2号楼A101)
<br></td>
<td> </td>
<td> </td>
<td> </td>
<tr bgcolor="#FFFFFF">
<td colspan="9">
<p align="center" class="td2 style5">
<strong>午 休</strong></p>
</td>
</tr>
</tr>
<tr bgcolor="#FFFFFF">
<td width="3%" rowspan="4">
<p class="style4">下午</p></td>
<td width="11%">第5节(13:30-14:15)</td>
<td> 编译原理_01(校部综合教学1号楼综151)
<br></td>
<td> 计算机组成原理_01(西部校区综合教学2号楼B103)
<br></td>
<td> </td>
<td> 计算机网络A_01(西部校区综合教学2号楼B406)
<br></td>
<td> </td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第6节(14:20-15:05)</td>
<td> 编译原理_01(校部综合教学1号楼综151)
<br></td>
<td> 计算机组成原理_01(西部校区综合教学2号楼B103)
<br></td>
<td> </td>
<td> 计算机网络A_01(西部校区综合教学2号楼B406)
<br></td>
<td> </td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第7节(15:35-16:20)</td>
<td> 人工智能_01(西部校区综合教学2号楼A101)
<br></td>
<td> </td>
<td> </td>
<td> </td>
<td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
<br></td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第8节(16:25-17:10)</td>
<td> 人工智能_01(西部校区综合教学2号楼A101)
<br></td>
<td> </td>
<td> </td>
<td> </td>
<td> 面向对象程序设计_01(西部校区综合教学2号楼A301)
<br></td>
<td> </td>
<td> </td>
<tr bgcolor="#FFFFFF">
<td colspan="9">
<p align="center" class="td2 style5">
<strong>晚 饭</strong></p>
</td>
</tr>
</tr>
<tr bgcolor="#FFFFFF">
<td width="3%" rowspan="4">
<p class="style4">晚上</p></td>
<td width="11%">第9节(18:00-18:45)</td>
<td> 社会学*_886(校部综合教学1号楼综152)
<br></td>
<td> 人类文明史*_887(校部材料馆材101)
<br></td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第10节(18:55-19:40)</td>
<td> 社会学*_886(校部综合教学1号楼综152)
<br></td>
<td> 人类文明史*_887(校部材料馆材101)
<br></td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第11节(19:50-20:35)</td>
<td> 社会学*_886(校部综合教学1号楼综152)
<br></td>
<td> 人类文明史*_887(校部材料馆材101)
<br></td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td></tr>
<tr bgcolor="#FFFFFF">
<td width="11%">第12节(20:45-21:30)</td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td>
<td> </td></tr>
</table> */
5、关于回调函数的使用
这一部分之前完全没预料到，只是后来才发现，不用内部类，想更新UI就得用回调函数，其更深层次的思想是一种设计模式，还是自己学的太少！知识使用完全浮于表面。
6、Demo演示
7、总结
零零散散花了不少时间，一来确实第一次做类似工作，二来自己习惯非常不好，对于新工具，研究API和即学即用能力不强。明天应该好好研究一下HttpClient和Jsoup，达到熟练抓取各种网页的目的！毕竟这只是开始！现在的学习状态实在太低效了。
以上。
HttpClient + Jsoup模拟登录教务处并获取课表的更多相关文章
- HttpClient+Jsoup模拟登陆贺州学院教务系统，获取学生个人信息
前言 注:可能学校的教务系统已经做了升级,当前的程序不知道还能不能成功获取信息,加上已经毕业,我的账户已经被注销,试不了,在这里做下思路跟过程的记录. 在我的毕业设计中”基于SSM框架贺州学院校园二手 ...
- 利用Jsoup模拟跳过登录爬虫获取数据
今天在学习爬虫的时候想着学习一下利用jsoup模拟登录.下面分为有验证码和无验证码的情况进行讨论. ---------------------------无验证码的情况---------------- ...
- 基于HttpClient的新版正方教务系统模拟登录及信息获取API
简介 通过HttpClient获取网页数据源,通过Jsoup解析数据.先模拟登录,再获取信息.模拟浏览器正常操作,封装请求头信息获取SESSIONID.模拟登录成功后切勿断开会话,依赖登录请求得到的C ...
- node.js模拟学校教务处登录
临近毕业,在做毕设,我的毕设中有一个功能是模拟我学校的教务处登录以获得cookie,本来以为是挺简单的一个功能,但却花了我两天的时间.(我学校教务处用的是湖南强智科技开发的) 在网上搜了大量的模拟登录 ...
- Python 爬虫实战5 模拟登录淘宝并获取所有订单
经过多次尝试,模拟登录淘宝终于成功了,实在是不容易,淘宝的登录加密和验证太复杂了,煞费苦心,在此写出来和大家一起分享,希望大家支持. 本篇内容 python模拟登录淘宝网页 获取登录用户的所有订单详情 ...
- C#程序模拟登录批量获取各种邮件内容信息
一般来说,如果现实中你有这样一种需求“假如你是褥羊毛的羊毛党,你某日发现了一个app有一个活动,通过邮箱注册账号激活可以领5元红包,而恰恰你手上又有一批邮箱可用,那么批量获取邮箱中的激活链接去激活则是 ...
- Android利用HttpURLConnection实现模拟登录
最近在做一个APP,需要模拟登录教务处,之前曾经用HttpClient做过,点这里,但是发现最新的Android SDK已经不支持Httpclient了,所以只好在琢磨一下HttpURLConnect ...
- Java通过httpclient获取cookie模拟登录
package Step1; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.Htt ...
- 记一次HTTPClient模拟登录获取Cookie的开发历程
记一次HTTPClient模拟登录获取Cookie的开发历程 环境: springboot : 2.7 jdk: 1.8 httpClient : 4.5.13 设计方案 通过新建一个 ...
随机推荐
- 塔吊力矩限制器,塔吊黑匣子,塔吊电脑,tower crane
塔机力矩限制器,tower crane 适用于各种类型的固定臂塔机和可变臂塔机 塔机力矩限制器是塔式起重机机械的安全保护装置,本产品采用32位高性能微处理器为硬件平台,软件算法采用国内最先进的三滑轮取 ...
- Linux下SVN安装与基本操作
1.安装svn linux下通过yum安装svn yum -y install subversion 本地Windows系统安装TortoiseSVN 2.配置 建立版本库目录 mkdir /home ...
- 如何对于几百行SQL语句进行优化？
1.最近在开发中遇到的一些关于几百行SQL语句做查询的问题,需要如何的解决优化SQL这确实是个问题,对于当下的ORM 框架 EF 以及其他的一些的开源的框架例如Drapper ,以及Sqlite-Su ...
- Web性能优化-合并js与css，减少请求
Web性能优化已经是老生常谈的话题了, 不过笔者也一直没放在心上,主要的原因还是项目的用户量以及页面中的js,css文件就那几个,感觉没什么优化的.人总要进步的嘛,最近在被angularjs吸引着,也 ...
- Windows Azure 云服务角色架构
当我们使用VS发布一个Cloud Service或者在Portal上上传发布包后,就能启动和运行一个云服务,可以保护WebRole,WorkerRole的一个或者多个实例. Windows Azure ...
- 为什么要加入<!doctype html>这个文档声明——IE怪异模式
调试了很久,发现了一个非常细微但又十分重要的问题,又一次我在对于文档声明类型的时候,声明了如下类型 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1 ...
- linux 定时执行scrapy命令
解决方案: 1.以管理员方式执行命令添加计划 sudo crontab -e 添加: 1 0 * * * sh /home/ubuntu/CRON/cron.sh 2. 重启cron服务 sudo s ...
- window php redis扩展下载地址
redis扩展下载 http://windows.php.net/downloads/pecl/snaps/redis/
- extJs学习基础 容器的介绍
Viewport: 一个专门的容器用于可视应用领域(浏览器窗口). Viewport渲染自身到网页的documet body区域, 并自动将自己调整到适合浏览器窗口的大小,在窗口大小发生改变时自动适应 ...
- extJs学习基础3 ajax与php交互
extJs代码: <script src="build/ext-all.js"></script> <script src="build/p ...