浏览器与服务器交互原理以及用java模拟浏览器操作v

浏览器 应用服务器 Java PHP Apache

* 1,在HTTP的WEB应用中, 应用客户端和服务器之间的状态是通过Session来维持的, 而Session的本质就是Cookie,
* 简单的讲,当浏览器向服务器发送Http请求的时候, HTTP服务器会产生一个SessionID,这个SessionID就唯一的标识了一个客户端到服务器的请求会话过程.
* 就如同一次会议开始时,主办方给每位到场的嘉宾一个临时的编号胸牌一样, 可以通过这个编号记录每个嘉宾(客户端)的活动(请求状态).
* 为了保持这个状态, 当服务端向客户端回应的时候,会附带Cookie信息,当然,Cookie里面就包含了SessionID
* 客户端在执行一系列操作时向服务端发送请求时,也会带上这个SessionID, 一般来说,Session也是一个URL QueryParameter ,就是说,session可以以Key-Value的形式通过URL传递
* 比如,http://www.51etest.com/dede/login.php?PHPSESSIONID=7dg3dsf19SDf73wqc32fdsf
* 一般而言,浏览器会自动把此Session信息放入Header报文体中进行传递.
* 如果浏览器不支持Cookie,那么,浏览器会自动把SessionID附加到URL中去.
*
* 2,在这个例子中,以登陆这个功能点进行讲解.
* 首先,我们登陆的页面是http://www.51etest.com/dede, 我们第一次访问这个页面后,可以从服务器过来的Http Response报文中的Header中找出服务器与浏览器向关联的数据 — Cookie,
* 而且Session的值也在Cookie中. 于是,我们可以通过分析Set-Cookie这个Header中的参数的值,找到Seesion的Key-Value段.
* 然后,我们再向服务器发送请求,请求URL为:post@@http://www.51etest.com/dede/login.php@@userid=admin&pwd=tidus2005&gotopage=/dede/&dopost=login
* 服务器验证登陆成功了, 并且在此次会话变量中增加了我们登陆成功的标识.
*
* 3,增加一个广告定义
* 增加一个广告定义其实就是一个添加数据的过程,无非是我们把我们要添加的数据通过参数的形式告诉指定url页面,页面获取后添加到数据库去而已.
* 此url地址为:
* post@@http://www.51etest.com/dede/ad_add.php@@dopost=save&tagname=test&typeid=0&adname=test&starttime=2008-05-29
* 因为这个页面会先判断我是否登陆
* 而判断的依据，前面讲了，就是根据我请求时的SessionID找到指定的Session数据区中是否存在我的登陆信息，
* 所以我当然要把访问登陆页面时获取的SessionID原封不动的再发回去
* 相当于对服务器说，这是我刚刚来时，你发我的临时身份证，我现在可以形势我的权利。
*
* 这就是整个Java后台登陆网站，然后添加数据的过程。

/**
*
*/
package sky.dong.test;

import java.io.BufferedReader;
import java.io.InputStreamReader;

import org.apache.commons.httpclient.Cookie;
import org.apache.commons.httpclient.Header;
import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.NameValuePair;
import org.apache.commons.httpclient.cookie.CookiePolicy;
import org.apache.commons.httpclient.methods.PostMethod;
import org.apache.commons.httpclient.params.HttpMethodParams;

/**
* @author 核弹头
* Email:happyman_dong@sina.com 版权所有盗版必究
* @since 2009-8-11
* @version 1.0
*/
public class HttpLoginTest {

public static void main(String[] args) {
        String url = "http://discuzdemo.c88.53dns.com/logging.php?action=login&loginsubmit=yes&floatlogin=yes";//论坛的登陆页面
        String url2="http://discuzdemo.c88.53dns.com/post.php?infloat=yes&action=newthread&fid=2&extra=&topicsubmit=yes&inajax=1";//论坛的发贴页面
        HttpClient httpClient = new HttpClient();
        //httpClient.getHostConfiguration().setProxy("222.247.62.195", 8080);
        httpClient.getParams().setCookiePolicy(
                CookiePolicy.BROWSER_COMPATIBILITY);
        PostMethod postMethod = new PostMethod(url);
        PostMethod postMethod2 = new PostMethod(url2);
        NameValuePair[] data = {
                new NameValuePair("username", "123"),
                new NameValuePair("referer",
                        "http://discuzdemo.c88.53dns.com/index.php"),
                new NameValuePair("password", "123"),
                new NameValuePair("loginfield", "username"),
                new NameValuePair("questionid", "0"),
                new NameValuePair("formhash", "fc922ca7") };
        postMethod.setRequestHeader("Referer",
                "http://discuzdemo.c88.53dns.com/index.php");
        postMethod.setRequestHeader("Host", "discuzdemo.c88.53dns.com");
        // postMethod.setRequestHeader("Connection", "keep-alive");
        // postMethod.setRequestHeader("Cookie", "jbu_oldtopics=D123D;
        // jbu_fid2=1249912623; smile=1D1; jbu_onlineusernum=2;
        // jbu_sid=amveZM");
        postMethod
                .setRequestHeader(
                        "User-Agent",
                        "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2");
        postMethod
                .setRequestHeader("Accept",
                        "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
        // postMethod.setRequestHeader("Accept-Encoding", "gzip,deflate");
        // postMethod.setRequestHeader("Accept-Language", "zh-cn");
        // postMethod.setRequestHeader("Accept-Charset",
        // "GB2312,utf-8;q=0.7,*;q=0.7");
        postMethod.setRequestBody(data);
        try {
            httpClient.executeMethod(postMethod);
            StringBuffer response = new StringBuffer();
            BufferedReader reader = new BufferedReader(new InputStreamReader(
                    postMethod.getResponseBodyAsStream(), "gb2312"));//以gb2312编码方式打印从服务器端返回的请求
            String line;
            while ((line = reader.readLine()) != null) {
                response.append(line).append(
                        System.getProperty("line.separator"));
            }
            reader.close();
            Header header = postMethod.getResponseHeader("Set-Cookie");
            Cookie[] cookies=httpClient.getState().getCookies();//取出登陆成功后，服务器返回的cookies信息，里面保存了服务器端给的“临时证”
            String tmpcookies="";
            for(Cookie c:cookies){
                tmpcookies=tmpcookies+c.toString()+";";
                System.out.println(c);
            }
            System.out.println(tmpcookies);
//            System.out.println(header.getValue());
            System.out.println(response);
            NameValuePair[] data2 = {
                    new NameValuePair("subject", "测试自动发贴"),
                    new NameValuePair("message",
                            "能否发贴成功呢？测试一下就知道了"),
                    new NameValuePair("updateswfattach", "0"),
                    new NameValuePair("wysiwyg", "0"),
                    new NameValuePair("checkbox", "0"),
                    new NameValuePair("handlekey", "newthread"),
                    new NameValuePair("formhash", "885493ec") };
            postMethod2.setRequestHeader("cookie",tmpcookies);//将“临时证明”放入下一次的发贴请求操作中
            postMethod2.getParams().setParameter(HttpMethodParams.HTTP_CONTENT_CHARSET, "gbk");//因为发贴时候有中文，设置一下请求编码
            postMethod2.setRequestHeader("Referer",
                    "http://discuzdemo.c88.53dns.com/forumdisplay.php?fid=4");
            postMethod2.setRequestHeader("Host", "discuzdemo.c88.53dns.com");
            // postMethod.setRequestHeader("Connection", "keep-alive");
            // postMethod.setRequestHeader("Cookie", "jbu_oldtopics=D123D;
            // jbu_fid2=1249912623; smile=1D1; jbu_onlineusernum=2;
            // jbu_sid=amveZM");
            postMethod2
                    .setRequestHeader(
                            "User-Agent",
                            "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2");
            postMethod2
                    .setRequestHeader("Accept",
                            "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");//以上操作是模拟浏览器的操作，使用服务器混淆

            postMethod2.setRequestBody(data2);
            httpClient.executeMethod(postMethod2);
            StringBuffer response1 = new StringBuffer();
            BufferedReader reader1 = new BufferedReader(new InputStreamReader(
                    postMethod2.getResponseBodyAsStream(), "gb2312"));
            String line1;
            while ((line1 = reader1.readLine()) != null) {
                response1.append(line1).append(
                        System.getProperty("line.separator"));
            }
            reader1.close();
            System.out.println(response1);
        } catch (Exception e) {
            System.out.println(e.getMessage());
            // TODO: handle exception
        } finally {
            postMethod.releaseConnection();
            postMethod2.releaseConnection();
        }

}

}
飛奔嘅蝸牛
@Strong Yuan
浏览器与服务器交互原理以及用java模拟浏览器操作
Posted by strong on 2011/04/11 Leave a comment (0) Go to comments

/**
*
*/
package sky.dong.test;

import java.io.BufferedReader;
import java.io.InputStreamReader;

}

浏览器与服务器交互原理以及用java模拟浏览器操作v的更多相关文章

java模拟浏览器包selenium整合了htmlunit，火狐浏览器，IE浏览器，opare浏览器驱
//如果网页源码中有些内容是js渲染过来的,那你通过HttpClient直接取肯定取不到,但是这些数据一般都是通过异步请求传过来的(一般都是通过ajax的get或者post方式).那么你可以通过火狐浏 ...
HTTP协议简介详解 HTTP协议发展原理请求方法响应状态码请求头请求首部 java模拟浏览器客户端服务端
协议简介协议,自然语言里面就是契约,也是双方或者多方经过协商达成的一致意见; 契约也即类似于合同,自然有甲方123...,乙方123...,哪些能做,哪些不能做; 通信协议,也即是双方通过网络通信必 ...
Android开发中与服务器交互时，遇到java.io.IOException: Target host must not be null的问题
当我遇到这个问题的时候,也在网上查找好半天.找到了一个和这个问题很类似的问题——java.lang.IllegalStateException: Target host must not be nul ...
spring 原理1：java 模拟springIOC容器
本篇博客主要是使用java代码模拟spring的IOC容器,实现依赖注入:当然只是模拟spring容器中简单的一点实现原理而已,加深一些自己对spring框架的底层原理的理解: 使用的技术:dom4j ...
java模拟浏览器发送请求
package test; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOExcep ...
java模拟浏览器上传文件
public static void main(String[] args) { String str = uploadFile("C:/Users/RGKY/Desktop/wKgBHVb ...
java 模拟浏览器发送post请求
java使用URLConnection发送post请求 /** * 向指定 URL 发送POST方法的请求 * * @param url * 发送请求的 URL * @param param * 请求 ...
java 模拟浏览器爬虫
浏览器和服务器实现跨域(CORS)判定的原理
前端对Cross-Origin Resource Sharing 问题(CORS,中文又称'跨域')应该很熟悉了.众所周知出于安全的考虑,浏览器有个同源策略,对于不同源的站点之间的相互请求会做限制(跨 ...

随机推荐

asp.net中的reportview报错跟预编有关系
当报表控件出现: 报表定义无效.详细信息:根级别上的数据无效.行1,位置1. 先检查一下,你的aspx文件是不是变成了这样一句话这是预编译工具生成的标记文件,不应被删除! 如果这样的话,报表控件是不 ...
SPSS-非参数检验
非参数检验(卡方(Chi-square)检验.二项分布(Binomial)检验.单样本K-S(Kolmogorov-Smirnov)检验.单样本变量值随机性检验(Runs Test).两独立样本非参数 ...
SPSS-回归分析
回归分析(一元线性回归分析.多元线性回归分析.非线性回归分析.曲线估计.时间序列的曲线估计.含虚拟自变量的回归分析以及逻辑回归分析) 回归分析中,一般首先绘制自变量和因变量间的散点图,然后通过数据在散 ...
1.3.2、CDH 搭建Hadoop在安装之前(端口---Cloudera Navigator加密使用的端口)
列出的所有端口都是TCP. 在下表中,每个端口的“ 访问要求”列通常是“内部”或“外部”.在此上下文中,“内部”表示端口仅用于组件之间的通信; “外部”表示该端口可用于内部或外部通信. 零件服务港 ...
python-ceilometerclient命令行（1）
1.导入模块,可以动态获取模块中方法并调用,其功能与from...import...一致 2. callback = getattr(actions_module, attr) 从模块中获取方法. 调 ...
Oracle OLAP 与 OLTP 介绍
文章出处:http://blog.csdn.net/tianlesoftware/article/details/5794844 感谢原作者的分享. 数据处理大致可以分成两大类:联机事务处理OLTP( ...
每月IT摘录201811
技术 1.打牢基础,从会使用-了解原理-了解思想一步一步来,最怕基础很弱但却以什么都用过为荣的人,这样的人我招进来也只是初级而已,工作年限再多也没有用.少林里面,有功和拳之分,如蛇拳猴拳是拳,马步功石 ...
第九章词典 (d2)散列：排解冲突(2)
侯捷STL课程及源码剖析学习1
1.C++标准库和STL C++标准库以header files形式呈现: C++标准库的header files不带后缀名(.h),例如#include <vector> 新式C hea ...
从零开始写一个npm包及上传
最近刚好自己需要写公有npm包及上传,虽然百度上资料都能找到,但是都是比较零零碎碎的,个人就来整理下,如何从零开始写一个npm包及上传. 该篇文件只记录一个大概的流程,一些细节没有记录. tips: ...

浏览器与服务器交互原理以及用java模拟浏览器操作v

浏览器应用服务器JavaPHPApache

浏览器与服务器交互原理以及用java模拟浏览器操作v的更多相关文章

随机推荐

热门专题

浏览器应用服务器 Java PHP Apache