HTTP 协议小结

本篇博客来自前辈整理资料的学习之作，若有冒犯，敬请谅解！原文博客已删除，转载篇：HTTP协议详解

1，HTTP特点

      HTTP是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。

      HTTP协议的主要特点可概括如下：

       1）支持客户/服务器模式。

       2）简单快速： 客户向服务器请求服务时， 只需传送请求方法和路径。 请求方法常用的有GET、 HEAD、POST。 每种方法规定了客户与服务器联系的类型不同。 由于HTTP协议简单， 使得HTTP服务器的程序规模小，因而通信速度很快。

       3）灵活： HTTP允许传输任意类型的数据对象。正在传输的类型由Content-Type加以标记。

       4）无连接： 无连接的含义是限制每次连接只处理一个请求。 服务器处理完客户的请求， 并收到客户的应答后，即断开连接。采用这种方式可以节省传输时间。

       5）无状态： HTTP协议是无状态协议。无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。另一方面， 在服务器不需要先前信息时它的应答就较快。

 

2，URL

        http（超文本传输协议）是一个基于请求与响应模式的、无状态的、应用层的协议，常基于TCP的连接方式， HTTP1.1版本中给出一种持续连接的机制，绝大多数的Web开发，都是构建在HTTP协议之上的Web应用。

       HTTP URL (URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息)的格式如下：http://host[":"port][abs_path]

           http表示要通过HTTP协议来定位网络资源； 

           host表示合法的Internet主机域名或者IP地址；

           port指定一个端口号，为空则使用缺省端口 80； 

           abs_path指定请求资源的URI；如果URL中没有给出abs_path， 那么当它作为请求URI时， 必须以“/”的形式给出， 通常这个工作浏览器自动帮我们完成。

      举例：

            （1）输入： www.guet.edu.cn，浏览器自动转换成： http://www.guet.edu.cn/

            （2） http:192.168.0.116:8080/index.jsp    

 

3，请求

      http请求由三部分组成，分别是：请求行、消息报头、请求正文。

      1）请求行以一个方法符号开头， 以空格分开， 后面跟着请求的URI 和协议的版本， 格式如下：Method Request-URI HTTP-Version CRLF

           其中：

                    Method 表示请求方法； 

                    Request-URI 是一个统一资源标识符；

                    HTTP-Version 表示请求的HTTP 协议版本； 

                    CRLF 表示回车和换行（除了作为结尾的CRLF 外，不允许出现单独的CR 或LF 字符）。

请求方法（所有方法全为大写）有多种，解释如下：

GET 请求获取Request-URI 所标识的资源；

POST 在Request-URI 所标识的资源后附加新的数据；

HEAD 请求获取由Request-URI 所标识的资源的响应消息报头；

PUT 请求服务器存储一个资源，并用Request-URI 作为其标识；

DELETE 请求服务器删除Request-URI 所标识的资源；

TRACE 请求服务器回送收到的请求信息，主要用于测试或诊断；

CONNECT 保留将来使用；

OPTIONS 请求查询服务器的性能，或者查询与资源相关的选项和需求。

 

4，响应

       在接收和解释请求消息后，服务器返回一个HTTP 响应消息。HTTP 响应由三个部分组成，分别是：状态行、消息报头、响应正文。

       1）状态行格式如下：HTTP-Version Status-Code Reason-Phrase CRLF

其中：

HTTP-Version 表示服务器HTTP 协议的版本；

Status-Code 表示服务器发回的响应状态代码； 

Reason-Phrase表示状态代码的文本描述。

状态代码有三位数字组成，第一个数字定义了响应的类别，且有五种可能取值：

1xx：指示信息--表示请求已接收，继续处理；

2xx：成功--表示请求已被成功接收、理解、接受；

3xx：重定向--要完成请求必须进行更进一步的操作；

4xx：客户端错误--请求有语法错误或请求无法实现；

5xx：服务器端错误--服务器未能实现合法的请求。

常见状态代码、状态描述、说明：

200 OK //客户端请求成功

400 Bad Request //客户端请求有语法错误，不能被服务器所理解

401 Unauthorized //请求未经授权，这个状态代码必须和 WWW-Authenticate 报头域一起使用

403 Forbidden //服务器收到请求，但是拒绝提供服务

404 Not Found //请求资源不存在

500 Internal Server Error //服务器发生不可预期的错误

503 Server Unavailable //服务器当前不能处理客户端的请求，一段时间后，可能恢复正常

5，消息报头

       HTTP消息由客户端到服务器的请求和服务器到客户端的响应组成。请求消息和响应消息都是由开始行（ 对于请求消息， 开始行就是请求行， 对于响应消息， 开始行就是状态行）， 消息报头（ 可选）， 空行（ 只有CRLF的行），消息正文（可选）组成。

        1）HTTP消息报头包括普通报头、请求报头、响应报头、实体报头。

             每一个报头域都是由名字+“： ”+空格+值组成，消息报头域的名字是大小写无关的。

            （1）普通报头

                    在普通报头中， 有少数报头域用于所有的请求和响应消息， 但并不用于被传输的实体， 只用于传输的消息。eg：

Cache-Control：用于指定缓存指令， 缓存指令是单向的 （ 响应中出现的缓存指令在请求中未必会出现），且是独立的（一个消息的缓存指令不会影响另一个消息处理的缓存机制）， HTTP1.0使用的类似的报头域为Pragma。

请求时的缓存指令包括： no-cache（用于指示请求或响应消息不能缓存）、 no-store、 max-age、max-stale、 min-fresh、 only-if-cached；

响应时的缓存指令包括： public、 private、 no-cache、 no-store、 no-transform、must-revalidate、 proxy-revalidate、 max-age、 s-maxage。

Date：普通报头域表示消息产生的日期和时间。

Connection：普通报头域允许发送指定连接的选项。 例如指定连接是连续， 或者指定“close”选项，通知服务器，在响应完成后，关闭连接。

              （2）请求报头

                     请求报头允许客户端向服务器端传递请求的附加信息以及客户端自身的信息。常用的请求报头：

Accept：用于指定客户端接受哪些类型的信息。

Accept-Charset：用于指定客户端接受的字符集。

Accept-Encoding：用于指定可接受的内容编码。

Accept-Language：用于指定一种自然语言。 

Authorization：用于证明客户端有权查看某个资源。当浏览器访问一个页面时， 如果收到服务器的响应代码为01（未授权），可以发送一个包含Authorization请求报头域的请求，要求服务器对其进行验证。

Host（发送请求时，该报头域是必需的）：Host请求报头域主要用于指定被请求资源的Internet主机和端口号， 它通常从HTTPURL中提取出来。

User-Agent：允许客户端将它的操作系统、 浏览器和其它属性告诉服务器。

              （3）响应报头

                     响应报头允许服务器传递不能放在状态行中的附加响应信息，以及关于服务器的信息和对Request-URI所标识的资源进行下一步访问的信息。

                     常用的响应报头：

Location：用于重定向接受者到一个新的位置。Location响应报头域常用在更换域名的时候。

Server：包含了服务器用来处理请求的软件信息，与User-Agent请求报头域是相对应的。下面是Server响应报头域的一个例子：

Server： Apache-Coyote/1.1

WWW-Authenticate：必须被包含在401（ 未授权的）响应消息中， 客户端收到401响应消息时候，并发送Authorization报头域请求服务器对其进行验证时，服务端响应报头就包含该报头域。

              （4）实体报头

                     请求和响应消息都可以传送一个实体。 一个实体由实体报头域和实体正文组成， 但并不是说实体报头域和实体正文要在一起发送， 可以只发送实体报头域。

                     实体报头定义了关于实体正文 （ eg： 有无实体正文）和请求所标识的资源的元信息。常用的实体报头：

Content-Encoding：用作媒体类型的修饰符，它的值指示了已经被应用到实体正文的附加内容的编码，因而要获得Content-Type报头域中所引用的媒体类型，必须采用相应的解码机制。

Content-Language：描述了资源所用的自然语言。没有设置该域则认为实体内容将提供给所有的语言阅读者。 

Content-Length：用于指明实体正文的长度，以字节方式存储的十进制数字来表示。

Content-Type：用语指明发送给接收者的实体正文的媒体类型。 

Last-Modified：用于指示资源的最后修改日期和时间。

Expires：给出响应过期的日期和时间。

6，利用telnet观察http协议的通讯过程   

       实验目的及原理：

               利用MS的telnet工具，通过手动输入http请求信息的方式，向服务器发出请求，服务器接收、解释和接受请求后，会返回一个响应，该响应会在telnet窗口上显示出来，从而从感性上加深对http

           协议的通讯过程的认识。

       实验步骤：

1）打开telnet：运行-->cmd-->telnet

2）打开telnet回显功能：set localecho

3）连接服务器并发送请求：open www.guet.edu.cn 80（注意端口号不能省略）

 

 

7，HTTP协议相关技术补充

       1）基础

           高层协议有：文件传输协议FTP、电子邮件传输协议SMTP、域名系统服务DNS、网络新闻传输协议NNTP和HTTP协议等。

           中介由三种：代理(Proxy)、网关(Gateway)和通道(Tunnel)。

           代理(Proxy)： 一个中间程序， 它可以充当一个服务器， 也可以充当一个客户机， 为其它客户机建立请求。请求是通过可能的翻译在内部或经过传递到其它的 服务器中。一个代理在发送请求信息之前，必须解释并且如果可能重写它。 代理经常作为通过防火墙的客户机端的门户， 代理还可以作为一个帮助应用来通过协议处 理没有被用户代理完成的请求。根据URI的绝对格式来接受请求，重写全部或部分消息，通过 URI的标识把已格式化过的请求发送到服务器。

           网关(Gateway)：一个作为其它服务器中间媒介的服务器。与代理不同的是，网关接受请求就好象对被请求的资源来说它就是源服务器；发出请求的客户机并没有意识到它在同网关打交道。网关经常作为通过防火墙的服务器端的门户， 网关还可以作为一个协议翻译器以便存取那些存储在非HTTP系统中的资源。

          通道(Tunnel)：是作为两个连接中继的中介程序。一旦激活，通道便被认为不属于HTTP通讯，尽管通道可能是被一个HTTP请求初始化的。当被中继 的连接两端关闭时，通道便消失。当一个门户(Portal)必须存在或中介(Intermediary)不能解释中继的通讯时通道被经常使用。

        2）协议分析的优势—HTTP分析器检测网络攻击

           以模块化的方式对高层协议进行分析处理，将是未来入侵检测的方向。HTTP及其代理的常用端口80、 3128和8080在network部分用port标签进行了规定。

       3） HTTP协议Content Lenth限制漏洞导致拒绝服务攻击

           使用 POST 方法时，可以设置 ContentLenth 来定义需要传送的数据长度，例如ContentLenth:999999999，在传送完成前，内 存不会释放，攻击者可以利用这个缺陷，连续向 WEB服务器发送垃圾数据直至WEB服务器内存耗尽。这种攻击方法基本不会留下痕迹。

      4）利用HTTP协议的特性进行拒绝服务攻击的一些构思

           服务器端忙于处理攻击者伪造的TCP连接请求而无暇理睬客户的正常请求 （ 毕竟客户端的正常请求比率非常之小），此时从正常客户的角度看来，服务器失去响应，这种情况我们称作：服务器端受到了SYNFlood攻击（ SYN洪水攻击）。而Smurf、 TearDrop等是利用ICMP报文来Flood和IP碎片攻击的。本文用“正常连接”的方法来产生拒绝服务攻击。

     5）Http指纹识别技术

         Http指纹识别的原理：记录不同服务器对 Http协议执行中的微小差别进行识别。Http指纹识别比TCP/IP堆栈指纹识别复杂许 多，理由是定制Http服务器的配置文件、增加插件或组件使得更改Http的响应信息变的很容易,这样使得识别变的困难； 然而定制TCP/IP堆栈的行为需要对核心层进行修改，所以就容易识别.要让服务器返回不同的Banner信息的设置是很简单的，象Apache这样的开放源代码的Http服务器,用户可以在源代码里修改Banner信息,然 后重起Http服务就生效了；对于没有公开源代码的Http服务器比如微软的IIS或者是Netscape,可以在存放Banner信息的Dll文件中修改，当然这样的修改的效果还是不错的.另外一种模糊Banner信息的方法是使用插件。

常用测试请求：

   1： HEAD/Http/1.0发送基本的Http请求

   2： DELETE/Http/1.0发送那些不被允许的请求,比如Delete请求

   3： GET/Http/3.0发送一个非法版本的Http协议请求

   4： GET/JUNK/1.0发送一个不正确规格的Http协议请求

   Http指纹识别工具Httprint，它通过运用统计学原理，组合模糊的逻辑学技术,能很有效的确定Http服务器的类型.它可以被用来收集和分析不同Http服务器产生的签名。