Linux企业级项目实践之网络爬虫（30）——通过查阅RFC文档扩充更加复杂的功能

HTTP是一种很简单的请求、响应式协议，客户端发送一个请求、服务器返回一个响应。HTTP 1.1 版本规范由 RFC2616 定义。了解了 HTTP请求、响应消息在TCP数据流中的格式，很容易使用纯 socket 模拟HTTP客户端、HTTP服务器发送接收数据。

RFC文档全是ASCII码，txt格式，但有其标准格式，用户可通过官方网站查阅（http://www.rfc-editor.org/），也可下载txt版本并使用阅读器（RFCReader、UE或写字板都可以，记事本打开时格式不规范，有网友还把很多RFC作了翻译，

RFC是一系列以编号排定的文件。文件收集了有关因特网相关资讯，以及UNIX和因特网社群的软件文件。目前RFC文件是由Internet Society（ISOC）所赞助发行。

基本的因特网通讯协定都有在RFC文件内详细说明。RFC文件还在标准内额外加入了许多的论题，例如对于因特网新开发的协定及发展中所有的记录。因此几乎所有的因特网标准都收录在RFC文件之中。

RFC是Request for Comments的缩写，是计算机网络工程领域最常用的一个词，是由IETF（Internet Engineering Task Force，因特网工程任务组）发表的用于描述Internet或Internet连接系统方面的相关方法、行为、研究成果或其它创新成果的一种备忘录。工程师和计算机科学家们可通过Internet Society以RFC的形式发表自己的看法，作为同行评审或者只是为了传达新概念、信息或（偶尔）工程幽默。IETF会接受一些以RFC形式发表的建议作为Internet标准。最初起源于1969年（1969年4月7日，UCLA的Steve Crocker公开发表了RFC 1），现已成为IETF和IAB（Internet Architecture Board）及其它一些主要的公共网络研究社区的正式出版物发行途径，Jon Postel一直是RFC文档的编辑，而Bob Braden和Joyce Reynolds是主要领导和工作人员。目前为止，RFC文档已发布了6520篇，由于它不删除旧的文档，如果新发布的文档与旧文档是关于同一技术时，则会标注清楚由新的文档取代旧文档。可以说，在计算机网络特别是Internet领域，RFC文档具有相当的参考价值。

RFC文件只有新增，不会有取消或中途停止发行的情形。但是对于同一主题而言，新的RFC文件可以声明取代旧的RFC文件。RFC文件是纯 ASCII文字档格式，可由电脑程序自动转档成其他档案格式。RFC文件有封面、目录及页首页尾和页码。RFC的章节是数字标示，但数字的小数点后不补零，例如4.9的顺序就在4.10前面，但9的前面并不补零。RFC1000这份文件就是RFC的指南。

如何阅读RFC文档

一是需要确定它是最新的文档，二是需要注意RFC文档的类别；

所有的RFC文档都要经历评论和反馈过程，并且在这一段时间内它们会被划分为不同的类别；

RFC文档一旦被提交，IETF和IAB组织将审查RFC文档，通过后可以成为一项标准；

RFC文档按照它发展与成熟的过程可以分为标准、草案标准、提案标准、实验性的、信息性或历史性的；

RFC文档又可以分为被要求、被推荐、被选择、受限制使用或不被推荐；

HTTP协议(RFC2616)目录（Table ofContents）

1.  介绍（Introduction） 6

1.1  目的（Purpose） 6

1.2  术语（Terminology） 6

1.3  概述（OverallOperation） 8

1.4 HTTP and MIME 9

2.  标志转换及通用语法（NotationalConventions and Generic Grammar） 9

2.1  补充反馈方式（AugmentedBNF） 9

2.2  基本规则（BasicRules） 10

3.  协议参数（ProtocolParameters） 12

3.1 HTTP版本（HTTP Version） 12

3.2  统一资源标识（UniformResource Identifiers） 13

3.2.1 一般语法（General Syntax） 13

3.2.2 http URL 14

3.3 Date/Time 格式（Date/Time Formats） 15

3.4  字符集（CharacterSets） 16

3.5  内容译码（ContentCodings） 16

3.6  介质类型（MediaTypes） 17

3.6.1标准及文本缺省（Canonicalizationand Text Defaults） 18

3.6.2 多部分类型（Multipart Types） 18

3.7  产品标识（ProductTokens） 19

4. HTTP 消息（HTTP Message） 19

4.1  消息类型（MessageTypes） 19

4.2  消息标题（MessageHeaders） 20

4.3  普通标题域（GeneralHeader Fields） 20

5. 请求（Request） 21

5.1  请求队列（Request-Line） 21

5.1.1 方法（Method） 22

5.1.2 请求URI（Request-URI） 22

5.2  请求标题域（RequestHeader Fields） 23

6.  回应（Response） 23

6.1  状态行（Status-Line） 24

6.1.1 状态代码和原因分析（Status Codeand Reason Phrase） 24

6.2  回应标题域（ResponseHeader Fields） 25

7.  实体（Entity） 26

7.1  实体标题域（EntityHeader Fields） 26

7.2  实体主体（EntityBody） 26

7.2.1 类型（Type） 27

7.2.2 长度（Length） 27

8.  方法定义（MethodDefinitions） 27

8.1 GET 28

8.2 HEAD 28

8.3 POST 28

9.  状态代码定义（StatusCode Definitions） 29

9.1  消息1xx（Informational1xx） 29

9.2  成功2xx（Successful2xx） 29

9.3  重定向（Redirection3xx） 30

9.4  客户端错误（ClientError ）4xx 31

9.5  服务器错误（ServerError ）5xx 32

10.  标题域定义（HeaderField Definitions） 33

10.1 允许（Allow） 33

10.2 授权（Authorization） 34

10.3 内容编码（Content-Encoding） 34

10.4 内容长度（Content-Length） 34

10.5 内容类型（Content-Type） 35

10.6 日期（Date） 35

10.7 过期（Expires） 36

10.8 来自（From） 37

10.9 从何时更改（If-Modified-Since） 37

10.10 最近更改（Last-Modified） 38

10.11 位置（Location） 38

10.12 注解（Pragma） 39

10.13 提交方（Referer） 39

10.14 服务器（Server） 40

10.15 用户代理（User-Agent） 40

10.16 WWW-授权（WWW-Authenticate） 40

11.  访问鉴别（AccessAuthentication） 41

11.1 基本授权方案（Basic Authentication Scheme） 42

12.  安全考虑（SecurityConsiderations） 43

12.1 客户授权（Authentication of Clients） 43

12.2 安全方法（Safe Methods） 43

12.3 服务器日志信息的弊端（Abuse of Server Log Information） 43

12.4 敏感信息传输（Transfer of Sensitive Information） 44

12.5 基于文件及路径名的攻击（Attacks Based On File and Path Names） 44

13.  感谢（Acknowledgments） 45

14. 参考书目（References） 45

15.  作者地址（Authors'Addresses） 47

附录（Appendices） 48

A. Internet介质类型消息/http（Internet Media Type message/http） 48

B.  容错应用（TolerantApplications） 48

C.  与MIME的关系（Relationshipto MIME） 49

C.1  转换为规范形式（Conversionto Canonical Form） 49

C.2  日期格式转换（Conversionof Date Formats） 49

C.3  内容编码介绍（Introductionof Content-Encoding） 50

C.4  无内容传输编码（NoContent-Transfer-Encoding） 50

C.5  多个主体的HTTP标题域（HTTPHeader Fields in Multipart Body-Parts）

50

D.  附加特性（AdditionalFeatures） 50

D.1  附加请求方法（AdditionalRequest Methods） 51

D.2  附加标题域定义（AdditionalHeader Field Definitions） 51