[Python之路] HTTP协议复习笔记

一、HTTP请求的直观了解

我们使用网络调试助手来模拟一个TCP Server，然后使用浏览器来访问对应的IP:Port。

启动后，我们使用谷歌浏览器来访问192.168.1.8:8080：

我们可以看到浏览器一直在等待服务器返回数据。

我们可以在网络调试助手上看到接收到的HTTP请求：

GET / HTTP/1.1

Host: 192.168.1.8:

Connection: keep-alive

Cache-Control: max-age=

Upgrade-Insecure-Requests:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3

Accept-Encoding: gzip, deflate

Accept-Language: zh-CN,zh;q=0.9

解释：

1.GET是浏览器向服务器请求数据的一种方式，一般有GET和POST。

2.GET后面是一个空格（不可少）

3.空格后面的"/"表示请求的内容，如果我们请求时使用http://192.168.1.8:8080/index.html，则这里就是"/index.html"。

4."HTTP/1.1"是使用的HTTP协议版本，这里是1.1版本。

5.Host是请求的目的，即服务器地址。

6.Connection是链接的类别，keep-alive是长连接。

7.User-Agent是浏览器客户端的版本信息，普通用户使用标准浏览器访问时，都会有这个字段，如果没有该字段说明可能是爬虫程序。主要用于反爬虫。

8.Accept表示浏览器可以接受的数据类型。

9.Accept-Encoding表示浏览器可以接受的数据压缩格式（用于数据量比较大时，服务器进行压缩传输）。

10.Accept-Language表示浏览器可以接受的文本语言。

二、观察HTTP的响应头

我们使用谷歌浏览器访问百度首页，并打开F12来查看交互流程：

可以在其中找到我们需要的请求头、响应头信息：

请求头：

GET / HTTP/1.1

Host: www.baidu.com

Connection: keep-alive

Upgrade-Insecure-Requests:

User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3

Sec-Fetch-Site: none

Sec-Fetch-Mode: navigate

Accept-Encoding: gzip, deflate, br

Accept-Language: zh-CN,zh;q=0.9

Cookie: BAIDUID=F5E42E8A08547BB39711F21232455CB0:FG=1; BIDUPSID=F5E42E8A08547BB39711F21232455CB0; PSTM=1569579669; sugstore=1; MCITY=-75%3A; BD_UPN=12314753; H_PS_PSSID=1451_21123_29568_29221_26350; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; delPer=0; BD_CK_SAM=1; PSINO=7; BDSVRTM=137; BCLID=10618646423443952060; BDSFRCVID=g8COJeCmH6VwoRJwYAdxT9UxGmKK0gOTHllvFiwowP8T7G8VJeC6EG0Ptf8g0KubFTPRogKK0gOTH6KF_2uxOjjg8UtVJeC6EG0Ptf8g0M5; H_BDCLCKID_SF=tJkD_I_hJKt3qn7I5KToh4Athxob2bbXHDo-LIvjfpOcOR5JhfA-3R-e046fXxobMNP8-4nTalvvhb3O3M7ShbKzMqJy-h8OQnvxVUQF5l8-sq0x0bOte-bQypoa0q3TLDOMahkM5h7xOKQoQlPK5JkgMx6MqpQJQeQ-5KQN3KJmfbL9bT3YjjISKx-_J6LeJRbP

响应头：

HTTP/1.1  OK

Bdpagetype:

Bdqid: 0xda48b61a00089ab4

Cache-Control: private

Connection: Keep-Alive

Content-Encoding: gzip

Content-Type: text/html

Cxy_all: baidu+1b1b86535b4f42dc5821baca812fd9c4

Date: Wed,  Nov  :: GMT

Expires: Wed,  Nov  :: GMT

Server: BWS/1.1

Set-Cookie: delPer=; path=/; domain=.baidu.com

Set-Cookie: BDSVRTM=; path=/

Set-Cookie: BD_HOME=; path=/

Set-Cookie: H_PS_PSSID=1451_21123_29568_29221_26350; path=/; domain=.baidu.com

Strict-Transport-Security: max-age=

Traceid:

Vary: Accept-Encoding

X-Ua-Compatible: IE=Edge,chrome=

Transfer-Encoding: chunked

响应头解释：

1.HTTP/1.1 200 OK表示我们要请求的页面存在，可以成功返回。

2.Content-Encoding表示返回数据使用的压缩格式为gzip。

3.Date表示服务器当前的时间。

4.Content-Type表示返回数据的格式为text/html，这里也可能附带编码，例如utf-8。

5.Server表示服务器的名称和版本，这里的BWS/1.1是百度服务器的名称和版本。一般情况下为Apache、Nginx、Tengine等。

6.Set-Cookie见后面的详细解释...

Set-Cookie解释：

实际例子：假设我们使用JD搜索了"刮胡刀"，为什么第二天我们再次打开JD的时候，就会给我们推送很多刮胡刀的广告。

1.第一次访问JD的时候，我们浏览器发送的请求头是很短的，只有最基本的一些信息，例如请求目录、浏览器版本等。

2.JD服务器再响应时，会检查请求头中是否存在Cookie，如果不存在，则会在响应头中使用Set-Cookie关键字传输一些信息给浏览器。例如上述响应头中的"Set-Cookie: H_PS_PSSID=1451_21123_29568_29221_26350; path=/; domain=.baidu.com"

3.Set-Cookie中的H_PS_PSSID、path和domain都是key，而后面的1451_***_26350等都是value。浏览器会将这些Cookie数据存在本地缓存中，domain表示下次访问关于baidu域名的网页时，将携带这些Cookie在请求头中。

4.第二天访问JD时，浏览器就将前一次存放的Cookie信息放在请求头中，传递给了服务器。其中的一些Cookie可能就是代表这个未登陆的用户ID（例如上述请求头中Cookie里的BAIDUID），服务器通过这个Cookie中携带的ID，就知道是昨天搜索刮胡刀的人，那么就可以给他推送刮胡刀广告。

三、查看响应体

在响应头后面空一行（浏览器就是根据这个空行来分隔响应头和响应体）之后，就是响应体。响应体主要是服务器返回的真正的页面信息，一般是html文本。

我们可以在F12中看到响应体：

四、使用python实现一个简单的静态Server

import socket

leo_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

# 监听端口8900

leo_sock.bind(('192.168.1.8', 8900))

leo_sock.listen(5)

print('starting....')

conn, addr = leo_sock.accept()

print(conn)

print('client addr', addr)

print('ready to read msg')

client_msg = conn.recv(1024)

print('client msg: %s' % client_msg)

# 换行符是\r\n

reponse_msg = "HTTP/1.1 200 OK\r\n\r\n<h1>hahaha</h1>"

# TCP网络传输二进制数据

conn.send(reponse_msg.encode(encoding="utf-8"))

# 关闭连接

conn.close()

# 关闭socket

leo_sock.close()

使用浏览器访问192.168.1.8:8900：

服务器成功返回了内容。