【Socket】解决TCP粘包问题

一、介绍

TCP一种面向连接的、可靠的、基于字节流的传输层协议。

三次握手：

1. 客户端发送服务端连接请求，等待服务端的回复。
2. 服务端收到请求，服务端回复客户端，可以建立连接，并等待。
3. 客户端收到回复并发送，确认连接。服务端收到回复。连接成功。
   
   
   
   四次挥手：

与三次握手不同，客户端和服务端都可以主动断开连接。

1. 服务A向服务B发送FIN报文段，表示没有数据要传输
2. 服务B收到报文段，回复一个ACK报文段，表示也没有数据需要传输了。
3. 服务B发送FIN报文段，请求关闭连接。
4. 服务A收到报文段，服务B发送ACK报文段，服务B收到报文段后直接关闭连接，服务A没有收到回复，也开始断开连接。
   
   

因为复杂的三次握手和四次挥手，保证了数据的可靠性和安全性。因此也造成了更大的开销。

二、产生的问题

由于TCP的可靠性传输，可以理解为客户端和服务端之间建立了一个传输管道，可以互相不断的传输数据。但是可能由于数据的传输与接收之间存在差异。使用在服务端和客户端之间，存在一个缓冲区，用于数据的缓冲。数据传输之前会先到缓冲区。

例如服务端A和客户端B。A不断向服务端传输数据，B不断处理服务A传输的数据。服务A发送数据到缓冲区，服务B从缓冲区获取数据来处理。由于服务B处理的速度比较慢，就会导致缓冲区堆积多个数据包。当服务B处理完再取时，取出的可能是多个数据包粘在一起的数据包，这时候处理就会出现问题。

三、解决方案

设置包长、包头包尾、消息分隔符解决粘包和拆包问题。这些方法通过明确消息边界，确保接收端能够准确地解析每个完整的消息。这里举例数据包分隔符。

1、设置包头包尾

现在我们模拟粘包情况，也就是客户端数据堆积。

Server

import socket
import time

def receive_message(sock):
    buffer = b""
    while True:
        packet = sock.recv(1024)
        if not packet:
            break
        buffer += packet
        print("缓冲区数据 : "+ str(buffer))
        time.sleep(5)
        while True:
            start_index = buffer.find(b"StartPackage")
            end_index = buffer.find(b"EndPackage")
            if start_index != -1 and end_index != -1 and start_index < end_index:
                start_index += len(b"StartPackage")
                message = buffer[start_index:end_index]
                buffer = buffer[end_index + len(b"EndPackage"):]
                print("收到客户端消息: "+message.decode())
            else:
                break 

server_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_sock.bind(('localhost', 8888))
server_sock.listen(1)

client_sock, _ = server_sock.accept()

receive_message(client_sock)
client_sock.close()
server_sock.close()

Client

import socket
import time

def send_message(sock, message):
    packet = b"StartPackage" + message.encode() + b"EndPackage"
    sock.sendall(packet)

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('localhost', 8888))

for i in range(1,11,1):
    message = "Hello, world!--"+str(i)
    send_message(sock, message)
    print("发送消息 "+message)
    time.sleep(1)
sock.close()

根据服务端输出可以看到，缓冲区已经出现粘包，多个数据包堆积到一起，这里利用包头包尾进行拆包，确保数据的完整性。

2、设置包长

Server

import socket
import struct
import time

def receive_message(sock):
    buffer = b""
    while True:
        packet = sock.recv(1024)
        if not packet:
            break
        buffer += packet
        print(f"缓冲区数据 : {buffer}")

        while len(buffer) >= 4:
            header = buffer[:4]
            message_length = struct.unpack('>I', header)[0]
            print(f"包长为: {message_length}")

            if len(buffer) < 4 + message_length:
                break

            start_index = 4
            end_index = 4 + message_length
            message = buffer[start_index:end_index]
            buffer = buffer[end_index:]
            print(f"收到客户端消息: {message.decode()} ")
        time.sleep(5)  

server_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_sock.bind(('localhost', 8888))
server_sock.listen(1)
client_sock, _ = server_sock.accept()
receive_message(client_sock)
client_sock.close()
server_sock.close()

Client

import socket
import struct
import time

def send_message(sock, message):
    message_bytes = message.encode()
    message_length = len(message_bytes)
    header = struct.pack('>I', message_length)
    packet = header + message_bytes
    sock.sendall(packet)

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('localhost', 8888))

for i in range(1, 11):
    message = "Hello, world!--" + str(i)
    send_message(sock, message)
    print(f"发送消息:{message}" )
    time.sleep(1)

sock.close()

可以看到由于处理的时间过长，导致数据堆积在缓冲区形成粘包。通过在消息头部设置包长，确定数据包的完整性。通过包长将粘包进行拆包。

3、设置包分隔符

Server

import socket
import time

def receive_message(sock):
    buffer = b""
    delimiter = b"<END>"
    while True:
        packet = sock.recv(1024)
        if not packet:
            break
        buffer += packet
        print("f缓冲区数据: {buffer} ")

        while True:
            end_index = buffer.find(delimiter)
            if end_index != -1:
                message = buffer[:end_index]
                buffer = buffer[(end_index + len(delimiter)):]
                print(f"收到客户端消息: { message.decode()} ")
            else:
                break
        time.sleep(5)              

server_sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_sock.bind(('localhost', 8888))
server_sock.listen(1)
client_sock, _ = server_sock.accept()
receive_message(client_sock)
client_sock.close()
server_sock.close()

Client

import socket
import time

def send_message(sock, message):
    delimiter = b"<END>"
    packet = message.encode() + delimiter
    sock.sendall(packet)

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sock.connect(('localhost', 8888))

for i in range(10):
    message = "Hello, world!--" + str(i)
    send_message(sock, message)
    print(f"发送消息: {message}")
    time.sleep(1)
sock.close()

可以看到也是出现了数据堆积，粘包，但是最后打印的结果是正确的。通过使用数据包分隔符，保证数据的完整性。

四、总结

TCP粘包问题是由于TCP的流式传输特点导致的，在传输过程中多个数据包可能会粘在一起。粘包问题会导致接收端无法正确解析数据包，因为接收端无法区分哪些字节属于哪个数据包，可能会出现数据包内容混乱或不完整的情况。为了解决这个问题，可以使用固定长度消息、消息分隔符、消息头加消息体、应用层协议等方法。具体选择哪种方法需要根据应用场景和需求来确定。