tcp协议下粘包问题的产生及解决方案

1 tcp有粘包及udp无粘包

- TCP 是面向连接的，面向流的可靠协议；发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将多次间隔较小且数据量小的数据，
合并成一个大的数据块，然后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制面向流的通信是无消息保护边界的。
- UDP(用户数据报协议)是无连接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 由于UDP支持的是一对多的模式，所以接收端的skbuff(套接字缓冲区）采用了链式结构来
记录每一个到达的UDP包，在每个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来说，就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。

注：tcp是基于数据流的，于是收发的消息不能为空，这就需要在客户端和服务端都添加空消息的处理机制，防止程序卡住，
而udp是基于数据报的，即便是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头

2 产生原因：

1、接收端不知道消息的界限，不知道一次提取多少字节数据
2、TCP为提高传输效率，发送方往往要收集到足够多的数据后才发送一个TCP段。若连续几次需要send的数据都很少，
通常TCP会根据优化算法(Nagle算法)把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据

产生粘包场景：(1)发送端需要等缓冲区满才发送出去，造成粘包（发送数据时间间隔很短，数据了很小，会合到一起，产生粘包）
(2)接收方不及时接收缓冲区的包，造成多个包接收（客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候还是从缓冲区拿上次遗留的数据，产生粘包） 

3 解决方案

为字节流加上自定义固定长度报头，报头中包含字节流长度，然后一次send到对端，对端在接收时，先从缓存中取出定长的报头，然后再取真实数据

struct：

注：struct 模块 把一个数字类型转化为固定长度的bytes
（struct.pack）打包       （struct.unpack）解包
res=(struct.pack('i',4855524))   #b'\x04\xe6\xe4\x02' 打包
print(res)
print(struct .unpack('i',res)[0]) #解包

服务端端：

import subprocess
import socket
import struct
import json
phone= socket.socket(socket.AF_INET ,socket.SOCK_STREAM )
phone.bind(('127.0.0.1',8080))
phone.listen(5)
while True :
    conn,client=phone.accept()
    while True :
        try:
            cmd = conn.recv(1024)
            if len(cmd) == 0: break
            # 远程执行命令
            obj = subprocess.Popen(cmd.decode('utf-8'), shell=True,  # 解码
                stdout=subprocess.PIPE,  # 正确信息
                stderr=subprocess.PIPE  # 错误信息
                )
            stdout = obj.stdout.read()
            stderr = obj.stderr.read()
            #先制作报头
            head_dic= {'filename':'a.txt',
             'total_size':len(stdout)+len(stderr),
             'hash':'asdf165485221'
             }
            head_json = json.dumps(head_dic)
            head_bytes= head_json.encode('utf-8')
            #1、先把报头的长度打包成四个bytes,然后发送
            conn.send(struct.pack('i',len(head_bytes)))

            #2、发送报头
            conn.send(head_bytes)
            #3、发送真实数据
            conn.send(stdout )
            conn.send(stderr)
        except ConnectionResetError:
            break
        conn.close()
    phone.close()

客户端：

import struct
import socket
import json
phone= socket.socket(socket.AF_INET,socket.SOCK_STREAM)
phone. connect(('127.0.0.1',8080))
while True :
    msg = input('<<<')
    if msg == 0:continue
    #phone.send(msg.encode('utf-8'))
    phone.send(bytes(msg,encoding='utf-8'))
    #1、先收4个字节，该4个字节包含报头的长度  解包
    header_len=struct .unpack('i',phone.recv(4))[0]
    #2、通过报头长度，再接受报头内容
    header_bytes=phone.recv(header_len) #通过报头长度，拿到bytes内容
    #从报头中解析出想要的内容
    header_json=header_bytes .decode('utf-8')  #报头内容解码得到字符串类型
    header_dic=json .loads(header_json)  #反序列化得到字典
    print(header_dic)
    total_size = header_dic['total_size']
    #3、再收真实的数据
    recv_size =0    #初始值长度
    res=b''  #接收的具体值
    while  recv_size< total_size:
        data= phone.recv(1024)
        res+=data  # 拼接具体的值
        recv_size += len(data)  #累加长度
    print(res.decode('gbk'))   #收到的信息用GBK解码
phone.close()