tcp粘包、解决粘包问题
subproess模块
import subprocess
while True:
cmd = input('cmd>>>: ')
if cmd == 'q':
break
data = subprocess.Popen(
cmd,
shell=True,
stdout=subprocess.PIPE, # 返回标准输出结果
stderr=subprocess.PIPE # 返回标准错误结果
)
res = data.stdout.read() + data.stderr.read()
print(res.decode('gbk'))
TCP粘包问题
服务端第一次发送的数据,客户端无法精确一次性接收完毕,下一次发送的数据与上一次数据黏在一起了。
- 无法预测对方需要接收的数据大小长度
- TCP流式协议,会将多次连续发送数据量小、并且时间间隔短的数据一次性打包发送。
基于TCP的套接字客户端往服务端上传文件,发送时文件内容是按照一段一段的字节流发送的,在接收方看了,根本不知道该文件的字节流从何处开始何处结束。
粘包两种情况
- 服务端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包)
# server.py
import socket
server = socket.socket()
server.bind(
('127.0.0.1', 9527)
)
server.listen(5)
conn, addr = server.accept()
data1 = conn.recv(1024)
data2 = conn.recv(1024)
data3 = conn.recv(1024)
print(data1)
print(data2)
print(data3)
# client.py
import socket
client = socket.socket()
client.connect(
('127.0.0.1', 9527)
)
client.send(b'hello')
client.send(b'hello')
client.send(b'hello')
client.close()
'''
b'hellohellohello'
b''
b''
'''
- 客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据
# 服务端
import socket
server = socket.socket()
server.bind(
('127.0.0.1', 9527)
)
server.listen(5)
conn, addr = server.accept()
data1 = conn.recv(2)
data2 = conn.recv(20)
print(data1)
print(data2)
# 客户端
import socket
client = socket.socket()
client.connect(
('127.0.0.1', 9527)
)
client.send(b'hello world and shcaondskasd nknasksfn km')
client.close()
'''
b'he'
b'llo world and shcaon
'''
解决粘包问题
使用struct模块
struct模块是一个可以将很长的数据的长度,压缩成固定的长度的一个标记(数据报头)。
必须先定义报头,发送报头,再发送真实数据
struct模块的使用
import struct
str1 = '123a56'
# 打包
# i模式会将数据长度压缩成4个bytes
headers = struct.pack('i', len(str1))
print(headers)
print(len(headers))
# 解包
data_len = struct.unpack('i', headers)
print(data_len[0]) # 真实数据长度为len(str1)
使用struct模块解决粘包
服务端:
import struct
import socket
import subprocess
server = socket.socket()
server.bind(
('127.0.0.1', 8888)
)
server.listen(5)
while True:
conn, addr = server.accept()
print(addr)
while True:
try:
cmd = conn.recv(1024).decode('utf-8')
if len(cmd) == 0:
continue
if cmd == 'q':
break
res = subprocess.Popen(
cmd,
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
data = res.stdout.read() + res.stderr.read()
# 打包压缩
headers = struct.pack('i', len(data))
# 先发送头部
conn.send(headers)
# 再发送真实数据
conn.send(data)
except Exception:
break
conn.close()
客户端:
import struct
import socket
client = socket.socket()
client.connect(
('127.0.0.1', 8888)
)
while True:
cmd = input('cmd>>>:')
client.send(cmd.encode('utf-8'))
if cmd == 'q':
break
# 先获取数据报头
headers = client.recv(4)
# 再解包获取真实数据
data_len = struct.unpack('i', headers)[0]
# 接收真实数据长度
data = client.recv(data_len)
print(data.decode('gbk'))
client.close()
优化解决粘包问题
把数据真实长度和数据的描述信息一同发送过去
服务端:
import socket
import struct
import json
server = socket.socket()
server.bind(('127.0.0.1', 9999))
server.listen(5)
while True:
conn, addr = server.accept()
print(addr)
while True:
try:
# 接收数据报头
headers = conn.recv(4)
# 解包获取真实数据长度
data_len = struct.unpack('i', headers)[0]
bytes_data = conn.recv(data_len)
back_dic = json.loads(bytes_data.decode('utf-8'))
print(back_dic)
except Exception:
break
conn.close()
客户端:
import socket
import struct
import json
client = socket.socket()
client.connect(('127.0.0.1', 9999))
while True:
dic = {
'file_name': 'shoot on me',
'file_size': 10000000
}
# json序列化
json_data = json.dumps(dic)
json_bytes = json_data.encode('utf-8')
# 压缩
headers = struct.pack('i', len(json_bytes))
client.send(headers)
client.send(json_bytes)
上传大文件
服务端
import socket
import struct
import json
server = socket.socket()
server.bind(('127.0.0.1', 9999))
server.listen(5)
conn, addr = server.accept()
print(addr)
while True:
try:
headers = conn.recv(4)
data_len = struct.unpack('i', headers)[0]
bytes_data = conn.recv(data_len)
back_dic = json.loads(bytes_data.decode('utf-8'))
print(back_dic)
file_name = back_dic.get('file_name')
file_size = back_dic.get('file_size')
init_data = 0
# 写入文件视频
with open(file_name, 'wb') as f:
while init_data < file_size:
data = conn.recv(1024)
f.write(data)
init_data += len(data)
print(f'{file_name}接收完毕! ')
except Exception as e:
print(e)
break
conn.close()
客户端
import socket
import struct
import json
client = socket.socket()
client.connect(('127.0.0.1', 9999))
# 1.打开视频文件,获取视频数据
with open(r'D:\pycharm_project\忌日快乐2.mkv', 'rb') as f:
movie_bytes = f.read()
# 2.为视频组织一个字典
send_dic = {
'file_name': '忌日快乐2.mkv',
'file_size': len(movie_bytes)
}
# 3.先打包字典,发送headers,再发字典真实数据
json_data = json.dumps(send_dic)
bytes_data = json_data.encode('utf-8')
headers = struct.pack('i', len(bytes_data))
client.send(headers)
client.send(bytes_data)
# 再发真实视频数据
init_data = 0
num = 1
with open(r'D:\pycharm_project\忌日快乐2.mkv', 'rb') as f:
while init_data < len(movie_bytes):
send_data = f.read(1024)
print(send_data, num)
num += 1
client.send(send_data)
init_data += len(send_data)
UDP协议
UDP是一种传输协议
- 不需要建立双向通道
- 不会粘包
- 客户端给服务端发送数据,不需要等待服务返回接收成功
upd套接字
# server.py
import socket
server = socket.socket(type=socket.SOCK_DGRAM)
server.bind(
('127.0.0.1', 8888)
)
msg, addr = server.recvfrom(1024)
msg1, addr1 = server.recvfrom(1024)
msg2, addr2 = server.recvfrom(1024)
msg3, addr3= server.recvfrom(1024)
print(msg)
print(msg1)
print(msg2)
print(msg3)
# client.py
import socket
client = socket.socket(type=socket.SOCK_DGRAM)
client.sendto(b'hello', ('127.0.0.1', 8888))
client.sendto(b'hello', ('127.0.0.1', 8888))
client.sendto(b'hello', ('127.0.0.1', 8888))
client.sendto(b'hello', ('127.0.0.1', 8888))
'''
b'hello'
b'hello'
b'hello'
b'hello'
'''
基于upd实现qq聊天室
# server.py
import socket
server = socket.socket(type=socket.SOCK_DGRAM)
server.bind(('127.0.0.1', 8888))
while True:
msg, addr = server.recvfrom(1024)
print(addr)
print(msg.decode('utf-8'))
send_msg = input('服务端发送消息:').encode('utf-8')
server.sendto(send_msg, addr)
# client.py
import socket
client = socket.socket(type=socket.SOCK_DGRAM)
server_ip_port = ('127.0.0.1', 8888)
while True:
send_msg = input('客户端1:').encode('utf-8')
client.sendto(send_msg, server_ip_port)
msg, addr = client.recvfrom(1024)
print(msg.decode('utf-8'))
socketserver
python内置模块,可以简化socket套接字服务端的代码,必须要创建一个类
# server.py
import socketserver
class MyTCPServer(socketserver.BaseRequestHandler):
# 必须要重写父类的handler
def handle(self):
print(self.client_address)
while True:
try:
data = self.request.recv(1024).decode('utf-8')
send_msg = data.upper()
self.request.send(send_msg.encode('utf-8'))
except Exception:
break
if __name__ == '__main__':
server = socketserver.ThreadingTCPServer (
('127.0.0.1', 8888), MyTCPServer
)
server.serve_forever()
# client.py
import socket
client = socket.socket()
client.connect(
('127.0.0.1', 8888)
)
while True:
send_msg = input('客户端:')
if send_msg == 'q':
break
client.send(send_msg.encode('utf-8'))
data = client.recv(1024).decode('utf-8')
print(data)
client.close()
tcp粘包、解决粘包问题的更多相关文章
- Python进阶----粘包,解决粘包(旗舰版)
Python进阶----粘包,解决粘包(旗舰版) 一丶粘包 只有TCP有粘包现象,UDP永远不会粘包 什么是粘包 存在于客户端接收数据时,不能一次性收取全部缓冲区中的数据.当下一次再有数据来时 ...
- tcp套接字粘包解决办法
粘包只会出现在tcp,udp传输不会产生粘包现象.解决粘包的原理就是服务器预先向客户端发送客户端即将获取文件的大小. 第一版解决方案: 服务器: # Author : Kelvin # Date : ...
- socket编程 TCP 粘包和半包 的问题及解决办法
一般在socket处理大数据量传输的时候会产生粘包和半包问题,有的时候tcp为了提高效率会缓冲N个包后再一起发出去,这个与缓存和网络有关系. 粘包 为x.5个包 半包 为0.5个包 由于网络原因 一次 ...
- 8-2udp和tcp网络编程以及粘包和解决粘包的方法
一 tcp网络编程 server 端 import socket sk=socket.socket() #实例化一个对象 sk.setsockopt(socket.SOL_SOCKET,socket ...
- TCP粘包问题的解决方案02——利用readline函数解决粘包问题
主要内容: 1.read,write 与 recv,send函数. recv函数只能用于套接口IO ssize_t recv(int sockfd,void * buff,size_t len,i ...
- 《连载 | 物联网框架ServerSuperIO教程》- 9. 协议过滤器,解决一包多发、粘包、冗余数据
1.C#跨平台物联网通讯框架ServerSuperIO(SSIO)介绍 <连载 | 物联网框架ServerSuperIO教程>1.4种通讯模式机制. <连载 | 物联网框架Serve ...
- c# socket 解决粘包,半包
处理原理: 半包:即一条消息底层分几次发送,先有个头包读取整条消息的长度,当不满足长度时,将消息临时缓存起来,直到满足长度再解码 粘包:两条完整/不完整消息粘在一起,一般是解码完上一条消息,然后再判断 ...
- 关于TCP封包、粘包、半包
关于Tcp封包 很多朋友已经对此作了不少研究,也花费不少心血编写了实现代码和blog文档.当然也充斥着一些各式的评论,自己看了一下,总结一些心得. 首先我们学习一下这些朋友的心得,他们是: http: ...
- python3全栈开发-什么是粘包、粘包现象、如何解决粘包
一.粘包现象 让我们基于tcp先制作一个远程执行命令的程序(1:执行错误命令 2:执行ls 3:执行ifconfig) 注意注意注意: res=subprocess.Popen(cmd.decode( ...
随机推荐
- iOS中点击按钮跳转到外部浏览器和内部打开
如图所示,需要实现点击一个按钮,跳转到指定网页: -(void)pushBtnCellClickDeleate{ NSLog(@"跳转"); //在APP内部打开指定网页 UIWe ...
- Django2.1.1与xadmin0.6.0遇到的坑(一)
(1)django2.0把from django.core.urlresolvers修改成了django.urls 异常信息: ModuleNotFoundError: No module named ...
- property用法,使Python中的get方法和set方法使用更简单
方法一: class a: def __init__(self): self.__num = 1 #定义一个私有变量(以双下划线开头的是私有变量) def getNum(se ...
- Educational Codeforces Round 71 (Rated for Div. 2)
传送门 A.There Are Two Types Of Burgers 签到. B.Square Filling 签到 C.Gas Pipeline 每个位置只有"高.低"两种状 ...
- requests乱码问题
有三种方法解决请求后乱码问题. 一:获取二进制数据,再利用str进行编码转换 url='http://music.baidu.com' r = requests.get(url) html=r.con ...
- 阿里Nacos初体验
Nacos 从开源到现在已经18个releases了,更新很快,社区也很活跃,光钉钉群的人数那也是好多,每次点个查看全部成员的按钮,我的钉钉就要卡死,也有可能我没更新最新的版本. 前面写了一段时间的S ...
- Mybatis框架模糊查询+多条件查询
一.ISmbmsUserDao层 //根据姓名模糊查询 public List<Smbms> getUser(); //多条件查询 public List<Smbms> get ...
- 用python读写和处理csv文件
import requestsfrom bs4 import BeautifulSoupimport csv date = open('test.csv', 'w')writer = csv.writ ...
- laravel中使用FormRequest进行表单验证,验证异常返回JSON
通常在项目中,我们会对大量的前端提交过来的表单进行验证,如果不通过,则返回错误信息. 前端为了更好的体验,都使用ajax进行表单提交,虽然 validate() 方法能够根据前端的不同请求方式,返回不 ...
- 【BZOJ4823】[CQOI2017]老C的方块(网络流)
[BZOJ4823][CQOI2017]老C的方块(网络流) 题面 BZOJ 题解 首先还是给棋盘进行黑白染色,然后对于特殊边左右两侧的格子单独拎出来考虑. 为了和其他格子区分,我们把两侧的这两个格子 ...