Python 的黏包问题
Client 端内的代码: #Author:BigBao
#Date:2018/7/4
import socket
import struct
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1',8012))
while True:
cmd=input('>>>: ').strip()
if not cmd:continue
client.send(cmd.encode('utf-8'))
# 这里我们先收取报头,4个字节
header=client.recv(4)
total_size=struct.unpack('i',header)[0]
# 接收真实的数据,直到收干净为止
recv_size=0
res=b''
while recv_size < total_size:
recv_data=client.recv(1024)
res+=recv_data
recv_size+=len(recv_data)
print(res.decode('gbk'))
client.close()
Server 端的代码 #Author:BigBao
#Date:2018/7/4
import socket
import subprocess
import struct server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.bind(('127.0.0.1',8012))
server.listen(5) while True: # 建立连接循环
conn,client_addr=server.accept()
while True: # 建立通信循环
try:
cmd=conn.recv(1024)
if not cmd:break
obj=subprocess.Popen(cmd.decode('utf-8'),shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
stdout=obj.stdout.read()
stderr=obj.stderr.read()
# 发送固定长度的报文头,目前报文头里值包含数据的大小,接下来制定报头
total_size=len(stdout)+len(stderr)
conn.send(struct.pack('i',total_size)) # 这里发送过去的数据是一个二进制数据,且长度为4,但是这里要是total_size 过大的话,这里就不行了,会报错struct.error: argument out of range
conn.send(stdout)
conn.send(stderr)
except ConnectionResetError:
break
conn.close()
server.close() 上面我们说到了自定义报头的时候struct.pack('i',total_size) 这个方法在传输的数据过大的时候他就会报错,所以并不能完全的解决我们的黏包问题,只适用在我们传输小数据量的时候。
接下来看一下Python的最终解决黏包问题的解决方案:
#Author:BigBao
#Date:2018/7/6
import struct
import json
# obj=struct.pack('i',555565555)
# print(obj,len(obj)) # i 格式打包的个数是有限的
'''
解决黏包问题的主要思想就是:
在我们发送数据流的时候,我们先给对方发送这个数据流的长度\大小,也就是说
我们需要自定一个固定大小的报头,然后发送给对方,这个报头根据我们的需求来定义,
这个报头的内容比如说可以有:数据的长度,文件的名称(数据是文件的情况下)、md5值等等
按照上面的需求,我们一般把报头定义成一个字典格式,但是我们如何把一个字典发送给对方呢,
这个时候我们就要使用json,我们把字典转换成json串,json.dumps我们得到的是一个字符串格式的对象。
我们不能直接发送字符串,所以我们需要给他编码一下 obj.encode('utf-8').
比如说我们看一下下面的例子,
'''
header_dic={
'filename':'xxx.mp4',
'total_size':2342342374829374928374323423423449238749238742938749238749234923648763481256481736491287418375109837512653189237489123751928307,
'md5':'8f6fbf8347faa4924a76856701edb0f3'
}
header_json=json.dumps(header_dic) # 这样我们得到一个json对象,我们可以查看一下这是一个字符串类型
# print(header_json,type(header_json))
header_bytes=header_json.encode('utf-8') # 我们给他编码一下,得到一个bytes的对象
# 这里我们要注意我们能做成报头的大前提是。报头的大小固定,这里我们要是随意修改一下header_dir 中的total_size 的话,
# 这里len(header_bytes)的大小就会发生变化,所以这里我们就要用到struct模块的pack功能了
obj=struct.pack('i',len(header_bytes))
print(obj,len(obj)) # 这里我们发现我们修改字典中的total_size 的话,这里的len(obj) 不会发生变化,我们看到他的大小一直都是4.满足我们的需求 print(struct.unpack('i',obj))
这里我们得到的是一个集合(209,) 所以我们取[0] 位置的数据就是报头的长度
print(struct.unpack('i',obj)[0]) #1、这里我们先把报头的长度发送给对方
#2、然后我们发送报头
#3、最后发送数据
#Author:BigBao
#Date:2018/7/4
import socket
import subprocess
import struct
import json server=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
server.bind(('127.0.0.1',8012))
server.listen(5)
print('服务端启动')
while True: # 建立连接循环
conn,client_addr=server.accept()
while True: # 建立通信循环
try:
cmd=conn.recv(1024)
if not cmd:break
obj=subprocess.Popen(cmd.decode('utf-8'),shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE)
stdout=obj.stdout.read()
stderr=obj.stderr.read()
# 制定报头:这里我们目前能用到的是header_dic里的total_size
header_dic={
'total_size':len(stdout)+len(stderr),
'filename':'xxx.mp4',
'md5sum':'8f6fbf8347faa4924a76856701edb0f3'
}
# 发送报头的长度
header_json=json.dumps(header_dic)
header_bytes=header_json.encode('utf-8') conn.send(struct.pack('i',len(header_bytes)))
# 发送报头
conn.send(header_bytes)
# 发送数据
conn.send(stdout)
conn.send(stderr)
except ConnectionResetError:
break
conn.close()
server.close()
#Author:BigBao
#Date:2018/7/4
import socket
import struct
import json
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM)
client.connect(('127.0.0.1',8012))
while True:
cmd=input('>>>: ').strip()
if not cmd:continue
client.send(cmd.encode('utf-8'))
# 我们先接受报头的长度的字节格式
obj=client.recv(4)
header_size=struct.unpack('i',obj)[0] # 这里unpack 我们得到的是一个集合(类似是这样的 (209,) 所以我们应该去第一个位置的值,这个值就是报头的长度),我们得到了报头的长度,然后我们在下面就接收这么长的字节数就可以得到报头对象了 # 接受报头,从上面我们得到了报头的长度,所以我们recv(报头的长度)就可以得到报头对象了
header_bytes=client.recv(header_size)
header_json=header_bytes.decode('utf-8')
header_dic=json.loads(header_json)
total_size=header_dic['total_size'] # 这样我们就得到了字节流的长度了 # 接收真实的数据,直到收干净为止
recv_size=0
res=b''
while recv_size < total_size:
recv_data=client.recv(1024)
res+=recv_data
recv_size+=len(recv_data)
print(res.decode('gbk'))
client.close()
根据老师的文章写的:
http://www.cnblogs.com/linhaifeng/articles/6129246.html#_label12
Python 的黏包问题的更多相关文章
- Python之黏包的解决
黏包的解决方案 发生黏包主要是因为接收者不知道发送者发送内容的长度,因为tcp协议是根据数据流的,计算机操作系统有缓存机制, 所以当出现连续发送或连续接收的时候,发送的长度和接收的长度不匹配的情况下就 ...
- Python之黏包
黏包现象 让我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd) res=subprocess.Popen(cmd.decode('utf-8'), shell ...
- python tcp黏包和struct模块解决方法,大文件传输方法及MD5校验
一.TCP协议 粘包现象 和解决方案 黏包现象让我们基于tcp先制作一个远程执行命令的程序(命令ls -l ; lllllll ; pwd)执行远程命令的模块 需要用到模块subprocess sub ...
- python之黏包和黏包解决方案
黏包现象主要发生在TCP连接, 基于TCP的套接字客户端往服务端上传文件,发送时文件内容是按照一段一段的字节流发送的,在接收方看来,根本不知道该文件的字节流从何处开始,在何处结束. 两种黏包现象: 1 ...
- python中黏包现象
#黏包:发送端发送数据,接收端不知道应如何去接收造成的一种数据混乱现象. #关于分包和黏包: #黏包:发送端发送两个字符串"hello"和"word",接收方却 ...
- Python学习笔记【第十四篇】:Python网络编程二黏包问题、socketserver、验证合法性
TCP/IP网络通讯粘包问题 案例:模拟执行shell命令,服务器返回相应的类容.发送指令的客户端容错率暂无考虑,按照正确的指令发送即可. 服务端代码 # -*- coding: utf- -*- # ...
- python 黏包现象及其解决方案
一.数据缓冲区 缓冲区(buffer),它是内存空间的一部分.也就是说,在内存空间中预留了一定的存储空间,这些存储空间用来缓冲输入或输出的数据,这部分预留的空间就叫做缓冲区,显然缓冲区是具有一定大小的 ...
- Python Socket通信黏包问题分析及解决方法
参考:http://www.cnblogs.com/Eva-J/articles/8244551.html#_label5 1.黏包的表现(以客户端远程操作服务端命令为例) 注:只有在TCP协议通信的 ...
- python学习之socket&黏包
7.4 socket [重要] 避免学习各层的接口,以及协议的使用, socket已经封装好了所有的接口,直接使用这些接口或者方法即可,方便快捷,提升开发效率. socket在python中就是一 ...
随机推荐
- java.lang.ClassNotFoundException: SparkPi$$anonfun$1
出现这个错误可能有两种情况,Jar文件没有传上去,或者Build Path里面包含的Jar文件和Spark的运行环境有冲突. 对于第一种情况,需要在SparkConf语句后面加上Jar文件的路径: v ...
- Mongostat 3.0详解
可以参考之前写的这篇博客: Mongostat 2.6详解 mapped Changed in version 3.0.0. Only for MMAPv1 Storage Engine. The t ...
- MongoDB副本集配置系列一:安装MongoDB
1:下载MongoDB 2.6版本 https://fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-2.6.9.zip 2:解压 tar ...
- 开源 JSON 库解析性能对比( Jackson / Json.simple / Gson )
Json 已成为当前服务器与 web 应用之间数据传输的公认标准. 微服务及分布式架构经常会使用 Json 来传输此类文件,因为这已经是 webAPI 的事实标准. 不过正如许多我们习以为常的事情一样 ...
- java与C#、.NET AES加密、解密 解决方案
1.情景展示 Java提供的密钥,C#无法解密. 2.原因分析 在Java中,AES的实际密钥需要用到KeyGenerator 和 SecureRandom,但是C#和.NET 里面没有这2个类, ...
- GDALBuildVRT异构波段的支持
目录 简述 修改源码 1.修改DatasetProperty结构体 2.修改VRTBuilder::AnalyseRaster函数 3.修改VRTBuilder::CreateVRTNonSepara ...
- Windows下node.js安装及环境配置
1. 安装 官网下载node.js的安装版,一路next,中间可以自定义安装路径 完成后安装目录内容如下 cmd下检查是否安装成功 新版Node.js已自带npm,所以安装Node.js时会一起安装, ...
- AWVS扫描工具使用教程
上文AppScan扫描工具-工作原理&操作教程有写到Web安全漏洞扫描工具之一的APPScan,除此,还有另外一款国内使用比较主流的Web安全漏洞扫描工具——AWVS.相较于大容量的AppSc ...
- (原)tensorflow中函数执行完毕,显存不自动释放
转载请注明出处: http://www.cnblogs.com/darkknightzh/p/7608916.html 参考网址: https://stackoverflow.com/question ...
- Swift中的map 和 flatMap 原理及用法
之前对这两个概念有点糊,今天正好遇到一个相关需求,才深入了解了下. 需求如下: 大概就是对一个数组的model,重构成一个新model,返回得到一个新数组 用map很容易实现,不过后来我需要对其中进行 ...