TCP下粘包问题

两种情况下会发生粘包。

1、发送端需要等缓冲区满才发送出去,造成粘包(发送数据时间间隔很短,数据了很小,会合到一起,产生粘包)

发送方:AB  #其实放在缓存里没发送

发送方:B  #其实放在缓存里没发送

发送方:CD  #缓存满了,发一波

接收方:ABBCD  #及时从缓存里接收信息,我擦,发这是啥答案?

两同学传答案因粘包发生误会,后果严重

2、接收方不及时接收缓冲区的包,造成多个包接收(客户端发送了一段数据,服务端只收了一小部分,服务端下次再收的时候还是从缓冲区拿上次遗留的数据,产生粘包)

发送方:211  #其实放在缓存里没发送

发送方:12  #其实放在缓存里没发送

发送方:985  #缓存满了,发一波

接收方:21112985  #没有及时从缓存里接收信息,我擦第一题结果这么大?

两同学传答案因粘包发生误会,后果严重

拆包的发生情况

当发送端缓冲区的长度大于网卡的MTU时,tcp会将这次发送的数据拆成几个数据包发送出去。

为何tcp是可靠传输,udp是不可靠传输

tcp在数据传输时,发送端先把数据发送到自己的缓存中,然后协议控制将缓存中的数据发往对端,对端返回一个ack=1,发送端则清理缓存中的数据,对端返回ack=0,则重新发送数据,所以tcp是可靠的

而udp发送数据,对端是不会返回确认信息的,因此不可靠

send(字节流)和recv(1024)及sendall

recv里指定的1024意思是从缓存里一次拿出1024个字节的数据

send的字节流是先放入己端缓存,然后由协议控制将缓存内容发往对端,如果待发送的字节流大小大于缓存剩余空间,那么数据丢失,用sendall就会循环调用send,数据不会丢失。

粘包问题主要还是因为接收方不知道消息之间的界限,不知道一次性提取多少字节的数据所造成的。

  1. TCP(transport control protocol,传输控制协议)是面向连接的,面向流的,提供高可靠性服务。收发两端(客户端和服务器端)都要有一一成对的socket,因此,发送端为了将多个发往接收端的包,更有效的发到对方,使用了优化方法(Nagle算法),将多次间隔较小且数据量小的数据,合并成一个大的数据块,然后进行封包。这样,接收端,就难于分辨出来了,必须提供科学的拆包机制。 即面向流的通信是无消息保护边界的。
  2. UDP(user datagram protocol,用户数据报协议)是无连接的,面向消息的,提供高效率服务。不会使用块的合并优化算法,, 由于UDP支持的是一对多的模式,所以接收端的skbuff(套接字缓冲区)采用了链式结构来记录每一个到达的UDP包,在每个UDP包中就有了消息头(消息来源地址,端口等信息),这样,对于接收端来说,就容易进行区分处理了。 即面向消息的通信是有消息保护边界的。
  3. tcp是基于数据流的,于是收发的消息不能为空,这就需要在客户端和服务端都添加空消息的处理机制,防止程序卡住,而udp是基于数据报的,即便是你输入的是空内容(直接回车),那也不是空消息,udp协议会帮你封装上消息头。

udp的recvfrom是阻塞的,一个recvfrom(x)必须对唯一一个sendinto(y),收完了x个字节的数据就算完成,若是y>x数据就丢失,这意味着udp根本不会粘包,但是会丢数据,不可靠

tcp的协议数据不会丢,没有收完包,下次接收,会继续上次继续接收,己端总是在收到ack时才会清除缓冲区内容。数据是可靠的,但是会粘包。

为了解决粘包问题我们可以考虑发送消息时同时发送关于消息的长度信息,接收方安长度信息提取消息

发送方:(3)211  #其实放在缓存里没发送

发送方:(2)12   #其实放在缓存里没发送

发送方:(3)985  #缓存满了,发一波

接收方:(3)211(2)12(3)985  #没有及时从缓存里接收信息,但是收到了长度信息不用方,按长度信息读取得答案:211  12  985

下面是一个解决粘包的实例

服务端

 #!/usr/bin/python
# -*- coding: utf-8 -*-
"""
基于TCP实现远程执行命令,发送数据长度信息解决粘包问题,这是服务端
"""
import socket,json,struct
import subprocess ip_port=('服务端IP',9000)
back_log=5
buffer_size=1024
phone=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #setsockopt解决重启服务端服务端仍然存在四次挥手的time_wait状态在占用地址
phone.setsockopt(socket.SOL_SOCKET,socket.SO_REUSEADDR,1) #加入一条socket配置,重用ip和端口, phone.bind(ip_port)#绑定(主机,端口号)到套接字 phone.listen(back_log)#开始监听 while True: #连接循环
conn,addr=phone.accept()
while True: #通信循环
cmd=conn.recv(buffer_size) #接收消息,recv里指定的1024意思是从缓存里一次拿出1024个字节的数据
if not cmd:break #cmd为空跳出循环
print('cmd:%s' %cmd)
res=subprocess.Popen(cmd.decode('utf-8'),
shell=True,
stdout=subprocess.PIPE,
stderr=subprocess.PIPE
)#此函数将解码后的cmd给shell去解释,stdout输出参数,stderr报错参数
err=res.stderr.read() #读出报错
print(err)
if err:
back_msg=err
else:
back_msg=res.stdout.read()
#发送
headers={'data_size':len(back_msg)} #包含数据长度信息的报头
head_json=json.dumps(headers) #将报头序列化用于传输
head_json_bytes=bytes(head_json,encoding='utf-8') #再字节化 #为了让客户端知道报头的长度,用struck将报头长度这个数字转成固定长度:4个字节
conn.send(struct.pack('i',len(head_json_bytes))) #先发报头长度,这4个字节里只包含了一个数字,该数字是报头的长度
conn.send(head_json_bytes) #再发报头
conn.sendall(back_msg) #再发真实内容
#s.send() 发送TCP数据(send在待发送数据量大于己端缓存区剩余空间时,数据丢失,不会发完)
     #s.sendall() 发送完整的TCP数据(本质就是循环调用send,sendall在待发送数据量大于己端缓存区剩余空间时,数据不丢失,循环调用send直到发完)
conn.close() #关闭套接字

客户端

 #!/usr/bin/python
# -*- coding: utf-8 -*-
"""
基于TCP实现远程执行命令,发送数据长度信息解决粘包问题,这是客户端
"""
import socket,json,struct ip_port=('服务端IP',9000)
back_log=5
buffer_size=1024
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #s.connect() 主动初始化TCP服务器连接
#s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
client.connect_ex(ip_port) while True:
cmd=input('>>: ')
if not cmd:continue #防止输入空值
if cmd == 'quit':break
client.send(bytes(cmd,encoding='utf-8')) #将命令编码后转为字节发送 head=client.recv(4) #接收长度为4个字节的报头长度信息
head_json_len=struct.unpack('i',head)[0] #将报头长度信息解包,得到报头长度
head_json=json.loads(client.recv(head_json_len).decode('utf-8'))
#利用报头长度取出报头并解码、反序列化,得到报头
data_len=head_json['data_size'] #从报头里取出数据长度 recv_size=0
recv_data=b''
while recv_size < data_len:
recv_data += client.recv(1024) #一次跨1024字节收数据
recv_size += len(recv_data) #计算已得到数据长度 #print(recv_data.decode('utf-8'))
print(recv_data.decode('gbk')) #windows默认gbk编码

以上实现了客户端与服务器的连接并解决了粘包问题,但是不能实现并发,服务器端只能一对一服务,不能一对多服务

为了实现并发我们引入socketserver,以下代码只针对实现并发

并发服务端

 #!/usr/bin/python
# -*- coding: utf-8 -*- import socketserver class MyServer(socketserver.BaseRequestHandler):
def handle(self):
print(self.request) #conn
print(self.client_address) #addr while True:
try:
#收消息
data=self.request.recv(1024)
print("收到消息",data)
#发消息
self.request.sendall(data.upper())
except Exception as e:
print(e)
break
if __name__ == '__main__':
s=socketserver.ThreadingTCPServer(('192.168.1.106',9000),MyServer)
s.serve_forever()

客户端

 #!/usr/bin/python
# -*- coding: utf-8 -*-
import socket,json,struct ip_port=('192.168.1.106',9000)
back_log=5
buffer_size=1024
client=socket.socket(socket.AF_INET,socket.SOCK_STREAM) #s.connect() 主动初始化TCP服务器连接
#s.connect_ex() connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
client.connect_ex(ip_port) while True:
cmd=input('>>: ')
if not cmd:continue #防止输入空值
if cmd == 'quit':break
client.send(bytes(cmd,encoding='utf-8')) #将命令编码后转为字节发送 data=client.recv(buffer_size)
print('收到服务端发来的消息',data.decode('utf-8')) client.close()

此时可用多个客户端与服务器交互

socket编程(二)的更多相关文章

  1. linux网络编程之socket编程(二)

    今天继续对socket编程进行研究,这里会真正开如用socket写一个小例子,进入正题: TCP客户/服务器模型:   关于这个模型的流程这里就不多说了,比较容易理解,下面则利用这种模型来编写一个实际 ...

  2. python基础之socket编程(二)

    ssh远程执行命令: 思路分析: 客户端给服务端发送命令,服务端返回一个输出结果传给客户端. #coding:utf-8 #买手机 import socket import struct import ...

  3. Python 基础之socket编程(二)

    Python 基础之socket编程(二) 昨天只是对socket编程做了简单的介绍,只是把socket通信的框架搭建起来,要对其中的功能进行进一步的扩充,就来看看今天的料哈! 一.基于tcp的套接字 ...

  4. Linux下的C Socket编程 -- 获取对方IP地址

    Linux下的C Socket编程(二) 获取域名对应的IP地址 经过上面的讨论,如果我们想要连接到远程的服务器,我们需要知道对方的IP地址,系统函数gethostbyname便能够实现这个目的.它能 ...

  5. Java Socket聊天室编程(二)之利用socket实现单聊聊天室

    这篇文章主要介绍了Java Socket聊天室编程(二)之利用socket实现单聊聊天室的相关资料,非常不错,具有参考借鉴价值,需要的朋友可以参考下 在上篇文章Java Socket聊天室编程(一)之 ...

  6. Java网络编程二:Socket详解

    Socket又称套接字,是连接运行在网络上两个程序间的双向通讯的端点. 一.使用Socket进行网络通信的过程 服务端:服务器程序将一个套接字绑定到一个特定的端口,并通过此套接字等待和监听客户端的连接 ...

  7. Py修行路 python基础 (二十四)socket编程

    socket编程 一.客户端/服务端架构 客户端/服务端架构 即C/S架构,包括:1.硬件C/S架构,2.软件C/S架构. 互联网中处处都是C/S架构,学习socket 就是为了完成C/S架构的开发. ...

  8. Linux学习之socket编程(二)

    Linux学习之socket编程(二) 1.C/S模型——UDP UDP处理模型 由于UDP不需要维护连接,程序逻辑简单了很多,但是UDP协议是不可靠的,实际上有很多保证通讯可靠性的机制需要在应用层实 ...

  9. JAVA Socket 编程学习笔记(二)

    在上一篇中,使用了 java Socket+Tcp/IP  协议来实现应用程序或客户端--服务器间的实时双向通信,本篇中,将使用 UDP 协议来实现 Socket 的通信. 1. 关于UDP UDP协 ...

  10. JAVA Socket编程(二)之TCP通信

    基于TCP(面向连接)的socket编程,分为客户端和服务器端. 客户端的流程如下: (1)创建套接字(socket) (2)向服务器发出连接请求(connect) (3)和服务器端进行通信(send ...

随机推荐

  1. Poj 1743 Musical Theme(后缀数组+二分答案)

    Musical Theme Time Limit: 1000MS Memory Limit: 30000K Total Submissions: 28435 Accepted: 9604 Descri ...

  2. 数据结构实验之排序五:归并求逆序数(SDUT 3402)

    归并排序详解(戳我). 以下是搬了别人的. #include<stdio.h> #include<stdlib.h> long long sum = 0; int a[1000 ...

  3. 【CSP模拟赛】奇怪的队列(树状数组 &二分&贪心)

    题目描述 nodgd的粉丝太多了,每天都会有很多人排队要签名.  今天有n个人排队,每个人的身高都是一个整数,且互不相同.很不巧,nodgd今天去忙别的事情去了,就只好让这些粉丝们明天再来.同时nod ...

  4. Coupled和segregated【转载】

    转载自:http://blog.sina.com.cn/s/blog_67873f6c0100ltq6.html 问题1: 我看中文帮组里说是'分离'的意思?我绝对翻译不太好,请问有更好的翻译吗? 和 ...

  5. Ubuntu16.04之Apache2.4配置SSL证书

    具体步骤不是特别复杂,有些细枝末节我可能忽略了,不过参考我的这个教程,应该可以配置好的,如果朋友们有问题,可以留言给我.参考资料如下:Linux + Apache2 环境下配置 https (腾讯云免 ...

  6. Windowns下code: command not found

    错误信息:code: command not found’ 解决办法:配置VsCode环境变量 首先找到VsCode点击其属性,查看路径 进入这个路径后 将D:\Program Files\Micro ...

  7. 【TensorFlow官方文档】MNIST机器学习入门

    MNIST是一个入门级的计算机视觉数据集,它包含各种手写数字图片:它也包含每一张图片对应的标签,告诉我们这个是数字几.比如,下面这四张图片的标签分别是5,0,4,1. 从一个很简单的数学模型开始:训练 ...

  8. Shell同步数据到oracle数据库

    某数据库有几张表更新,本地数据库增量更新数据,用脚本定时执行实现. 由于无blob/clob字段,使用sqlldr导入数据:查询目的数据库,以"|"分割导出所有数据,保存在./da ...

  9. tb刷单怎么不被降权

    淘宝刷单怎么才能不被降权? 1.刷销量时双方都不评价,或者卖号先评,买号等默认好评,这样更安全: 2.刷销量时如果周转资金充足,尽量晚点发货晚确认收货好评,或者等默认: 3.改价需要使用安全减价软件, ...

  10. 如何选题?| 什么样的科学问题 | 研究项目才是有意义的?| scientific method

    搞科研,尤其是生命科学,经常会觉得自己做的东西是坨屎,没有任何意义. 在硕博的时候这种感觉会非常强烈,一个是自己思考能力不足:二是你的项目不是你设计的,不懂个中缘由,只执行的话就会很无聊,找不到意义感 ...