2、网络并发编程--套接字编程、黏包问题、struct模块、制作简易报头、上传文件数据

昨日内容回顾

• 面向对象复习(json序列化类)

  对象、类、父类的概念
  三大特性:封装 继承 多态
  双下开头的方法(达到某个条件自动触发)
      __init__:对象实例化自动触发
      __str__:对象执行打印操作自动触发
      __call__:对象加括号调用的时候自动触发
    	...
  反射:利用字符串操作对象的属性或方法
      hasattr,getattr
  
      class MyClass(object):
      name = 'cx'
  
      def __call__(self, *args, **kwargs):
          print('lalala')
  
      def __str__(self):
          return 'print'  # 必须return字符串类型
  
      def run(self):
          print('run fun')
  
      obj = MyClass()
      obj()  # 调用对象触发__call__()
      print(obj)  # 触发__str__()
  
      if hasattr(obj, 'name'):
          getattr(obj, 'run')()
  
      print(hasattr(obj, 'name'))
      print(getattr(obj, 'nonono'))  # getattr没找到属性则会报错，所以有hasattr来判断
  
  json序列化非默认的python数据类型
  	常见操作是手动转字符串
  	不常见操作重写cls指向的类
  

• 软件开发架构

  c/s架构
  b/s架构
  本质:b/s架构也c/s架构
  

• 远程传输数据的发展史

  所有前言的技术几乎都是诞生于军事
  
  要想实现远程传输首先需要满足的时候"物理连接介质"
  

• OSI七层协议

  应、表、会、传、网、数、物
  
  应用层
  传输层
  网络层
  数据链路层
  物理连接层
  

• 各种协议及常见硬件介绍

  # 物理连接层
  	网线 网卡
  # 数据链路层
  	电信号分组方式、以太网协议
      	mac地址 12位16进制数
          	mac地址只能在局域网内实现数据交互
  交换机
  路由器
  局域网
  互联网
  	上网其实就是顺着网线访问其他计算机上面的资源(网络只有更安全)
  广播与单播
  	广播风暴
  # 网络层
  	IP协议
              IP地址用于表示接入互联网的一台计算机
          IPV4与IPV6
  	PORT协议
      		端口地址用于表示计算机上面某一个应用程序
      	动态分配、范围限制(0-65535)
      '''IP+PORT:唯一标识计算机上面的某一个应用程序'''
  # 传输层
  	TCP、UDP
  # 应用层
  	HTTP、FTP、HTTPS
  

• TCP与UDP

  TCP	可靠协议 流式协议
  	三次握手建链接
      四次挥手断链接
  UDP 不可靠协议 数据报协议
  
  """
  TCP类似于打电话
  UDP类似于发短信
  """
  

今日内容概要

• socket套接字编程

  掌握基本的客户端与服务端代码编写

• 通信循环

• 代码健壮性校验

• 链接循环

• TCP黏包现象(流式协议)

• 报头制作、struct模块、封装形式

今日内容详细

socket套接字编程

要求:我们自己想写一款可以数据交互的程序
# 只要涉及到远程数据交互必须要操作OSI七层 所以有现成的模块直接实现

socket模块

架构启动肯定是先启动服务端再启动客户端

简易代码


# 服务端 6步
import socket
server = socket.socket()  # 默认就是基于网络的TCP传输协议
server.bind(('127.0.0.1', 8080))  # 绑定ip和port
server.listen(5)  # 半连接池
sock, address = server.accept()  # 监听
print(address)  # 客户端地址
data = sock.recv(1024)  # 接收客户端发送的消息
print(data)
sock.send(b'hello my big baby~~~')
sock.close()
server.close()  

# 客户端 4步
import socket
client = socket.socket()
client.connect(('127.0.0.1', 8080))
client.send(b'hello big DSB DSB DSB!')
data = client.recv(1024)
print(data)
client.close()

通信循环及代码优化

1.客户端校验消息不能为空
2.服务端添加兼容性代码(mac linux)
3.服务端重启频繁报端口占用错误
	from socket import SOL_SOCKET, SO_REUSEADDR
    server.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)  # 在bind前加
4.客户端异常关闭服务端报错的问题
	异常捕获
5.服务端链接循环
6.半连接池
	设置可以等待的客户端数量

黏包现象

TCP协议黏包特性：
	"""
	1、数据管道的数据太大没有被完全取出

	2、当数据量比较小 且时间间隔比较短的多次数据
	那么TCP会自动打包成一个数据包发送
	"""

解决思路：报头
	能够标识即将到来的数据具体信息
	eg:数据量多大
	# 报头的长度必须是固定的

struct模块

import struct
import json

d = {
    'file_name': '很好看.mv',
    'file_size': 1231283912839123123424234234234234234324324912,
    'file_desc': '拍摄的很有心 真的很好看!!!',
    'file_desc2': '拍摄的很有心 真的很好看!!!'
}
d = json.dumps(d)
res = struct.pack('i',len(d))
print(len(res))
res1 = struct.unpack('i',res)[0]
print(res1)

subprocess模块

import subprocess

sub = subprocess.Popen('ipconfig', shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)

print(sub.stdout.read().decode('gbk'))
print(sub.stderr.read().decode('gbk'))

简易版本报头

# 服务端
import socket
import subprocess
import json
import struct

server = socket.socket()
server.bind(('127.0.0.1', 8080))
server.listen(5)

while True:
    sock, address = server.accept()
    while True:
        data = sock.recv(1024)  # 接收cmd命令
        command_cmd = data.decode('utf8')
        sub = subprocess.Popen(command_cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
        res = sub.stdout.read() + sub.stderr.read()  # 结果可能很大
        # 1.制作报头
        data_first = struct.pack('i', len(res))
        # 2.发送报头
        sock.send(data_first)
        # 3.发送真实数据
        sock.send(res)

# 客户端
import socket
import struct

client = socket.socket()  # 买手机
client.connect(('127.0.0.1', 8080))  # 拨号

while True:
    msg = input('请输入cmd命令>>>:').strip()
    if len(msg) == 0:
        continue
    client.send(msg.encode('utf8'))
    # 1.先接收固定长度为4的报头数据
    recv_first = client.recv(4)
    # 2.解析报头
    real_length = struct.unpack('i',recv_first)[0]
    # 3.接收真实数据
    real_data = client.recv(real_length)
    print(real_data.decode('gbk'))

上传文件数据

# 客户端
import json
import socket
import struct
import os

client = socket.socket()  # 买手机
client.connect(('127.0.0.1', 8080))  # 拨号

while True:
    data_path = r'D:\金牌班级相关资料\网络并发day01\视频'
    # print(os.listdir(data_path))  # [文件名称1 文件名称2 ]
    movie_name_list = os.listdir(data_path)
    for i, j in enumerate(movie_name_list, 1):
        print(i, j)
    choice = input('请选择您想要上传的电影编号>>>:').strip()
    if choice.isdigit():
        choice = int(choice)
        if choice in range(1, len(movie_name_list) + 1):
            # 获取文件名称
            movie_name = movie_name_list[choice - 1]
            # 拼接文件绝对路径
            movie_path = os.path.join(data_path, movie_name)
            # 1.定义一个字典数据
            data_dict = {
                'file_name': 'XXX老师合集.mp4',
                'desc': '这是非常重要的数据',
                'size': os.path.getsize(movie_path),
                'info': '下午挺困的，可以提神醒脑'
            }
            data_json = json.dumps(data_dict)
            # 2.制作字典报头
            data_first = struct.pack('i', len(data_json))
            # 3.发送字典报头
            client.send(data_first)
            # 4.发送字典
            client.send(data_json.encode('utf8'))
            # 5.发送真实数据
            with open(movie_path,'rb') as f:
                for line in f:
                    client.send(line)

# 服务端/接收端
# 1.先接收固定长度为4的字典报头数据
        recv_first = sock.recv(4)
        # 2.解析字典报头
        dict_length = struct.unpack('i', recv_first)[0]
        # 3.接收字典数据
        real_data = sock.recv(dict_length)
        # 4.解析字典(json格式的bytes数据 loads方法会自动先解码 后反序列化)
        real_dict = json.loads(real_data)
        # 5.获取字典中的各项数据
        data_length = real_dict.get('size')
        file_name = real_dict.get("file_name")

        recv_size = 0
        with open(file_name,'wb') as f:
            while recv_size < data_length:
                data = sock.recv(1024)
                recv_size += len(data)
                f.write(data)

扩展知识

在阅读源码的时候
	1.变量名后面跟冒号 表示的意思是该变量名需要指代的数据类型
	2.函数后更横杆加大于号表示的意思是该函数的返回值类型

作业

1.cs架构的简易版本视频管理系统
	电影的上传功能
	电影的下载功能