python高级知识

网络udp

socket的作用

进程指的是：运行的程序以及运行时用到的资源这个整体称之为进程

socket(简称 套接字) 是最通用的进程间通信的一种方式

创建socket

import socket
socket.socket(AddressFamily, Type)

函数 socket.socket 创建一个 socket，该函数带有两个参数：

Address Family：可以选择 AF_INET（用于 Internet 进程间通信 表示IPv4协议） 或者 AF_INET6(表示IPv6协议 未来很快可能用上) 等

Type：套接字类型，可以是 SOCK_DGRAM（数据报套接字，主要用于 UDP 协议）或者 SOCK_STREAM（流式套接字，主要用于 TCP 协议）等

UDP和TCP是两种比较常见的套接字类型 UDP使用比较简单。

创建一个udp socket（tcp套接字）

import socket

# 创建udp的套接字
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)

# ...这里是使用套接字的功能（省略）...

# 不用的时候，关闭套接字
s.close()

说明
　　套接字使用流程 与 文件的使用流程很类似

• 创建套接字
• 使用套接字收/发数据
• 关闭套接字

udp网络程序-发送、接收数据

创建一个基于udp的网络程序流程很简单，具体步骤如下：

• 创建客户端套接字
• 发送/接收数据
• 关闭套接字

代码如下:

#coding=utf-8

from socket import *

# 1. 创建udp套接字
udp_socket = socket(AF_INET, SOCK_DGRAM)

# 2. 准备接收方的地址
# '192.168.1.103'表示目的ip地址
# 8080表示目的端口
dest_addr = ('192.168.1.103', 8080)  # 注意 是元组，ip是字符串，端口是数字

# 3. 从键盘获取数据
send_data = input("请输入要发送的数据:")

# 4. 发送数据到指定的电脑上的指定程序中
udp_socket.sendto(send_data.encode('utf-8'), dest_addr)

# 5. 关闭套接字
udp_socket.close()

python3编码转换

str->bytes:encode('utf-8')  编码
bytes->str:decode('utf-8')  解码

其中decode()与encode()方法可以接受参数，其声明分别为:

bytes.decode(encoding="utf-8", errors="strict")

• 其中 encoding是指在解码/编码(动词)过程中使用的字符编码(名词)
• errors是指错误的处理方案,errrors参数默认值是strict(严格的)意味着如果编解码出错将会抛出 UnicodeError;
• 如果想忽略编解码错误 可以将errors设置为ignore。

udp绑定信息

绑定示例

#coding=utf-8

from socket import *

# 1. 创建套接字
udp_socket = socket(AF_INET, SOCK_DGRAM)

# 2. 绑定本地的相关信息，如果一个网络程序不绑定，则系统会随机分配
local_addr = ('', 7788) #  ip地址和端口号，ip一般不用写，表示本机的任何一个ip
udp_socket.bind(local_addr)

# 3. 等待接收对方发送的数据
recv_data = udp_socket.recvfrom(1024) #  1024表示本次接收的最大字节数

# 4. 显示接收到的数据
print(recv_data[0].decode('gbk'))

# 5. 关闭套接字
udp_socket.close()

• bind()函数的作用就让操作系统不再默认分配的随机端口，而是使用参数指定的端口。

TCP简介

TCP协议，传输控制协议（英语：Transmission Control Protocol，缩写为 TCP）是一种面向连接的、可靠的、基于字节流的传输层通信协议，由IETF的RFC 793定义。

TCP特点:

1. 面向连接
   • TCP通信需要经过创建连接、数据传送、终止连接三个步骤。在通信开始之前，一定要先建立相关的链接，才能发送数据
2. 可靠传输
   • TCP采用发送应答机制：TCP发送的每个报文段都必须得到接收方的应答才认为这个TCP报文段传输成功
   • 超时重传：1.发送时启动定时器,如果没收到就重传. 2.TCP给每个包一个序号,序号也保证接收顺序 ,然后接收端发回一个相应的确认（ACK）,如果发送端实体在合理的往返时延（RTT）内未收到确认，那么对应的数据包就被假设为已丢失将会被进行重传。
   • 错误校验: TCP用一个校验和函数来检验数据是否有错误；在发送和接收时都要计算校验
   • 流量控制和阻塞管理: 流量控制用来避免主机发送得过快而使接收方来不及完全收下。
   • 

TCP与UDP的不同点

• 面向连接（确认有创建三方交握，连接已创建才作传输。）
• 有序数据传输
• 重发丢失的数据包
• 舍弃重复的数据包
• 无差错的数据传输
• 阻塞/流量控制

tcp客户端构建流程

from socket import *

# 创建socket
tcp_client_socket = socket(AF_INET, SOCK_STREAM)

# 目的信息
server_ip = input("请输入服务器ip:")
server_port = int(input("请输入服务器port:"))

# 链接服务器
tcp_client_socket.connect((server_ip, server_port))

# 提示用户输入数据
send_data = input("请输入要发送的数据：")

tcp_client_socket.send(send_data.encode("gbk"))

# 接收对方发送过来的数据，最大接收1024个字节
recvData = tcp_client_socket.recv(1024)
print('接收到的数据为:', recvData.decode('gbk'))

# 关闭套接字
tcp_client_socket.close()

tcp服务器

1. socket创建一个套接字
2. bind绑定ip和port
3. listen使套接字变为可以被动套接字
4. accept取出一个客户端连接 用以服务
5. recv/send接收发送数据

from socket import *

# 创建socket
tcp_server_socket = socket(AF_INET, SOCK_STREAM)

# 本地信息
address = ('', 7788)

# 绑定
tcp_server_socket.bind(address)

# 使用socket创建的套接字默认的属性是主动的，使用listen将其变为被动的，这样完成之后  下一步就可以接受accept别人的连接connect请求了
tcp_server_socket.listen(128)

# 如果有新的客户端来链接服务器，那么就产生一个新的套接字专门为这个客户端服务
# client_socket用来为这个客户端服务
# tcp_server_socket就可以省下来专门等待其他新客户端的链接
client_socket, clientAddr = tcp_server_socket.accept()

# 接收对方发送过来的数据
recv_data = client_socket.recv(1024)  # 接收1024个字节
print('接收到的数据为:', recv_data.decode('gbk'))

# 发送一些数据到客户端
client_socket.send("thank you !".encode('gbk'))

# 关闭为这个客户端服务的套接字，只要关闭了，就意味着为不能再为这个客户端服务了，如果还需要服务，只能再次重新连接
client_socket.close()

tcp注意点

1. tcp服务器中通过listen可以将socket创建出来的主动套接字变为被动的
2. 当客户端需要链接服务器时，就需要使用connect进行链接，udp是不需要链接的而是直接发送，但是tcp必须先链接，只有链接成功才能通信
3. 当一个tcp客户端连接服务器时，服务器端会有1个新的套接字，这个套接字用来标记这个客户端，单独为这个客户端服务
4. listen后的套接字是被动套接字，用来接收新的客户端的连接请求的，而accept返回的新套接字是标识这个新客户端的
5. 关闭listen后的套接字意味着被动套接字关闭了，会导致新的客户端不能够链接服务器，但是之前已经链接成功的客户端正常通信。
6. 关闭accept返回的套接字意味着这个客户端已经服务完毕
7. 当客户端的套接字调用close后，服务器端会recv解阻塞，并且返回的长度为0，因此服务器可以通过返回数据的长度来区别客户端是否已经下线；同理 当服务器断开tcp连接的时候 客户端同样也会收到0字节数据。

---

多任务-线程

并发：指的是任务数多余cpu核数，通过操作系统的各种任务调度算法，实现用多个任务在同一时间段执行。
并行：指的是多核cpu情况下，多个任务的一些任务往往是在同一时间点执行的。

使用threading模块

python的thread模块是比较底层的模块，python的threading模块是对thread做了一些包装的，可以更加方便的被使用

 # 创建线程的执行计划  target指定线程执行的函数
    thd = threading.Thread(target=sing)

 # 启动线程的执行计划 - 创建并且运行子线程
 thd.start()

 # 查看当前进程内部的所有存活的线程列表
threading.enumerate()

多线程在调度执行的时候 顺序是不确定的 无序的

target指定线程执行的函数 args指定函数运行时所需的参数<元组>

thd = threading.Thread(target=say_sorry, args=(i,))

多线程共享全局变量

创建线程第二种方式:

继承子Thread类　实现启动的run方法　创建子类对象　.start()"

import threading
import time

class MyThread(threading.Thread):
    """继承子Ｔｈｒｅａｄ类　实现启动的ｒｕｎ方法　创建子类对象　.start()"""
    def run(self):
        """ｒｕｎ方法会在子线程执行的时候自动调用"""
        while True:
            print("runnnnnn")
            time.sleep(1)

if __name__ == '__main__':
    # 创建子线程执行计划
    mt = MyThread()

    #　启动子线程的创建和执行
    mt.start()

    while True:
        print("这是主线程")
        time.sleep(1)

资源竞争问题

如果多个线程同时对同一个全局变量操作，会出现资源竞争问题，从而数据结果会不正确

解决办法:

创建一把互斥锁　能够保证在任意时间点只有一个线程能够成功获取. 如果已经被锁定 还有一个新任务需要这把锁 默认会这个新任务阻塞等待

lock = threading.Lock()

死锁问题 代码

import time
import threading

g_number = 0

"""死锁是怎么产生的　如何解决死锁问题"""

def worker1(lock1):
    global g_number
    for i in range(1000000):
        # 尝试加锁  如果没有被锁定就能成功锁定 如果已经被锁定 那么将会阻塞当前线程 直到锁被释放
        # 默认情况下　默认参数为Ｔｒｕｅ就会阻塞
        # 返回值表示有没有成功获取到锁  如果参数是Ｆａｌｓｅ表示不阻塞获取锁资源

        # 表示阻塞等待　最多等３ｓ
        # if lock1.acquire(True, 3):

        if lock1.acquire(True): # 不阻塞等待获取锁　如果锁未锁定就获取　如果被锁定就直接继续执行
            g_number += 1
            # 释放锁资源
            lock1.release()
        else:
            print("没有成功获取到锁")
            time.sleep(1)

def worker2(lock1):
    global g_number
    for i in range(1000000):
        # print("in worker2  %d" % g_number)
        lock1.acquire()
        g_number += 1
        lock1.release()

if __name__ == '__main__':
    # 创建一把互斥锁　能够保证在任意时间点只有一个线程能够成功获取
    # 如果已经被锁定 还有一个新任务需要这把锁 默认会这个新任务阻塞等待

    # 创建锁
    lock = threading.Lock()

    w1 = threading.Thread(target=worker1, args=(lock,))
    w1.start()

    w2 = threading.Thread(target=worker2, args=(lock,))
    w2.start()

    w1.join()
    w2.join()
    print("运算结果是%d" % g_number)

同步就是协同步调，按预定的先后次序进行运行

---

进程

进程：一个程序运行起来后，代码+用到的资源 称之为进程，它是操作系统分配资源的基本单元。

进程是系统进行资源分配和调度的一个独立单位.

线程是进程的一个实体,是CPU调度和分派的基本单位,

线程和进程在使用上各有优缺点：线程执行开销小，但不利于资源的管理和保护；而进程正相反。

进程间通信-Queue

使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序