前言:

什么是IO?
  • 分为IO设备和IO接口两个部分
  • Linux系统,I/O操作可以有多种方式
  • 比如DIO(DirectI/O)
  • AIO(AsynchronousI/O异步I/O)
  • Memory-MappedI/O(内存映设I/O)等...
  • 不同的I/O方式有不同的实现方式和性能,在不同的应用中可以按情况选择不同的I/O方式。

补充昨天HTTP:


from socket import *
# 接收请求
# 查看请求
# 返回客户端段请求内容 def handleClient(connfd):
request = connfd.recv(4096)
# print("***********")
# print(request)
# print("************")
# 按照行切割请求
request_lines = request.splitlines()
for line in request_lines:
print(line.decode()) try:
f = open('index.html')
except IOError:
response = "HTTP/1.1 303 Not Found\r\n"
response += "\r\n" # 空行
response += '''
**************************
Sorry, not found the page.
**************************
'''
else:
response = "HTTP/1.1 200 OK\r\n"
response += '\r\n'
response += f.read()
finally:
# 发送给浏览器
connfd.send(response.encode()) # 创建套接字,调用handleClient完成功能
def main():
# 创建tcp套接字
sockfd = socket()
sockfd.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
sockfd.bind(('0.0.0.0', 8000))
sockfd.listen()
while True:
print("Listen the port 8000...")
connfd, addr = sockfd.accept()
# 处理浏览器发来的请求
handleClient(connfd)
connfd.close() if __name__ == "__main__":
main()
S.splitlines  
拆分文件字符串按行分隔
 
 
 
 
内存中存在数据交换的操作认为是IO操作(输入输出)
例如:
    内存与磁盘数据交换:文件读写、数据库更新
    内存和终端数据交换:input、print、sys.stdout、sys.stdin、  sys.stder
    内存和网络数据交换:网络连接、recv、send、recvfrom
 
IO秘集程型序:
     程序执行中有大量的IO操作,而比较少的CPU运算操作
     消耗CPU较少,IO运行时间长
cpu(计算)密集形程序:
     程序存在大量的CPU运算,IO操作相对较少
     CPU消耗大
 
IO分类:
    1.阻塞IO:
        程序运行中遇到IO条件没有达成
或传输情况较慢的情况下会出现阻塞状态
  阻塞IO是IO最简单的逻辑情形,也是默认状态
  阻塞IO是效率很低的IO状态
阻塞情况:
    1.因为IO条件没有达成
        IO阻塞函数(input、print、recv、recvfrom)
    2.处理IO耗时较长形参阻塞
        文件读写、网络数据发送过程
 
    2.非阻塞IO:
        在程序运行中遇到IO操作不让其产生阻塞
实现手段:
   改变IO事件的属性,使其变为非阻塞
   通常会和循环一起使用 进行条件的循环监控
 
    3.IO多路复用
        定义:
  通过一个监测,可以同时监控多个IO事件的行为
  当那个IO可以执行,让这个IO事件发生
  同时监控多个IO事件,当哪个IO事件准备就绪就执行哪个IO事件
  此时形成多个IO时间都可以操作的现象,不必逐个等待执行
IO准备就绪:
  IO事件即将发生时的临界状态不可逆转
  在程序中存在的IO事件中选择要监测的事件
  创建监测,将监测的IO事件注册
  等待监测的IO事件发生判断是什么事件
  处理相应的IO
 
 
    事件驱动IO
    异步IO
    ...
 
s.setblocking(False)
   功能:
      将套接字设置为非阻塞状态
   参数:
      默认为阻塞, 设置为False为非阻塞状态
 
超时检测:
    原本阻塞的IO设置一个最长阻塞等待时间
    在规定时间内如果达到条件正常执行
    如果时间到仍未达到条件则结束阻塞
        s.settimeout(sec)
            功能:
                    设置套接字的超时时间
             参数:
                   时间(
 
 
select模块
from select import
select 支持:Windows、Linux、Unix  
poll   支持:Linux、Unix
epoll  支持:Linux、Unix
 
rs, ws, xs = select(rlist, wlist, xlist[, timeout])
   功能:
      监控IO事件 ,阻塞等待监控的IO事件发生
   参数:
       rlist   列表:
          表示存放我们需要等待处理的IO
       wlist   列表:
          表示存放我们想要主动处理的IO
       xlist   列表:
          表示存放出错希望去处理的IO
       timeout: 超时检测
   返回值:
      rs  列表:
          准备就绪的IO
      ws  列表:
          准备就绪的IO
      xs  列表
          准备就绪的IO
 
* 在处理IO时不要形成死循环会让一个客户端单独占有服务端
 
IO多路复兴形成一种可以同时处理多个IO的效果效率较高
 
 
位运算:
   按照二进制位进行位运算操作
   & 按为与   |  按位或   ^  按位异或
 
   << 左异    >>右移
 
   11  1011
   14  1110
 
   &   1010  有0得0
    |    1111  有1得1
   ^    0101  相同为0不同为1
  
   11 << 2  == 44   右侧补零(乘2乘2次)
   14 >> 2  == 3    挤掉右侧的数字(地板除2除2次)
使用:
    1.在低层硬件操作寄存器
    2.做标志位的过滤
 
 
 
poll方法实现IO多路复用:
   1.创建poll对象:
       p = select.poll
   2.注册关注的IO:
       p.register(s, POLLIN | PLLERR)
       不关注:
          p.unregister(s)
       事件类别:
          POLLIN  POLLOUT  POLLERR  POLLHUP   POLLPRI
            rlist           wlist          xlist          断开       紧急处理 
   3.监控IO:
       events = p.poll()
       功能:监控关注的IO事件
       返回值:
           返回发生IO事件
   events是一个列表[(fileno, evnet), (), ()....]
   每个就绪IO对应一个元组描述符就绪事件
           IO地图{s.fileno():s}
   4.处理IO事件
 
poll方法实现IO多路复用:
from socket import *
from select import * s = socket()
s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)
s.bind(('0.0.0.0',8888))
s.listen(5) #创建poll对象
p = poll() #创建地图
fdmap = {s.fileno():s} #添加关注
p.register(s,POLLIN | POLLERR) while True:
#进行IO监控
#[(fileno,evnet),...]
events = p.poll()
for fd,event in events:
if fd == s.fileno():
#从地图中找到fd对应的对象
c,addr = fdmap[fd].accept()
print("Connect from",addr)
#注册新的IO 维护地图
p.register(c,POLLIN)
fdmap[c.fileno()] = c
else:
data = fdmap[fd].recv(1024)
if not data:
p.unregister(fd) #从关注移除
fdmap[fd].close()
del fdmap[fd] #从地图删除
else:
print(data.decode())
fdmap[fd].send('收到了'.encode())
 
 
select IO多路复用服务器端:
 
from socket import *
from select import select
# 创建套接字
s = socket()
# 设置端口重用
s.setsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
# 绑定地址
s.bind(('0.0.0.0', 8888))
# 设置队列
s.listen(5)
# 注册监听套接字
rlist = [s]
wlist = []
xlist = [s] while True:
print("等待IO发生")
rs, ws, xs = select(rlist, wlist, xlist)
# 循环遍历rs准备就绪列表
for r in rs:
# 如果有新的客户端链接请求
if r is s:
# 链接客户端并返回客户端套接字
connfd, addr = r.accept() # r==s 原套接字
print("Connect from", addr)
# 将绑定客户端套接字加入监听列表
rlist.append(connfd)
# 表示客户端连接套接字准备就绪
else:
# 如果是客户端套接字发送数据 则接收
data = r.recv(1024)
if not data: # 如果客户端断开链接
# 从关注列表移除connfd
rlist.remove(r)
r.close() # 关闭套接字
else:
print("Receive:", data.decode())
# 讲客户端套接字放入wlist
wlist.append(r)
# wlist列表会直接返回
# 循环遍历ws准备就绪列表
for w in ws:
# 消息回复
w.send("这是一条回复消息".encode())
# 删除并取消监听已处理消息
wlist.remove(w)
# xs列表:待处理异常
for x in xs:
if x is s:
s.close()

 
 
 
 
sys.stdin
 
 
 
 
 
客户端:
 

from socket import *

#  创建套接字
sockfd = socket() #  发起连接
sockfd.connect(('127.0.0.1', 8888)) while True:
#  消息收发
msg = input("Msg>>")
if not msg:
break
sockfd.sendall(msg.encode())
data = sockfd.recv(1024)
print(data.decode()) sockfd.close()
应用 :
select服务端,同时关注客户端连接
客户端发送和终端输入。将客户端发送和终端输入的内容全都写入到一个文件中
 

# myserver.py
# 应用 :
# select服务端,同时关注客户端连接
# 客户端发送和终端输入。将客户端发送和终端输入的内容全都写入到一个文件中 from socket import *
from select import *
from sys import stdin sock = socket()
sock.getsockopt(SOL_SOCKET, SO_REUSEADDR, 1)
sock.bind(("127.0.0.1", 6666))
sock.listen(5)
rlist = [sock, stdin]
wlist = []
xlist = []
file = open("selectdemo.txt", "w+b")
while True:
rs, ws, xs, = select(rlist, wlist, xlist)
for r in rs:
if r == sock:
connfd, addr = r.accept()
print("已连接......")
rlist.append(connfd)
elif r == stdin:
data = stdin.readline()
file.write(data.encode())
file.flush()
else:
data = r.recv(4096)
if not data:
rlist.remove(r)
r.close()
else:
file.write(data + "\n".encode())
file.flush()
print("已经接收内容并写如select>>>.txt文件内\n 内容:", data.decode())
r.send("接收成功!".encode())
file.close()

from socket import *

#  创建套接字
sockfd = socket() #  发起连接
sockfd.connect(('127.0.0.1', 6666)) while True:
#  消息收发
msg = input("Msg>>")
if not msg:
break
sockfd.sendall(msg.encode())
data = sockfd.recv(1024)
print(data.decode()) sockfd.close()
 
 
 

Python网络编程(http协议,IO多路复用、select内核监听)的更多相关文章

  1. 网络编程socket 结合IO多路复用select; epool机制分别实现单线程并发TCP服务器

    select版-TCP服务器 1. select 原理 在多路复用的模型中,比较常用的有select模型和epoll模型.这两个都是系统接口,由操作系统提供.当然,Python的select模块进行了 ...

  2. python 网络编程 -- Tcp协议

    Socket是网络编程的一个抽象概念.通常我们用一个Socket表示“打开了一个网络链接”,而打开一个Socket需要知道目标计算机的IP地址和端口号,再指定协议类型即可. 客户端 大多数连接都是可靠 ...

  3. python网络编程-TCP协议中的三次握手和四次挥手(图解)

    建立TCP需要三次握手才能建立,而断开连接则需要四次握手.整个过程如下图所示: 先来看看如何建立连接的. 首先Client端发送连接请求报文,Server段接受连接后回复ACK报文,并为这次连接分配资 ...

  4. Python网络编程:IO多路复用

    io多路复用:可以监听多个文件描述符(socket对象)(文件句柄),一旦文件句柄出现变化,即可感知. sk1 = socket.socket() sk1.bind(('127.0.0.1',8001 ...

  5. python网络编程——SocketServer/Twisted/paramiko模块

    在之前博客C/S架构的网络编程中,IO多路复用是将多个IO操作复用到1个服务端进程中进行处理,即无论有多少个客户端进行连接请求,服务端始终只有1个进程对客户端进行响应,这样的好处是节省了系统开销(se ...

  6. 第五十五节,IO多路复用select模块加socket模块,伪多线并发

    IO多路复用select模块加socket模块,伪多线并发,并不是真正的多线程并发,实际通过循环等待还是一个一个处理的 IO多路复用,lo就是文件或数据的输入输出,IO多路复用就是可以多用户操作 IO ...

  7. python网络编程——IO多路复用之select

    1 IO多路复用的概念 原生socket客户端在与服务端建立连接时,即服务端调用accept方法时是阻塞的,同时服务端和客户端在收发数据(调用recv.send.sendall)时也是阻塞的.原生so ...

  8. python 网络编程 IO多路复用之epoll

    python网络编程——IO多路复用之epoll 1.内核EPOLL模型讲解     此部分参考http://blog.csdn.net/mango_song/article/details/4264 ...

  9. Python实战之IO多路复用select的详细简单练习

    IO多路复用 I/O多路复用指:通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应的读写操作. select   它通过一个select()系统调用来 ...

随机推荐

  1. querystring处理参数小利器

    相信上一章的讲解,相信大家对url地址有一个更直观的认识,在url解析的时候可以用querystring这样一个module替换,然后对这个query集成一个对象,这里不管是前端开发还是后端开发,都常 ...

  2. 【转】Android开发学习总结(一)——搭建最新版本的Android开发环境

    最近由于工作中要负责开发一款Android的App,之前都是做JavaWeb的开发,Android开发虽然有所了解,但是一直没有搭建开发环境去学习,Android的更新速度比较快了,Android1. ...

  3. 整个trick

    数据输入方面:1.image pyramid 图像金字塔.目前代码里是先选取一个scale,然后在每个GPU上按照scale读图片,相应的gt也更改."scales":[440, ...

  4. svn: 处于冲突状态

    svn: 提交失败(细节如下):svn: 提交终止: “/home/usa/svn/aispeech/air201102/branches/opt-vite/wvite” 处于冲突状态 删除文件夹wv ...

  5. OpenACC例子

    timeinfo1.c代码 #include<stdio.h> #define N 100 int main() { int A[N]; #pragma acc kernels { ; i ...

  6. redis事务中的WATCH命令和基于CAS的乐观锁

    转自:http://blog.sina.com.cn/s/blog_ae8441630101cgy3.html 在Redis的事务中,WATCH命令可用于提供CAS(check-and-set)功能. ...

  7. springBoot支持PageHelp插件使用学习笔记

    首先在springboot项目的maven中加入依赖(版本可能需要自己选择合适的) <dependency> <groupId>com.github.pagehelper< ...

  8. Linux文件服务器实战(虚拟用户)

    vsftpd基于系统用户访问ftp服务器,系统用户越多越不利于管理,不利于系统安全,这样就以vsftp虚拟防护的方式来解决. 虚拟用户没有实际的真实系统用户,,而是通过映射到其中一个真实用户以及设置相 ...

  9. django+xadmin在线教育平台(十一)

    6-1 首页和登录页面的配置 用户访问我们的根目录,我们需要把html文件返回给用户.因此我们第一步把html文件放入template目录.   mark 在html中找到首页的html.拷贝到我们的 ...

  10. css样式 body的font-size 为什么用625%

    浏览器的默认高度?一般为16px. 为什么用62.5%作为body的默认样式?16px62.5%=10px.* 那么为什么一般多是 16px  *625% = 100px; <响应式Web设计实 ...