前言

那么这里博主先安利一些干货满满的专栏了!

首先是博主的高质量博客的汇总,这个专栏里面的博客,都是博主最最用心写的一部分,干货满满,希望对大家有帮助。

高质量干货博客汇总https://blog.csdn.net/yu_cblog/category_12379430.html?spm=1001.2014.3001.5482


1 什么是IO,IO的本质是什么?

要搞清楚这个问题,我们首先要了解5种最重要的IO模型!

  • 阻塞IO

  • 非阻塞IO

  • 信号驱动IO

  • 多路转接

  • 异步IO

1.1 五种IO模型和一些基本概念

1.1.1 阻塞IO

在内核将数据准备好之前,系统调用会一直等待.所有的套接字,默认都是阻塞方式。

简单来说,我要向一个文件描述符做读取这个操作,这个文件描述符里面没有数据,我就一直阻塞等待!

1.1.2 非阻塞IO

如果内核还未将数据准备好,系统调用仍然会直接返回,并且返回EWOULDBLOCK错误码。

简单来说,我向一个文件描述符做读取,如果有数据,则成功读取返回,如果没有数据,也返回,但带上EWOULDBLOCK错误码。

使用这种方式的话,我们做读取,就必须每隔一段时间去看看,这个文件描述符到底来数据没有,这个其实就是我们常说的非阻塞轮询检测方案!

轮询一般比较吃CPU资源,因此纯非阻塞IO一般只在特定的场景下使用。

1.1.3 信号驱动IO

内核将数据准备好的时候,使用SIGIO信号通知应用程序进行IO操作。

1.1.4 多路转接

多路转接I/O(Multiplexing I/O)是一种用于管理多个I/O操作的技术。它允许单个线程或进程同时监视和处理多个I/O事件,而无需为每个I/O操作创建单独的线程或进程。

而多路转接I/O利用了操作系统提供的一些机制,如select、poll、epoll(Linux)或kqueue(FreeBSD、Mac OS X),来同时监视多个I/O事件的状态。

这些机制允许程序将多个I/O事件(如套接字的读写事件)注册到一个事件集合中。然后,程序可以通过调用特定的系统调用,如select或epoll_wait,来阻塞等待其中任何一个I/O事件就绪。

一旦有就绪的I/O事件发生,程序就可以通过事件集合得知是哪些I/O操作已经就绪,并对它们进行处理。这种方式避免了阻塞等待单个I/O操作完成的情况,提高了并发处理能力和效率。

多路转接I/O适用于需要同时处理多个I/O事件的情况,特别适用于网络服务器、消息队列、实时流处理等场景。通过使用多路转接I/O,可以减少线程或进程的创建和切换开销,提高系统的性能和资源利用率。

其实通俗来说,就是一个进程,我可以同时监听多个文件描述符,哪一个文件描述符的特定事件就绪了,就提醒上层。

1.1.5 异步IO

异步I/O的关键概念是回调(Callback)和事件循环(Event Loop)。在异步I/O模型中,当程序发起一个I/O操作时,它会注册一个回调函数,并将控制权返回给调用者。当I/O操作完成时,系统会通知程序,并在适当的时机调用事先注册的回调函数。程序可以在回调函数中处理已完成的I/O操作的结果。

异步I/O的优势在于可以在等待I/O操作完成的同时继续执行其他任务,提高了并发处理能力和系统的响应性能。由于无需为每个I/O操作创建额外的线程或进程,异步I/O模型对系统资源的消耗也较低。

比如说Reactor就是一种异步IO的应用,关于Reactor的内容,博主会在后面的内容中进行讲解。

1.1.6 同步通信 vs 异步通信

同步和异步关注的是消息通信机制

所谓同步,就是在发出一个调用时,在没有得到结果之前,该调用就不返回。但是一旦调用返回,就得到返回值了;换句话说,就是由调用者主动等待这个调用的结果。

异步则是相反,调用在发出之后,这个调用就直接返回了,所以没有返回结果。换句话说,当一个异步过程调用发出后,调用者不会立刻得到结果,而是在调用发出后,被调用者通过状态、通知来通知调用者,或通过回调函数处理这个调用。

这个和多线程的同步互斥,不是同一个概念,不要大家不要搞混了。

1.1.7 阻塞队列

阻塞队列其实就是一种同步阻塞IO的应用方式。

多线程|基于阻塞队列和环形队列的生产者消费者模型架构https://blog.csdn.net/Yu_Cblog/article/details/130422047?spm=1001.2014.3001.5502

当然,和这个类似还有环形队列,当然其实本质都一样,因为他们都会阻塞!!

1.2 什么是低效的IO?什么是高效的IO?

我们通过上面的描述,已经可以总结出一个非常非常非常重要的结论:

IO = 等 + 拷贝数据(把数据从文件描述符里拷贝出来或拷贝到文件描述符里去)

这个结论非常的重要!

那么通过这个结论,我们如何提高IO的效率呢?或者说,什么是高效的IO?什么低效呢?

答案:让等的比重降低!!!!!

如何让等的比重降低?最有效的方法其实就是多路转接了。

2 多路转接

其中,值得我们学习的,就是多路转接的select,poll和epoll。

关于这三种多路转接的方式,博主已经做成Github的项目了,大家可以转接上去下载代码和查看相关的原理和区别。

Multiplexing-high-performance-IO-serverhttps://github.com/Yufccode/Multiplexing-high-performance-IO-server

利用多路转接,我们就可以大大提高IO的效率了。

3 为什么需要这些IO模型?

但是上面提到的IO模型,怎么把他们用起来呢?我们为什么要追求极致的效率?为什么我们需要我们的IO很快?

这里会有同学问,我平时在自己电脑上做管道的测试,做文件描述符之间的信息传输,都很快啊,都瞬间传输完成啊,也没有怎么“等”啊,为什么要搞上面这些复杂的IO模型?

其实,本地上,我们肯定看不到IO模型的优势,但是在网络场景下,高效的IO模型就非常重要了!

网络是会丢包的!是会延时的!是会出错的!不然为什么会有TCP这些协议呢?

针对于上面这些IO模型,其实就会衍生出两种主要的网络服务模型,Apache和Nginx。具体内容可以看博主的下一篇博客!

什么是IO?IO的本质?|如何让IO变得高效?何为高效?|异步IO|多路转接|reactor模式的更多相关文章

  1. 同步异步阻塞非阻塞Reactor模式和Proactor模式 (目前JAVA的NIO就属于同步非阻塞IO)

    在高性能的I/O设计中,有两个比较著名的模式Reactor和Proactor模式,其中Reactor模式用于同步I/O,而Proactor运用于异步I/O操作. 在比较这两个模式之前,我们首先的搞明白 ...

  2. 【转载】高性能IO设计 & Java NIO & 同步/异步 阻塞/非阻塞 Reactor/Proactor

    开始准备看Java NIO的,这篇文章:http://xly1981.iteye.com/blog/1735862 里面提到了这篇文章 http://xmuzyq.iteye.com/blog/783 ...

  3. python 自动化之路 day 10 协程、异步IO、队列、缓存

    本节内容 Gevent协程 Select\Poll\Epoll异步IO与事件驱动 RabbitMQ队列 Redis\Memcached缓存 Paramiko SSH Twsited网络框架 引子 到目 ...

  4. Python全栈开发-Day10-进程/协程/异步IO/IO多路复用

    本节内容 多进程multiprocessing 进程间的通讯 协程 论事件驱动与异步IO Select\Poll\Epoll——IO多路复用   1.多进程multiprocessing Python ...

  5. python之爬虫_并发(串行、多线程、多进程、异步IO)

    并发 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢 import requests def fetch_async(url): res ...

  6. [译]Python中的异步IO:一个完整的演练

    原文:Async IO in Python: A Complete Walkthrough 原文作者: Brad Solomon 原文发布时间:2019年1月16日 翻译:Tacey Wong 翻译时 ...

  7. 【Python之路】异步IO

    线程:CPU基本执行单元,可以与同属一个进程的其他线程共享资源,线程是属于进程的. 进程:资源单元,进程一般由程序.数据集.进程控制块三部分组成.一个进程默认有一个主线程, GIL:用于在进程中对所有 ...

  8. SQLite剖析之异步IO模式、共享缓存模式和解锁通知

    1.异步I/O模式    通常,当SQLite写一个数据库文件时,会等待,直到写操作完成,然后控制返回到调用程序.相比于CPU操作,写文件系统是非常耗时的,这是一个性能瓶颈.异步I/O后端是SQLit ...

  9. 并发式IO的解决方案:多路非阻塞式IO、多路复用、异步IO

    在Linux应用编程中的并发式IO的三种解决方案是: (1) 多路非阻塞式IO (2) 多路复用 (3) 异步IO 以下代码将以操作鼠标和键盘为实例来演示. 1. 多路非阻塞式IO 多路非阻塞式IO访 ...

  10. node源码详解(七) —— 文件异步io、线程池【互斥锁、条件变量、管道、事件对象】

    本作品采用知识共享署名 4.0 国际许可协议进行许可.转载保留声明头部与原文链接https://luzeshu.com/blog/nodesource7 本博客同步在https://cnodejs.o ...

随机推荐

  1. AtCoder Beginner Contest 203 (A~D,玄学二分场)

    补题链接:Here A - Chinchirorin 给出 \(a,b,c\) 三个正整数,现请打印各种情况的答案: \(a=b=c\) ,输出一个即可 \(a = b\ and\ a != c\) ...

  2. 【驱动】串口驱动分析(三)-serial driver

    简介 前两节我们介绍串口驱动的框架和tty core部分.这节我们介绍和硬件紧密相关的串口驱动部分. UART驱动部分依赖于硬件平台,而TTY驱动和具体的平台无关.虽然UART部分依赖于平台,但是不管 ...

  3. 从输入URL后浏览器的渲染逻辑

    从输入URL到浏览器渲染页面需要经过很多过程,本文简单说明下各个环节的内容 主要渲染节点如下: 一.浏览器进程说明 出于安全考虑,打开一个浏览器的Tab页签,会生成1个浏览器主进程.1个网络进程.1个 ...

  4. SIP没有摘机消息可以通话吗

    概述 SIP流程中,A路没有收到摘机的200 OK响应消息可以通话吗? 客户反馈的问题千奇百怪,公共互联网的问题同样百转千回,让你欲罢不能,头秃方休. 客户报故障,问题描述是这样的,我用号码A打给号码 ...

  5. channel 是怎么走上死锁这条路的

    本篇文章接着 hello world 的并发实现一文介绍 Go 的 channel 类型,同时进一步介绍 channel 的几种死锁情况,这些都是代码中很容易遇到的,要重点摘出来讲,防止一不留神程序就 ...

  6. Angular系列教程之zone.js和NgZone

    .markdown-body { line-height: 1.75; font-weight: 400; font-size: 16px; overflow-x: hidden; color: rg ...

  7. 【TouchGFX】代码结构

    生成代码与用户代码 代码结构图示如下 据上图显示代码结构分为三层 引擎 这是TouchGFX提供的标准类,作为生成类的基类 生成 这是touchgfx designer生成的类,作为用户类的基类,这部 ...

  8. phpcms - 在删除文章后实现自动删除tag标签

    在使用phpcms程序制作网站的时候,我们会发现文章模型新建一篇文章后会自动向数据库中插入关键词,但如果删除文章后,数据库中的关键词表中字段中还存在之前文章的关键词,那么怎样才能在phpcms后台中删 ...

  9. 【特别的骚气】asp.net core运行时注入服务,实现类库热插拔

    引言 很久之前在群里有看到说asp.net core能不能在运行时注入程序,当时并没有太在意,刚才在某个群里又看到有人再问,core能不能在运行时注入服务,闲来无事,我就研究了一下,其实也比较简单,在 ...

  10. [转帖]如何不耍流氓的做运维之-SHELL脚本

    https://www.cnblogs.com/luoahong/articles/8504691.html 前言 大家都是文明人,尤其是做运维的,那叫一个斯文啊.怎么能耍流氓呢?赶紧看看,编写SHE ...