本文为原创,转载请注明:http://www.cnblogs.com/gistao/

Background

IO可能是我们接触最频繁的系统调用,比如printf到终端,send content到对端,而今天要讨论的仅是Linux平台下访问本机存储设备相关的IO。如果你对IO相关api的优缺点门清,可以忽略这个随笔啦。

read

read的过程大致如下:

  1. 用户malloc出一块内存,然后陷入内核。
  2. 内核从磁盘读取内容拷贝到cache。
  3. 内核将内容拷贝到用户内存。

缺点比较明显,需要两次拷贝,拷贝是非常耗cpu的。

O_DIRECT

open函数的参数里有这样一个flag,意思是说不需要内核做cache了,内核直接把数据memcpy给用户就好了,这样的优点是可以减少memcpy。但缺点也很明显,没有cache了。

pread

多线程代码并发的访问同一文件是常见的,示例代码如下:

pthread_mutex_lock (mutex);

lseek (SEEK_SET+1024);
read (buf); pthread_mutex_unlock (mutex);

这里锁的意义是防治文件指针被其他线程seek走,导致本次read错乱,如何避免掉这个锁呢,就是pread,此函数和read的功能一样,但增加了一个要读取的offset参数,这样就不需要我们显示的加锁了,也许你会联想到strtok和strtok_r。代码改动如下:

pread (fd, buf, offset);

readahead

有时又会遇到下边代码的场景

while (n < max) {
read (buf[i]);
on_handle (buf[i]);
}

read函数是阻塞的,所以执行时间就等于max*time,即串行执行。可不可以非阻塞,就是readahead,此函数意思是在read之前,非阻塞的通知内核一下我要读的内容,内核会并发的预读这些内容进cache,当后续进行read时会大大的减少时间,代码修改成这样:

while (n < max) {
readahead (offset);
} while (n < max) {
read (buf[i]);
on_handle (buf[i]);
}

mmap

mmap的详细原理不在这里讨论,见图

简单来说,是将内核空间映射到了用户空间,这样相比read函数来说减少了一次memcpy

而mmap比O_DIRECT也有个好处是它确实利用了cache,可是对于普通的read来说,它利用的又不够充分,因为并不是每次访问都需要内核参与。不过有个补足办法就是用readahead,它可以传递你的意图(利用cache)给内核,从而避免了缺点。示例代码如下:

readahead (fd , offset);
ptr = mmap (fd);
a = ptr[offset];

aio

从以上可以看出来,IO模式是从阻塞提升到了非阻塞,性能优化围绕着cache和memcpy,那有没有一种非阻塞的,有cache的,最少memcpy的,这些都符合的技术,那应该就是aio了吧,但Linux的aio到现在也没有一个很好的实现,也许过于复杂吧,反过来看下Window平台,这都真不是事。下图是aio模型:

Final

有了mmap+ahead,aio真的还那么重要吗?真的很重要,没有真正的异步,就没有真正的并行编程,不能实现真正的async和await语法糖,比如一个异步方法要求10ms必须返回,而系统调用就得50ms完成,怎么可能是真正的async。但是如果不吹毛求疵,或追求极致的话,目前确实够用了,通过以上总结,希望能在IO编程时给你些选择素材。

Linux IO漫谈的更多相关文章

  1. 【知乎网】Linux IO 多路复用 是什么意思?

    提问一: Linux IO多路复用有 epoll, poll, select,知道epoll性能比其他几者要好.也在网上查了一下这几者的区别,表示没有弄明白. IO多路复用是什么意思,在实际的应用中是 ...

  2. Linux IO模型和网络编程模型

    术语概念描述: IO有内存IO.网络IO和磁盘IO三种,通常我们说的IO指的是后两者. 阻塞和非阻塞,是函数/方法的实现方式,即在数据就绪之前是立刻返回还是等待. 以文件IO为例,一个IO读过程是文件 ...

  3. block_dump观察Linux IO写入的具体文件(mysqld)

      一.使用方法: 二.基本原理: 三.总结 很多情况下开发者调测程序需要在Linux下获取具体的IO的状况,目前常用的IO观察工具用vmstat和iostat,具体功能上说当然是iostat更胜一筹 ...

  4. linux io优化

    场景:xml文件解析入库:并备份 问题:磁盘io异常,经常100%busy: linux io优化方法: 1.修改磁盘挂着参数,修改为writeback模式:对于文件读取频繁的可以设置noatime: ...

  5. Linux IO 调度器

    Linux IO Scheduler(Linux IO 调度器) 每个块设备或者块设备的分区,都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交 ...

  6. Linux IO工具 iotop备择方案iopp

    iotop毫无疑问linux IO检测上是一个很好的工具,但苦于要求和内核版本Python版本号.我的很多朋友放弃了.我也是.无意中发现iopp,使用c书面,与此iotop它是一个作用.nice! 一 ...

  7. 【转】linux IO子系统和文件系统读写流程

    原文地址:linux IO子系统和文件系统读写流程 我们含有分析的,是基于2.6.32及其后的内核. 我们在linux上总是要保存数据,数据要么保存在文件系统里(如ext3),要么就保存在裸设备里.我 ...

  8. Linux IO时事检测工具iostat

    Linux IO时事检测工具iostat iostat命令用于检测linux系统io设备的负载情况,运行iostat将显示自上次运行该命令以后的统计信息.用户可以通过指定统计的次数和时间来获得所需的统 ...

  9. Linux IO Scheduler(Linux IO 调度器)【转】

    每个块设备或者块设备的分区,都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交的request.I/O调度器的基本目的是将请求按照它们对应在块设 ...

随机推荐

  1. C# 通过反射类动态调用DLL方法

    网上看了很多关于反射的思路和方法,发现这个还算不错 //使用反射方: using System; using System.Collections.Generic; using System.Linq ...

  2. Newtonsoft.Json 序列化和反序列化 时间格式

    From : http://www.cnblogs.com/litian/p/3870975.html 1.JSON序列化 string JsonStr= JsonConvert.SerializeO ...

  3. DataSet集合直接根据传入的类转List<T>集合

    最近比较忙,好久没写博客了.个人感觉最好的进步就是写东西.哈哈. 一般我们使用ADO.net从数据库中读取数据返回的集合是DataSet类型的.有时候我们需要进行转换成List<T>集合. ...

  4. word表格自动编号,前面加章节号

    1.需求 最近要用Word写一些有很多公式的文档,一个小节就有十几个公式,一章有几十个公式.我希望能公式能自动编号.例如我在公式(3.3)前面增加了一个公式并编号后,后面的编号以及引用编号的地方会自动 ...

  5. Liunx下安装jdk

    Liunx下安装jdk 1.首先进入ROOT权限  命令 sudo su  输入密码进入 root 权限 2.看下当前liunx 是否存在jdk 环境 ,输入命令 javac,如果存在则会显示对应jd ...

  6. wordpress 打开卡在1.gravatar.com

    grevatar.com打不开,涉及到加载头像的地方都会变慢. 可以使用https的头像链接代替http链接 官方Gravatar头像调用ssl头像链接 进入wordpress后台->外观-&g ...

  7. Three.js学习(相机,场景,渲染,形状)

    相机分为透视相机和正交相机(还有第三人称相机不介绍). var camera = new THREE.PerspectiveCamera(75, window.innerWidth / window. ...

  8. 关于粒子发射(CAEmitterLayer)

    技术是条长而远的路,只有不断学习丰富自己的技能才能让自己行走在路上! CAEmitterCell CAEmitterCell: CAEmitterCell是粒子发射系统里的粒子,用CAEmitterC ...

  9. LR一个简单的流程

    1.录制脚本 2.回放脚本 :回放前的运行时设置:run_time_seting   F4 关联设置(动态值) 日志分析 3.脚本的增强: 添加事物(计时) 参数化(模拟真实的用户行为) 内容检查.回 ...

  10. 鼠标滚动div固定浮动-加锚点

    页面:    <div class="pa">        <div class="w-95-sl bdl-2"><a>标 ...