互联网公司不关注真实的文件系统,他们关注VFS层,关注block层,关注IO的管控。

queue->make_request_fn ( blk_queue_bio ),其中blk_queue_bio是把bio插入到request queue中的核心函数

request_queue 和 request

blk_queue_bio 函数是进行IO的调度合并

主要做了三件事情:

1)进行请求的后向合并;2)进行请求的前向合并;3)如果无法合并请求,那么为bio创建一个request,然后进行调度。

在bio合并过程中,最为关键的函数是elv_merge。该函数主要工作是判断bio是否可以后向合并或者前向合并。对于所有的调度器,后向合并的逻辑都是相同的。在系统中维护了request hash表

当IO利用generic_make_request来到块设备层之后,对其进行处理的重要函数blk_queue_bio的主要任务是合并IO。由于不同的调度器有不同的合并方法,IO分类方法,所以,具有调度器的算法采用钩子方式实现。

IO 调度器能干的事情非常简单,但是

1)疑问:requeue_queue中总共有几个队列?同步写、同步读、预读(异步读)、异步写这四种?

2)存储和计算:存储器的处理能力是有限的,那么尤其是进入了BLOCK层之后,到底有没有那么多的BIO下发下来?!

request_list 结构体

  55 struct request_list {
56 struct request_queue *q; /* the queue this rl belongs to */
57 #ifdef CONFIG_BLK_CGROUP
58 struct blkcg_gq *blkg; /* blkg this request pool belongs to */
59 #endif
60 /*
61 * count[], starved[], and wait[] are indexed by
62 * BLK_RW_SYNC/BLK_RW_ASYNC
63 */
64 int count[2]; 记录着同步的IO和异步的IO BLK_RW_SYNC/BLK_RW_ASYNC
65 int starved[2];   
66 mempool_t *rq_pool;
67 wait_queue_head_t wait[2];
68 unsigned int flags;
69 };

__get_request 函数中会有对是否是SYNC的判断

bio 和 request 都是有都是是否可以merge的判断

elv_rqhash_find 在request_queue 中找

blk_rq_merge_ok 判断IO是否能够合并。好像是没有对SYNC做判断呢!

在block层的同步IO和异步的IO是如何管理的呢?

目前的结论是,IO调度器只会管理着读和写,但是并不会管理sync/async这个操作

bdi_writeback_congested

在函数blk_rq_merge_ok中,有两个判断条件是否是冲突的:

if (req_op(rq) != bio_op(bio)) return false;

if (bio_data_dir(bio) != rq_data_dir(rq)) return false;

这两个地方不都是判断读和写的吗?

bio_data_dir:

enum req_op {

  REQ_OP_READ,

  REQ_OP_WRITE,

  REQ_OP_DISCARD,

  REQ_OP_SECURE_ERASE,

  REQ_OP_WRITE_SAME,

  REQ_OP_FLUSH

}

request_list 中 有一个最重要的结构,里面记录着设备上有多少个同步IO、异步IO、分配一个request时也是从这个地方分配

一个后备存储的IO都放在哪里了?

blk_queue_bio --> add_acct_request --> __elv_add_request

request下发到block层之后,会在电梯的各种链表、树中管理,但是这个表中还是没有区分同步和异步。

比如我一个SYNC的BIO下来了,那么也是简单地放到链里吗?这种IO是不是优先级应该更高一些?因为文件系统层面还在那等着呢!

IO调度的更多相关文章

  1. 编写简单的ramdisk(选择IO调度器)

    前言 目前linux中包含anticipatory.cfq.deadline和noop这4个I/O调度器.2.6.18之前的linux默认使用anticipatory,而之后的默认使用cfq.我们在前 ...

  2. IO调度器

    由于对blktrace的好奇,来到了block层.通过阅读block层的代码,自己的几个错误认知被纠正,比如 一) 同步操作时,进程是在驱动中睡觉真实情况是:进程在文件系统睡觉 二) 对同一个数据块的 ...

  3. Linux IO Scheduler(Linux IO 调度器)

    每个块设备或者块设备的分区,都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交的request.I/O调度器的基本目的是将请求按照它们对应在块设 ...

  4. linux IO调度

    I/O 调度算法再各个进程竞争磁盘I/O的时候担当了裁判的角色.他要求请求的次序和时机做最优化的处理,以求得尽可能最好的整体I/O性能.在linux下面列出4种调度算法CFQ (Completely ...

  5. Linux IO调度器相关算法介绍(转)

    IO调度器(IO Scheduler)是操作系统用来决定块设备上IO操作提交顺序的方法.存在的目的有两个,一是提高IO吞吐量,二是降低IO响应时间.然而IO吞吐量和IO响应时间往往是矛盾的,为了尽量平 ...

  6. Linux的IO调度

    Linux的IO调度 IO调度发生在Linux内核的IO调度层.这个层次是针对Linux的整体IO层次体系来说的.从read()或者write()系统调用的角度来说,Linux整体IO体系可以分为七层 ...

  7. IO队列和IO调度

    IO体系概览 先看看本文主题IO调度和IO队列处于整个IO体系的哪个位置,这个IO体系是非常重要的,了解IO体系我们可以对整个IO过程有个全面的认识.虽然一下两下并不清楚IO体系各个部分的细节,但是我 ...

  8. Linux IO 调度器

    Linux IO Scheduler(Linux IO 调度器) 每个块设备或者块设备的分区,都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交 ...

  9. IO调度器原理介绍

    IO调度器(IO Scheduler)是操作系统用来决定块设备上IO操作提交顺序的方法.存在的目的有两个,一是提高IO吞吐量,二是降低IO响应时间.然而IO吞吐量和IO响应时间往往是矛盾的,为了尽量平 ...

  10. Linux IO Scheduler(Linux IO 调度器)【转】

    每个块设备或者块设备的分区,都对应有自身的请求队列(request_queue),而每个请求队列都可以选择一个I/O调度器来协调所递交的request.I/O调度器的基本目的是将请求按照它们对应在块设 ...

随机推荐

  1. node读写文件

    结束了一天的工作和学习,今天对于自己最大的收获就是node读写文件和对callback函数有了更深一步的理解.总结一下node读写的文件的注意事项吧(注意:下面讲的是增加数据的方法): 1.我们可以封 ...

  2. chromium之ThreadLocalStorage

    看看头文件怎么用 // Wrapper for thread local storage. This class doesn't do much except provide // an API fo ...

  3. 通过xshell在linux上安装solr4.10.3

    通过xshell在linux上安装solr4.10.3 0)下载linux下的安装包 1)通过xftp6上传到linux上 3)在xshell下依次执行 解压命令:tar xvfz solr.tgz( ...

  4. Win7下如何安装python pygame的whl包

    看了小甲鱼的python教程,对那个python版本的打飞机游戏很感兴趣,尝试运行,居然报错了,提示缺少pygame包: 仔细一看需要安装一个pygame的包,默认安装好python是不包括这个包的, ...

  5. Scrapy进阶

    当我们使用scrapy框架爬取网站的时候,我们会有一个入口的url,一个名为start_urls,我们爬取的第一个网页是从这一开始的. 需求: 现在我们有一个这样的需求,比如说我们对起始的URL有一个 ...

  6. java图片识别 [Tesseract-OCR]

    以下链接包含,安装包及程序运行需要的jar 包,中文资源包. 中文包使用方式:找到tessdata安装目录(我本地:C:\Program Files (x86)\Tesseract-OCR\tessd ...

  7. java 第六章 面向对象基础

    1.面向对象编程思想 面向过程编程 传统的C语言属于面向过程编程.面向过程解决问题的思路:通常是分析出解决问题所需要的步骤,然后用方法把这些步骤一步一步实现,最后一个一个依次调用方法来解决. 面向过程 ...

  8. kafka重置offset

    kafka重置offset   1.删除zookeeper上节点信息 打开client :./zkCli.sh -server 127.0.0.1:12181 删除consumer:rmr /cons ...

  9. 当app出现线上奔溃,该如何办?

    1.如何追踪app崩溃率,如何解决线上闪退 当iOS设备上的App应用闪退时,操作系统会生成一个crash日志,保存在设备上.crash日志上有很多有用的信息,比如每个正在执行线程的完整堆栈跟踪信息和 ...

  10. fsync体会

    看这个链接:http://www.postgresql.org/docs/9.1/static/runtime-config-wal.html 是这样说的: fsync (boolean) If th ...