Linux2.6内核--对块IO层操作的讨论

当一个块被调入内存时(也就是说,在读入后或等待写出时),它要存储在缓冲区中.每个缓冲区与一个块对应,它相当于是磁盘块在内存中的表示.块包含一个或多个扇区,但大小不能超过一页,所以一页可以容纳一个或多个内存块.由于内核在处理数据时需要一些相关的控制信息(比如块属于哪个设备,块对应于哪个缓冲区),所以,每一个缓冲区都有一个对应的描述符.该描述符用 buffer_head 结构体表示,称作缓冲区头,在文件 <linux/buffer_head.h> 中定义,它包含了内核操作缓冲区的全部…

Linux3.10.0块IO子系统流程（7）-- 请求处理完成

和提交请求相反,完成请求的过程是从低层驱动开始的.请求处理完成分为两个部分:上半部和下半部.开始时,请求处理完成总是处在中断上下文,在这里的主要任务是将已完成的请求放到某个队列中,然后引发软终端让中断“下半部”来处理,这是通常的做法.而“下半部”则依次处理队列中的每一个已完成的请求. 在讲派发SCSI命令的时候,提到了scsi_done,低层驱动在初始化硬件时,注册过一个中断回调函数.在硬件中断被引发时,中断回调函数将被调用,如果是对SCSI命令的相应,则将找到对应的scsi_cmnd描述符…

Linux3.10.0块IO子系统流程（0）-- 块IO子系统概述

前言:这个系列主要是记录自己学习Linux块IO子系统的过程,其中代码分析皆基于Linux3.10.0版本,如有描述错误或不妥之处,敬请指出! 参考书籍:存储技术原理分析--基于Linux 2.6内核源代码(敖青云著) 概述块设备(Block Device)是支持以固定长度的块为单位读写数据的存储设备的统称.块设备通常是支持随机访问和寻道的硬件设备,如磁盘.软盘.CDROM.内存区域等,或者是基于其他块设备之上的逻辑设备,如分区.MD(multi-disk).Device Mapper等.…

Linux2.6 内核的 Initrd 机制解析(转)

from: https://www.ibm.com/developerworks/cn/linux/l-k26initrd/ 简介: Linux 的 initrd 技术是一个非常普遍使用的机制,linux2.6 内核的 initrd 的文件格式由原来的文件系统镜像文件转变成了 cpio 格式,变化不仅反映在文件格式上, linux 内核对这两种格式的 initrd 的处理有着截然的不同.本文首先介绍了什么是 initrd 技术,然后分别介绍了 Linux2.4 内核和 2.6 内核的 initr…

Windows内核原理-同步IO与异步IO

目录 Windows内核原理-同步IO与异步IO 背景目的 I/O 同步I/O 异步I/O I/O完成通知总结参考文档 Windows内核原理-同步IO与异步IO 背景在前段时间检查异常连接导致的内存泄漏排查的过程中,主要涉及到了windows异步I/O相关的知识,看了许多包括重叠I/O.完成端口.IRP.设备驱动程序等Windows下I/O相关的知识,虽然学习到了很多东西,但是仍然需要自顶而下的将所有知识进行梳理. 目的本片文章主要讲解同步I/O与异步I/O相关知识,希望通过编写本篇…

聊聊Netty那些事儿之从内核角度看IO模型

从今天开始我们来聊聊Netty的那些事儿,我们都知道Netty是一个高性能异步事件驱动的网络框架. 它的设计异常优雅简洁,扩展性高,稳定性强.拥有非常详细完整的用户文档. 同时内置了很多非常有用的模块基本上做到了开箱即用,用户只需要编写短短几行代码,就可以快速构建出一个具有高吞吐,低延时,更少的资源消耗,高性能(非必要的内存拷贝最小化)等特征的高并发网络应用程序. 本文我们来探讨下支持Netty具有高吞吐,低延时特征的基石----netty的网络IO模型. 由Netty的网络IO模型开始,我们来…

Linux2.6内核实现的是NPTL

NPTL是一个1×1的线程模型,即一个线程对于一个操作系统的调度进程,优点是非常简单.而其他一些操作系统比如Solaris则是MxN的,M对应创建的线程数,N对应操作系统可以运行的实体.(N<M),优点是线程切换快,但实现稍复杂转 Linux2.6内核实现的是NPTL线程模型,依然是用进程来模拟线程,但新引入了线程组(进程组)的概念,使得实现效率更好. 在2.4内核中,不存在线程组的概念,当运行一个多线程得程序时,使用ps命令,可以看到有许多个进程,在ps命令看来,线程基本上是等同于进程,在信…

Hadoop基础-通过IO流操作HDFS

Hadoop基础-通过IO流操作HDFS 作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.上传文件 /* @author :yinzhengjie Blog:http://www.cnblogs.com/yinzhengjie/tag/Hadoop%E7%94%9F%E6%80%81%E5%9C%88/ EMAIL:y1053419035@qq.com */ package hdfs.yinzhengjie.org.cn; import org.apache.hadoop.…

(笔记)Linux内核中内存相关的操作函数

linux内核中内存相关的操作函数 1.kmalloc()/kfree() static __always_inline void *kmalloc(size_t size, gfp_t flags) 内核空间申请指定大小的内存区域,返回内核空间虚拟地址.在函数实现中,如果申请的内存空间较大的话,会从buddy系统申请若干内存页面,如果申请的内存空间大小较小的话,会从slab系统中申请内存空间.有关buddy和slab,请参见<linux内核之内存管理.doc> gfp_t flags 的选项…

Linux2.6 内核的 Initrd 机制解析

文章来自:www.ibm.com/developerworks/cn/linux/l-k26initrd/ 1．什么是 Initrd initrd 的英文含义是 boot loader initialized RAM disk,就是由 boot loader 初始化的内存盘.在 linux内核启动前, boot loader 会将存储介质中的 initrd 文件加载到内存,内核启动时会在访问真正的根文件系统前先访问该内存中的 initrd 文件系统.在 boot loader 配置了 initr…

UI1_UIView层操作

// // ViewController.m // UI1_UIView层操作 // // Created by zhangxueming on 15/7/1. // Copyright (c) 2015年 zhangxueming. All rights reserved. // #import "ViewController.h" @interface ViewController () @end @implementation ViewController - (void)vie…

Linux2.6内核--中断线被关闭的情况

中断系统是现代操作系统中不可获取的一个子系统,它由硬件主动触发并发送到CPU,最后由内核调用中断处理程序处理中断. 那么中断有时候需要关闭,这是为什么呢? 一般分为两种情况: 1.内核或程序的某些操作需要关中断 2.中断正在执行下面,我来解释下第二种情况. 下面,首先看一张图: 可以看到,图中红色的中断线被触发,那么这时就需要关闭这条中断线上的所有中断(因为中断线是可以共享的且硬件在触发中断的同时可能会再次发出中断).这样…

Java IO流操作汇总： inputStream 和 outputStream【转】

我们在进行Android java 开发的时候,经常会遇到各种IO流操作.IO流操作一般分为两类:字符流和字节流.以“Reader”结尾都是字符流,操作的都是字符型的数据:以“Stream”结尾的都是字节流,操作的都是byte数据.现将各种常见IO流总结如下: 一.字节流 1. InputStream 和 OutputStream InputStream 和 OutputStream为各种输入输出字节流的基类,所有字节流都继承这两个基类. 2. FileInputStream 和 FileOut…

IO流----操作文件的9种方法代码实现

IO流----操作文件的9种方法代码实现: 1:使用字节流读写数据: 四种方式: method1: 每次读写一个字节,边读边写: /* * 复制文本文件. * * 数据源:从哪里来 * a.txt -- 读取数据 -- FileInputStream * * 目的地:到哪里去 * b.txt -- 写数据 -- FileOutputStream * * java.io.FileNotFoundException: a.txt (系统找不到指定的文件.) * *边读边写: */…

Java IO,io,文件操作,删除文件，删除文件夹，获取文件父级目录

Java IO,io,文件操作,删除文件,删除文件夹,获取文件父级目录这里先简单的贴下常用的方法: File.separator //当前系统文件分隔符 File.pathSeparator // File f = new File("testFile.txt"); f.createNewFile(); f.exists() f.delete(); f.mkdir(); f.list(); f.listFiles(); f.isDirectory() 删除文件以及文件夹删除单个文件…

IO文件操作

× 目录 [1]IO文件的操作 [2]Directory类 [3]File类 [4]FileStream类 [5]文本文件的操作一.IO文件的操作: .net中对文件操作,经常会用到这样几个类: FileStream (操作大文件) Path (操作路径) File (操作小文件) Directory (目录操作) 二.Directory类: 创建目录: static void Main(string[…

yii model层操作总结

yii model层操作属性和方法总结. tableName – 设置Model所对应的表名,例如: public function tableName(){return 'gshop_order_ext';} rules – 设置Model里各字段的验证规则 relations – 设置关联规则 attributeLabels – 设置各字段的别名 safeAttributes – 设置可以修改属性的字段 beforeValidate和afterValidate – 字段验证前和验证后执行的函…

IO相关操作

IO相关操作对于IO操作而言,有四个基本的操作:open .read .write .close 我们来逐个解释. 在此之前我们先解释一下什么是文件描述符文件描述符操作系统通过一个整数开代表打开的文件,我们将这个整数称为文件描述符. 文件描述符的范围 [ 0 ~ 1024 ] 不同的系统可能上限不同具体查看方法 ` ulimit -n 0:标准输入 stdin 1:标准输出 stdout 2:标准错误 stderr 系统选择文件描述符的方法,从小到大找第一个未被使用的文件描述…

python IO流操作

python IO流操作学习完本篇,你将会独立完成实现操作系统中文件及文件目录的拷贝功能. 将目标图片拷贝到指定的目录中实现一个自动阅卷程序, Right.txt保存正确答案,xx(学生姓名).txt代表学生答案.阅卷程序完成阅卷并按照成绩的高低保存到成绩.txt文件中(格式为 xx(学生姓名):xx分) 输出最简单的输出方法是用print语句,你可以给它传递零个或多个用逗号隔开的表达式.此函数把你传递的表达式转换成一个字符串表达式,并将结果写到标准输出如下: print "hello…

Java（35）IO特殊操作流&Properties集合

作者:季沐测试笔记原文地址:https://www.cnblogs.com/testero/p/15228454.html 博客主页:https://www.cnblogs.com/testero 1.IO特殊操作流 1.1标准输入流 System类中有两个静态的成员变量 public static final InputStream in:标准输入流.通常该流对应于键盘输入或由主机环境或用户指定的另一个输入源 public static final PrintStream out:标准输出流…

（Unity）XML文件读写与IO文件操作类使用介绍

using System.Xml; //xml文件操作命名空间 #region 写入操作 void WriteXMLFile(string _fileName) { XmlDocument doc = new XmlDocument(); //创建文档对象 var root = doc.CreateElement("root"); //创建 root 标签 doc.AppendChild(root); …

Linux2.6内核--VFS层中和进程相关的数据结构

系统中的每一个进程都有自己的一组打开的文件,像根文件系统,当前工作目录,安装点等.有三个数据结构将 VFS 层和系统的进程紧密的联系在一起,它们分别是: file_struct,fs_struct 和 namespace 结构体. file_struct 结构体定义在文件 <linux/fdtable.h> 中.该结构体由进程描述符中的 files 目录项指向.所有的单个进程相关的信息(如打开的文件和文件描述符)都包含在其中,其结构和描述如下: stru…

Linux3.10.0块IO子系统流程（6）-- 派发SCSI命令到低层驱动

在SCSI策略例程中最后调用scsi_dispatch_cmd将SCSI命令描述符派发给低层驱动进行处理 /** * scsi_dispatch_command - Dispatch a command to the low-level driver. * @cmd: command block we are dispatching. * * Return: nonzero return request was rejected and device's queue needs to be *…

【转载】linux2.6内核initrd机制解析

题记很久之前就分析过这部分内容,但是那个时候不够深入,姑且知道这么个东西存在,到底怎么用,来龙去脉咋回事就不知道了.前段时间工作上遇到了一个initrd的问题,没办法只能再去研究研究,还好,有点眉目,索性整理了一下. 网络上流传着很多关于ramdisk.initrd的各种版本的分析,我的这篇源于对他们的理解,非常感谢那些前辈的无私奉献,要不然我们这些晚辈学起东西来该是多么艰难呀.在这里需要特别声明的是如果文中有引用了您的思想而没有给出参考文献,请您原谅我的疏忽.晚辈就是需要站在像您这种巨人的…

【转】地址空间、内核空间、IO地址空间

http://blog.csdn.net/wuxinke_blog/article/details/8769131 有这么一系列的问题,是否在困扰着你:用户程序编译连接形成的地址空间在什么范围内?内核编译后地址空间在什么范围内?要对外设进行访问,I/O的地址空间又是什么样的? 先回答第一个问题.Linux最常见的可执行文件格式为elf(Executable and LinkableFormat).在elf格式的可执行代码中,ld总是从0x8000000开始安排程序的“代码段”,对每个程序都是这…

Linux3.10.0块IO子系统流程（3）-- SCSI策略例程

很长时间以来,Linux块设备使用了一种称为“蓄流/泄流”(plugging/unplugging)的技术来改进吞吐率.简单而言,这种工作方式类似浴盆排水系统的塞子.当IO被提交时,它被储存在一个队列,稍后的某个时间,我们才允许IO从队列派发出去.之所以这么做是为IO尽可能做合并和排序. static void scsi_request_fn(struct request_queue *q) { struct scsi_device *sdev = q->queuedata; struct Sc…

深入理解Linux内核－块设备驱动程序

扇区: 1.硬盘控制器将磁盘看成一大组扇区2.扇区就是一组相邻字节3.扇区按照惯例大小设置位512字节4.存放在块设备中的数据是通过它们在磁盘上的位置来标识,即首个扇区的下标和扇区的数目.5.扇区是硬件设备传送数据到基本单位. 块:1.块是VFS和文件系统传送数据到基本单位.它对应磁盘上一个或者多个相邻扇区.2.内核访问一个文件内容时,它先从磁盘上读文件的磁盘索引节点所在的块3.Linux中,块必须是2的幂,且不能超过一个页框(一般4kB),还必须是扇区大小的整数倍.4.对块设备文件的读写操作时…