为了说明这个流程,还是用图来描述一下比较直观. 中间过程请参考 <IO之内核buffer----"buffer cache"> <IO之标准C库buffer> <IO队列和IO调度>…

http://blog.chinaunix.net/uid-29075379-id-3944364.html…

不论使用urllib还是使用requests库经常会遇到中文编码错误的问题,我就经常遇到,因为python安装在windows平台上,cmd的默认编码为GBK,所以在cmd中显示中文时会经常提示gbk编码错误,后来找到了贴在,完美的解决了该问题,下面我分享给大家 UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position 0: illegal multibyte sequence在cmd中我们输出data.r…

前言:这个系列主要是记录自己学习Linux块IO子系统的过程,其中代码分析皆基于Linux3.10.0版本,如有描述错误或不妥之处,敬请指出! 参考书籍:存储技术原理分析--基于Linux 2.6内核源代码(敖青云著)   概述 块设备(Block Device)是支持以固定长度的块为单位读写数据的存储设备的统称.块设备通常是支持随机访问和寻道的硬件设备,如磁盘.软盘.CDROM.内存区域等,或者是基于其他块设备之上的逻辑设备,如分区.MD(multi-disk).Device Mapper等.…

错误 jsp页面报错如下: Stacktrace: org.apache.jasper.servlet.JspServletWrapper.service(JspServletWrapper.java:466) org.apache.jasper.servlet.JspServlet.serviceJspFile(JspServlet.java:396) org.apache.jasper.servlet.JspServlet.service(JspServlet.java:340) javax…

和提交请求相反,完成请求的过程是从低层驱动开始的.请求处理完成分为两个部分:上半部和下半部.开始时,请求处理完成总是处在中断上下文,在这里的主要任务是将已完成的请求放到某个队列中,然后引发软终端让中断“下半部”来处理,这是通常的做法.而“下半部”则依次处理队列中的每一个已完成的请求.   在讲派发SCSI命令的时候,提到了scsi_done,低层驱动在初始化硬件时,注册过一个中断回调函数.在硬件中断被引发时,中断回调函数将被调用,如果是对SCSI命令的相应,则将找到对应的scsi_cmnd描述符…

在SCSI策略例程中最后调用scsi_dispatch_cmd将SCSI命令描述符派发给低层驱动进行处理 /** * scsi_dispatch_command - Dispatch a command to the low-level driver. * @cmd: command block we are dispatching. * * Return: nonzero return request was rejected and device's queue needs to be *…

SCSI数据缓冲区组织成聚散列表的形式.Linux内核中表示聚散列表的基本数据结构是scatterlist,虽然名字中有list,但它只对应一个内存缓冲区,聚散列表就是多个scatterlist的组合.这种组合是链表+数组的结合.这是因为他使用的内存以页面为基本单位分配,每个页面相当于一个scatterlist.每个scatterlist以链表方式组织起来. /* * Function: scsi_init_io() * * Purpose: SCSI I/O initialize functi…

很长时间以来,Linux块设备使用了一种称为“蓄流/泄流”(plugging/unplugging)的技术来改进吞吐率.简单而言,这种工作方式类似浴盆排水系统的塞子.当IO被提交时,它被储存在一个队列,稍后的某个时间,我们才允许IO从队列派发出去.之所以这么做是为IO尽可能做合并和排序. static void scsi_request_fn(struct request_queue *q) { struct scsi_device *sdev = q->queuedata; struct Sc…

Linux块设备可以分为三类.分别针对顺序访问物理设备.随机访问物理设备和逻辑设备(即“栈式设备”)   类型 make_request_fn request_fn 备注 SCSI 设备等 从bio构造request(经过合并和排序),返回0 逐个处理request 调用blk_init_queue,使用默认的__make_request,提供策略例程 SSD等 直接处理bio,返回0 无 调用blk_alloc_queue,提供make_request_fn RAID或Device Mappe…

Linux通用块层提供给上层的接口函数是submit_bio.上层在构造好bio之后,调用submit_bio提交给通用块层处理.   submit_bio函数如下:   void submit_bio(int rw, struct bio *bio) { bio->bi_rw |= rw; //记录读写方式 /* * 执行有数据传输的读写或屏障请求统计,暂不关心 */ if (bio_has_data(bio)) { unsigned int count; if (unlikely(rw &…

首先来看scsi_prep_fn int scsi_prep_fn(struct request_queue *q, struct request *req) { struct scsi_device *sdev = q->queuedata; int ret = BLKPREP_KILL; if (req->cmd_type == REQ_TYPE_BLOCK_PC) ret = scsi_setup_blk_pc_cmnd(sdev, req); return scsi_prep_retu…

原文地址:http://blog.chinaunix.net/uid-26922071-id-3954900.html IO之流程与buffer概览 为了说明这个流程,还是用图来描述一下比较直观.     IO之内核buffer----"buffer cache" "buffer cache" 要理解"buffer cache"这个东西,需要澄清一下概念: 一般情况下,进程在io的时候,要依赖于内核中的一个buffer模块来和外存发生数据交换行为…

1.IO虚拟化的分类 (1)全虚拟化:宿主机截获客户机对I/O设备的访问请求,然后通过软件模拟真实的硬件.这种方式对客户机而言非常透明,无需考虑底层硬件的情况,不需要修改操作系统. QEMU模拟I/O的情况下,当客户机中的设备驱动程序(device driver)发起I/O操作请求之时,KVM模块中的I/O操作捕获代码会拦截这次I/O请求,然后经过处理后将本次I/O请求的信息存放到I/O共享页,并通知用户控件的QEMU程序.QEMU模拟程序获得I/O操作的具体信息之后,交由硬件模拟代码来模拟出本…

http://blog.csdn.net/xypzwl/article/details/51416883 一.存储设备的存储原理 机械硬盘: 机械硬盘使用磁性物质作为存储介质,用N.S极性来代表0或1: 以无磁性的盘片作为基片(一般材质为铝合金或者玻璃),磁性物质在盘片上以同心圆的方式排列,这些同心圆的圆周被称为磁道: 磁道又被细分成一个个扇区,作为读写的最小单位(即就算需要读写的数据小于一个扇区,硬盘在实际读写时也会读取一个扇区的数据).一般一个扇区的大小为512字节(1.非固定,现在也有4K…

本文转载自:http://blog.csdn.net/xushiyan/article/details/6941640,如需参考,请访问原始链接地址. 没找到如何转载的入口,只好全文copy了. -----------------------------------分割线------------------------------------------------- LINUX 内核中 SCSI 子系统由 SCSI 上层,中间层和底层驱动模块 [1] 三部分组成,主要负责管理 SCSI 资源和…

本章,我们对java 管道进行学习. 转载请注明出处:http://www.cnblogs.com/skywang12345/p/io_04.html java 管道介绍 在java中,PipedOutputStream和PipedInputStream分别是管道输出流和管道输入流.它们的作用是让多线程可以通过管道进行线程间的通讯.在使用管道通信时,必须将PipedOutputStream和PipedInputStream配套使用.使用管道通信时,大致的流程是:我们在线程A中向PipedOutp…

本章,我们学习PipedReader和PipedWriter.它们和“PipedInputStream和PipedOutputStream”一样,都可以用于管道通信. PipedWriter 是字符管道输出流,它继承于Writer.PipedReader 是字符管道输入流,它继承于Writer.PipedWriter和PipedReader的作用是可以通过管道进行线程间的通讯.在使用管道通信时,必须将PipedWriter和PipedReader配套使用. 转载请注明出处:http://www.…

成鹏致远 | lcw.cnblog.com |2014-02-05 数据库 1.JDBC概述 JDBC(Java Database Connectivity,Java数据库连接)提供了一种与平台无关的用于执行 SQL语句的标准 Java API,可以方便的实现多种关系型数据库的统一操作,它由一组用 Java语言编写的类和接口组成 在 JDBC中提供的是一套标准的接口,这样,各个支持 JAVA的数据库生产商只要按照此接口提供相应的实现,则就可以使用 JDBC进行操作,极大的体现了 JAVA的可移植…

在mysql5.1 之前称为Insert Buffer, 优化2级非唯一索引上插入操作的读IO, 在5.5之后改名为Change Buffer, 功能也扩展为2级非唯一索引上的插入.删除.更新.purge的读IO优化. change buffer的核心思想,当数据库需要对2级缓存进行修改时,先不从外存读页面,而是将这些更新缓存在内存中,在特定的条件下,统一将这些更新apply到相应的2级索引页面上,这样做可以减少读IO的次数,并且相邻的页面的读IO可以合并. 在源码中的命名一直还是用ibuf,因…

目录: Java NIO 学习笔记(一)----概述,Channel/Buffer Java NIO 学习笔记(二)----聚集和分散,通道到通道 Java NIO 学习笔记(三)----Selector Java NIO 学习笔记(四)----文件通道和网络通道 Java NIO 学习笔记(五)----路径.文件和管道 Path/Files/Pipe Java NIO 学习笔记(六)----异步文件通道 AsynchronousFileChannel Java NIO 学习笔记(七)----N…

IO(Input\Output): 即输入输出,通常指数据在存储器(内部和外部)或其他周边设备之间的输入和输出,是信息处理系统(例如计算机)与外部世界(可能是人类或另一信息处理系统)之间的通信.说的简单点就是与外部设备(比如磁盘)传输数据. IO大致可以分为磁盘IO.网络IO.内存IO.通常所说的IO指的是前两者.本文将简单介绍Linux的五大IO模型,java中的IO模型,并对java的NIO做一个基本介绍. IO基本流程 外围设备的直接读写涉及到中断,中断时需要保存进程数据.状态等信息.中断…

1. 一条查询 SQL 语句是如何执行的? 我们的程序或者工具要操作数据库,第一步要做什么事情? 跟数据库建立连接.   1.1. 通信协议 首先,MySQL 必须要运行一个服务,监听默认的 3306 端口. 在我们开发系统跟第三方对接的时候,必须要弄清楚的有两件事. 第一个就是通信协议,比如我们是用 HTTP 还是 WebService 还是 TCP? 第二个是消息格式,比如我们用 XML 格式,还是 JSON 格式,还是定长格式?报文 头长度多少,包含什么内容,每个字段的详细含义. 比如我们…

一.IO流与系统 IO技术在JDK中算是极其复杂的模块,其复杂的一个关键原因就是IO操作和系统内核的关联性,另外网络编程,文件管理都依赖IO技术,而且都是编程的难点,想要整体理解IO流,先从Linux操作系统开始. Linux空间隔离 Linux使用是区分用户的,这个是基础常识,其底层也区分用户和内核两个模块: User space:用户空间 Kernel space:内核空间 常识用户空间的权限相对内核空间操作权限弱很多,这就涉及到用户与内核两个模块间的交互,此时部署在服务上的应用如果需要请求…

你好,我是坤哥 今天我们聊一下高并发下的网络 IO 模型 高并发即我们所说的 C10K(一个 server 服务 1w 个 client),C10M,写出高并发的程序相信是每个后端程序员的追求,高并发架构其实有一些很通用的架构设计,如无锁化,缓存等,今天我们主要研究下高并发下的网络 IO 模型设计,我们知道不管是 Nginx,还是 Redis,Kafka,RocketMQ 等中间件,都能轻松支持非常高的 QPS,其实它们背后的网络 IO 模型设计理念都是一致的,所以了解这一块对我们了解设计出高并…

KVM 虚拟化原理探究(6)- 块设备IO虚拟化 标签(空格分隔): KVM [toc] 块设备IO虚拟化简介 上一篇文章讲到了网络IO虚拟化,作为另外一个重要的虚拟化资源,块设备IO的虚拟化也是同样非常重要的.同网络IO虚拟化类似,块设备IO也有全虚拟化和virtio的虚拟化方式(virtio-blk).现代块设备的工作模式都是基于DMA的方式,所以全虚拟化的方式和网络设备的方式接近,同样的virtio-blk的虚拟化方式和virtio-net的设计方式也是一样,只是在virtio backe…

iotop毫无疑问linux IO检测上是一个很好的工具,但苦于要求和内核版本Python版本号.我的很多朋友放弃了.我也是.无意中发现iopp,使用c书面,与此iotop它是一个作用.nice! 一起分享 安装方法非常easy.首先复制以下源码保存为iopp.c文件 #include <stdio.h> #include <sys/types.h> #include <dirent.h> #include <ctype.h> #include <sy…

java NIO由以下几个核心部分组成: Channels(通道) Buffers(缓冲区) Selectors(选择器) 其他 Channel和Buffer: 所有的IO再NIO中都从一个Channel开始.Channel有点像流,数据可以从Channel读到Buffer中,也可以从Buffer写到Channel中: Channel的主要实现如下: FileChannel DatagramChannel SocketChannel ServerSocketChannel 这些通道覆盖了UDP和…

File 类的介绍:http://www.cnblogs.com/ysocean/p/6851878.html Java IO 流的分类介绍:http://www.cnblogs.com/ysocean/p/6854098.html Java IO 字节输入输出流:http://www.cnblogs.com/ysocean/p/6854541.html Java IO 字符输入输出流:https://i.cnblogs.com/EditPosts.aspx?postid=6859242 我们在…

Buffer Pool扩展简介 Buffer Pool扩展是buffer pool 和非易失的SSD硬盘做连接.以SSD硬盘的特点来提高随机读性能. 在Buffer Pool 扩展之前,SQL Server 从磁盘中读入数据,并且存放在buffer pool中以供读取和修改,修改完之后脏数据还是放在buffer pool中,当内存紧张时,lazy write把脏数据写入磁盘,并且释放内存页.当再次使用当前数据时,再一次从磁盘读取数据到内存.这样会导致大量的IO操作,影响性能.对于这类IO操作频繁…