http://blog.yufeng.info/archives/751 我们在Linux上总是要保存数据的,数据要么保存在文件系统里(如ext3),要么就在裸设备里面.我们在使用这些数据的时候都是通过文件这个抽象来访问的,操作系统会把我们需要的数据给我们,我们通常无需和块设备打交道. 从下图我们可以很清楚的看到: 我们会发现IO是个层次很深的子系统,有很复杂的数据流动线路. 至于操作系统如何去存储和获取这些数据对我们完全是黑盒子的,这通常不是问题.但是如果我们的IO很密集,我们就需要搞清楚IO…

最近做的一个电商网站因为磁盘 I/O 过高导致访问速度奇慢,问题存在两个月有余未得到解决办法.此次排查原因的经验可以作下次问题的参考. 1.会看懂 top 系统命令出来的各项参数.此次是无意中发现 us% 正常,但是 wa% 很高,才得知是系统磁盘的 I/O 过高导致网站访问慢. 2.会安装和使用监控应用.iotop.pt-ioprofile等工具,都是有助于分析问题所在的应用.借助这些工具,最终定位是MySQL的原因. 3.会用MySQL常用的分析命令.一开始认为分配给MySQL的内存不够,一…

在很多IO场景中,我们经常需要确保数据已经安全的写到磁盘上,以便在系统宕机重启之后还能读到这些数据.但是我们都知道,linux系统的IO路径还是很复杂的,分为很多层,每一层都可能会有buffer来加速IO读写.同时,用户态的应用程序和库函数也可能拥有自己的buffer,这又给IO路径增加了一些复杂性.可见,要想保证数据安全的写到磁盘上,并不是简单调一个write/fwrite就可以搞定的.那么要怎么做呢?很多人会想到很多办法,比如:fflush().fsync().fdatasync().syn…

1.问题: 最近在做日志的实时同步,上线之前是做过单份线上日志压力测试的,消息队列和客户端.本机都没问题,但是没想到上了第二份日志之后,问题来了: 集群中的某台机器 top 看到负载巨高,集群中的机器硬件配置一样,部署的软件都一样,却单单这一台负载有问题,初步猜测可能硬件有问题了. 同时,我们还需要把负载有异常的罪魁祸首揪出来,到时候从软件.硬件层面分别寻找解决方案. 2.排查: 从 top 中可以看到 load average 偏高,%wa 很高,%us 偏低: 从上图我们大致可以推断 IO…

Linux思想即,Linux系统下一切皆文件. 一.对文件操作的几个函数 1.打开文件open函数 int open(const char *path, int oflags); int open(const char *path, int oflags,mode_t mode); – 参数path表示:路径名或者文件名.路径名为绝对路径名. – 参数oflags表示:打开文件所采取的动作. 下面几个为常用参数: O_RDONLY文件只读:O_WRONLY文件只写:O_RDWR文件可读可写:O_…

Linux系统中终端设备种类  终端是一种字符型设备,有多种类型,通常使用tty 来简称各种类型的终端设备.终端特殊设备文件一般有以下几种: 串行端口终端(/dev/ttySn ) ,伪终端(/dev/pty/ ),控制终端(/dev/tty ) ,控制台终端(/dev/ttyn, /dev/console ). 1. 串行端口终端(Serial Port Terminal )是使用计算机串行端口连接的终端设备.Linux中每个串行端口都看作是一个字符设备.串行端口所对应的设备名称是/dev/t…

我们知道:系统优化是一项复杂.繁琐.长期的工作.通常监测的子系统有以下这些:CPUMemoryIO Network 下面是常用的监测工具 Linux 系统包括很多子系统(包括刚刚介绍的CPU,Memory,IO,Network,等),下面这张图片很好的总结了 Linux 各个子系统以及监控这些子系统所需要的工具                                  上面的一点终结有助于自己全面学习linux系统 希望也对大家有所帮助 参考两个网站: http://www.vpsee.…

Linux系统IO分析工具之iotstat常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 1>.安装iostat [root@flume115 ~]# yum -y install sysstat 2>.查看iostat的帮助信息 [root@flume115 ~]# man iostat 3>.查看部分cpu状态信息 [root@flume115 ~]# iostat -c 4>.某些使用block为单位的列强制使用Kilobytes为单位 [ro…

  Linux系统IO分析工具之iotop常用参数介绍 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在一般运维工作中经常会遇到这么一个场景,服务器的IO负载很高(iostat中的util),但是无法快速的定位到IO负载的来源进程和来源文件导致无法进行相应的策略来解决问题. Windows操作系统可以通过鲁大师等硬盘检测工具来查看硬盘读写速度,那么linux下测试硬盘IO读写情况怎么看?iotop是linux系统下测试硬盘IO读写的工具,简单的说,iotop是一个用来监视磁盘…

1. 如何查看一个进程的详细信息,如何追踪一个进程的执行过程 通过pstree命令(根据pid)进行查询进程内部当前运行了多少线程:# pstree -p 19135(进程号) 使用top命令查看(可以查看到线程情况)# top -Hp 19135 2. 跟踪某个应用程序的运行过程 跟踪已运行的进程:strace -p pid 3. 在 Linux 系统下查看 CPU.内存.磁盘.IO.网卡情况: # cat /proc/cpuinfo      # 查看CPU信息 # ps -ef      …