/fio -ioengine=libaio -bs=32k -direct=1 -thread -rw=randrw -percentage_random=100,0 -size=10G -filename=fio_randr_write_test.txt -name='PingCAP' -iodepth=4 -runtime=60 | grep iops | egrep 'read|write' | awk -F, '/iops/{print $3}' | awk -F= '{print $2…

Azure的云存储一直是Azure比较自豪的东西,想到AWS的LSA后面有若干个9,搞得大家都以为它的存储最优秀,其实不然,Azure存储到现在没有丢过客户1bit的数据,但是Azure不会去说我们的LSA是100%,因为是自找麻烦,但是实际上无论从performance还是可靠性,Azure的普通存储或者SSD都是很优越的,口说无凭,必须让事实来说话,就是这么自信,好了,不废话了,直接进入主题. 本次测试中,笔者特地去GitHub上搜索了一下,排名第一的是cxcv/iops,所以本次测试我们选…

转:http://blog.csdn.net/hanchengxi/article/details/19089589 一.磁盘 I/O 的概念 I/O 的概念,从字义来理解就是输入输出.操作系统从上层到底层,各个层次之间均存在 I/O.比如,CPU 有 I/O,内存有 I/O, VMM 有 I/O, 底层磁盘上也有 I/O,这是广义上的 I/O.通常来讲,一个上层的 I/O 可能会产生针对磁盘的多个 I/O,也就是说,上层的 I/O 是稀疏的,下层的 I/O 是密集的. 磁盘的 I/O,顾名思义…

Bugly 技术干货系列内容主要涉及移动开发方向,是由 Bugly 邀请腾讯内部各位技术大咖,通过日常工作经验的总结以及感悟撰写而成,内容均属原创,转载请标明出处.在业内,Android 手机一直有着“越用越慢”的口碑.根据第三方的调研数据显示,有77%的 Android 手机用户承认自己曾遭遇过手机变慢的影响.他们不明白为什么购买之初“如丝般顺滑”的 Android 手机,在使用不到一年之后都会“卡顿”得让人抓狂!根据我们初步的测试数据,手机长期所使用产生的磁盘碎片可以使得磁盘的写入效率下降为…

SQLIO 是一个用于测试存储系统能力的命令行工具,用以获取存储系统相关的性能指标,以判断系统的 I/O 处理能力. 在微软的网站可以下载 SQLIO 的安装包,安装后目录中会出现如下文件: EULA.rtf – End-user license agreement that covers sqlio usage. param.txt – Configuration options that identify the target drives, test file names, and spe…

Physical Disk: 单次IO大小 Avg.Disk Bytes/Read Avg.Disk Bytes/Write IO响应时间 Avg.Disk sec/Read Avg.Disk sec/Write IOPS DiskReads/sec DiskWrites/sec DiskTransfers/sec IO吞吐率 DiskBytes/sec DiskRead Bytes/sec DiskWrite Bytes/sec 磁盘有两个重要的参数:Seek time.Rotational…

云计算里AWS和Azure的探究(5) ——EC2和Azure VM磁盘性能分析 在虚拟机创建完成之后,CPU和内存的配置等等基本上是一目了然的.如果不考虑显卡性能,一台机器最重要的性能瓶颈就是硬盘.由于无论是EC2还是Azure VM都使用了虚拟机,而存储盘也是以某种形式存放在磁盘阵列或者NAS设备中,所以磁盘的读写性能成为使用云计算虚拟服务器里最重要的考虑因素.这一节我们先不去考虑EC2里面的Elastic Block Store或者Azure里面的Azure Drive的具体实现,而使用免…

dd命令详解及利用dd测试磁盘性能   linux下dd命令详解 名称: dd 使用权限: 所有使用者 manpage 定义: convert and copy a file 使用方式: dd [option] dd --help info dd dd --version 输入或输出 dd if=[STDIN] of=[STDOUT] 强迫输入或输出的Size为多少Bytes bs: dd -ibs=[BYTE] -obs=[SIZE] 语法:dd [选项] if =输入文件(或设备名称). o…

翻译自 : Linux I/O Performance Tests using dd 基本说明 dd 可以用来做简单的低级别复制文件. 这样做, 一般都是可一直直接访问设备文件. 需要说明的是, 错误的使用 dd 会 造成数据的丢失. 强烈推介用以下描述的步骤来完成性能测试. 再强调一遍: 错误的使用dd, 会造成数据的丢失! 写性能测试 现代操作系统不是直接把数据写入 RAID 系统或者磁盘内, 当前未被使用的临时内存(temporary memory),会用来缓存读写数据. 所以, 如果要去…

随着越来越多的用户将生产系统迁移到 Azure 平台的虚拟机服务中,Azure 虚拟机的性能愈发被关注.传统的数据中心中,我们通常使用 CPU,内存,存储和网络的性能来衡量生产压力.特别是对于 IO 密集型工作负荷,比如虚拟机内部运行的 SQL 服务,存储系统的吞吐容量,往往成为生产系统的瓶颈所在. Azure 提供了标准存储和高级存储两种存储服务.针对于生产环境中的 IO 密集型负荷,我们推荐使用高级存储.标准存储仅推荐在开发测试环境中使用.针对于具体的高级存储的介绍,以及虚拟机存储的最佳实践…

iostat命令 先说一个坑把,在开始监控的时候使用命令iostat -dtkx,得到的结果看上去没问题,但是在web监控窗口数据就说不变动,为啥呢,因为iostat这个命令得到的第一个数据始终是磁盘从系统启动到现在的相关数值,这样如果系统很一直很平稳,得到的数值就不会有变化,除非一直很平稳,突然对磁盘的请求陡增,数值会改变.也就是iostat取得第一次数据并不是我们想要监控得数据:所以在监控脚本中需要使用iostat -dtkx 1 2每秒钟取两次数据,用第二次得数据来进行磁盘性能监控 相关参…

随着越来越多的用户将生产系统迁移到 Azure 平台的虚拟机服务中,Azure 虚拟机的性能愈发被关注.传统的数据中心中,我们通常使用 CPU,内存,存储和网络的性能来衡量生产压力.特别是对于 IO 密集型工作负荷,比如虚拟机内部运行的 SQL 服务,存储系统的吞吐容量,往往成为生产系统的瓶颈所在. Azure 提供了标准存储和高级存储两种存储服务.针对于生产环境中的 IO 密集型负荷,我们推荐使用高级存储.标准存储仅推荐在开发测试环境中使用.针对于具体的高级存储的介绍,以及虚拟机存储的最佳实践…

Windows Server 2003中报PerfDisk “无法从系统读取磁盘性能信息.”的问题解决 2015-01-22 09:49:02 标签:Windows Server2003 PerfDisk 磁盘性能计数器 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://huangfuff.blog.51cto.com/2632203/1606861 现象描述: 服务器经常在午夜,自动死机,无法连接外网,查询日志报如下错误: "…

linux下对于查看进程的命令非常多也非常强大.经常使用的如:ps  top 可是在磁盘性能监控方面就没有那么统一了. 以下列举一些磁盘监控命令.此处仅仅是起到抛砖引玉作用,具体使用參数请參考man手冊. 一 df df命令能够获取硬盘被占用了多少空间.眼下还剩下多少空间等信息,它也能够显示全部文件系统对i节点和磁盘块的使用情况. 常见的用法如:df -h  以人类easy阅读的方式显示. 二 du du的英文原义为"disk usage",含义为显示磁盘空间的使用情况.统计文件夹(或…

偶然看到了“Fotolog: Scaling the World\'s Largest Photo Blogging Community”,才发现很多数据库的优化其实道理都很简单,至高境界是当你面对问题时,是否真正做出了自己的思考,而不仅仅只是经验主义的惯性使然: 本文案例背景介绍:一个图片网站,每张图片都有很多评论.浏览时会执行:SELECT ... FROM ... WHERE photo_identifier = ... ORDER BY posted ... 在“Old Schema”的…

一.安装 1.安装vdbench,首先安装java:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 其次下载vdbench安装包并进行安装:http://pan.baidu.com/s/1b7XooY: #mv vdbench50406 /var/www/html/ #unzip vdbench50406.zip -d vdbench504 启动基准测试之前,使用默认的参数检查…

在磁盘测试中最关心的几个指标分别为: iops(每秒执行的IO次数).bw(带宽,每秒的吞吐量).lat(每次IO操作的延迟). 当每次IO操作的block较小时,如512bytes/4k/8k等,测试的主要是iops. 当每次IO操作的block较大时,如256k/512k/1M等,测试的主要是bw. 1. FIO 简介 FIO 是一款 用于对磁盘进行性能测试的工具.可以测试IOPS,吞吐量,IO延迟等主要性能指标.而且支持多种IO引擎. 2. FIO 下载 下载地址:http://brick…

4k随机读iops: fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randread -filename=/dev/sdb -iodepth=32  -name=qatest -ramp_time=300 -runtime=100 -group_reporting 4k随机写iops: fio -ioengine=libaio -bs=4k -direct=1 -thread -rw=randwrite -filename=/dev/sdb…

1,脚本作用: 类似于OS的iostat检查磁盘的I/O性能,ASMIOSTAT 脚本用来检查ASM磁盘的性能, 2,下载AMSIOSTAT脚本http://files.cnblogs.com/files/guilingyang/asmiostat.zip也可以从博客下面参考的两个地方下载得到该脚本 3,检查参数: [grid@fff1 ~]$ sqlplus / as sysdba SQL*Plus: Release 11.2.0.4.0 Production on Wed Sep 21 10…

我 们在磁盘写操作持续繁忙的服务器上曾经碰到一个特殊的性能问题.每隔 30 秒,服务器就会遇到磁盘写活动高峰,导致请求处理延迟非常大(超过3秒).后来上网查了一下资料,通过调整内核参数,将写活动的高峰分布成频繁的多次写, 每次写入的数据比较少.这样可以把尖峰的写操作削平成多次写操作.以这种方式执行的效率比较低,因为内核不太有机会组合写操作.但对于繁忙的服务器,写操 作将更一致地进行,并将极大地改进交互式性能. 下面是相关参数的调整:一.2.6内核下    1./proc/sys/vm/dirty…

原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://alansky.blog.51cto.com/634963/654451 UNIT 6 Compensating for Physical Disk Characteristics   学习目标:     A. 了解影响磁盘IO的物理因素     B. 应用队列技术调整IO调度   6.1 Physical factors affect disk IO 影响磁盘IO的物理因素 A…

实验室自己做了一个iaas的项目,当时是为了更方面的在kvm和xen下进行迁移,所以选择了libvirt作为适配层. 昨天简单的测试一了一下我们跟qingcloud的性能对比.我们的linux主机性能跟qingcloud差不多,但是window下的性能就差了一大截,尤其是硬盘的性能.同等配置的虚机,青云的评分是我们的好几倍,于是乎就开始寻找我们window下硬盘慢的原因. 去qingcloud上安装了一台window server 2008的虚机,通过硬件管理器看qingcloud的配置与驱动信…

什么是iozone? iozone是一个文件系统的benchmark工具,可以测试不同的操作系统中文件系统的读写性能. 可以测试 Read, write, re-read,re-write, read backwards, read strided, fread, fwrite, random read, pread, mmap, aio_read, aio_write 等等不同的模式下的硬盘的性能. 测试的时候请注意,设置的测试文件的大小一定要大过你的内存(最佳为内存的两倍大小),不然linu…

前言 zabbix一直是小规模互联网公司服务器性能监控首选,首先是免费,其次,有专门的公司和社区开发维护,使其稳定性和功能都在不断地增强和完善.zabbix拥有详细的UI界面和分组策略,在被监控的服务器上安装好agent后,无需添加任何监控选项,因为zabbix自带一些必要的监控,如agent.ping之类,zabbix支持画图,这个是专门给boss们看的,极其重要.另外还支持用户自定义监控选项,这一点非常方便,今天我要说的就是磁盘监控,标题中为动态的监控,意指智能的识别磁盘个数,并生成相应的监…

IOzone是一个文件系统测试基准工具.可以测试不同的操作系统中文件系统的读写性能.可以通过 write, re-write, read, re-read, random read, random write, random mix, backwards read, record rewirte, strided read, fwrite, frewrite, fread, freread, mmap, async I/0 等不同的模式下的硬盘的性能.测试的时候请注意,设置的测试文件的大小一定要…

1.top查看CPU是否长时间等待IO top %wa超过30%,说明IO压力很大 2.iostat查看磁盘工作时长占比 iostat -x #1表示1秒刷新一次 %util表示在过去的时间段中磁盘进行IO的时间占比,等同于Windows中“磁盘处理读取或写入请求的时间百分比”:超过70%表示繁忙. 3.pidstat查看当前进行IO的进程 pidstat -d #1表示1秒刷新一次 4.dd测试磁盘的读写速度 time命令用于输出整条语句的执行所花费的时间(real/user/sys那部份是t…

============================================================= SSD性能 空盘性能:SSD出厂时磁盘没有任何数据情况下的性能 稳态性能:当SSD使用一段时间后,在垃圾回收(GC)机制全速运行时的性能. 通常情况下,空盘性能要远高于稳态性能,企业级SSD标称的性能指稳态性能. ============================================================= SSD性能抖动 影响SSD性能和导致S…

监控磁盘的性能 参考文章: https://wiki.enchtex.info/howto/zabbix/zabbix_iostat_monitoring https://blog.csdn.net/xiegh2014/article/details/70576180 https://blog.csdn.net/bobpen/article/details/53408214 创建好的模板:链接:https://pan.baidu.com/s/1-dNwl-yrRsSNgobWPvVflw 密码:…

IOzone是一个文件系统测试基准工具.可以测试不同的操作系统中文件系统的读写性能.可以通过 write, re-write, read, re-read, random read, random write, random mix, backwards read, record rewirte, strided read, fwrite, frewrite, fread, freread, mmap, async I/0 等不同的模式下的硬盘的性能.测试的时候请注意,设置的测试文件的大小一定要…

我们在磁盘写操作持续繁忙的服务器上曾经碰到一个特殊的性能问题.每隔 30 秒,服务器就会遇到磁盘写活动高峰,导致请求处理延迟非常大(超过3秒).后来上网查了一下资料,通过调整内核参数,将写活动的高峰分布成频繁的多次写,每次写入的数据比较少.这样可以把尖峰的写操作削平成多次写操作.以这种方式执行的效率比较低,因为内核不太有机会组合写操作.但对于繁忙的服务器,写操作将更一致地进行,并将极大地改进交互式性能. 下面是相关参数的调整: 一.2.6内核下 1./proc/sys/vm/dirty_rati…