相信对性能.优化这些关键字有兴趣的朋友都知道在 Linux 下面挂载文件系统的时候设置 noatime 可以显著提高文件系统的性能.默认情况下,Linux ext2/ext3 文件系统在文件被访问.创建.修改等的时候记录下了文件的一些时间戳,比如:文件创建时间.最近一次修改时间和最近一次访问时间.因为系统运行的时候要访问大量文件,如果能减少一些动作(比如减少时间戳的记录次数等)将会显著提高磁盘 IO 的效率.提升文件系统的性能.Linux 提供了 noatime 这个参数来禁止记录最近一次访问时…

相信对性能.优化这些关键字有兴趣的朋友都知道在 Linux 下面挂载文件系统的时候设置 noatime 可以显著提高文件系统的性能.默认情况下,Linux ext2/ext3 文件系统在文件被访问.创建.修改等的时候记录下了文件的一些时间戳,比如:文件创建时间.最近一次修改时间和最近一次访问时间.因为系统运行的时候要访问大量文件,如果能减少一些动作(比如减少时间戳的记录次数等)将会显著提高磁盘 IO 的效率.提升文件系统的性能.Linux 提供了 noatime 这个参数来禁止记录最近一次访问时…

atime.mtime.ctime的区别及如何降低atime更新 mount时的option  noatime http://mp.weixin.qq.com/s?__biz=MzA3MzYwNjQ3NA==&mid=400742435&idx=1&sn=d5fa0776ebce30be1de897cd7d1eb295&scene=0#wechat_redirect 一.每个文件内节点和目录内节点都有三个与之相关的时间戳: ctime — 最后一次修改inode属性的时间m…

一. 1) 蓝色:表示经过优化的xfs mount时的参数defaults,noatime,nodiratime,nobarrier,discard,allocsize=256m,logbufs=8,attr2,logbsize=256k 2) 灰色:表示默认的xfs mount时的参数defaults,noatime,nodiratime,nobarrier 3) 黄色:表示ext4. mount时的参数:defaults,noatime,nodiratime,nobarrier 二. noa…

一. 1) 蓝色:表示经过优化的xfs mount时的参数defaults,noatime,nodiratime,nobarrier,discard,allocsize=256m,logbufs=8,attr2,logbsize=256k 2) 灰色:表示默认的xfs mount时的参数defaults,noatime,nodiratime,nobarrier 3) 黄色:表示ext4. mount时的参数:defaults,noatime,nodiratime,nobarrier 二. noa…

[TOC] mdev说明 mdev是busybox自带的一个简化版的udev,适合嵌入式应用场合.其具有使用简单的特点.它的作用就是在系统启动和热插拔或动态加载驱动程序时,自动产生驱动程序所需要的节点文件.在以busybox为基础构建嵌入式linux根文件系统时,使用它时最优的选择. mdev原理 mdev不加参数时就是利用hotplug机制来决定创建什么样的设备文件. mdev -s程序通过扫描/sys/class和/sys/block中所有的类设备目录,利用这些信息在/dev下创建设备节点.…

1. 性能优化分类 mongodb性能优化分为软件层面和操作系统层面. 软件层面,一般通过修改mongodb软件配置参数来达到,这个需要非常熟悉mongodb里面的各种配置参数: 而操作系统层面,相对简单点,主要是修改操作系统参数,比如说:关闭传输页缓存.使用SSD替代机器硬盘等等. 2. 软件层面优化 2.1 设置WiredTiger的cacheSizeGB 通过cacheSizeGB选项配置控制WiredTiger引擎使用内存的上限,默认配置在系统可用内存的60%左右. 如果一台机器上只部署…

HDFS优化之实战经验 Linux系统优化 一.禁止文件系统记录时间 Linux文件系统会记录文件创建.修改和访问操作的时间信息,这在读写操作频繁的应用中将带来不小的性能损失.在挂载文件系统时设置noatime和nodiratime可禁止文件系统记录文件和目录的访问时间,这对HDFS这种读取操作频繁的系统来说,可以节约一笔可观的开销.可以修改/etc/fstab文件中noatime和nodiratime来实现这个设置. 如对/mnt/disk1使用noatime属性,可以做如下修改: $ vim…

常见问题 下面列举HDFS运行过程中可能出现的常见问题及解决方法,这些问题一般都会在日志中出现的相应的记录.Incompatible clusterIDs in … :namenode clusterID = … ,datanode clusterIDs =…出现该错误是由于NameNode重新格式化后会被赋予新的namespaceID,这个ID与DataNode不一致而导致的.解决该错误的方法有三种: 删除datanode上的数据目录(如果DataNode上的数据无关紧要,可以这么做): 修改…

1. Kafka概要设计 kafka在设计之初就需要考虑以下4个方面的问题: 吞吐量/延时 消息持久化 负载均衡和故障转移 伸缩性 1.1 吞吐量/延时 对于任何一个消息引擎而言,吞吐量都是至关重要的性能指标.那么何为吞吐量呢?通常来说,吞吐量是某种处理能力的最大值.而对于Kafka而言,它的吞吐量就是每秒能够处理的消息数或者每秒能够处理的字节数.很显然,我们自然希望消息引擎的吞吐量越大越好. 消息引擎系统还有一个名为延时的性能指标.它衡量的是一段时间间隔,可能是发出某个操作与接收到操作响应(r…

linux测试noatime对文件访问时间的影响 文件(如abc)有3个时间: # stat abc Access: 2015-04-16 19:30:13.665970572 +0800 Modify: 2015-04-16 19:28:53.770002677 +0800 Change: 2015-04-16 19:28:53.784001602 +0800 Access是文件最后访问时间,cat命令会改变这个时间.但是由于缓存的原因,短期内只有第一次cat 'abc'时 会改变这个时间.如…

centos Linux下磁盘管理   parted,df ,du,fdisk,partprobe,mkfs.ext4,mount,/etc/fstab,fsck,e2fsck,mk2efs,tmpfs ,nr_inodes, LVM,传统方式扩容文件系统   第七节课 fdisk 设备名 ‘p’, ‘n’, ‘d’, ‘w’, ‘q’,‘l’. partprobe mount //查看当前挂载情况 mount -a //挂载/etc/fstab mkfs.ext4 /dev/sdb1 mkfs…

标签:mount,umount 概述 在上一章增加linux操作系统空间中已经使用过了mount命令对分区进行挂载,这一章详细介绍挂载管理,该命令涉及的知识点也挺多的而且也还比较重要,是需要掌握的一个命令. 挂载分区 mount基本语法 mount [参数] /dev/sdb1(需要挂载的分区) /sdb1(挂载目录) 参数是可选的,也可以不带参数,参数的使用方法(-o ro,sync,atime). 参数: -t:指定文件系统类型 mount -t ext4 /dev/sdb1 /sdb1 -…

挂载分区 mount基本语法 mount [参数] /dev/sdb1(需要挂载的分区) /sdb1(挂载目录) 参数是可选的,也可以不带参数,参数的使用方法(-o ro,sync,atime). 参数: -t:指定文件系统类型 mount -t ext4 /dev/sdb1 /sdb1 -o:指定挂载选项 ro,rw:只读或者读写的方式挂载,默认是rw. sync:不适用缓存,所有操作直接读写磁盘. async:适用缓存,默认方式. noatime:每次访问文件时不更新文件的访问时间. ati…

第八节 Linux 文件的属性(上半部分) 标签(空格分隔):Linux实战教学笔记 第1章 Linux中的文件 1.1 文件属性概述(ls -lhi) linux里一切皆文件 Linux系统中的文件或目录的属性主要包括:索引节点(inode),文件类型,权限属性,链接数,所归属的用户和用户组,最近修改时间等内容: 文字解释: 第一列:inode索引节点编号(相当于人的身份证,全国唯一) 第二列:文件类型及权限 第二列共11个字符:其中第一个字符为文件类型,随后的9个字符为文件的对应权限,最后一…

10.3 NFS服务端部署环境准备 10.3.1 NFS服务部署服务器准备 服务器系统 角色 IP Centos6.7 x86_64 NFS服务器端(NFS-server) 192.168.1.14 Centos6.7 x86_64 NFS客户端(Web-lamp01) 192.168.1.15 Centos6.7 x86_64 NFS客户端(Web-lnmp02) 192.168.1.16 10.3.2 NFS服务部署架构图 10.3.3 NFS服务器端操作系统及内核版本 [root@NFS-…

http://blog.chinaunix.net/uid-7530389-id-2050116.html 由于各种的I/O负载情形各异,Linux系统中文件系统的缺省配置一般来说都比较中庸,强调普遍适用性.然而在特定应用下,这种配置往往在I/O性能方面不能达到最优.因此,如果应用对I/O性能要求较高,除了采用性能更高的硬件(如磁盘.HBA卡.CPU.MEM等)外,我们还可以通过对文件系统进行性能调优,来获得更高的I/O性能提升.总的来说,主要可以从三个方面来做工作: 1.Disk相关参数调优…

生产场景NFS共享存储优化: 1.硬件:sas/ssd磁盘,买多块,raid0/raid10,网卡好 2.NFS服务器端优化加all_squash,async /backup/NFS 192.168.0.0/24(rw,async,all_squash)用这两个选项效率高了,但是就不可靠了. 3.客户端挂载:rsize,wsize,noatime,nodiratime四个选项为性能优化选项,nosuid,noexec两个选项为安全优化选项 mount -t nfs -o noatime,nodi…

1.NFS介绍 NFS是Network File System的缩写,主要功能是通过网络让不同的机器系统之间可以彼此共享文件或目录.NFS服务器可以允许NFS客户端将远端NFS服务端的共享目录挂载到本地的NFS客户端中,在本地NFS客户端的机器看来,NFS服务器端共享的目录就好像是自己的磁盘分区或者目录一样. NFS一般是用来存储共享视频,图片等静态数据,是当前互联网系统架构中最常用的服务之一; NFS挂载原理: 当我们在NFS服务器端设置好一个共享存储目录/video后,其它的有权限访问NFS…

1.gnome 配置-安装插件 http://maxubuntu.blogspot.com/2012/09/debian-gnome3.html hunagqf|hunaqf2|hunaqf3 2.快捷键system-setting - keybroad 1)打开shell gnome-terminal  Ctrl+Alt+T 2)截图gnome-screenshot -a   Ctrl+Alt+A http://www.nenew.net/ubuntu-linux-gnome-screensh…

来源:http://www.yunweipai.com/archives/21232.html 构建高性能MySQL系统涵盖从单机.硬件.OS.文件系统.内存到MySQL 本身的配置,以及schema 设计.索引设计 ,再到数据库架构上的水平和垂直拓展. 内容描述: 硬件(1)CPUCPU亲和性:确保每个io都被其发起的CPU处理echo 2 > /sys/block/<block device>/queue/rq_affinity选择最大性能模式,避免节能模式导致性能不足关闭NUMA,…

NFS介绍 什么是NFS? NFS是Network File System的缩写,即网络文件系统.它的主要功能是通过网络(一般是局域网)让不同的主机系统之间可以共享文件或目录.NFS客户端(一般为应用服务器,例如web)可以通过挂载(mount)的方式将NFS服务端共享的数据目录挂载到NFS客户端本地系统中(就是某一个挂载点下).从NFS客户端的机器本地看,NFS服务端共享的目录就好像是客户自己的磁盘分区或者目录一样,而实际上确是远端的NFS服务端的目录. NFS网络文件系统类似windows系…

什么是NFS(网络文件系统)? NFS(Network File System)即网络文件系统,是FreeBSD支持的文件系统中的一种,它允许网络中的计算机之间通过TCP/IP网络共享资源.它的主要功能是通过网络(一般是局域网)让不同主机系统之间可以共享文件或目录.NFS客户的(一般是应用服务器,例如,web)可以通过挂载(mount)的方式将NFS服务端共享的数据目录挂载到NFS客户端本地系统中(就是某一个挂载点下).从NFS客户端的机器本地看,NFS服务器端共享的目录就好像是客户机自建的磁盘…

设置 Hadoop 来扩展磁盘 I/O 现代服务器通常有多个磁盘硬件来提供大存储能力.这些磁盘通常配置成 RAID 阵列,作为它们的出厂设置.这在很多情况下是有益的,但对 Hadoop 却不是. Hadoop 的 slave 节点存储了 HDFS 数据块和 MapReduce 临时文件在它的本地磁盘.这些本地磁盘操作受益于使用多个独立的磁盘来扩展磁盘 I/O. 在这方面,我们将描述怎样通过使用多个磁盘设置 Hadoop 来扩展磁盘 I/O. 准备工作 我们假设你的每个 DataNode 节点都有…

1.1.8 NFS问题总结 1.问:使用showmount -e 127.0.0.1后报clnt_create: RPC: Program not registered错误 答:顺序不对,重启nfs服务 portmap是Centos 5.X的服务 rpcbind是CentOS 6.x的服务 /etc/init.d/nfs stop /etc/init.d/rpcbind stop /etc/init.d/portmap stop /etc/init.d/rpcbind start /etc/in…

Mysql服务优化   Mysql服务加速优化的6个阶段 硬件层面优化 操作系统层面优化 Mysql数据库层面优化 网站集群架构层面优化 安全优化 流程.制度控制优化 1.硬件层面优化 CPU          64CPU,至少2-4颗cpu,L2越大越好 MEMORY        96-128G跑3-4个实例:32-64,跑1-2个实例 DISK        SAS机械盘,数量越多越好 SSD(高并发)>sas(普通业务)>sata(线下) RAID       RAID0> RA…

目录 第二十二节 企业级NFS网络文件共享服务 第一章 NFS网络文件共享服务 1.1 NFS介绍 1.2 NFS系统原理介绍 1.3 NFS服务端部署环境准备 1.4 NFS server端的设置 1.5 实战配置NFS服务端 1.6 实战配置NFS客户端配置过程-web01 1.7 NFS配置权限设置常用参数说明 1.8 NFS服务企业案例配置实践 1.9 exports配置文件相关参数的说明 1.10 exports配置文件相关参数应用领域的详细解释 (NFS精华重点) 第二章 NFS企业…

在企业集群架构的工作场景中,NFS网络文件系统一般被用来存储共享视频,图片,附件等静态资源文件,通常网站用户上传的文件都会放到NFS共享里,然后前端所有的节点访问这些静态资源时都会读取NFS存储上的资源.NFS是当前互联网系统架构中最常用的数据存储服务之一. 集群:多台普通服务器,多台之间共同作用,达到分散压力的作用 负载均衡器:将用户的访问压力平均给后方的多个Web服务器,由多个Web服务器承担网民带来的访问压力 根据图片所示,Web服务器(服务员)有两块网卡,一块连接外网,一块连接内网 文字…

1. 安装dell服务器,  raid卡需要采用直通模式(non-raid); 各磁盘独立运行.  网络依赖硬件不同,使用万兆网卡或者两个千兆网卡做bonding6.  2. 配置host map(172.17.*.*为存储网络) 2.1 在/etc/hosts中增加:(hostname对应的IP必须是public network,也就是虚拟机访问存储的IP) 172.16.200.11 host11.gzoc.lab host11 172.16.200.12 host12.gzoc.lab h…

OS and File System 根据Dell(因为我们的硬件采用dell的方案)关于hadoop调优的相关说明,改变几个Linux的默认设置,Hadoop的性能能够增长大概15%. open file descriptors and files 文件描述符是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表.当程序打开一个现有文件或者创建一个新文件时,内核向进程返回一个文件描述符.在程序设计中,一些涉及底层的程序编写往往会围绕着文件描述符展开,文件描述符这一概念往往只适用于UN…