1、优化文件系统,修改/etc/fstab 在defaults后面添加noatime,表示不记录文件的访问时间。

修改为:

如果不想重新启动操作系统使配置生效,那么应该执行:

# mount -o remount /dev/mapper/centos-root
# mount -o remount /dev/mapper/centos-home  

当然,如果有其他的磁盘,同样可以这样操作,我这里测试就两个逻辑卷

2、预读缓冲

预读技术可以有效的减少磁盘寻道次数和应用的I/O等待时间,增加Linux文件系统预读缓冲区的大小(默认为256 sectors,128KB),可以明显提高顺序文件的读性能,建议调整到1024或2048 sectors。预读缓冲区的设置可以通过blockdev命令来完成。

blockdev 工具允许从命令行调用区块设备控制程序,常用参数如下:

  --getra 读取预读值
  --getfra 读取文件系统预读
  --setfra FSREADAHEAD 设置文件系统预读
  --setra READAHEAD 设置设备预读
  --getra 读取设备的预读值
  --setbsz BLOCKSIZE 在文件描述符打开块设备的时候设置块大小
  --getioopt 读取设备优化IO大小
  --getiomin 读取设备最小IO大小
  -–setro 设置设备为只读
  -–getro 读取设备是否为只读(成功为1,0则为可读写)
  -–setrw 设置设别为可读写
  -–getss 打印设备的扇区大小也叫逻辑块大小,通常是512
  --getpbsz 读取设备物理块大小,通常是4096
  --getbsz 读取设备块大小,通常是4096
  -–getsize(-getsz) 打印设备的容量,按照一个扇区512个字节计算
  --getsize64 打印设备的容量,以字节为单位显示
  -–setra N 设置预读扇区(512字节)为N个.Set readahead to N -byte sectors.
  -–getra 打印readahead(预读扇区)
  -–flushbufs 刷新缓冲
  -–rereadpt 重读分区表。

我们可以将默认的预读值(256 sectors,128k)调大,具体的操作如下:

[root@test pam.d]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/centos-root 60G 14G 47G % /
devtmpfs 474M 474M % /dev
tmpfs 489M 489M % /dev/shm
tmpfs 489M 14M 476M % /run
tmpfs 489M 489M % /sys/fs/cgroup
/dev/sda1 197M 143M 55M % /boot
/dev/mapper/centos-home 16G 37M 16G % /home
tmpfs 98M 98M % /run/user/
[root@test pam.d]# blockdev --getra /dev/sda1 [root@test pam.d]# blockdev --setra /dev/sda1
[root@test pam.d]# blockdev --getra /dev/sda1

3、虚拟内存调优:

https://www.cnblogs.com/yinzhengjie/p/9994207.html

4、网卡调优:

https://www.cnblogs.com/yinzhengjie/p/9995756.html

Hadoop优化 操作系统优化的更多相关文章

  1. Linux操作系统优化

    figure:first-child { margin-top: -20px; } #write ol, #write ul { position: relative; } img { max-wid ...

  2. 实训任务02:Hadoop基础操作

    实训任务02:Hadoop基础操作 班级            学号               姓名 实训1:创建测试文件上传HDFS,并显示内容 需求说明: 在本地计算机上创建测试文件helloH ...

  3. 指导手册03:Hadoop基础操作

    指导手册03:Hadoop基础操作 Part 1:查看Hadoop集群的基本信息1.查询存储系统信息(1)在WEB浏览器的地址栏输入http://master:50070/ 请查看自己的Hadoop集 ...

  4. 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作

    马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第 ...

  5. Hadoop+Hive 操作mongodb数据

    Hadoop+Hive 操作mongodb数据 1.版本概述 hadoop-2.7.3.hive-2.2 下载响应的jar包:http://mvnrepository.com/,直接搜索想要的jar包 ...

  6. Hadoop常用操作

    Hadoop常用操作 1.Hadoop安装 略 2.Hadoop配置 略 3.Hadoop多目录配置 namenode和datanode节点下都可以进行多个目录的配置,但是意义不同.namenode的 ...

  7. 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作(转)

    马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第 ...

  8. Hadoop Shell 操作

    此随笔仅记录一下常用的Hadoop shell 操作的命令 参考官方文档    http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html FS S ...

  9. 学习笔记:Twitter核心数据类库团队的Hadoop优化经验

    一.来源 Streaming Hadoop Performance Optimization at Scale, Lessons Learned at Twitter (Data platform @ ...

随机推荐

  1. snort_inline

    snort_inline Link   http://snort-inline.sourceforge.net/oldhome.html What is snort_inline? snort_inl ...

  2. JSON--stringify() 和 JSON--parse() 方法

    序列化:stringify()将JavaScript对象序列号为JSON字符串反序列化:parse()将JSON字符串解析为原生JavaScript值 序列化选项:JSON.stringify()除了 ...

  3. 将网址url中的参数转化为JSON格式的两种方法

    在我们进入主题前,我先先看下获取网址URL的方法: window.location.href // 设置或获取整个URL为字符串 window.location.hash // 设置或获取href属性 ...

  4. TR-银行主数据相关BAPI

    BAPI_BANKDETAIL_CREATE FI01:BAPI_BANK_CREATE FI12:BAPI_HOUSE_BANK_REPLICATE 1011 Business Object Ban ...

  5. IDEA配置maven报错解决方案

    主要是得分清楚你的本地maven库,以及maven安装根目录 ,一般你自己安装maven成功后,电脑默认读取的库位置在C盘下面. 只要把路径指向搞对了,就没什么问题了 .

  6. 如何在github上提交pr

    如何在github上提交pr 1.fork开源的代码到自己的远程仓库 2.clone自己的仓库到本地电脑 3.与源代码的github仓库建立新的连接 git remote add upstream h ...

  7. MYSQL安装与卸载(一)

    系统:win10(其他版本系统不在本次内容) MYSQL下载地址:https://dev.mysql.com/downloads/mysql/ MySQL安装主流分为两种:msi,zip Zip:压缩 ...

  8. ubuntu18.04 安装idea

    首先从官网下载idea:IntelliJ IDEA    (在安装IDEA前应先安装jdk环境) 得到ideaIU-2019.2.4.tar.gz 将安装包移动到/usr/local,这样可以让所有用 ...

  9. STM32复位及通过函数判断是何种条件出发的复位

    STM32F10xxx支持三种复位形式,分别为系统复位.上电复位和备份区域复位. 一.系统复位: 系统复位将复位所有寄存器至它们的复位状态. 当发生以下任一事件时,产生一个系统复位: 1. NRST引 ...

  10. 【OF框架】使用原生Sql查询返回实体

    使用原生Sql查询为Entity Framework Core自身的能力,本处描述如何在框架中调用该能力. 框架代码如下: (IoCHelper.Resolve<IDbContextCore&g ...