HugePages是通过使用大页内存来取代传统的4kb内存页面,使得管理虚拟地址数变少,加快了从虚拟地址到物理地址的映射以及通过摒弃内存页面的换入换出以提高内存的整体性能.尤其是对于8GB以上的内存以及较大的Oracle SGA size,建议配值并使用HugePage特性.本文基于x86_64 Linux下来描述如何配值 HugePages. 1.Hugepage的引入    操作系统对于数据的存取直接从物理内存要比从磁盘读写数据要快的多,但是物理内存是有限的,这样就引出了物理内存与虚拟内存的…

内存问题 本篇文章介绍Kafka处理大文件出现内存溢出 java.lang.OutOfMemoryError: Direct buffer memory,主要内容包括基础应用.实用技巧.原理机制等方面,希望对大家有所帮助. bin目录下的kafka-run-class.sh中须要配置的参数 kafka是由scala和java编写的.因此须要调一些jvm的参数.java的内存分为堆内内存和堆外内存. JVM参数系列 -Xms2048m, -Xmx2048m,设置的是堆内内存. -Xms是初始可用的…

1. 查看linux的内存情况: free -m 2. 查看是否开启大页的方法: cat /proc/meminfo |grep -i HugePage AnonHugePages: 276480 kBHugePages_Total: 0HugePages_Free: 0HugePages_Rsvd: 0HugePages_Surp: 0Hugepagesize: 2048 kB 含义 HugePages_Total: 0 总共大页数目HugePages_Free: 0 空闲数目HugePage…

实际环境中,遇到3次由于内存大页设置参数不合理或者错误,导致系统内存不足,或者数据库内存不足的问题. 按照如下方式,推荐设置大页参考下发设置! 参考HugePages on Oracle Linux 64-bit (Doc ID 361468.1) 1.建议配置Linux 内存大页=Oracle SGA大小+1G 或者 1~2个页块 4Mbytes 2.SGA大小建议参考如下8G物理内存: SGA=3G PGA=1G16G物理内存: SGA=6G PGA=2G32G物理内存: SGA=16G P…

Linux网卡调优篇-禁用ipv6与优化socket缓冲区大小 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一般在内网环境中,我们几乎是用不到IPV6,因此我们没有必要把多不用的功能开起来从而浪费不必要的资源.默认情况下,系统内核没有针对快速的的大流量网络传输进行优化,所以对于应用程序来说,一般需要对Linux系统的网络栈进行调优,以实现对大流量的支持. 一.禁用IPv6图解 1>.使用ifconfig查看网卡信息(如果没有该工具,直接yum按照响应的工具包即可:[ro…

  Linux虚拟内存(swap)调优篇-“swappiness”,“vm.dirty_background_ratio”和“vm.dirty_ratio” 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 我的kafka集群在上线一段时间后,发现内存使用达到峰值时系统开始使用swap.在swap的过程中系统性能会有所下降,表现为较大的服务延迟.对这种情况,可以通过调节swappiness内核参数降低系统对swap的使用,从而避免不必要的swap对性能造成的影响.接下来,我们就一…

大数据集群Linux CentOS 7.6 系统调优篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.设置主机hosts文件 1>.修改主机名 [root@node100.yinzhengjie.org.cn ~]# cat /etc/hostname node100.yinzhengjie.org.cn [root@node100.yinzhengjie.org.cn ~]# 2>. 添加集群各节点主机名称映射关系 [root@node100.yinzhengjie.…

前言 这篇是MySQL 数据库规范的最后一篇--调优篇,旨在提供我们发现系统性能变弱.MySQL系统参数调优,SQL脚本出现问题的精准定位与调优方法. 目录 1.MySQL 调优金字塔理论 2.MySQL 慢查询分析--mysqldumpslow.pt_query_digest工具的使用(SQL脚本层面) 3.选择合适的数据类型 4.去除无用的索引--pt_duplicate_key_checker工具的使用(索引层面) 5.反范式化设计(表结构) 6.垂直水平分表 7.MySQL 重要参数调优…

<Kafka权威指南>读书笔记-操作系统调优篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 大部分Linux发行版默认的内核调优参数配置已经能够满足大多数应用程序的运行需求,不过还是可以通过调整一些参数来进一步提升Kafka的性能.这些参数主要与虚拟内存,网络子系统和用来存储日志片段的磁盘挂在点有关.这些参数一般配置在“/etc/sysctl.conf” 文件里,不过在对内核参数进行调整时,最好参考官方提供的操作系统文档. 一.虚拟内存 一般来说,Linux的虚拟内存会根…

修改 vi /etc/sysctl.conf后执行命令 sysctl -p立即生效 首先,系统的不同也会导致 /etc/下的 文件的不同,原本powerpc 环境下 在 /etc/init.d/下有个 bootmisc.sh 的脚本.启动启动的时候会执行该脚本. 但是我现在的 环境是 fedora15 ,找不到 bootmisc.sh 文件了.但是在 /etc/rc.d 中有个 rc.local文件,当正常启动时 会加载该文件,所以在 rc.local 文件中 增加命令 /sbin/sysctl…