elasticsearch内存优化设置
1、禁用交换分区
最简单的选项是完全禁用交换,通常elasticsearch是在框上运行的唯一服务,内存由ES_HEAP_SIZE环境变量控制,设有必要启用交换分区
linux:swapoff -a 关闭交换分区
永久禁用:编辑/etc/fstab注释掉任何包含单词swap的行
windows:系统属性 -> 高级 -> 性能 -> 高级 -> 虚拟内存
完全禁用分页文件可以实现相同的功能
2、swappines配置
确保sysctl值vm.swappiness设置为0。这减少了内核交换的趋势,并且不应该导致在正常情况下交换,同时仍允许整个系统在紧急情况下交换
注意:内核版本3.5-rcl及以上版本,swappiness为0会导致OOM杀手杀死进程,而不允许交换,将swappiness设置为1,以便仍然允许在紧急情况下交换
3、mlockall
在linux系统上使用mlockall,或者在windows上使用virtualLock,以尝试将进程地址空间锁定到RAM,防止任何Elasticsearch内存被交换出来,可以添加到配置文件中,
bootstrap.mlockall:true
启动elasticsearch后,可以通过检查此请求的输出中mlockall的值来查看此设置是否已经成功应用:curl http://localhost:9200/_nodes/process?pretty
如果你看到mlockall是false,那么意味着mlockall请求失败,在linux/unix系统上最可能的原因是,运行elasticsearch的用户没有锁定内存的权限,这可能通过在启动elaticsearch之前以root身份运行ulimit -l unlimited来授予
mlockall可能失败的另一个原因是临时目录(通常为/tmp)使用noexec选项加载
这可以通过指定一个新的临时目录,通过启动elasticsearch来解决
/bin/elasticsearch -Djna tmpdir=/path/to/new/dir
注意:如果他试图分配的内存超过可用,mlockall可能会导致JVM或shell会话退出
Java虚拟机规范中描述了两种异常
1、如果线程请求的站深度大于虚拟机所允许的最大深度,将抛出StackOverflow Error异常,logstash的hs_err_pid4944
2、如果虚拟机在扩展栈时无法申请到足够的内存空间,则抛出OutofMemary Error异常
elasticsearch内存优化设置的更多相关文章
- Elasticsearch内存分配设置详解
Elasticsearch默认安装后设置的内存是1GB,对于任何一个现实业务来说,这个设置都太小了.如果你正在使用这个默认堆内存配置,你的集群配置可能会很快发生问题. 这里有两种方式修改Elastic ...
- Elasticsearch内存分配设置详解(转)
Elasticsearch默认安装后设置的内存是1GB,对于任何一个现实业务来说,这个设置都太小了.如果你正在使用这个默认堆内存配置,你的集群配置可能会很快发生问题.这里有两种方式修改Elastics ...
- Tomcat 内存优化设置
vi /tomcat7.0/bin/catalina.sh 开发环境 #!/bin/sh JAVA_OPTS='-Xms128m -Xmx512m -XX:PermSize=128m' 服务器: #! ...
- mySQL内存及虚拟内存优化设置[转]
mySQL内存及虚拟内存优化设置 . 数据库mySQL内存优化G-LB 为了装mysql环境测试,装上后发现启动后mysql占用了很大的虚拟内存,达8百多兆.网上搜索了一下,得到高人指点my.ini ...
- elasticsearch 性能优化
#系统默认的最大打开文件数的限制 vi /etc/security/limits.conf * - nproc 50240 * - ...
- ElasticSearch性能优化策略【转】
ElasticSearch性能优化主要分为4个方面的优化. 一.服务器部署 二.服务器配置 三.数据结构优化 四.运行期优化 一.服务器部署 1.增加1-2台服务器,用于负载均衡节点 elasticS ...
- 亿级 Elasticsearch 性能优化
前言 最近一年使用 Elasticsearch 完成亿级别日志搜索平台「ELK」,亿级别的分布式跟踪系统.在设计这些系统的过程中,底层都是采用 Elasticsearch 来做数据的存储,并且数据量都 ...
- elasticsearch配置优化
调整ES内存分配有多种方式,建议调整 elasticsearch 中的设置(还可以直接修改bin下的启动脚本). # Directory where the Elasticsearch binary ...
- In-Memory:内存优化表的事务处理
内存优化表(Memory-Optimized Table,简称MOT)使用乐观策略(optimistic approach)实现事务的并发控制,在读取MOT时,使用多行版本化(Multi-Row ve ...
随机推荐
- TP5中的小知识
在TP5中如果想用select 查询后,变成数组,用toArray()这个函数的话,必须在连接数据库中把 数据集返回类型变成 'resultset_type'=>'\think\Collecti ...
- redis之数据类型以及使用
1 redis数据类型 1. string类型: 字符串类型是 Redis 中最为基础的数据存储类型,它在 Redis 中是二进制安全的,也就是byte类型 最大容量是512M.2. hash类型: ...
- python基础之变量以及if语句
1.变量 1.1定义:变量是一种介质,是将一些值暂时存储在内存中,方便后续程序调用.可将其看作容器但其内部的东西是可变化的. 1.2 变量的命名规则: 1.变量的命名只能由数字,字母,下划线构成. 2 ...
- python记录_day30 多进程
1.什么是进程 进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础. 同一个程序执行两次,就会产生两个进程 ## 进程调度算 ...
- python记录_day09 初识函数
一.认识函数 函数:对动作或者功能的封装 格式: 函数声明 def 函数名(): 函数体 函数调用 函数名() #定义函数 def xiao(): print("你的笑像一 ...
- flexbox与grid layout的区别
flexbox是一种针对一维的局部布局,以轴为核心的弹性布局. grid layout是二维的更加全面的网格布局,
- GitHub学习四-查看版本库信息
首先,只有在本地init以及关联到远程版本库的本地版本库,才能查看版本库信息 1.查看版本库名字 如果忘了名字,直接运行git remote 2.git remote show <name> ...
- mongodb副本集用户权限设置
mongodb副本集用户权限设置 用户权限参考文章 一:先看看MongoDB中用户的角色说明 read : 数据库的只读权限,包括: aggregate,checkShardingIndex, ...
- oracle 日常设置
查看缓冲区命令:list 执行save 1.sql 可以吧缓冲区的命令保存下来. 执行 @1.sql可以执行保存下来的内容: show feedback 显示反馈信息,最后一行. show ...
- windows安装weblogic并集成到eclipse
1.下载 java是跨平台的,所以windows下载和linux一样的jar文件安装就行,当然也可以使用windows安装程序来安装. (weblogic下载不需要购买--oracle产品都是补丁和技 ...