ElasticSearch之禁用交换分区

操作系统将进程加载至内存中执行时，对于当前未使用到的内存页，可能会将相关内存页交换至硬盘上，即swap。

对于性能敏感、时延敏感的应用程序比如ElasticSearch，swap特性会明显影响性能和稳定性，因此最好禁用swap特性。

对于Linux环境，目前有如下手段可以禁用swap特性。

临时关闭swap的方法，执行如下命令：

sudo swapoff -a

本方法不需要重启Linux系统，但系统重启后即失效。

修改/etc/fstab，去掉包含swap的行，这样系统重启后，就不会自动挂载swap相关的分区。

# /etc/fstab: static file system information.
#
# Use 'blkid' to print the universally unique identifier for a
# device; this may be used with UUID= as a more robust way to name devices
# that works even if disks are added and removed. See fstab(5).
#
# <file system> <mount point>   <type>  <options>       <dump>  <pass>
# / was on /dev/sda8 during installation
UUID=124a4216-e11f-4dfb-9884-ea53ee46c8d8 /               ext4    errors=remount-ro 0       1
# swap was on /dev/sda9 during installation
UUID=317d9a34-6d00-4278-bcaa-bcb3b37fc58c none            swap    sw              0       0

修改vm.swappiness的值为1，可以极大的降低进程的内存页被交换至硬盘的概率。

查看Linux系统当前vm.swappiness的值，执行如下命令：

cat /proc/sys/vm/swappiness

输出如下：

20

或者执行如下命令：

sysctl vm.swappiness

输出如下：

vm.swappiness = 20

修改vm.swappiness的值，执行如下命令：

sudo sysctl -w vm.swappiness=30

输出如下：

vm.swappiness = 30

利用Linux系统的mlockall方法，禁止将内存页交换至硬盘。

修改ElasticSearch的配置文件elasticsearch.yml，增加如下参数：

bootstrap.memory_lock: true

修改后需要重启ElasticSearch进程。

检查mlockall是否生效，执行如下命令：

curl -X GET "https://localhost:9200/_nodes?filter_path=**.mlockall&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPH=QBE+s5=*lo7F9"

执行结果的样例，如下：

{
  "nodes" : {
    "aKgBu7LgS9a6iPYH8n2JPw" : {
      "process" : {
        "mlockall" : false
      }
    }
  }
}

mlockall为true，说明增加参数后，mlockall如预期生效。

mlockall为false，说明增加参数后，mlockall未能生效，原因则可能是运行ElasticSearch的用户缺少锁定内存的权限。

检查当前用户的权限，执行如下命令：

sudo sh -c "ulimit -a"

执行结果的样例，如下：

time(seconds)        unlimited
file(blocks)         unlimited
data(kbytes)         unlimited
stack(kbytes)        8192
coredump(blocks)     0
memory(kbytes)       unlimited
locked memory(kbytes) 65536
process              15172
nofiles              1024
vmemory(kbytes)      unlimited
locks                unlimited
rtprio               0

假如判定和权限相关，则有如下解决方法。

在启动ElasticSearch前，使用root用户增加权限，命令样例如下：

ulimit -l unlimited
./bin/elasticsearch

或者修改/etc/security/limits.conf，增加如下配置。

# allow user 'elasticsearch' mlockall
elasticsearch soft memlock unlimited
elasticsearch hard memlock unlimited

相关资料

• Disable swapping
• 【Elasticsearch7.6系列】Elasticsearch性能优化最佳实践（二）
• mlock(2) — Linux manual page
• linux系统编程-内存管理day05
• linux mlockall
• 「锁定物理内存」mlock
• mlock家族：锁定物理内存
• mlockall函数
• VirtualLock
• Linux 交换分区要点汇总
• 了解vm.swappiness
• Swap 与 Swappiness
• sudo: ulimit: command not found