HugePages概述--翻译自19C文档

翻译自：

https://docs.oracle.com/en/database/oracle/oracle-database/19/unxar/administering-oracle-database-on-linux.html#GUID-CC72CEDC-58AA-4065-AC7D-FD4735E14416

A.7 HugePages概述

HugePages是集成到Linux内核2.6中的一项特性。启用HugePages使操作系统可以支持的内存页大于默认值（通常为4 KB）。使用非常大的页面大小可以通过减少访问page table entries所需的系统资源量来提高系统性能。HugePages对32位和64位配置都很有用。HugePage大小从2 MB到256 MB不等，具体取决于内核版本和硬件架构。对于Oracle数据库，使用HugePages可以减少page states的操作系统维护，并提高转换后备缓冲区（Translation Lookaside Buffer ,TLB）命中率。

注意：

透明Hugepages目前不是手动配置HugePages的替代方案。

本节包括以下主题：

A.7.1查看HugePages内存分配

如果您的操作系统启用了HugePages，请查看此信息。

在Linux平台安装中，Oracle建议您使用HugePages获取Oracle数据库的最佳性能。在启用了HugePages的服务器上升级Oracle Grid Infrastructure和Oracle数据库时，Oracle建议您查看HugePages内存分配要求。

GIMR和HugePages内存

Oracle Grid Infrastructure安装包括Grid Infrastructure Management Repository（GIMR）。如果在群集成员节点上配置了HugePages，GIMR系统全局区域（SGA）将安装到HugePages内存中。GIMR SGA最高占用1 GB的HugePages内存。

如果群集成员节点操作系统内存分配到HugePages不足以满足群集上所有Oracle数据库实例的SGA大小，那么您可能会发现一个或多个Oracle数据库SGA映射到常规页面，而不是的巨大页面，降低了预期的性能。为避免此问题，在计划升级时，请确保为HugePages保留的内存足够大，以满足您的内存要求。

为集群上计划运行SGA的所有数据库分配足够大的内存到HugePages，也要考虑到Grid Infrastructure Management Repository的SGA。

笔记：也就是说每个节点可能运行多个共享内存段，比如有GI的SGA，有多个数据库实例，那么HugePages 应该大于他们内存的总和

A.7.2在Linux上使用HugePages

要使Oracle数据库在Linux上使用大页面（有时称为HugePages），请设置vm.nr_hugepages内核参数的值以指定要保留的大页面数。您必须指定足够的大页面来保存数据库实例的整个SGA。要确定所需的参数值，请将实例的SGA大小除以大页面的大小，然后将结果向上舍入为最接近的整数。

要确定默认的大页面大小，请运行以下命令：

# grep Hugepagesize /proc/meminfo

例如，如果/proc/meminfo 显示大页面大小2 MB，并且实例的总SGA大小为1.6 GB，则将vm.nr_hugepages内核参数的值设置为820（1.6 GB / 2 MB = 819.2）。

A.7.3使用HugePages调整SGA

如果没有HugePages，操作系统会将每个4 KB的内存保留为一个page。当它将pages分配给数据库系统全局区域（SGA）时，操作系统内核必须为分配给该数据库SGA的每个4 KB页面不断更新其page table 上的生命周期（脏，空，映射到进程等）。

使用HugePages，操作系统页表（虚拟内存到物理内存映射）较小，因为每个页表条目指向2 MB到256 MB的页面。

此外，内核中生命周期必须受到监视的pages较少。例如，如果将HugePages与64位硬件一起使用，并且要映射256 MB内存，则可能需要一个page table entry（PTE）。如果您不使用HugePages，并且想要映射256 MB内存，则必须具有256 MB * 1024 KB / 4 KB = 65536个PTE。

HugePages具有以下优势：

通过增加TLB命中率提高性能
页面被锁定在内存中，永远不会被换出，这为共享内存结构（如SGA）提供了RAM
连续页面是预分配的，不能用于除System V共享内存之外的任何其他内容（例如，SGA）
由于页面大小较大，内核对于该部分虚拟内存的簿记工作较少笔记：SGA是虚拟内存，RAM 是物理内存，它们之间有一个映射关系，使用HugePage,需要维护的映射关系减少。

A.7.4在Linux上配置HugePages

完成以下步骤以在计算机上配置HugePages：

运行以下命令以确定内核是否支持HugePages：
```
$ grep Huge / proc / meminfo
```
某些Linux系统默认不支持HugePages。对于此类系统，请使用CONFIG_HUGETLBFS和CONFIG_HUGETLB_PAGE 配置选项构建Linux内核。CONFIG_HUGETLBFS位于文件系统下，在您选择CONFIG_HUGETLBFS时，CONFIG_HUGETLB_PAGE会被一并选中。
编辑文件中的memlock设置/etc/security/limits.conf。该memlock设置以KB为单位指定，当启用HugePages内存时，最大锁定内存限制应设置为当前RAM的至少90％，并且当禁用HugePages内存时，应设置至少3145728 KB（3 GB）。例如，如果安装了64 GB RAM，则添加以下条目以增加最大锁定内存地址空间：
```
*   soft   memlock    60397977

*   hard   memlock    60397977
```
您还可以将memlock值设置为高于SGA要求.
已oracle用户重新登陆，运行ulimit -l 命令验证新memlock设置.
```
$ ulimit -l

60397977
```
运行以下命令以显示Hugepagesize变量的值：
```
$ grep Hugepagesize / proc / meminfo
```

完成以下过程以创建一个脚本，该脚本计算当前共享内存段的hugepages配置建议值：

创建一个名为hugepages_settings.sh 的文本文件。
在文件中添加以下内容：

#!/bin/bash

#

# hugepages_settings.sh

#

# Linux bash script to compute values for the

# recommended HugePages/HugeTLB configuration

#

# Note: This script does calculation for all shared memory

# segments available when the script is run, no matter it

# is an Oracle RDBMS shared memory segment or not.

# Check for the kernel version

KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`

# Find out the HugePage size

HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}`

# Start from  pages to be on the safe side and guarantee  free HugePage

NUM_PG=

# Cumulative number of pages required to handle the running shared memory segments

for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"`

do

   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`

   if [ $MIN_PG -gt  ]; then

      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`

   fi

done

# Finish with results

case $KERN in

   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;

          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;

   '2.6'|'3.8') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;

    *) echo "Unrecognized kernel version $KERN. Exiting." ;;

esac

# End

运行hugepages_settings.sh 计算hugepages 参数值.
```
$ chmod + x hugepages_settings.sh

$ ./hugepages_settings.sh
```
注意：

在运行此脚本之前，请确保所有使用hugepages的应用程序都在运行。
设置以下内核参数，其中value是您在步骤7中确定的HugePages值：
```
#sysctl -w vm.nr_hugepages = value
```
要确保在系统重新启动后自动分配HugePages，请将以下条目添加到/etc/sysctl.conf文件中，其中value是您在步骤7中确定的HugePages值：
```
vm.nr_hugepages = value
```
运行以下命令以检查可用hugepages：
```
$ grep Huge /proc/meminfo
```
重启实例。
运行以下命令检查可用hugepages（1或2 pages 空闲）：
```
$ grep Huge /proc/meminfo
```
注意：

如果您无法通过nr_hugepages设置HugePages，则您的可用内存可能是碎片化的。重新启动服务器以使Hugepages分配生效

A.7.5 HugePages配置的限制

HugePages具有以下限制：

您必须取消设置MEMORY_TARGET和MEMORY_MAX_TARGET初始化参数。例如，要取消设置数据库实例的参数，请使用命令ALTER SYSTEM RESET。
自动内存管理（AMM）和HugePages不兼容。使用AMM时，整个SGA内存通过在/dev/shm下创建文件来分配。当Oracle数据库使用AMM分配SGA时，HugePages不支持。要在Oracle Database 19c上使用HugePages，您必须禁用AMM。
如果在32位环境中使用VLM（Very Large Memory），则不能将HugePages用于Database Buffer cache。可以用于SGA的其他部分，如shared_pool, large_pool等。VLM（buffer cache）的内存分配使用共享内存文件系统（ramfs/tmpfs/shmfs）完成。内存文件系统不提供或使用HugePages。
除非系统管理员通过修改可用页数或修改池大小来更改HugePages配置，否则HugePages不会在系统启动后进行分配或释放。如果在系统启动期间未在内存中预留所需的空间，则HugePages分配失败。
确保正确配置HugePages，因为如果过多的HugePages未被应用程序使用，系统可能会耗尽内存。笔记：vm.nr_hugepages不能配置过大
如果实例启动时HugePages不足，且初始化参数use_large_pages设置为的only，则数据库无法启动，并且警报日志消息提供有关Hugepages的必要信息。

A.7.6 禁用透明HugePages

Oracle建议您在开始安装之前禁用Transparent HugePages。

透明HugePages内存与标准HugePages内存不同，因为内核khugepaged线程在运行时动态分配内存。标准HugePages内存在启动时预先分配，并且在运行时不会更改。

注意：

虽然在UEK2和更高版本的UEK内核上禁用了透明HugePages，但您的Linux系统上可能默认启用了Transparent HugePages。

Red Hat Enterprise Linux 6，Red Hat Enterprise Linux 7，SUSE 11，Oracle Linux 6和Oracle Linux 7 早期版本的Oracle Linux具有Unbreakable Enterprise Kernel 2（UEK2）内核默认启用了透明HugePages内存。

透明HugePages可能会在运行时导致内存分配延迟。为避免性能问题，Oracle建议您在所有Oracle数据库服务器上禁用透明HugePages。Oracle建议您使用标准HugePages来提高性能。

要检查是否已启用Transparent HugePages，请以root用户身份运行以下命令之一：

红帽企业Linux内核：

# cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

其他内核：

# cat /sys/kernel/mm/transparent_hugepage/enabled

以下是一个示例输出，显示正在使用透明HugePages，因为[always]标志已启用。

[always] never

注意：

如果从内核中删除了Transparent HugePages ，则既不存在/sys/kernel/mm/transparent_hugepage 也不存在/sys/kernel/mm/redhat_transparent_hugepage。

要禁用透明HugePages：

对于Oracle Linux 6或更早版本，请将以下条目添加到/etc/grub.conf文件中的内核引导行：
```
transparent_hugepage=never
```
例如：
```
title Oracle Linux Server (2.6.-300.25..el6uek.x86_64)

      root (hd0,)

      kernel /vmlinuz-2.6.-300.25..el6uek.x86_64 ro root=LABEL=/ transparent_hugepage=never

      initrd /initramfs-2.6.-300.25..el6uek.x86_64.img
```
对于Oracle Linux 7或更高版本的操作系统，文件名可能有所不同。检查操作系统文档以获取确切的文件名和禁用透明HugePages的步骤。
例如，对于Oracle Linux 7.3，禁用透明HugePages的过程涉及编辑/etc/default/grub文件然后运行命令grub2-mkconfig。
重新启动系统以使更改成为永久更改。

步骤简化整理

1.设定锁定内存的最大资源限制（单位kB），建议设置为90%RAM.

如 RAM=64G时，memlock=64*1024*1024*90%=60397977

vi /etc/security/limits.conf

* soft memlock

* hard memlock

这里只是资源限制，并不是配置这么多就用这么多。决定用多少的是sysctl.conf文件

2.启动节点上所有要用共享内存的进程（包括GI和所有的数据库实例）

启动后才产生共享内存段，才可以使用官方脚本计算应该配置多少HugePages。

3.通过官方脚本计算应该配置使用多少HugePages

vi hugepages_settings.sh

#!/bin/bash

#

# hugepages_settings.sh

#

# Linux bash script to compute values for the

# recommended HugePages/HugeTLB configuration

#

# Note: This script does calculation for all shared memory

# segments available when the script is run, no matter it

# is an Oracle RDBMS shared memory segment or not.

# Check for the kernel version

KERN=`uname -r | awk -F. '{ printf("%d.%d\n",$1,$2); }'`

# Find out the HugePage size

HPG_SZ=`grep Hugepagesize /proc/meminfo | awk {'print $2'}`

# Start from  pages to be on the safe side and guarantee  free HugePage

NUM_PG=

# Cumulative number of pages required to handle the running shared memory segments

for SEG_BYTES in `ipcs -m | awk {'print $5'} | grep "[0-9][0-9]*"`

do

   MIN_PG=`echo "$SEG_BYTES/($HPG_SZ*1024)" | bc -q`

   if [ $MIN_PG -gt  ]; then

      NUM_PG=`echo "$NUM_PG+$MIN_PG+1" | bc -q`

   fi

done

# Finish with results

case $KERN in

   '2.4') HUGETLB_POOL=`echo "$NUM_PG*$HPG_SZ/1024" | bc -q`;

          echo "Recommended setting: vm.hugetlb_pool = $HUGETLB_POOL" ;;

   '2.6'|'3.8') echo "Recommended setting: vm.nr_hugepages = $NUM_PG" ;;

    *) echo "Unrecognized kernel version $KERN. Exiting." ;;

esac

# End

chmod +x hugepages_settings.sh

./hugepages_settings.sh

4.配置Hugepages

vi /etc/sysctl.conf

vm.nr_hugepages = value #来自上一步计算结果

5.禁用透明HugePages

检查当前是否启用了透明HugePages:

cat /sys/kernel/mm/redhat_transparent_hugepage/enabled # [always] 表示已启用

禁用方法：

添加transparent_hugepage=never参数到/etc/grub.conf　文件中的 kernel 引导行

6.重启服务器

一方面禁用透明HugePages需要重启，另一方面启用HugePages大部分情况也需要重启。