RabbitMQ 内存控制 硬盘控制

RabbitMQ服务器在启动时以及abbitmqctl set_vm_memory_high_watermark fraction 执行时，会检查计算机的RAM总大小. 默认情况下下, 当 RabbitMQ server 的使用量超过RAM的40% ，它就会发出内存警报，并阻塞所有连接. 一旦内存警报清除 (如，服务器将消息转存于磁盘，或者将消息投递给clients),服务又地恢复.

默认内存阀值设置为已安装RAM的40%. 注意这并不会阻止RabbitMQ server使用内存量超过40%, 它只是为了压制发布者． Erlang的垃圾回收器最坏情况下，可使用配置内存的２倍(默认情况下t, RAMr的80%）. 因此强制建议开启OS swap或page files .

32位架构倾向于每一个进程有2GB的内存限制. 64位架构的一般实现(i.e. AMD64 和 Intel EM64T) 只允许每个进程为256TB. 64-位 Windows 限制为8TB. 但是，请注意，即使是64位操作系统下，一个32位的过程往往只有一个2GB的最大地址空间。

 

配置内存阀值

内存阀值可通过编辑configuration file来配置.下面的例子将阀值设为默认值0.4:

[{rabbit, [{vm_memory_high_watermark, 0.4}]}].

默认值0.4 代表的是已安装RAM的 40% , 有时候还更小.如：在 32位平台中，如果你安装有４GB RAM , 4GB 的40% 是 1.6GB, 但是 32-位 Windows 正常情况下限制进程为2GB,因此实际阀值是2GB的40% (即820MB).

另外, 内存阀值也可以设置为绝对值. 下面的例子将阀值设为了1073741824 字节 (1024 MB):

[{rabbit, [{vm_memory_high_watermark, {absolute, 1073741824}}]}].

同例, 也可使用内存单位:

[{rabbit, [{vm_memory_high_watermark, {absolute, "1024MiB"}}]}].

如果绝对上限大于了安装的RAM可用的虚拟地址空间, 阀值上限会略小.

当RabbitMQ服务器启动时，内存限制将追加到RABBITMQ_NODENAME.log 文件中：

=INFO REPORT==== 29-Oct-2009::15:43:27 === Memory limit set to 2048MB.

 

内存限制也可以使用rabbitmqctl　status命令查询．

其阀值也可以在broker运行时，通过rabbitmqctl set_vm_memory_high_watermark fraction 命令或 rabbitmqctl set_vm_memory_high_watermark absolute memory_limit 命令修改. 内存单位也可以在命令中使用. 此命令会在broker重启后生效. 当执行此命令时，内存限制可能会改变热插拔RAM，而不会发生报警，这是因为需要全部数量的系统RAM.

 

禁止所有发布

其值为０时，会立即触发报警并禁用所有发布 (当需要禁用全局发布时，这可能是有用的); use rabbitmqctl set_vm_memory_high_watermark 0.

 

限制的地址空间

当在６４位操作系统中运行３２位 Erlang VM时，(or a 32 bit OS with PAE), 可用地址内存是受限制的. 服务器探测到后会记录像下边的日志消息:

=WARNING REPORT==== 19-Dec-2013::11:27:13 === Only 2048MB of 12037MB memory usable due to limited address space. Crashes due to memory exhaustion are possible - see http://www.rabbitmq.com/memory.html#address-space

 

内存报警系统是不完美的.虽然停止发布通常会防止任何进一步的内存使用，但可能有其他东西继续增加内存使用。通常情况下，当这种情况发生时，物理内存耗尽，操作系统将开始交换。但是当运行一个有限的地址空间，超过限制的运行会导致虚拟机崩溃。

 

因此强制建议在在６４位操作系统上运行６４位的Erlang VM.

 

配置分页阈值

在broker达到最高水位阻塞发布者之前,它会尝试将队列内容分页输出到磁盘上来释放内存. 持久化和瞬时消息都会分页输出 (已经在磁盘上的持久化消息会被赶出内存).

默认情况下，在达最高水位的５０％时，就会发生这种情况． (即，默认最高水位为0.4, 这会在内存使用达到20%时就会发生). 要修改此值，可修改vm_memory_high_watermark_paging_ratio 配置的0.5默认值. 例如:

[{rabbit, [{vm_memory_high_watermark_paging_ratio, 0.75}, {vm_memory_high_watermark, 0.4}]}].

上面的配置表示在内存使用达到３０％时，就会启动,40%的时候会阻塞发布者.

 

也可以将vm_memory_high_watermark_paging_ratio 值设为大于1.0的值.在这种情况下，队列不会把它的内容分页到磁盘上.如果这引起了内存报警关闭，那么生产者会如上面预期的一样被阻塞.

 

未确认的平台

如果RabbitMQ服务器不能识别你的系统，它将在RABBITMQ_NODENAME.log 文件中追加警告.

然后它会假设安装了超过了1GB的RAM:

=WARNING REPORT==== 29-Oct-2009::17:23:44 === Unknown total memory size for your OS {unix,magic_homebrew_os}. Assuming memory size is 1024MB.

在这种情况下，vm_memory_high_watermark 配置值假设为1GB RAM. 在 vm_memory_high_watermark 默认设为 0.4的情况下, RabbitMQ的内存阀值设为了410MB, 因此当RabbitMQ使用了多于410M内存时，它会阻塞生产者.因此当RabbitMQ不能识别你的平台时，如果你实际有8GB RAM，并且你想让RabbitMQ内存使用量超过3GB阻塞生产者,你可以设置vm_memory_high_watermark为3.

推荐RAM 水位设置，可参考Production Checklist.

一、内存控制：

vm_memory_high_watermark 该值为内存阈值，默认为0.4。意思为物理内存的40%。40%的内存并不是内存的最大的限制，它是一个发布的节制，当达到40%时Erlang会做GC。最坏的情况是使用内存80%。如果把该值配置为0，将关闭所有的publishing 。

rabbitmqctl set_vm_memory_high_watermark 0

Paging 内存阈值，该值为默认为0.5，该值为vm_memory_high_watermark的20%时，将把内存数据写到磁盘。

如机器内存16G，当RABBITMQ占用内存1.28G（16*0.4*0.2）时把内存数据放到磁盘。

二、硬盘控制：

当RabbitMQ的磁盘空闲空间小于50M（默认），生产者将被BLOCK,

如果采用集群模式，磁盘节点空闲空间小于50M将导致其他节点的生产者都被block

可以通过disk_free_limit来对进行配置。

------------------------------------------------------------------\

可以修改rabbitmq-env.conf配置文件：

[{rabbit,[{vm_memory_high_watermark,0.6}]}].

或者设置成固定值：

[{rabbit,[{vm_memory_high_watermark,{absolute,1073741824}}]}].也就是1024MB.

如果要在broker运行过程中修改，则rabbitmqctl set_vm_memory_high_watermark 0.6

-------------------------------------------------\

三. 配置
/usr/local/rabbitmq/sbin目录下
rabbitmq-env 环境配置
rabbitmq-defaults 默认参数设置
rabbitmqctl 管理工具
rabbitmq-plugins 插件管理工具
rabbitmq-server rabbitmq服务

# vim rabbitmq-defaults

 

1 2 3 4 5 6 7 8 9 10

SYS_PREFIX=${RABBITMQ_HOME} ERL_DIR=/usr/local/erlang/bin/ //设置erl命令路径 CLEAN_BOOT_FILE=start_clean SASL_BOOT_FILE=start_sasl CONFIG_FILE=${SYS_PREFIX}/etc/rabbitmq/rabbitmq //设置rabbitmq运行参数 LOG_BASE=${SYS_PREFIX}/var/log/rabbitmq MNESIA_BASE=${SYS_PREFIX}/var/lib/rabbitmq/mnesia ENABLED_PLUGINS_FILE=${SYS_PREFIX}/etc/rabbitmq/enabled_plugins //允许插件列表配置文件 PLUGINS_DIR="${RABBITMQ_HOME}/plugins" CONF_ENV_FILE=${SYS_PREFIX}/etc/rabbitmq/rabbitmq-env.conf

主要配置文件
1. enabled_plugins：设置允许的插件列表，格式如下：

 

1 2 3 4 5

[rabbitmq_jsonrpc_channel, rabbitmq_jsonrpc_channel_examples, rabbitmq_management, rabbitmq_management_visualiser, rabbitmq_tracing].

2. rabbitmq.config：设置rabbitmq运行参数。结构为hash数组格式。如

 

1 2 3 4 5 6 7 8 9

[ {mnesia, [{dump_log_write_threshold, 1000}]}, {rabbit, [{vm_memory_high_watermark, 0.4}]} {rabbitmq_management, [{listener, [{port, 55673}, {ip, "0.0.0.0"} ]} ]} ].

其中几个关键参数为:
tcp_listerners 设置rabbimq的监听端口，默认为[5672]。
disk_free_limit 磁盘低水位线，若磁盘容量低于指定值则停止接收数据，默认值为{mem_relative, 1.0},即与内存相关联1：1，也可定制为多少byte.
vm_memory_high_watermark，设置内存低水位线，若低于该水位线，则开启流控机制，默认值是0.4，即内存总量的40%。
hipe_compile 将部分rabbimq代码用High Performance Erlang compiler编译，可提升性能，该参数是实验性，若出现erlang vm segfaults，应关掉。
force_fine_statistics， 该参数属于rabbimq_management，若为true则进行精细化的统计，但会影响性能。
/usr/local/etc/rabbitmq/rabbitmq.config
[{auth_backends,[rabbit_auth_backend_internal]},
{auth_mechanisms,['PLAIN','AMQPLAIN']},
{backing_queue_module,rabbit_variable_queue},
{cluster_nodes,[]},
{collect_statistics,fine},
{collect_statistics_interval,5000},
{default_permissions,[<<".*">>,<<".*">>,<<".*">>]},
{default_user,<<"guest">>},
{default_user_tags,[administrator]},
{default_vhost,<<"/">>},
{delegate_count,16},
{error_logger,{file,"/usr/local/var/log/rabbitmq/rabbit@Technophiliac.log"}},
{frame_max,131072},
{hipe_compile,false},
{included_applications,[]},
{msg_store_file_size_limit,16777216},
{msg_store_index_module,rabbit_msg_store_ets_index},
{queue_index_max_journal_entries,262144},
{sasl_error_logger,{file,"/usr/local/var/log/rabbitmq/rabbit@Technophiliac-sasl.log"}},
{server_properties,[]},
{ssl_listeners,[]},
{ssl_options,[]},
{tcp_listen_options,
[binary,
{packet,raw},
{reuseaddr,true},
{backlog,128},
{nodelay,true},
{exit_on_close,false}]},
{tcp_listeners,[5672]},
{trace_vhosts,[<<"/">>]},
{vm_memory_high_watermark,0.4}]
3. rabbitmq-env.conf rabbitmq环境参数配置

 

1 2 3 4 5 6

RABBITMQ_NODENAME=FZTEC-240088 节点名称 RABBITMQ_NODE_IP_ADDRESS=127.0.0.1 监听IP RABBITMQ_NODE_PORT=5672 监听端口 RABBITMQ_LOG_BASE=/data/rabbitmq/log 日志目录 RABBITMQ_PLUGINS_DIR=/data/rabbitmq/plugins 插件目录 RABBITMQ_MNESIA_BASE=/data/rabbitmq/mnesia 后端存储目录

更详细的配置参见： http://www.rabbitmq.com/configure.html#configuration-file

4. 启动

 

1	# /usr/local/rabbitmq/sbin/rabbitmq-server -detached

四. rabbitmq插件管理
启用rabbitmq web管理插件

 

1	# ./rabbitmq-plugins enable rabbitmq_management

列出所有插件

 

 

1	# ./rabbitmq-plugins list