Redis内存碎片清理

当Redis中清理了大量的Key之后原先Redis申请的内存（used_memory_rss）将继续持有而不会释放，此时查看内存信息将会看到存在大量的内存碎片。那么，Redis的内存碎片可以清理么，该如何清理呢？

翻看了Redis的相关资料发现，Redis4版本之后开始支持内存碎片的清理，于是进行了一次测试，内容如下：

1.  搭建Redis

搭建一个Redis，版本为4.0.14.搭建步骤参考历史博文或微信公众号，步骤相对简单，没有太多幺蛾子，很快便可以搭建成功。

2.  插入一堆Key,使其内存占用很大

可以批量写一个循环，插入大量key。

3.  删除90%以上的key

循环删除key或在创建key时设置过期时间，待key删除或过期之后，可以查看内存的情况。

127.0.0.1:> info memory
# Memory
used_memory:
used_memory_human:130.69M
used_memory_rss:
used_memory_rss_human:.90G
used_memory_peak:
used_memory_peak_human:.26G
used_memory_peak_perc:1.13%
used_memory_overhead:
used_memory_startup:
used_memory_dataset:
used_memory_dataset_perc:98.03%
total_system_memory:
total_system_memory_human:.70G
used_memory_lua:
used_memory_lua_human:.00K
maxmemory:
maxmemory_human:.18G
maxmemory_policy:noeviction
mem_fragmentation_ratio:85.42
mem_allocator:jemalloc-4.0.
active_defrag_running:
lazyfree_pending_objects:
 

可以发现实际使用内存为130.69M，而Redis申请的内存为10.90G，碎片率mem_fragmentation_ratio为85.42，相当高了

4.  清理内存碎片

默认情况下自动清理碎片的参数是关闭的，可以按如下命令查看

127.0.0.1:> config get activedefrag
) "activedefrag"
) "no"

启动自动清理内存碎片

127.0.0.1:> config set  activedefrag yes
OK

开启后再查看内存信息

127.0.0.1:> info memory
# Memory
used_memory:
used_memory_human:131.64M
used_memory_rss:
used_memory_rss_human:.71G
used_memory_peak:
used_memory_peak_human:.26G
used_memory_peak_perc:1.14%
used_memory_overhead:
used_memory_startup:
used_memory_dataset:
used_memory_dataset_perc:97.84%
total_system_memory:
total_system_memory_human:.70G
used_memory_lua:
used_memory_lua_human:.00K
maxmemory:
maxmemory_human:.18G
maxmemory_policy:noeviction
mem_fragmentation_ratio:36.61
mem_allocator:jemalloc-4.0.
active_defrag_running:
lazyfree_pending_objects:
 

此时redis占用的内存used_memory_rss已降低至4.71G了，内存碎片为36.61

5. 查看内存分配情况

此时也可以查看内存分配情况,其中重要的指标是查看bins里的util,此时可以发现当前最大的已达到0.998（1除外）

127.0.0.1:> memory malloc-stats
___ Begin jemalloc statistics ___
Version: 4.0.--ge9192eacf8935e29fc62fddc2701f7942b1cc02c
Assertions disabled
Run-time option settings:
  opt.abort: false
  opt.lg_chunk:
  opt.dss: "secondary"
  opt.narenas:
  opt.lg_dirty_mult:  (arenas.lg_dirty_mult: )
  opt.stats_print: false
  opt.junk: "false"
  opt.quarantine:
  opt.redzone: false
  opt.zero: false
  opt.tcache: true
  opt.lg_tcache_max:
CPUs:
Arenas:
Pointer size:
Quantum size:
Page size:
Min active:dirty page ratio per arena: :
Maximum thread-cached size class:
Chunk size:  (^)
Allocated: , active: , metadata: , resident: , mapped:
Current active ceiling: 

arenas[]:
assigned threads:
dss allocation precedence: secondary
min active:dirty page ratio: :
dirty pages: : active:dirty,  sweeps,  madvises,  purged
                            allocated      nmalloc      ndalloc    nrequests
small:
large:
huge:
total:
active:
mapped:
metadata: mapped: , allocated:
bins:           size ind    allocated      nmalloc      ndalloc    nrequests      curregs      curruns regs pgs  util       nfills     nflushes      newruns       reruns
                                                                                  0.720
                                                                     0.435
                                                                     0.152
                                                                                   0.195
                                                                                      0.019
                                                                                0.148
                                                                            0.006
                                                                           0.175
                                                                    0.711
                                                                     0.875
                                                                          0.996
                                                                         0.982
                                                                        0.997
                                                                             0.882
                                                                        0.990
                                                                           0.987
                                                                          0.775
                                                                              0.881
                                                                          0.955
                                                                            0.982
                                                                          0.964
                                                                           0.989
                                                                           0.930
                                                                             0.995
                                                                         0.984
                                                                            0.994
                                                                             0.982                                   

                                                                         0.994
                                                                             0.991                                 

                                                                       0.998
                                                                             0.994
                                                                            0.991                                   

                                                                            0.992
large:          size ind    allocated      nmalloc      ndalloc    nrequests      curruns

huge:           size ind    allocated      nmalloc      ndalloc    nrequests   curhchunks

                     ---
--- End jemalloc statistics ---

6.  手动清理

其实还可以手动清理，可以采用如下命令

127.0.0.1:> memory purge
OK

7. 相关参数配置说明

内存清理相关参数如下，可以使用config get的方式查看对应的值

# Enabled active defragmentation
# 碎片整理总开关
# activedefrag yes

# Minimum amount of fragmentation waste to start active defrag
# 内存碎片达到多少的时候开启整理
active-defrag-ignore-bytes 100mb

# Minimum percentage of fragmentation to start active defrag
# 碎片率达到百分之多少开启整理
active-defrag-threshold-lower 10

# Maximum percentage of fragmentation at which we use maximum effort
# 碎片率小余多少百分比开启整理
active-defrag-threshold-upper 100

# Minimal effort for defrag in CPU percentage
active-defrag-cycle-min 25

# Maximal effort for defrag in CPU percentage
active-defrag-cycle-max 75

至此，Redis4.0.14版本的内存碎片清理就测试完成了。