redis做RDB时请求超时case

    近期在排查redis做rdb时会有部分请求超时的case。初步推断是我们redisserver上开启了THP（Transparent Huge Pages）。

    

1) Linux本身的页大小是固定的4KB，在2.6.38内核新增了THP，透明地支持huge page（2MB）的使用。而且默认开启。开启THP的优势在于：

        - 降低page fault。一次page fault能够载入更大的内存块。

        - 更小的页表。同样的内存大小，须要更少的页。

        - 因为页表更小，虚拟地址到物理地址的翻译也更快。

    劣势在于：

        - 降低分配内存效率。

须要大块、连续内存块。内核线程会比較激进的进行compaction。解决内存碎片。加剧锁争用。

        - 降低IO吞吐。因为swapable huge page，在swap时须要切分成原有的4K的页。Oracle的測试数据显示会降低30%的IO吞吐。

2) 对于redis而言，开启THP的优势在于：

        - fork子进程的时间大幅降低。fork进程的主要开销是拷贝页表、fd列表等进程数据结构。因为页表大幅较小（2MB / 4KB = 512倍）,fork的耗时也会大幅降低。

   劣势在于：

        - fork之后，父子进程间以copy-on-write方式共享地址空间。

假设父进程有大量写操作，而且不具有locality。会有大量的页被写。并须要拷贝。同一时候，因为开启THP，每一个页2MB，会大幅添加内存拷贝。

3) 针对这个特性，我做了一个測试，分别在开启和关闭THP的情况下，測试redis的fork、响应时间。

    測试条件：

        redis数据集大小：16G

        rdb文件大小：3.4G

        ./redis-benchmark -P 4 -t set -r 5000000 -n 1000000000

    (1) fork时间对照

开启THP后。fork大幅降低。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hvc2VuMG5l/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" />

（2）超时次数

        使用redis-benchmark測试，单个kv仅仅有几字节，没办法模拟真实线上的延迟，这里任务延迟超过300us的请求即为超时，统计这些请求的个数。

        开启THP后，超时次数明显增多，可是每次超时时间较短。而关闭THP后，仅仅有4次超时，原因是与fork在同一事件循环的请求受到fork的影响，chu'l。

        关闭THP影响的仅仅是零星几个请求。而开启后，尽管超时时间短了，可是影响面扩大了。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hvc2VuMG5l/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="" />

4）查看THP状态

$ cat /sys/kernel/mm/transparent_hugepage/enabled 

        [always] madvise never

always表示总是开启， madvise依据程序的配置开启，never关闭。

关闭THP

sudo echo never > /sys/kernel/mm/transparent_hugepage/enabled

须要重新启动进程

5) 结论

    集合业界的经验，建议关闭我们线上redis、mysql、mongodb等机器的THP。

6）references

    Transparent Huge Pages

    各种坑：

https://blogs.oracle.com/linux/entry/performance_issues_with_transparent_huge

http://docs.splunk.com/Documentation/Splunk/6.2.3/ReleaseNotes/SplunkandTHP

http://structureddata.org/2012/06/18/linux-6-transparent-huge-pages-and-hadoop-workloads/

http://antirez.com/news/84