概述

由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务。为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需求。因redis 3.0 beta支持的集群功能不适合生产环境的使用,所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群,目前用户包括Pinterest、Tumblr、Twitter、Vine、Kiip、Wuaki.tv、Wanelo、Kontera、Wikimedia、Bright、56.com、Snapchat、Digg、Gawkermedia、3scale.net等。

Twemproxy是memcached和redis协议的代理服务器,并能有效减少大量连接对redis服务器的性能影响,它提供的主要特性如下:

集群架构

安装Redis

有三台服务器,一台COS1安装twemproxy,另外两台COS2,COS3安装redis。

  1. 下载最新安装包:redis-2.8.9.tar.gz , tcl-8.5.7-6.el6.x86_64.rpm ,nutcracker-0.3.0.tar.gz
  2. 安装必要组件rpm:
    [root@COS2 redis-2.8.9]# yum install gcc
    [root@COS2 src]# rpm -ivh tcl-8.5.7-6.el6.x86_64.rpm
  3. 安装Redis:
    [root@COS2 src]# tar xvf redis-2.8.9.tar.gz
    [root@COS2 src]# cd redis-2.8.9
    [root@COS2 redis-2.8.9]# make

    Hint: To run 'make test' is a good idea ;)
    make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src' [root@COS2 redis-2.8.9]# make test
    All tests passed without errors! Cleanup: may take some time... OK
    make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src'
    [root@COS2 redis-2.8.9]# make install
    [root@COS2 redis-2.8.9]# cd /usr/local/bin/
    [root@COS2 bin]# ll
    total 13908
    -rwxr-xr-x. 1 root root 4170264 Apr 26 11:51 redis-benchmark
    -rwxr-xr-x. 1 root root 22185 Apr 26 11:51 redis-check-aof
    -rwxr-xr-x. 1 root root 45419 Apr 26 11:51 redis-check-dump
    -rwxr-xr-x. 1 root root 4263471 Apr 26 11:51 redis-cli
    -rwxr-xr-x. 1 root root 5726791 Apr 26 11:51 redis-server
  4. 编辑redis配置文件:
    [root@COS2 redis-2.8.9]# cp redis.conf /etc/
    [root@COS2 redis-2.8.9]# vim /etc/red
    redhat-release redis.conf
    [root@COS2 redis-2.8.9]# vim /etc/redis.conf 把里面的
    daemonize no 修改成 daemonize yes
  5. 启动redis服务:
    [root@COS2 redis-2.8.9]# redis-server /etc/redis.conf
  6. 测试redis服务:
    [root@COS2 redis-2.8.9]# redis-cli
    127.0.0.1:6379> set kin kin
    OK
    127.0.0.1:6379> get kin
  7. 同样的步骤安装其他redis服务器。

安装twemproxy

  1. 安装twemproxy:

    [root@COS1 src]# tar xvf nutcracker-0.3.0.tar.gz
    [root@COS1 nutcracker-0.3.0]# cd nutcracker-0.3.0
    [root@COS1 src]#./configure
    [root@COS1 nutcracker-0.3.0]# make && make install
  2. 编辑配置文件:
    [root@COS1 conf]# cd /usr/local/src/nutcracker-0.3.0/conf
    [root@COS1 conf]# cp nutcracker.yml /etc/
    [root@COS1 conf]# vim /etc/nutcracker.yml
    alpha:
    listen: 0.0.0.0:22121
    hash: fnv1a_64
    distribution: ketama
    auto_eject_hosts: true
    redis: true
    server_retry_timeout: 2000
    server_failure_limit: 1
    servers: --两台redis服务器的地址和端口
    - 10.23.22.240:6379:1
    - 10.23.22.241:6379:1
  3. 测试配置文件:
    [root@COS1 nutcracker-0.3.0]# nutcracker -t /etc/nutcracker.yml
    nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok
  4. 启动twemproxy:
    [root@COS1 nutcracker-0.3.0]# nutcracker  --help
    This is nutcracker-0.3.0 Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file]
    [-c conf file] [-s stats port] [-a stats addr]
    [-i stats interval] [-p pid file] [-m mbuf size] Options:
    -h, --help : this help
    -V, --version : show version and exit
    -t, --test-conf : test configuration for syntax errors and exit
    -d, --daemonize : run as a daemon
    -D, --describe-stats : print stats description and exit
    -v, --verbosity=N : set logging level (default: 5, min: 0, max: 11)
    -o, --output=S : set logging file (default: stderr)
    -c, --conf-file=S : set configuration file (default: conf/nutcracker.yml) #配置
    -s, --stats-port=N : set stats monitoring port (default: 22222)
    -a, --stats-addr=S : set stats monitoring ip (default: 0.0.0.0)
    -i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)
    -p, --pid-file=S : set pid file (default: off)
    -m, --mbuf-size=N : set size of mbuf chunk in bytes (default: 16384 bytes)
    [root@COS1 nutcracker-0.3.0]# nutcracker -d -c /etc/nutcracker.yml
    [root@COS1 nutcracker-0.3.0]# ps -ef|grep nutcracker
    root 15358 1 0 02:40 ? 00:00:00 nutcracker -d -c /etc/nutcracker.yml
  5. 测试twemproxy:
    [root@COS1 ~]# redis-cli -p 22121
    127.0.0.1:22121> get kin
    "kin"
    127.0.0.1:22121> set kin king
    OK
    127.0.0.1:22121> get kin
    "king"

性能测试

这里使用redis自带的redis-benchmark进行简单的性能测试,测试结果如下:

  1. Set测试:
    1. 通过twemproxy测试:

      [root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t set -d 100 -l –q
      
      
      SET: 38167.94 requests per second
    2. 直接对后端redis测试:
      [root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t set -d 100 -l –q
      
      
      SET: 53191.49 requests per second
  2. Get测试:
    1. 通过twemproxy测试:

      [root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t get -d 100 -l -q
      GET: 37453.18 requests per second
    2. 直接对后端redis测试:
      [root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t get -d 100 -l -q
      GET: 62111.80 requests per second
  3. 查看键值分布:
    [root@COS2 ~]# redis-cli info|grep db0
    db0:keys=51483,expires=0,avg_ttl=0 [root@COS3 ~]# redis-cli info|grep db0
    db0:keys=48525,expires=0,avg_ttl=0

测试结果:以基本的set get命令通过twemproxy性能有所下降;通过twemproxy分布基本平均。测试数据以业务测试为准。

基于Twemproxy的Redis集群方案的更多相关文章

  1. 基于Twemproxy的Redis集群方案(转载)

    原文地址:基于Twemproxy的Redis集群方案 概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的 ...

  2. 基于Twemproxy的Redis集群搭建以及想法

    基于Twemproxy的Redis集群方案(转) redis3.0 已经发布了几个月了,但是我这等菜鸟到网上还是没有找到很好的关于搭建redis3.0集群的文章,而且好像很多公司的redis版本还保持 ...

  3. 基于 twemproxy 搭建 redis 集群

    概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需 ...

  4. 基于twemproxy的redis集群部署

    一.系统及软件版本 操作系统:CentOS Linux release 7.3.1611 (Core) 内核版本:3.10.0-514.el7.x86_64 redis版本:3.2.8 twempro ...

  5. Redis集群方案(来自网络)

    参考: https://www.zhihu.com/question/21419897 http://www.cnblogs.com/haoxinyue/p/redis.html 为什么集群? 通常, ...

  6. Redis集群方案介绍

    由于Redis出众的性能,其在众多的移动互联网企业中得到广泛的应用.Redis在3.0版本前只支持单实例模式,虽然现在的服务器内存可以到100GB.200GB的规模,但是单实例模式限制了Redis没法 ...

  7. 大厂们的 redis 集群方案

    redis 集群方案主要有两类,一是使用类 codis 的架构,按组划分,实例之间互相独立: 另一套是基于官方的 redis cluster 的方案:下面分别聊聊这两种方案: 类 codis 架构 这 ...

  8. Redis 集群方案介绍

    由于Redis出众的性能,其在众多的移动互联网企业中得到广泛的应用.Redis在3.0版本前只支持单实例模式,虽然现在的服务器内存可以到100GB.200GB的规模,但是单实例模式限制了Redis没法 ...

  9. Redis集群方案收集

    说明: 如果不考虑客户端分片去实现集群,那么市面上基本可以说就三种方案最成熟,它们分别如下所示: 系统 贡献者 是否官方Redis实现 编程语言 Twemproxy Twitter 是 C Redis ...

随机推荐

  1. hdu 1176 免费馅饼(动态规划)

    AC code: #include<stdio.h> #include<string.h> #define max(a,b) (a>b?a:b) #define maxo ...

  2. xcode6.3插件失效

    1.打开终端,输入以下代码:defaults read /Applications/Xcode.app/Contents/Info DVTPlugInCompatibilityUUID 2.获取到DV ...

  3. block中防止循环引用的一个高大上的宏定义

    看惯了什么tempSelf weakSelf,来点高大的 #define weakify(...) \ rac_keywordify \ metamacro_foreach_cxt(rac_weaki ...

  4. DAO,Service,Controller各层之间的关系

    DAO层:DAO层主要是做数据持久层的工作,负责与数据库进行联络的一些任务都封装在此,DAO层的设计首先是设计DAO的接口,然后在Spring的配置文件中定义此接口的实现类,然后就可在模块中调用此接口 ...

  5. 使用苏飞httphelper开发自动更新发布文章程序

    最近新上线了一个网站,专门收集网上签到赚钱,有奖活动等等的网站 我就要集分宝 http://www.591jfb.com.新建立 了一个栏目"每日更新",这样就需要每天都登录到网站 ...

  6. Windows 下安装项目管理工具 Redmine 1.1.2

    1.InstantRails-2.0-win 下载地址  https://rubyforge.org/frs/?group_id=904 2.redmine1.1.2 下载地址  http://www ...

  7. C语言strchr()函数:查找某字符在字符串中首次出现的位置

    头文件:#include <string.h> strchr() 用来查找某字符在字符串中首次出现的位置,其原型为:    char * strchr (const char *str, ...

  8. CrtCtl (客户端认证的证书、私钥)的控制

    crt (证书文件) 编辑 本词条缺少名片图,补充相关内容使词条更完整,还能快速升级,赶紧来编辑吧! 客户端认证的证书.私钥. 中文名 crt 性    质 证书文件 类    型 客户端认证的证书. ...

  9. HttpWebRequest后台读取网页类

    using System;using System.Linq;using System.Collections.Generic;using System.Web;using System.Config ...

  10. acdream.郭式树(数学推导)

    郭式树 Time Limit:2000MS     Memory Limit:128000KB     64bit IO Format:%lld & %llu Submit Status Pr ...