1. Redis的cluster集群

在官方文档Cluster Spec中,作者详细介绍了Redis集群为什么要设计成现在的样子。最核心的目标有三个:

  • 性能:这是Redis赖以生存的看家本领,增加集群功能后当然不能对性能产生太大影响,所以Redis采取了P2P而非Proxy方式、异步复制、客户端重定向等设计,而牺牲了部分的一致性、使用性。
  • 可用性:在Cluster推出之前,可用性要靠Sentinel保证。有了集群之后也自动具有了Sentinel的监控和自动Failover能力。
  • 水平扩展:集群的最重要能力当然是扩展,文档中称可以线性扩展到1000结点。

redis Cluster集群功能推出已经有一段时间了。在单机版的Redis中,每个Master之间是没有任何通信的,所以我们一般在Jedis客户端或者Codis这样的代理中做Pre-sharding。按照CAP理论来说,单机版的Redis属于保证CP(Consistency & Partition-Tolerancy)而牺牲A(Availability),也就说Redis能够保证所有用户看到相同的数据(一致性,因为Redis不自动冗余数据)和网络通信出问题时,暂时隔离开的子系统能继续运行(分区容忍性,因为Master之间没有直接关系,不需要通信),但是不保证某些结点故障时,所有请求都能被响应(可用性,某个Master结点挂了的话,那么它上面分片的数据就无法访问了)。

有了Cluster功能后,Redis从一个单纯的NoSQL内存数据库变成了分布式NoSQL数据库,CAP模型也从CP变成了AP。也就是说,通过自动分片和冗余数据,Redis具有了真正的分布式能力,某个结点挂了的话,因为数据在其他结点上有备份,所以其他结点顶上来就可以继续提供服务,保证了Availability。然而,也正因为这一点,Redis无法保证曾经的强一致性了。这也是CAP理论要求的,三者只能取其二。

2. 配置选项以及启动

设置3个节点,将enable-cluster 设置为yes, 修改cluster-config-file nodes-6379.conf,将其设置为不同的文件即可,无需此nodes文件存在。

修改redis.conf配置文件的内容:

cluster-enabled yes

cluster-config-file nodes-6379.conf

其中node-6739.conf并不要求真实存在,只要不同的redis实例不相同即可。

然后分别启动各个redis的实例,然后查看进程:

从图中可以发现,其中的进程后面都带有cluster的字样,标示其为cluster集群状态。

这里启动了3个实例: 6379, 6380, 6381.

3. 设置集群节点

 这里一般需要基于redis-cli进入命令行参数,然后输入cluster meet的命令,进行cluster的注册:

 

这里我们从6379这个实例登陆,分别注册6380, 6381两个节点。注册完成后,然后查看集群信息,可以发现其整个集群的信息为3个节点。

4. 创建shell脚本,初始化slots

创建初始化slot的脚本:

>

#!/bin/bash

for i in {1..16383}; do ./src/redis-cli cluster addslots $i; done

在脚本里面总共添加16383个slot。 

修改该脚本的执行权限,执行之,即可获取相应的结果信息。

5. 查看slots的内容

cluster slots : 查看slots信息

cluster nodes: 查看节点信息

从上面可以整个集群的基本状况。

6. 基于普通模式操作集群/集群模式

基于命令行来查看信息的设置:

redis-cli -p 6739

redis-cli -c -p 6739

从这里可以看懂,在cluster模式下与普通模式下的不同,集群模式下客户端可以自动的切换到其他节点。

正常情况下的客户端执行逻辑如下:

7. 安装ruby以及gem的redis组件

各个操作系统的不同,安装方案各有差异,这里以ubuntu的方式来进行。

8. 进行集群的reshard

src/redis-trib.rb reshard 127.0.0.1:6739

从源节点移动到目标节点

• ./redis-trib.rb reshard 127.0.0.1:6379

• How many slots do you want to move (from 1 to 16384)? 4000 //输入被迁移的solt的数量

• What is the receiving node ID? //输入目的地节点的id,执行第一行命

• Please enter all the source node IDs.//输入被迁移的槽

• Do you want to proceed with the proposed reshard plan (yes/no)? Yes //迁移计划确认

如何来确认reshard来进行呢?查看命令的日志即可得知:

9. 总结

redis提供了完整的一套如何进行集群处理的机制,并利用一致性hash来更好的处理redis的动态调整。

Redis的集群安装以及rehash重新迁移教程指南的更多相关文章

  1. Redis Sentinel 集群安装 step by step

    一. 准备材料 服务器 IP address 操作系统 位数 Redis 版本   CNT06CAH05 192.168.3.47 CentOS 6.5 x64 Redis-3.2.6 sentine ...

  2. Redis真集群安装

    Redis真集群安装 命令文档:http://redisdoc.com/index.html 下载:https://code.google.com/archive/p/redis/downloads ...

  3. redis cluster 集群 安装 配置 详解

    redis cluster 集群 安装 配置 详解 张映 发表于 2015-05-01 分类目录: nosql 标签:cluster, redis, 安装, 配置, 集群 Redis 集群是一个提供在 ...

  4. redis分片集群安装部署

    redis分片集群安装与部署 分片集群的优势 高可用.且方便扩展. 数据分片,多节点提供服务,提高性能,数据提供冗余备份. 分片集群部署 只需更改配置文件 部署架构:6个节点,3主3从.数据集分为3片 ...

  5. redis离线集群安装

    用一个叫redis-trib.rb的ruby脚本.redis-trib.rb是redis官方推出的管理redis集群的工具,集成在redis的源码src目录下(redis-xxx/src/).是基于r ...

  6. redis的集群安装

    1.创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster 2.将redis 复制到redis-cluster 目录 ...

  7. centos7 redis伪集群安装

    安装gcc: yum install gcc -y   上传redis软件包到 /home下   解压: tar xf redis-3.2.11.tar.gz   进入 redis 目录 : cd r ...

  8. 深入分析redis cluster 集群

    深入分析redis cluster 集群安装配置详解 下面小编来为各位介绍一篇深入分析redis cluster 集群安装配置详解,如果你希望做数据库集群就可以来看看此文章的哦. http://rub ...

  9. CentOS下redis集群安装

    环境: 一台CentOS虚拟机上部署六个节点,创建3个master,3个slave节点 1.下载并解压 cd /root wget http://download.redis.io/releases/ ...

随机推荐

  1. [HAOI2017模拟]囚人的旋律

    没有传送门辣. 神奇的DP题. 首先看到这道题第一眼应该想到正解不是在图上搞,肯定要把原图转化成序列. 根据逆序对的性质.每个点和标号大于他的点连边的点,其权值必定要小于该点,而没和他连边的且标号大于 ...

  2. 20145322《Java程序设计》第4次实验报告

    实验内容 1.搭建Android环境 2.运行Android 3.修改代码并输出自己的学号 实验步骤 搭建Android环境 安装Android,核心是配置JDK.SDK 运行Android 最终结果 ...

  3. 20145331实验四 "Android开发基础"

    20145331实验四 "Android开发基础" 程序设计过程 实验内容 ·安装Android Studio ·运行安卓AVD模拟器 ·使用安卓运行出虚拟手机并显示HelloWo ...

  4. SpringBoot ApplicationRunner/CommandLineRunner

    CommandLineRunner.ApplicationRunner 接口是在容器启动成功后的最后一步回调(类似开机自动启动). CommandLineRunner.ApplicationRunne ...

  5. [BZOJ1912]巡逻

    Description Input 第一行包含两个整数 n, K(1 ≤ K ≤ 2).接下来 n – 1行,每行两个整数 a, b, 表示村庄a与b之间有一条道路(1 ≤ a, b ≤ n). Ou ...

  6. Elasticsearch之分词器的作用

    前提 什么是倒排索引? Analyzer(分词器)的作用是把一段文本中的词按一定规则进行切分.对应的是Analyzer类,这是一个抽象类,切分词的具体规则是由子类实现的,所以对于不同的语言,要用不同的 ...

  7. 第九篇:Spark SQL 源码分析之 In-Memory Columnar Storage源码分析之 cache table

    /** Spark SQL源码分析系列文章*/ Spark SQL 可以将数据缓存到内存中,我们可以见到的通过调用cache table tableName即可将一张表缓存到内存中,来极大的提高查询效 ...

  8. 转载 - POJ分类很好很有层次感

    from http://blog.csdn.net/zzycsx/article/details/49103451 OJ上的一些水题(可用来练手和增加自信) (poj3299,poj2159,poj2 ...

  9. 随机数的生成 - rand(), srand()

    2017-08-20  17:43:29 writer:pprp 我们采用随机数可以对我们的算法进行大数据检验 /* name : 简单的随机数生成算法 writer : pprp declare : ...

  10. python 函数、模块、包及import导入方法

    https://www.cnblogs.com/lijunjiang2015/p/7812996.html