基于Codis的Redis集群部署
Codis是基于代理的高性能Redis集群方案,使用Go语言进行开发,现在在在豌豆荚及其它公司内已经广泛使用,当然也包括我们公司。
Codis与常见的Redis集群方案对比。
在搭建的时候,个人觉得Redis Cluster搭建起来非常容易,但是redis-cluster没有GUI管理面板,另外查询资料发现redis-cluster的客户端实现redis-cluster的协议比较麻烦。
而codis在使用的时候,就像正常连接redis客户端一样,不过codis有些命令不支持。动手吧
多看几眼这个官方架构图,有助于我们理解codis的架构,方便后面操作
过程
如果编译安装codis,安装codis依赖的库,使用yum安装的golang库默认在/usr/lib/golang目录下,编译起来也没有很麻烦了
yum install golang -y
yum install autoconf -y
下载源文件,并且编译
cd /usr/lib/golang
mkdir -p src/github.com/CodisLabs
cd src/github.com/CodisLabs/
git clone https://github.com/CodisLabs/codis.git -b release3.2
cd codis
make
然后会得到编译的文件,不出意外都可以编译成功,记得安装linux的开发工具包
在运行命令之前,先看一下运行命令包含的内容
在config目录下,会有运行几个组件的配置文件,这些文件都可以使用命令自动生成
codis-dashboard --default-config #生成codis-dashboard的默认配置文件
codis-proxy --default-config #生成codis-proxy的默认配置文件
如果你对zookeeper,etcd等分布式协调组件比较熟悉,这两个命令生成的配置文件中都可以指定使用zookeeper,或者etcd, jodis是基于codis的redis客户端。
相关的shell脚本,看一下admin目录中的内容,都可以理解的,修改下配置文件什么的
运行集群
./admin/codis-proxy-admin.sh start #dashboard提供REST API管理codis的集群
./admin/codis-proxy-admin.sh start #codis代理,使用的时候连接的是codis-proxy
./admin/codis-fe-admin.sh start #fe,用来提供GUI管理codis的
到这一步的时候,我们已经可以访问codis的管理界面了,访问http://127.0.0.1:9090,这个时候codis的管理面板基本上是空的。
运行redis服务器,就像常规的运行redis服务器,可以设置slave等相关
./redis-server /etc/redis/redis_6379.conf # 记得设置redis绑定地址或者认证相关
./redis-server /etc/redis/redis_6380.conf #这个设置为6379的slave
设置为redis的slave,指定slaveof 127.0.0.1:6379。
在codis-fe的管理面板中操作
首先添加codis-proxy
然后添加redis-group,可以添加不同的group,然后往group里面添加服务器,留意Data Center和Group,正常情况下在每一个组中添加的第一台服务器都是master,往后都是slave,就算你添加的是另外的master节点,点击绿色的修复按钮,新加入的master也会变成slave的。
测试,留意上面的图片,我添加了两台codis-proxy,然后4台redis-server,我们可以做测试了。
连接到不同的codis-proxy上面取得的数据都是一样的,这样当我们配置多个proxy的时候,其中的proxy挂掉了,也是可以正常使用的,另外通过管理界面,我们可以动态的添加redis-server。
注意点
集群搭建起来,参考官方的文档也不会很麻烦,完成一整套流程之后,提醒一些搭建的时候要注意的点。
管理面板上的,在管理codis-proxy那一部分,可以看到我们的命令执行情况,命令分配到那一台主机。
加入新的redis-server之后,不要忘记了迁移slot,如果再生产环境迁移slot要注意时机。
redis-proxy可以配置不同的data-center,我想这个在客户端使用工具的时候可以指定。
配置多个proxy,连接不同的proxy获取的数据都是一致的,proxy代理的是多个redis-master,数据在后端的redis-server上也是分片存储的。
如果配置了多个redis-master,也可以说redis-group,每一个master存储的是部分的数据。
最后
纸上得来终觉浅,在公司内部一般有专门的运维来负责这部分的维护,保证高可用相关内容。另外真正搭建过cods之后,觉得codis比redis-cluster好用一些,除了搭建复杂一点,概念多了一点点,后续使用很简单了。
基于Codis的Redis集群部署的更多相关文章
- 基于twemproxy的redis集群部署
一.系统及软件版本 操作系统:CentOS Linux release 7.3.1611 (Core) 内核版本:3.10.0-514.el7.x86_64 redis版本:3.2.8 twempro ...
- redis集群部署之codis 维护脚本
搞了几天redis cluster codis 的部署安装,测试,架构优化,配合研发应用整合,这里记一些心得! 背景需求: 之前多个业务都在应用到redis库,各业务独立占用主从两台服务器,硬件资源利 ...
- 基于Twemproxy的Redis集群搭建以及想法
基于Twemproxy的Redis集群方案(转) redis3.0 已经发布了几个月了,但是我这等菜鸟到网上还是没有找到很好的关于搭建redis3.0集群的文章,而且好像很多公司的redis版本还保持 ...
- 基于Docker的redis集群搭建
Redis集群官方介绍:http://www.redis.cn/topics/cluster-tutorial.html 基于Docker搭建Redis集群 环境:6个节点,三主三从 制作Redis镜 ...
- Redis集群部署及命令
一.简介 redis集群是一个无中心的分布式Redis存储架构,可以在多个节点之间进行数据共享,解决了Redis高可用.可扩展等问题. redis集群提供了以下两个好处: 将数据自动切分(split) ...
- Redis集群部署-windows
Redis集群部署-windows 前言 为了能体验一下部署Redis集群是一种怎么样的体验,所一边做一边写了这篇记录. 1.准备 从这里下载windows服务端 https://github.com ...
- Redis集群部署文档(Ubuntu15.10系统)
Redis集群部署文档(Ubuntu15.10系统)(要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如 ...
- Redis集群部署3.0
我用的Mac的终端 ------------------------- 1.Redis简介 centos(5.4) Redis是一个key-value存储系统.和Memcached类似,但是解决了断 ...
- Redis集群部署与维护
Redis集群部署与维护 目录: 一. 集群架构 二. 集群部署 1. 创建redis-cluster目录 2. 编译redis 3. 编辑redis配置文件 4. 配置redis集群 5. redi ...
随机推荐
- rest_framework之序列化详解 06
拿到所有的角色数据 1.urls.py 2.models.py 假设只有3个角色 3.views.py from api import models import json json只能序列化pyt ...
- jQuery Ajax 全解析(转载)
本文地址: jQuery Ajax 全解析 本文作者:QLeelulu 转载请标明出处! jQuery确实是一个挺好的轻量级的JS框架,能帮助我们快速的开发JS应用,并在一定程度上改变了我们写Java ...
- Oracle之rman命令的使用全备输出信息的详解(51CTO风哥rman课程)
rman连接数据库 rman target/ catalog rman/rman123456 运行全备命令 backup database; 查看备份集 list backupset;
- 聊一聊goroutine stack
通过阅读这篇文章对内存的处理以及栈的扩容有了新的认识,我们在生产环境中也遇到了内存使用量超大的情况,现在怀疑也可能是由于栈扩容导致的 很好的一片文章: 推送在外卖订餐中扮演着重要的角色,为商家实时接单 ...
- TA-Lib中文文档(一):快速开始
TA-Lib 简介: 这是一个Python 金融指数处理库TA-LIB,他是基于 Cython 而不是 SWIG. TA-Lib is widely used by trading software ...
- Python开发【Django】:Model操作(一)
Django ORM基本配置 到目前为止,当我们的程序涉及到数据库相关操作时,我们一般都会这么搞: 创建数据库,设计表结构和字段 使用 MySQLdb 来连接数据库,并编写数据访问层代码 业务逻辑层去 ...
- Nginx 使用总结
一.使用 nginx 实现 灰度发布 灰度发布,现在是很多大项目的一个标配运维特性,我们可以将一个“新的版本代码”发布到集群中的少数几台(组)机器上,以便引入线上少量真实用 户进行测试,用于验证产品改 ...
- (转)《SSO CAS单点系列》之 15分钟让你了解SSO技术到底是个什么鬼!
Web应用系统的演化总是从简单到复杂,从单功能到多功能模块再到多子系统方向发展. .当前的大中型Web互联网应用基本都是多系统组成的应用群,由多个web系统协同为用户提供服务. 多系统应用群,必然意味 ...
- http webservice socket的区别
1 数据传输方式1.1 socket传输的定义和其特点 所谓socket通常也称作"套接字",实现服务器和客户端之间的物理连接,并进行数据传输,主要有udp和tcp两个协议. ...
- 编程当道,学点Python技术好傍身
为了填满AI时代的人才缺口,编程语言教育都从娃娃抓起了!如果你还不懂Python是什么将来怎么给孩子辅导作业呢? Python新手入门教程 近期,浙江省信息技术课程改革方案出台,Python言语现已断 ...