楼主在实现一分布式存储系统时,拟采用Redis来做一个pull的过程来进行多机之间的数据拉取,于在此将redis安装部署过程分享一下,并学习波Redis的内部存储结构,Redis中间的hash环问题,以及Redis集群的主从模式。

redis单机安装

#直接复制下载链接,通过wget下载
$ wget http://download.redis.io/releases/redis-4.0.1.tar.gz
#解压
$ tar zxvf redis-4.0.1.tar.gz
# 进入目录
$ cd redis-4.0.1/
# 编译
$ make         //找不到CC命令的话,自行安装GCC

如果make报错,信息如下:error:jemalloc/jemalloc.h: No such file or directory

执行 make MALLOC=libc

$ cd src
# 安装
$ make install     //此时usr/local/bin下 会产生redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server
可使用redis-server  -v查看版本
然后,在终端输入redis-server看到如下界面,说明安装成功

使用redis-server  redis/redis-4.0.1/redis.conf 可以开启redis客户端,默认前台运行。

使用redis-cli  -h  IP地址  -P  端口号开启redis客户端

eg  :redis -h 127.0.0.0 -p 6397

查看redis              :ps  aux|grep redis

干掉redis-server  :pkill redis-server

redis多机部署

三台机器:192.168.0.100   192.168.0.101    192.168.0.102

每台机器两个redis端口:6001 6004   , 6002 6005   ,  6003 6006.

每台机器建立文件夹  /var/redis-cluster/6001    /var/redis-cluster/6004

根据每台机器不同端口号修改文件夹名称,共3个redis-cluster,每个cluster 两个600x文件夹,一共 6个600x文件夹。

在每个600x文件夹下创建三个文件夹 conf   data   log  ,其中data 用于存储信息,logs 用于存储日志,conf 放配置信息

将在开始解压出的文件夹下的redis.conf分别copy到6个600x/conf文件夹下。(可自行写脚本做)

对每个复制过来的redis.conf进行修改

port  修改为对相应的端口号

bind修改为自己的ip地址

daemonize yes #是否以后台daemon方式运行,默认不是后台运行

余下配置:

pidfile /var/run/redis/redis.pid #redis的PID文件路径

logfile /var/redis-cluster/6001/log/redis-6001.log #定义log文件位置

dir /var/redis-cluster/6001/data #本地数据库存放路径

appendonly yes #打开aof持久化,不适用save

cluster-enabled yes //开启集群 把注释#去掉

cluster-config-file nodes_6001.conf //集群的配置

cluster-node-timeout 15000 //请求超时 默认15秒,可自行设置

每台机器每个端口号上根据各自端口号都设置好(集群规模大可以写脚本来搞定)

6个端口都运行以启动redis-server

redis-server  /var/redis-cluster/6001/conf/redis.conf

集群建立

redis /src中已经提供了建立redis集群的工具redis-trib.rb,

可以直接./redis-trib.rb create --replicas 1 xxx.xxx.xxx.xxx:6001 xxx.xxx.xxx.xxx:6002 xxx.xxx.xxx.xxx:6003 xxx.xxx.xxx.xxx:6004 xxx.xxx.xxx.xxx:6005 xxx.xxx.xxx.xxx:6006  建立集群

只不过这玩意是用Ruby来做的,必须要现有Ruby环境

yum -y install ruby ruby-devel rubygems rpm-build   //一般这样安装下来ruby版本太低,需要更新ruby版本

gem install redis

更新Ruby版本

①添加yum源安装:CentOS SCLo Software collections Repository

yum install centos-release-scl-rh    //会在/etc/yum.repos.d/目录下多出一个CentOS-SCLo-scl-rh.repo源
~]# yum install rh-ruby23 -y    //直接yum安装即可  
~]# scl enable rh-ruby23 bash    //必要一步
~]# ruby -v   

②下载tar压缩包安装

~]# wget http://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.5.tar.gz
~]# tar zxvf ruby-2.3..tar.gz
~]# cd ruby-2.3.
ruby-2.3.]# ./configure --prefix=/opt/ruby
ruby-2.3.]# make && make install
ruby-2.3.]# ln -s /opt/ruby/bin/ruby /usr/bin/ruby
ruby-2.3.]# ln -s /opt/ruby/bin/gem /usr/bin/gem
~]#ruby -v    //查看一下

③RVM(Ruby Version Manager)安装(相对官方)

~]#gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB
~]# \curl -sSL https://get.rvm.io | bash -s stable
上边这两行绿的不是注释,是网址
~]# source /etc/profile.d/rvm.sh    //按照提示,执行该命令
~]# rvm list known    // list一下可以安装的版本
~]# rvm install 2.4.    // 安装ruby 2.4.1 ,直接跟版本号即可
~]# ruby -v     //查看验证下已经安装的版本
~]# gem -v

然后执行上边./redis-trib.rb create --replicas 1 xxx.xxx.xxx.xxx:6001 xxx.xxx.xxx.xxx:6002 xxx.xxx.xxx.xxx:6003 xxx.xxx.xxx.xxx:6004 xxx.xxx.xxx.xxx:6005 xxx.xxx.xxx.xxx:6006  建立集群

--replicas参数指定集群中每个主节点配备几个从节点,这里设置为1,如果部署节点使用不同的IP地址,redis-trib-rb会尽可能保证主从节点不分配在同一台机器下,因此会重新排序节点表顺序,节点列表顺序用于确定主从角色,先主节点之后是从节点。

如果执行中出现无法连接的问题主要关注:  防火墙    使用的是新的.conf配置   每台机器的redis-server都开启

若有以前执行过的redis-server问题, 用redis-cli 登录到每个节点执行 flushall 和 cluster reset 就可以了。每个都执行一遍,免得又出问题。

至此结束:

可以使用redis-cli在节点一上写东西,然后再节点3上获取到。

下节我们研究redis的底层存储结构,主从模式,以及hash过程。

Redis实战与分析的更多相关文章

  1. Redis实战阅读笔记——开始

    Redis实战这本书,看完以后最大的不是redis本身的东西,而是作者面对实际问题的分析而给出的设计方案,可以看成NoSql设计的应用.个人从这方面收获很多,至于Redis本身的东西,这个就花一两个小 ...

  2. (转)国内外三个不同领域巨头分享的Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  3. Redis事务原理分析

    Redis事务原理分析 基本应用 在Redis的事务里面,采用的是乐观锁,主要是为了提高性能,减少客户端的等待.由几个命令构成:WATCH, UNWATCH, MULTI, EXEC, DISCARD ...

  4. Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  5. Redis实战:如何构建类微博的亿级社交平台

    微博及 Twitter 这两大社交平台都重度依赖 Redis 来承载海量用户访问.本文介绍如何使用 Redis 来设计一个社交系统,以及如何扩展 Redis 让其能够承载上亿用户的访问规模. 虽然单台 ...

  6. Redis实战篇

    Redis实战篇 1 Redis 客户端 1.1 客户端通信 原理 客户端和服务器通过 TCP 连接来进行数据交互, 服务器默认的端口号为 6379 . 客户端和服务器发送的命令或数据一律以 \r\n ...

  7. Redis实战阅读笔记——第一章

    Redis 实战 中文版 的20-21页看的人郁闷死了,最后看英文版才明白意思,哎,我理解能力差成这样了 其中,图 1-12 有错误,草,这个是英文版的错--应该是group:programming

  8. redis实战(01)_redis安装

    早就想对redis进行实战操作了,最近看了一些视频和参考书籍,总结总结一下,redis实战内容: 实战前先对redis做一个大概的认识: 现在开始安装redis了... redis的安装下载地址 ht ...

  9. Redis时延问题分析及应对

    Redis时延问题分析及应对 Redis的事件循环在一个线程中处理,作为一个单线程程序,重要的是要保证事件处理的时延短,这样,事件循环中的后续任务才不会阻塞: 当redis的数据量达到一定级别后(比如 ...

随机推荐

  1. 记录js中的兼容问题及解决办法

    1.获取非行内样式的兼容问题: 2.获取事件对象的兼容问题: 3.事件冒泡的兼容: 4.keyCode的兼容问题: 5.处理默认事件的兼容问题: 6.事件的绑定兼容问题:

  2. spring data jpa 一对多查询

    在一对多关系中,我们习惯把一的一方称之为主表,把多的一方称之为从表.在数据库中建立一对多的关系,需要使用数据库的外键约束. 什么是外键? 指的是从表中有一列,取值参照主表的主键,这一列就是外键. pa ...

  3. linux下对rpm源码手工打补丁

    前言 通常情况rpm包组件管理方式下的linux环境,常用打补丁的方式只有一种:修改spec文件定义的Patch和patch字段,其实spec文件中调用的底层命令还是patch.  因为业务需要要编译 ...

  4. MySQL-mysql_config_editor安全登录工具

    mysql_config_editor出现在mysql5.6.6以后的版本,可以给指定的连接和密码生成一个加密文件.mylogin.cnf,默认位于当前用户家目录下.通过该文件可以使用mysql.my ...

  5. Qt 程序在 Windows 下的发布

    本文讨论在 Windows 平台下编译成功的 Qt 程序,如何在未配置 Qt 开发环境的 Windows 平台下独立运行的方法. 经过验证发现,在 Ubuntu 平台下编译成功的程序可在未安装 Qt ...

  6. Python控制台输出带颜色方法

    书写格式,和相关说明如下: 举例: print('\033[0;32;40m欢迎使用学生选课系统\033[0m') try: num = int(input('请输入数字选择功能 :')) excep ...

  7. Python中sys模块

    Python的sys模块提供访问解释器使用或维护的变量,和与解释器进行交互的函数.通俗来讲,sys模块负责程序与python解释器的交互,提供了一系列的函数和变量,用于操控python运行时的环境. ...

  8. How to compile Linux kernel in fedora 6

    前提:已裝好Fedora 6 core 2.6.18 ,在 Fedora 6 中compile linux kernel.1.下載 Fedora 6 core 2.6.18 http://www.ke ...

  9. leetcode-7-整数翻转

    问题: package com.example.demo; public class Test7 { /** * 整数翻转 123,-123,120等数字 * 思路: * 1.获取原始数字的%10的余 ...

  10. C#虚方法和抽象方法的区别

    一,如下例子 using System; using System.Collections.Generic; using System.Linq; using System.Text; namespa ...