楼主在实现一分布式存储系统时,拟采用Redis来做一个pull的过程来进行多机之间的数据拉取,于在此将redis安装部署过程分享一下,并学习波Redis的内部存储结构,Redis中间的hash环问题,以及Redis集群的主从模式。

redis单机安装

#直接复制下载链接,通过wget下载
$ wget http://download.redis.io/releases/redis-4.0.1.tar.gz
#解压
$ tar zxvf redis-4.0.1.tar.gz
# 进入目录
$ cd redis-4.0.1/
# 编译
$ make         //找不到CC命令的话,自行安装GCC

如果make报错,信息如下:error:jemalloc/jemalloc.h: No such file or directory

执行 make MALLOC=libc

$ cd src
# 安装
$ make install     //此时usr/local/bin下 会产生redis-benchmark  redis-check-aof  redis-check-rdb  redis-cli  redis-sentinel  redis-server
可使用redis-server  -v查看版本
然后,在终端输入redis-server看到如下界面,说明安装成功

使用redis-server  redis/redis-4.0.1/redis.conf 可以开启redis客户端,默认前台运行。

使用redis-cli  -h  IP地址  -P  端口号开启redis客户端

eg  :redis -h 127.0.0.0 -p 6397

查看redis              :ps  aux|grep redis

干掉redis-server  :pkill redis-server

redis多机部署

三台机器:192.168.0.100   192.168.0.101    192.168.0.102

每台机器两个redis端口:6001 6004   , 6002 6005   ,  6003 6006.

每台机器建立文件夹  /var/redis-cluster/6001    /var/redis-cluster/6004

根据每台机器不同端口号修改文件夹名称,共3个redis-cluster,每个cluster 两个600x文件夹,一共 6个600x文件夹。

在每个600x文件夹下创建三个文件夹 conf   data   log  ,其中data 用于存储信息,logs 用于存储日志,conf 放配置信息

将在开始解压出的文件夹下的redis.conf分别copy到6个600x/conf文件夹下。(可自行写脚本做)

对每个复制过来的redis.conf进行修改

port  修改为对相应的端口号

bind修改为自己的ip地址

daemonize yes #是否以后台daemon方式运行,默认不是后台运行

余下配置:

pidfile /var/run/redis/redis.pid #redis的PID文件路径

logfile /var/redis-cluster/6001/log/redis-6001.log #定义log文件位置

dir /var/redis-cluster/6001/data #本地数据库存放路径

appendonly yes #打开aof持久化,不适用save

cluster-enabled yes //开启集群 把注释#去掉

cluster-config-file nodes_6001.conf //集群的配置

cluster-node-timeout 15000 //请求超时 默认15秒,可自行设置

每台机器每个端口号上根据各自端口号都设置好(集群规模大可以写脚本来搞定)

6个端口都运行以启动redis-server

redis-server  /var/redis-cluster/6001/conf/redis.conf

集群建立

redis /src中已经提供了建立redis集群的工具redis-trib.rb,

可以直接./redis-trib.rb create --replicas 1 xxx.xxx.xxx.xxx:6001 xxx.xxx.xxx.xxx:6002 xxx.xxx.xxx.xxx:6003 xxx.xxx.xxx.xxx:6004 xxx.xxx.xxx.xxx:6005 xxx.xxx.xxx.xxx:6006  建立集群

只不过这玩意是用Ruby来做的,必须要现有Ruby环境

yum -y install ruby ruby-devel rubygems rpm-build   //一般这样安装下来ruby版本太低,需要更新ruby版本

gem install redis

更新Ruby版本

①添加yum源安装:CentOS SCLo Software collections Repository

yum install centos-release-scl-rh    //会在/etc/yum.repos.d/目录下多出一个CentOS-SCLo-scl-rh.repo源
~]# yum install rh-ruby23 -y    //直接yum安装即可  
~]# scl enable rh-ruby23 bash    //必要一步
~]# ruby -v   

②下载tar压缩包安装

~]# wget http://cache.ruby-lang.org/pub/ruby/2.3/ruby-2.3.5.tar.gz
~]# tar zxvf ruby-2.3..tar.gz
~]# cd ruby-2.3.
ruby-2.3.]# ./configure --prefix=/opt/ruby
ruby-2.3.]# make && make install
ruby-2.3.]# ln -s /opt/ruby/bin/ruby /usr/bin/ruby
ruby-2.3.]# ln -s /opt/ruby/bin/gem /usr/bin/gem
~]#ruby -v    //查看一下

③RVM(Ruby Version Manager)安装(相对官方)

~]#gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDB
~]# \curl -sSL https://get.rvm.io | bash -s stable
上边这两行绿的不是注释,是网址
~]# source /etc/profile.d/rvm.sh    //按照提示,执行该命令
~]# rvm list known    // list一下可以安装的版本
~]# rvm install 2.4.    // 安装ruby 2.4.1 ,直接跟版本号即可
~]# ruby -v     //查看验证下已经安装的版本
~]# gem -v

然后执行上边./redis-trib.rb create --replicas 1 xxx.xxx.xxx.xxx:6001 xxx.xxx.xxx.xxx:6002 xxx.xxx.xxx.xxx:6003 xxx.xxx.xxx.xxx:6004 xxx.xxx.xxx.xxx:6005 xxx.xxx.xxx.xxx:6006  建立集群

--replicas参数指定集群中每个主节点配备几个从节点,这里设置为1,如果部署节点使用不同的IP地址,redis-trib-rb会尽可能保证主从节点不分配在同一台机器下,因此会重新排序节点表顺序,节点列表顺序用于确定主从角色,先主节点之后是从节点。

如果执行中出现无法连接的问题主要关注:  防火墙    使用的是新的.conf配置   每台机器的redis-server都开启

若有以前执行过的redis-server问题, 用redis-cli 登录到每个节点执行 flushall 和 cluster reset 就可以了。每个都执行一遍,免得又出问题。

至此结束:

可以使用redis-cli在节点一上写东西,然后再节点3上获取到。

下节我们研究redis的底层存储结构,主从模式,以及hash过程。

Redis实战与分析的更多相关文章

  1. Redis实战阅读笔记——开始

    Redis实战这本书,看完以后最大的不是redis本身的东西,而是作者面对实际问题的分析而给出的设计方案,可以看成NoSql设计的应用.个人从这方面收获很多,至于Redis本身的东西,这个就花一两个小 ...

  2. (转)国内外三个不同领域巨头分享的Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  3. Redis事务原理分析

    Redis事务原理分析 基本应用 在Redis的事务里面,采用的是乐观锁,主要是为了提高性能,减少客户端的等待.由几个命令构成:WATCH, UNWATCH, MULTI, EXEC, DISCARD ...

  4. Redis实战经验及使用场景

    随着应用对高性能需求的增加,NoSQL逐渐在各大名企的系统架构中生根发芽.这里我们将为大家分享社交巨头新浪微博.传媒巨头Viacom及图片分享领域佼佼者Pinterest带来的Redis实践,首先我们 ...

  5. Redis实战:如何构建类微博的亿级社交平台

    微博及 Twitter 这两大社交平台都重度依赖 Redis 来承载海量用户访问.本文介绍如何使用 Redis 来设计一个社交系统,以及如何扩展 Redis 让其能够承载上亿用户的访问规模. 虽然单台 ...

  6. Redis实战篇

    Redis实战篇 1 Redis 客户端 1.1 客户端通信 原理 客户端和服务器通过 TCP 连接来进行数据交互, 服务器默认的端口号为 6379 . 客户端和服务器发送的命令或数据一律以 \r\n ...

  7. Redis实战阅读笔记——第一章

    Redis 实战 中文版 的20-21页看的人郁闷死了,最后看英文版才明白意思,哎,我理解能力差成这样了 其中,图 1-12 有错误,草,这个是英文版的错--应该是group:programming

  8. redis实战(01)_redis安装

    早就想对redis进行实战操作了,最近看了一些视频和参考书籍,总结总结一下,redis实战内容: 实战前先对redis做一个大概的认识: 现在开始安装redis了... redis的安装下载地址 ht ...

  9. Redis时延问题分析及应对

    Redis时延问题分析及应对 Redis的事件循环在一个线程中处理,作为一个单线程程序,重要的是要保证事件处理的时延短,这样,事件循环中的后续任务才不会阻塞: 当redis的数据量达到一定级别后(比如 ...

随机推荐

  1. 基于Java Agent的premain方式实现方法耗时监控(转),为了找到结论执行:premain在jvm启动的时候执行,所有方法前,会执行MyAgent的premain方法

    Java Agent是依附于java应用程序并能对其字节码做相关更改的一项技术,它也是一个Jar包,但并不能独立运行,有点像寄生虫的感觉.当今的许多开源工具尤其是监控和诊断工具,很多都是基于Java ...

  2. 如何录制视频生成GIF动态图?

    前言 在分享文章时有些知识不好讲清,就打算用gif图来展示,可是在网上找了几个录视频的工具都要会员才可以生成gif动态图,很是郁闷,不过苦苦寻找后,发现LICEcap很好用,可以很方便的生成gif动态 ...

  3. upc组队赛15 Lattice's basics in digital electronics【模拟】

    Lattice's basics in digital electronics 题目链接 题目描述 LATTICE is learning Digital Electronic Technology. ...

  4. 爬虫(二)—— 请求库(二)selenium请求库

    目录 selenium请求库 一.什么是selenium 二.环境搭建 三.使用selenium模块 1.使用chrome并设置为无GUI模式 2.使用chrome有GUI模式 3.显示等待与隐式等待 ...

  5. 用其他音乐源帮帮网易云,Android听歌利器

    镜像文章 1.用其他音乐源帮帮网易云,Ubuntu听歌利器 2.用其他音乐源帮帮网易云,Windows听歌利器 1.TaiChi模块简介 TaiChi(太极)是一款免解锁,免root,就能够运行 Xp ...

  6. adb]ADB server didn't ACK

    遇到上述问题 此时由于不正常退出 会在进程中遗留Android debug进程 ,需要强制删除

  7. go语言从例子开始之Example9.切片

    Slice 是 Go 中一个关键的数据类型,是一个比数组更加强大的序列接口 package main import "fmt" func main() { 不像数组,slice 的 ...

  8. 笔记78 HttpStatus

    HttpStatus = { //Informational 1xx 信息 '100' : 'Continue', //继续 '101' : 'Switching Protocols', //交换协议 ...

  9. Intellij idea创建javaWeb:实现JSP/Servlet(转)

    转自:https://www.jianshu.com/p/9684e90cf7b5 Intellij idea创建javaWeb:实现JSP/Servlet by_love唯念 关注 2016.12. ...

  10. jq的ajax请求更改为axios请求时零碎总结

    #老版切新版更改处----ajax 更改为 axios //ajax$.ajax({ type: 'POST', url: url, data: data, success: success, dat ...