redis集群(多机)分布
一、实现原理
一致性哈希算法(Consistent Hashing): http://www.zsythink.net/archives/1182
二、配置两个redis服务,端口号要不一致
三、代码
. 配置文件
redis1.ip = 127.0.0.1
redis1.port= redis2.ip = 127.0.0.1
redis2.port= #最大连接数
redis.max.total=
#最大空闲数
redis.max.idle=
#最小空闲数
redis.min.idle=
#效验使用可用连接
redis.test.borrow=true
#效验归还可用连接
redis.test.return=false
package com.mmall.common; import com.mmall.util.PropertiesUtil;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.JedisShardInfo;
import redis.clients.jedis.ShardedJedis;
import redis.clients.jedis.ShardedJedisPool;
import redis.clients.util.Hashing;
import redis.clients.util.Sharded;
import java.util.ArrayList;
import java.util.List; /**
* redis分片连接池
*/
public class RedisShardedPool {
private static ShardedJedisPool pool ; //jedis连接池
private static Integer maxTotal = Integer.parseInt(PropertiesUtil.getProperty("redis.max.total","20")); //最大连接数
private static Integer maxIdle = Integer.parseInt(PropertiesUtil.getProperty("redis.max.idle","10")); //最大空闲状态
private static Integer minIdle =Integer.parseInt(PropertiesUtil.getProperty("redis.min.idle","2")); //最小空闲状态 private static Boolean testOnBorrow =Boolean.parseBoolean(PropertiesUtil.getProperty("redis.test.borrow","true")); //验证从连接池拿出的jedis实例,一定可用
private static Boolean testOnReturn =Boolean.parseBoolean(PropertiesUtil.getProperty("redis.test.return","true")); //验证还回连接池的jedis实例,一定可用 private static String redis1Ip =PropertiesUtil.getProperty("redis1.ip"); //最小空闲状态
private static Integer redis1Port =Integer.parseInt(PropertiesUtil.getProperty("redis1.port")); //最小空闲状态
private static String redis2Ip =PropertiesUtil.getProperty("redis2.ip"); //最小空闲状态
private static Integer redis2Port =Integer.parseInt(PropertiesUtil.getProperty("redis2.port")); //最小空闲状态 private static void initPool(){
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxTotal(maxTotal);
config.setMaxIdle(maxIdle);
config.setMinIdle(minIdle); config.setTestOnBorrow(testOnBorrow);
config.setTestOnReturn(testOnReturn); config.setBlockWhenExhausted(true); //连接耗尽时是否阻塞,false抛出异常;true阻塞到超时。默认true JedisShardInfo info1 = new JedisShardInfo(redis1Ip,redis1Port,1000*2);
JedisShardInfo info2 = new JedisShardInfo(redis2Ip,redis2Port,1000*2);
List<JedisShardInfo> jedisShardInfoList = new ArrayList<JedisShardInfo>(2);
jedisShardInfoList.add(info1);
jedisShardInfoList.add(info2); pool = new ShardedJedisPool(config,jedisShardInfoList, Hashing.MURMUR_HASH, Sharded.DEFAULT_KEY_TAG_PATTERN);
} static{
initPool();
} public static ShardedJedis getJedis(){
return pool.getResource();
} /**
* redis不正常不可用,将其废弃,最新版本直接将此连接销毁jedis.close();
* @param jedis
*/
public static void returnBrokenResource(ShardedJedis jedis){
pool.returnBrokenResource(jedis);
} public static void returnResource(ShardedJedis jedis){
pool.returnResource(jedis);
} public static void main(String[] args) {
ShardedJedis shardedJedis = pool.getResource();
for (int i = 0; i<10; i++){
shardedJedis.set("key"+i,"value"+i);
}
returnResource(shardedJedis); //使用后的连接放回连接池中
// pool.destroy(); // 销毁连接池的所有连接
System.out.println("program is end"); }
}
运行main方法,查询redis生成的数据:
封装常用redisAPI
import com.mmall.common.RedisShardedPool;
import lombok.extern.slf4j.Slf4j;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.ShardedJedis; /**
* 封装分片redis
*/
@Slf4j
public class RedisShardedPoolUtil { /**
* 设置对应key的有效期
* @param key
* @param exTime 有效期,单位秒
* @return
*/
public static Long expire(String key, int exTime){
ShardedJedis shardedJedis = null;
Long result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.expire(key,exTime);
}catch (Exception e){
log.error("set key:{} exTime:{} value:{} error",key,exTime,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* string 添加,存在有效期exTime
* @param key 键
* @param value 值
* @param exTime 有效期,单位秒
* @return
*/
public static String setEx(String key, String value, int exTime){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.setex(key,exTime,value);
}catch (Exception e){
log.error("set key:{} exTime:{} value:{} error",key,exTime,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* string 添加
* @param key
* @param value
* @return
*/
public static String set(String key, String value){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.set(key,value);
}catch (Exception e){
log.error("set key:{} value:{} error",key,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* string 获取
* @param key
* @return
*/
public static String get(String key){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.get(key);
}catch (Exception e){
log.error("get key:{} error",key,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
}
public static String getSet(String key, String value){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.getSet(key,value);
}catch (Exception e){
log.error("set key:{} value:{} error",key,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* stirng 删除
* @param key
* @return
*/
public static Long del(String key){
ShardedJedis shardedJedis = null;
Long result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.del(key);
}catch (Exception e){
log.error("get key:{} error",key,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} public static Long setnx(String key, String value){
ShardedJedis shardedJedis = null;
Long result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.setnx(key,value);
}catch (Exception e){
log.error("set key:{} value:{} error",key,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
}
}
四、ShardedJedis相关类介绍
(1)、ShardedJedisPool
ShardedJedis是基于一致性哈希算法实现的分布式Redis集群客户端;ShardedJedis的设计分为以下几块:
对象池设计:Pool,ShardedJedisPool,ShardedJedisFactory
面向用户的操作封装:BinaryShardedJedis,BinaryShardedJedis
一致性哈希实现:Sharded
Sharded一致性哈希实现
shared一致性哈希采用以下方案:
Redis服务器节点划分:将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)
将划分虚拟节点采用TreeMap存储
对每个Redis服务器的物理连接采用LinkedHashMap存储
对Key or KeyTag 采用同样的hash算法,然后从TreeMap获取大于等于键hash值得节点,取最邻近节点存储;当key的hash值大于虚拟节点hash值得最大值时,存入第一个虚拟节点。
(2)、JedisShardInfo
配置每台redis服务器的连接
JedisShardInfo info1 = new JedisShardInfo(redis1Ip,redis1Port,1000*2);
redis集群(多机)分布的更多相关文章
- Redis集群分布
Redis系列 作者Mr.Chen,转载请注明博客出处:http://www.cnblogs.com/cjh-notes/ Redis集群存储 先看下架构图,下面说明其存储原理:首先redis每个节点 ...
- 在虚拟机上安装redis集群,redis使用版本为4.0.5,本机通过命令客户端可以连接访问,外部主机一直访问不了
在虚拟机上安装了redis 4 ,启动后本机客户端可以连接访问,但是外部主机一直访问不了,在使用java代码连接redis集群时报:no reachable node in cluster,原因:在r ...
- redis集群节点宕机
redis集群是有很多个redis一起工作,那么就需要这个集群不是那么容易挂掉,所以呢,理论上就应该给集群中的每个节点至少一个备用的redis服务.这个备用的redis称为从节点(slave). 1. ...
- Redis集群环境之linux搭建多机版---已完结,跟着一步一步来你就可以集群成功
上一篇踩着各种坑写了Redis集群环境之linux搭建单机版,这一篇准备就多机版集群进行搭建,主要目的一来是在上一篇的基础上进行精华提粹总结,二来是把单机版与多机版的区别进行记录. 首先软硬件环境: ...
- centos6.5下redis集群配置(多机多节点)
可参考官网文档:redis集群配置 需要注意的是,集群中的每个节点都会涉及到两个端口,一个是用于处理客户端操作的(如下介绍到的6379/6380),另一个是10000+{监听端口},用于集群各个节点间 ...
- Redis 集群的合纵与连横
之前一篇写了关于 Redis 的性能,这篇就写写我认为比性能更重要的扩展性方面的主题. 如果再给我一次回到好几年前的机会,对于使用 Redis 我一开始就要好好考虑将来的扩展问题.就像我们做数据库分库 ...
- (转)基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案
转载自:http://warm-breeze.iteye.com/blog/2020413 本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedi ...
- Redis集群
一.Redis集群原理 集群技术是构建高性能网站架构的重要手段,试想在网站承受高并发访问压力的同时,还需要从海量数据中查询出满足条件的数据,并快速响应,我们必然想到的是将数据进行切片,把数据根据某种规 ...
- Redis集群方案应该怎么做
方案1:Redis官方集群方案 Redis Cluster Redis Cluster是一种服务器sharding分片技术.Redis Cluster集群如何搭建请参考我的另一篇博文:http://w ...
随机推荐
- python 批量创建文件及文件夹(文件夹里再创文件)
python 批量创建文件及文件夹(文件夹里再创文件)思路:文件建到哪>文件名字叫啥>创建文件夹>去新建的文件下>新建文件>给文件里边写东西>写个反馈给控制台> ...
- c语言中sprintf()函数中的%使用
#include <stdio.h> #include <string.h> int main() { ] = {}; ] = {}; ] = {}; /*打印2个%*/ st ...
- sublime的一些记录
{ "keys": ["tab"], "command": "reindent", "context" ...
- Python学习日记(三)——Python基本数据类型(运算符、int、str、tuple、dict、range)
运算符 1.算数运算 2.比较运算 3.赋值运算 4.逻辑运算 5.成员运算 基本数据类型 1.数字 int(整型) 在32位机器上,整数的位数为32位,取值范围为-2**31-2**31-1,即-2 ...
- HDU 4374 One hundred layer(单调队列DP)
题目链接:http://acm.hust.edu.cn/vjudge/contest/view.action?cid=116242#problem/E 题意:差不多就是男人勇下百层的游戏.从第一层到最 ...
- oracle insert into 多条数据
mysql : insert into tablename (column1,column2) values ('aa','bb'), ('dd','cc'), ('ee','ff'); oracle ...
- Maven的New中没有Servlet问题(IDEA)
1.问题 第一次使用Maven骨架创建Web项目的时候,遇到了 New 里面没有 servlet 的问题. 2.原因 经过查询,是因为IDEA检测到项目中没有导入相关的 jar 包导致. 3.解决方法 ...
- suduku
github地址 PSP: PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟) Planning 计划 30 30 Estimate 估 ...
- django 后台静态文件不显示
原文链接 https://my.oschina.net/VASKS/blog/874270 django admin svg 不显示.后台显示 xx.svg 200 但浏览器就是不显示. 百度了一圈, ...
- kotlin中this 表达式
this表达式,可以表示当前函数的接收者,在类的成员函数中,this 指向这个类的当前对象实例,在扩展函数中或带有接收者数字面值,this代表调用函数时,在点号左侧传递的接收者参数 如果this没有限 ...