一、实现原理

  一致性哈希算法(Consistent Hashing): http://www.zsythink.net/archives/1182

二、配置两个redis服务,端口号要不一致

三、代码

. 配置文件
redis1.ip = 127.0.0.1
redis1.port= redis2.ip = 127.0.0.1
redis2.port= #最大连接数
redis.max.total=
#最大空闲数
redis.max.idle=
#最小空闲数
redis.min.idle=
#效验使用可用连接
redis.test.borrow=true
#效验归还可用连接
redis.test.return=false
 package com.mmall.common;

 import com.mmall.util.PropertiesUtil;
import redis.clients.jedis.JedisPoolConfig;
import redis.clients.jedis.JedisShardInfo;
import redis.clients.jedis.ShardedJedis;
import redis.clients.jedis.ShardedJedisPool;
import redis.clients.util.Hashing;
import redis.clients.util.Sharded;
import java.util.ArrayList;
import java.util.List; /**
* redis分片连接池
*/
public class RedisShardedPool {
private static ShardedJedisPool pool ; //jedis连接池
private static Integer maxTotal = Integer.parseInt(PropertiesUtil.getProperty("redis.max.total","20")); //最大连接数
private static Integer maxIdle = Integer.parseInt(PropertiesUtil.getProperty("redis.max.idle","10")); //最大空闲状态
private static Integer minIdle =Integer.parseInt(PropertiesUtil.getProperty("redis.min.idle","2")); //最小空闲状态 private static Boolean testOnBorrow =Boolean.parseBoolean(PropertiesUtil.getProperty("redis.test.borrow","true")); //验证从连接池拿出的jedis实例,一定可用
private static Boolean testOnReturn =Boolean.parseBoolean(PropertiesUtil.getProperty("redis.test.return","true")); //验证还回连接池的jedis实例,一定可用 private static String redis1Ip =PropertiesUtil.getProperty("redis1.ip"); //最小空闲状态
private static Integer redis1Port =Integer.parseInt(PropertiesUtil.getProperty("redis1.port")); //最小空闲状态
private static String redis2Ip =PropertiesUtil.getProperty("redis2.ip"); //最小空闲状态
private static Integer redis2Port =Integer.parseInt(PropertiesUtil.getProperty("redis2.port")); //最小空闲状态 private static void initPool(){
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxTotal(maxTotal);
config.setMaxIdle(maxIdle);
config.setMinIdle(minIdle); config.setTestOnBorrow(testOnBorrow);
config.setTestOnReturn(testOnReturn); config.setBlockWhenExhausted(true); //连接耗尽时是否阻塞,false抛出异常;true阻塞到超时。默认true JedisShardInfo info1 = new JedisShardInfo(redis1Ip,redis1Port,1000*2);
JedisShardInfo info2 = new JedisShardInfo(redis2Ip,redis2Port,1000*2);
List<JedisShardInfo> jedisShardInfoList = new ArrayList<JedisShardInfo>(2);
jedisShardInfoList.add(info1);
jedisShardInfoList.add(info2); pool = new ShardedJedisPool(config,jedisShardInfoList, Hashing.MURMUR_HASH, Sharded.DEFAULT_KEY_TAG_PATTERN);
} static{
initPool();
} public static ShardedJedis getJedis(){
return pool.getResource();
} /**
* redis不正常不可用,将其废弃,最新版本直接将此连接销毁jedis.close();
* @param jedis
*/
public static void returnBrokenResource(ShardedJedis jedis){
pool.returnBrokenResource(jedis);
} public static void returnResource(ShardedJedis jedis){
pool.returnResource(jedis);
} public static void main(String[] args) {
ShardedJedis shardedJedis = pool.getResource();
for (int i = 0; i<10; i++){
shardedJedis.set("key"+i,"value"+i);
}
returnResource(shardedJedis); //使用后的连接放回连接池中
// pool.destroy(); // 销毁连接池的所有连接
System.out.println("program is end"); }
}

运行main方法,查询redis生成的数据:

封装常用redisAPI

import com.mmall.common.RedisShardedPool;
import lombok.extern.slf4j.Slf4j;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.ShardedJedis; /**
* 封装分片redis
*/
@Slf4j
public class RedisShardedPoolUtil { /**
* 设置对应key的有效期
* @param key
* @param exTime 有效期,单位秒
* @return
*/
public static Long expire(String key, int exTime){
ShardedJedis shardedJedis = null;
Long result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.expire(key,exTime);
}catch (Exception e){
log.error("set key:{} exTime:{} value:{} error",key,exTime,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* string 添加,存在有效期exTime
* @param key 键
* @param value 值
* @param exTime 有效期,单位秒
* @return
*/
public static String setEx(String key, String value, int exTime){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.setex(key,exTime,value);
}catch (Exception e){
log.error("set key:{} exTime:{} value:{} error",key,exTime,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* string 添加
* @param key
* @param value
* @return
*/
public static String set(String key, String value){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.set(key,value);
}catch (Exception e){
log.error("set key:{} value:{} error",key,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* string 获取
* @param key
* @return
*/
public static String get(String key){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.get(key);
}catch (Exception e){
log.error("get key:{} error",key,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
}
public static String getSet(String key, String value){
ShardedJedis shardedJedis = null;
String result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.getSet(key,value);
}catch (Exception e){
log.error("set key:{} value:{} error",key,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} /**
* stirng 删除
* @param key
* @return
*/
public static Long del(String key){
ShardedJedis shardedJedis = null;
Long result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.del(key);
}catch (Exception e){
log.error("get key:{} error",key,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
} public static Long setnx(String key, String value){
ShardedJedis shardedJedis = null;
Long result = null;
try{
shardedJedis = RedisShardedPool.getJedis();
result = shardedJedis.setnx(key,value);
}catch (Exception e){
log.error("set key:{} value:{} error",key,value,e);
RedisShardedPool.returnBrokenResource(shardedJedis);
return result;
}
RedisShardedPool.returnResource(shardedJedis);
return result;
}
}

四、ShardedJedis相关类介绍

  (1)、ShardedJedisPool

    ShardedJedis是基于一致性哈希算法实现的分布式Redis集群客户端;ShardedJedis的设计分为以下几块:
    对象池设计:Pool,ShardedJedisPool,ShardedJedisFactory
    面向用户的操作封装:BinaryShardedJedis,BinaryShardedJedis
    一致性哈希实现:Sharded

    Sharded一致性哈希实现
    shared一致性哈希采用以下方案:
    Redis服务器节点划分:将每台服务器节点采用hash算法划分为160个虚拟节点(可以配置划分权重)
    将划分虚拟节点采用TreeMap存储
    对每个Redis服务器的物理连接采用LinkedHashMap存储
     对Key or KeyTag 采用同样的hash算法,然后从TreeMap获取大于等于键hash值得节点,取最邻近节点存储;当key的hash值大于虚拟节点hash值得最大值时,存入第一个虚拟节点。

  (2)、JedisShardInfo

      配置每台redis服务器的连接

     JedisShardInfo info1 = new JedisShardInfo(redis1Ip,redis1Port,1000*2);

redis集群(多机)分布的更多相关文章

  1. Redis集群分布

    Redis系列 作者Mr.Chen,转载请注明博客出处:http://www.cnblogs.com/cjh-notes/ Redis集群存储 先看下架构图,下面说明其存储原理:首先redis每个节点 ...

  2. 在虚拟机上安装redis集群,redis使用版本为4.0.5,本机通过命令客户端可以连接访问,外部主机一直访问不了

    在虚拟机上安装了redis 4 ,启动后本机客户端可以连接访问,但是外部主机一直访问不了,在使用java代码连接redis集群时报:no reachable node in cluster,原因:在r ...

  3. redis集群节点宕机

    redis集群是有很多个redis一起工作,那么就需要这个集群不是那么容易挂掉,所以呢,理论上就应该给集群中的每个节点至少一个备用的redis服务.这个备用的redis称为从节点(slave). 1. ...

  4. Redis集群环境之linux搭建多机版---已完结,跟着一步一步来你就可以集群成功

    上一篇踩着各种坑写了Redis集群环境之linux搭建单机版,这一篇准备就多机版集群进行搭建,主要目的一来是在上一篇的基础上进行精华提粹总结,二来是把单机版与多机版的区别进行记录. 首先软硬件环境: ...

  5. centos6.5下redis集群配置(多机多节点)

    可参考官网文档:redis集群配置 需要注意的是,集群中的每个节点都会涉及到两个端口,一个是用于处理客户端操作的(如下介绍到的6379/6380),另一个是10000+{监听端口},用于集群各个节点间 ...

  6. Redis 集群的合纵与连横

    之前一篇写了关于 Redis 的性能,这篇就写写我认为比性能更重要的扩展性方面的主题. 如果再给我一次回到好几年前的机会,对于使用 Redis 我一开始就要好好考虑将来的扩展问题.就像我们做数据库分库 ...

  7. (转)基于Redis Sentinel的Redis集群(主从&Sharding)高可用方案

    转载自:http://warm-breeze.iteye.com/blog/2020413 本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedi ...

  8. Redis集群

    一.Redis集群原理 集群技术是构建高性能网站架构的重要手段,试想在网站承受高并发访问压力的同时,还需要从海量数据中查询出满足条件的数据,并快速响应,我们必然想到的是将数据进行切片,把数据根据某种规 ...

  9. Redis集群方案应该怎么做

    方案1:Redis官方集群方案 Redis Cluster Redis Cluster是一种服务器sharding分片技术.Redis Cluster集群如何搭建请参考我的另一篇博文:http://w ...

随机推荐

  1. Codeforces 1175E Minimal Segment Cover

    题意: 有\(n\)条线段,区间为\([l_i, r_i]\),每次询问\([x_i, y_i]\),问要被覆盖最少要用多少条线段. 思路: \(f[i][j]\)表示以\(i\)为左端点,用了\(2 ...

  2. 图的基本存储的基本方式一(SDUT 3116)

    Problem Description 解决图论问题,首先就要思考用什么样的方式存储图.但是小鑫却怎么也弄不明白如何存图才能有利于解决问题.你能帮他解决这个问题么? Input 多组输入,到文件结尾. ...

  3. JavaEE项目开发所需要的包(Struts2+Spring5+Hibernate5)

    在这里我只整理了轻量级JavaEE项目开发所需的包 @Auther MrZhangxd 2019-04-29  23:07:21 链接:https://pan.baidu.com/s/16I4KYah ...

  4. elasticsearch _create api创建一个不存在的文档

    https://www.elastic.co/guide/cn/elasticsearch/guide/current/create-doc.html当我们索引一个文档, 怎么确认我们正在创建一个完全 ...

  5. 一个简单的puppeteer爬虫

    const puppeteer = require("puppeteer"); const path = require('path'); const pathToExtensio ...

  6. TCP/IP协议入门

    TCP/IP协议入门 1. 简介 Transmission Control Protocol/Internet Protocol的简写,即传输控制协议/因特网互联协议.它是网络通信的一套协议集合. 先 ...

  7. 冲刺阶段——Day6

    [今日进展] 完成登录代码 userRegister类 import java.awt.*; import java.awt.event.ActionEvent; import java.awt.ev ...

  8. [SpringBoot/SpringMVC]从Webapp下载一个大文件出现java.lang.OutOfMemoryError: GC overhead limit exceeded怎么办?

    本文示例工程下载:https://files.cnblogs.com/files/xiandedanteng/WebFileDownload20191026.rar 制作一个Webapp,让其中一个网 ...

  9. UICollectionview的头视图和尾视图

    UITableView有头视图和尾视图,那么UICollectionView有没有头视图和尾视图呢? 答案是有的. 1.新建一个类,必须继承自 UICollectionReusableView. 2. ...

  10. python基础----redis模块

    数据库 关系型数据 例如mysql,有表还有约束条件等 非关系型 k-v形式 memcache 存在内存中 redis 存在内存 mongodb 数据存在磁盘 import redis #string ...