首先是项目地址:

https://github.com/maqiankun/distributed-id-redis-generator

关于Redis集群生成分布式ID,这里要先了解redis使用lua脚本的时候的EVAL,EVALSHA命令:

https://www.runoob.com/redis/scripting-eval.html

https://www.runoob.com/redis/scripting-evalsha.html

讲解一下Redis实现分布式ID的原理,这里用java语言来讲解:

这里的分布式id我们分成3部分组成:毫秒级时间,redis集群的第多少个节点,每一个redis节点在每一毫秒的自增序列值

然后因为window是64位的,然后整数的时候第一位必须是0,所以最大的数值就是63位的111111111111111111111111111111111111111111111111111111111111111,这里呢,我们分出来41位作为毫秒,然后12位作为redis节点的数量,然后10位做成redis节点在每一毫秒的自增序列值

41位的二进制11111111111111111111111111111111111111111转换成10进制的毫秒就是2199023255551,然后我们把 2199023255551转换成时间就是2039-09-07,也就是说可以用20年的

然后12位作为redis节点,所以最多就是12位的111111111111,也就是最多可以支持4095个redis节点,

然后10位的redis每一个节点自增序列值,,这里最多就是10位的1111111111,也就是说每一个redis节点可以每一毫秒可以最多生成1023个不重复id值

然后我们使用java代码来讲解这个原理,下面的1565165536640L是一个毫秒值,然后我们的的redis节点设置成53,然后我们设置了两个不同的自增序列值,分别是1和1023,下面的结果展示的就是在1565165536640L这一毫秒里面,53号redis节点生成了两个不同的分布式id值

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date; public class Test { public static void main(String[] args) {
long buildId = buildId(1565165536640L, 53, 1);
System.out.println("分布式id是:"+buildId);
long buildIdLast = buildId(1565165536640L, 53, 1023);
System.out.println("分布式id是:"+buildIdLast);
} public static long buildId(long miliSecond, long shardId, long seq) {
return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
} }
public class Test { public static void main(String[] args) {
long buildId = buildId(1565165536640L, 53, 1);
System.out.println("分布式id是:"+buildId);
long buildIdLast = buildId(1565165536640L, 53, 1023);
System.out.println("分布式id是:"+buildIdLast);
} public static long buildId(long miliSecond, long shardId, long seq) {
return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
} }

结果如下所示

分布式id是:6564780070991352833
分布式id是:6564780070991353855

那么有人要说了,你这也不符合分布式id的设置啊,完全没有可读性啊,这里我们可以使用下面的方式来获取这个分布式id的生成毫秒时间值,

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date; public class Test { public static void main(String[] args) {
long buildId = buildId(1565165536640L, 53, 1);
parseId(buildId);
long buildIdLast = buildId(1565165536640L, 53, 1023);
parseId(buildIdLast);
} public static long buildId(long miliSecond, long shardId, long seq) {
return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
} public static void parseId(long id) {
long miliSecond = id >>> 22;
long shardId = (id & (0xFFF << 10)) >> 10;
System.err.println("分布式id-"+id+"生成的时间是:"+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond)));
System.err.println("分布式id-"+id+"在第"+shardId+"号redis节点生成");
} }

这样不就ok了,哈哈。

分布式id-6564780070991352833生成的时间是:2019-08-07
分布式id-6564780070991352833在第53号redis节点生成
分布式id-6564780070991353855生成的时间是:2019-08-07
分布式id-6564780070991353855在第53号redis节点生成

实现集群版的redis的分布式id创建

此时我的分布式redis集群的端口分别是6380,6381

首先是生成Evalsha命令安全sha1 校验码,生成过程如下,

首先是生成6380端口对应的安全sha1 校验码,首先进入到redis的bin目录里面,然后执行下面的命令下载lua脚本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua

然后执行下面的命令,生成6380端口对应的安全sha1 校验码,此时看到是be6d4e21e9113bf8af47ce72f3da18e00580d402

./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"

首先是生成6381端口对应的安全sha1 校验码,首先进入到redis的bin目录里面,然后执行下面的命令下载lua脚本

wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua



然后执行下面的命令,生成6381端口对应的安全sha1 校验码,此时看到是97f65601d0aaf1a0574da69b1ff3092969c4310e

./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"

然后我们就使用上面的sha1 校验码和下面的代码来生成分布式id

项目图片如下

IdGenerator类的代码如下所示


package io.github.hengyunabc.redis; import java.util.ArrayList;
import java.util.List; import org.apache.commons.lang3.tuple.Pair;
import redis.clients.jedis.Jedis;
import redis.clients.jedis.JedisPool;
import redis.clients.jedis.exceptions.JedisConnectionException; public class IdGenerator {
/**
* JedisPool, luaSha
*/
List<Pair<JedisPool, String>> jedisPoolList;
int retryTimes; int index = 0; private IdGenerator(List<Pair<JedisPool, String>> jedisPoolList,
int retryTimes) {
this.jedisPoolList = jedisPoolList;
this.retryTimes = retryTimes;
} static public IdGeneratorBuilder builder() {
return new IdGeneratorBuilder();
} static class IdGeneratorBuilder {
List<Pair<JedisPool, String>> jedisPoolList = new ArrayList();
int retryTimes = 5; public IdGeneratorBuilder addHost(String host, int port, String luaSha) {
jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha));
return this;
} public IdGenerator build() {
return new IdGenerator(jedisPoolList, retryTimes);
}
} public long next(String tab) {
for (int i = 0; i < retryTimes; ++i) {
Long id = innerNext(tab);
if (id != null) {
return id;
}
}
throw new RuntimeException("Can not generate id!");
} Long innerNext(String tab) {
index++;
int i = index % jedisPoolList.size();
Pair<JedisPool, String> pair = jedisPoolList.get(i);
JedisPool jedisPool = pair.getLeft(); String luaSha = pair.getRight();
Jedis jedis = null;
try {
jedis = jedisPool.getResource();
List<Long> result = (List<Long>) jedis.evalsha(luaSha, 2, tab, ""
+ i);
long id = buildId(result.get(0), result.get(1), result.get(2),
result.get(3));
return id;
} catch (JedisConnectionException e) {
if (jedis != null) {
jedisPool.returnBrokenResource(jedis);
}
} finally {
if (jedis != null) {
jedisPool.returnResource(jedis);
}
}
return null;
} public static long buildId(long second, long microSecond, long shardId,
long seq) {
long miliSecond = (second * 1000 + microSecond / 1000);
return (miliSecond << (12 + 10)) + (shardId << 10) + seq;
} public static List<Long> parseId(long id) {
long miliSecond = id >>> 22;
long shardId = (id & (0xFFF << 10)) >> 10; List<Long> re = new ArrayList<Long>(4);
re.add(miliSecond);
re.add(shardId);
return re;
}
}

Example的代码如下所示,下面的while循环的目的就是为了打印多个分布式id,下面的tab变量就是evalsha命令里面的参数,可以根据自己的需求来定义

package io.github.hengyunabc.redis;

import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.List; public class Example { public static void main(String[] args) {
String tab = "这个就是evalsha命令里面的参数,随便定义"; IdGenerator idGenerator = IdGenerator.builder()
.addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402")
.addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e")
.build();
int hello = 0;
while (hello<3){
long id = idGenerator.next(tab); System.out.println("分布式id值:" + id);
List<Long> result = IdGenerator.parseId(id); System.out.println("分布式id生成的时间是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) );
System.out.println("redis节点:" + result.get(1));
hello++;
} }
}

此时打印结果如下所示

分布式id值:6564819854640022531
分布式id生成的时间是:2019-08-07
redis节点:1
分布式id值:6564819855189475330
分布式id生成的时间是:2019-08-07
redis节点:0
分布式id值:6564819855361442819
分布式id生成的时间是:2019-08-07
redis节点:1

到这里redis集群版的分布式id就算搞定了,完美؏؏☝ᖗ乛◡乛ᖘ☝؏؏

Redis集群实现的分布式id是否适合做分布式id呢?

我觉得Redis集群实现分布式ID是可以供我们开发中的基本使用的,但是我还是觉得它有下面的两个问题:

1:这里我们可以给上一篇的数据库自增ID机制进行对比,其实Redis集群可以说是解决了数据库集群创建分布式ID的性能问题,但是Redis集群系统水平扩展还是比较困难,如果以后想对Redis集群增加Redis节点的话,还是会和数据库集群的节点扩展一样麻烦。

2:还有就是如果你的项目里面没有使用Redis,那么你就要引入新的组件,这也是一个比较麻烦的问题。

原文链接

其他分布式ID系列快捷键:

分布式ID系列(1)——为什么需要分布式ID以及分布式ID的业务需求

分布式ID系列(2)——UUID适合做分布式ID吗

分布式ID系列(3)——数据库自增ID机制适合做分布式ID吗

分布式ID系列(4)——Redis集群实现的分布式ID适合做分布式ID吗

分布式ID系列(5)——Twitter的雪法算法Snowflake适合做分布式ID吗

分布式ID系列(4)——Redis集群实现的分布式ID适合做分布式ID吗的更多相关文章

  1. k8s 集群管理和微服务 适合做啥

    k8s 集群管理和微服务 适合做啥 都知道k8s是集群 适合微服务 有很多教程 但你可以先了解他能干啥 traefix 是负载均衡工具 k8s 适合部署无状态依赖的微服务 可以按需求开启多个微服务 管 ...

  2. 深入剖析Redis系列: Redis集群模式搭建与原理详解

    前言 在 Redis 3.0 之前,使用 哨兵(sentinel)机制来监控各个节点之间的状态.Redis Cluster 是 Redis 的 分布式解决方案,在 3.0 版本正式推出,有效地解决了 ...

  3. 三分钟快速搭建分布式高可用的Redis集群

    这里的Redis集群指的是Redis Cluster,它是Redis在3.0版本正式推出的专用集群方案,有效地解决了Redis分布式方面的需求.当单机内存.并发.流量等遇到瓶颈的时候,可以采用这种Re ...

  4. Redis系列九 Redis集群

    1. redis-cluster架构图 redis-cluster投票:容错 架构细节 ①所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽. ②节点的fai ...

  5. Centos7 minimal 系列之Redis集群搭建(六)

    一.redis安装 借鉴上篇博客:http://www.cnblogs.com/WJ--NET/p/8176071.html 二.集群搭建 2.1.创建文件夹 mkdir redis_cluster ...

  6. Redis集群入门

    官方文章: https://redis.io/topics/cluster-tutorial#redis-cluster-configuration-parameters 本文永久地址: https: ...

  7. Dubbo入门到精通学习笔记(十五):Redis集群的安装(Redis3+CentOS)、Redis集群的高可用测试(含Jedis客户端的使用)、Redis集群的扩展测试

    文章目录 Redis集群的安装(Redis3+CentOS) 参考文档 Redis 集群介绍.特性.规范等(可看提供的参考文档+视频解说) Redis 集群的安装(Redis3.0.3 + CentO ...

  8. redis系列--深入哨兵集群

    一.前言 在之前的系列文章中介绍了redis的入门.持久化以及复制功能,如果不了解请移步至redis系列进行阅读,当然我也是抱着学习的知识分享,如果有什么问题欢迎指正,也欢迎大家转载.而本次将介绍哨兵 ...

  9. Ubuntu16.04.1上搭建分布式的Redis集群

    为什么要集群: 通常为了,提高网站的响应速度,总是把一些经常用到的数据放到内存中,而不是放到数据库中,Redis是一个很好的Cache工具,当然了还有Memcached,这里只讲Redis.在我们的电 ...

随机推荐

  1. 美化Div的边框

    CSS修饰Div边框 大部分时候,Div的边框真的做的太丑了,如果不用很多样式来修饰的话,它永远都是那么的突兀.作为一个后端开发,前端菜鸡,在没有设计和前端开发自己独自做项目的时候常常会遇到Div边框 ...

  2. 简单的 自动生成 二维码 PHP 方法

    方法一:<style type="text/css">.eweima{    width:200px; height:200px; margin:auto;}</ ...

  3. map的实现--红黑树

    一.什么是红黑树???   红黑树首先是一棵搜索二叉树,树中的每一个结点的颜色不是黑色就是红色.它的特性如下:   1.根节点是黑色   2.每一个结点不是黑色就是红色   3.不能有连续的两个红色结 ...

  4. 西门子 S7-300 PLC 从入门到精通的100个经典问题

    1:使用CPU 315F和ET 200S时应如何避免出现“通讯故障”消息?   使用CPU S7 315F, ET 200S以及故障安全DI/DO模块,那么您将调用OB35 的故障安全程序.而且,您已 ...

  5. 5G VS WiFi6,实力大比拼!

    移动通信与WiFi,就像移动设备上的两大高手.彼此势均力敌:一个主室内,一个主室外.WiFi是移动网络的室内覆盖补充,也承担着大量的数据流量卸载,二者既想各自占山为王,但也时不时地相互成全对方. 然而 ...

  6. Golang 高效实践之并发实践context篇

    前言 在上篇Golang高效实践之并发实践channel篇中我给大家介绍了Golang并发模型,详细的介绍了channel的用法,和用select管理channel.比如说我们可以用channel来控 ...

  7. python函数知识一 函数初始、定义与调用、返回值、参数和函数的好处+菜中菜

    第四章 函数 1.函数初识: def :关键字 -- 定义 函数名:和变量的定义方式一样 (): 用于参数传递,: 形参:函数的定义中()内的是形参 实参:调用的()内是实参 传参:调用时将实参传递给 ...

  8. Git对象

    上一节了解了 Git 的一个重要的概念:暂存区. 暂存区是一个介于工作区和版本库的中间状态,当执行commit时,实际上是将暂存区的内容提交大版本库中,而执行add则是将本次变更添加到暂存区. 上一节 ...

  9. SGU495 Kids andPrices[期望DP]

    也许更好的阅读体验 \(\mathcal{Description}\) 有\(n\)个格子,每次等概率随机给一个格子染色,问涂\(m\)次后期望有多少格子被染色了 \(\mathcal{Solutio ...

  10. 小白开学Asp.Net Core《二》

    小白开学Asp.Net Core<二> ——数据仓储层(Repositroy) 一.历史现象 在后端开发中,数据库操作是最频繁的,每一个开发人员都会接触,甚至不少开发人员每天的工作就是与数 ...