CosId 通用、灵活、高性能的分布式 ID 生成器

介绍

CosId 旨在提供通用、灵活、高性能的分布式 ID 生成器。 目前提供了三类 ID 生成器:

  • SnowflakeId : 单机 TPS 性能:409W/s JMH 基准测试 , 主要解决 时钟回拨问题机器号分配问题 并且提供更加友好、灵活的使用体验。
  • SegmentId : RedisIdSegmentDistributor 单机 TPS 性能(步长 1000) :2950W+/s JMH 基准测试 , 每次获取一段(Step) ID,来降低号段分发器的网络IO请求频次提升性能。
  • SegmentChainId : SegmentChainId (lock-free) 是对 SegmentId 的增强,设计图如下。PrefetchWorker 维护安全距离(safeDistance), 使得 SegmentChainId 达到近似 AtomicLongTPS 性能(步长 1000): 10272W+/s JMH 基准测试

更新内容(1.1.8)

  • 优化:新增抽象 IdSegment interface。
  • 增强:优化DefaultSegmentId防御性校验后端发号器持久层号段丢失、回滚。
  • 增强:增强IdSegmentDistributor支持批量获取号段,降低网络ID请求频次,进一步提升性能。
  • 优化:优化SegmentChainId (lock-free)性能,合理配置的情况下可达到AtomicLong性能级别(10272W+/s JMH JMH 基准测试 )。
  • 新增:添加 IdSegmentDistributor.Mock,模拟发号器网络IO请求,方便测试。
  • 增强:支持通过 spring-boot 配置开启SegmentChainId 模式(spring-boot-starter-cosid)。
  • 新增:添加LifecycleSegmentChainId优雅关闭 PrefetchWorker  。

SnowflakeId

SnowflakeId 使用 Long (64 bits) 位分区来生成 ID 的一种分布式 ID 算法。

通用的位分配方案为:timestamp (41 bits) + machineId (10 bits) + sequence (12 bits) = 63 bits 。

  • 41 位 timestamp = (1L<<41)/(1000/3600/365) 约可以存储 69 年的时间戳,即可以使用的绝对时间为 EPOCH + 69 年,一般我们需要自定义 EPOCH 为产品开发时间,另外还可以通过压缩其他区域的分配位数,来增加时间戳位数来延长可用时间。
  • 10 位 machineId = (1L<<10) = 1024 即相同业务可以部署 1024 个副本 (在 Kubernetes 概念里没有主从副本之分,这里直接沿用 Kubernetes 的定义) 实例,一般情况下没有必要使用这么多位,所以会根据部署规模需要重新定义。
  • 12 位 sequence = (1L<<12) * 1000 = 4096000 即单机每秒可生成约 409W 的 ID,全局同业务集群可产生 4096000*1024=419430W=41.9亿(TPS)。

SnowflakeId 设计上可以看出:

  • timestamp 在高位,所以 SnowflakeId 是本机单调递增的,受全局时钟同步影响 SnowflakeId 是全局趋势递增的。
  • SnowflakeId 不对任何第三方中间件有强依赖关系,并且性能也非常高。
  • 位分配方案可以按照业务系统需要灵活配置,来达到最优使用效果。
  • 强依赖本机时钟,潜在的时钟回拨问题会导致 ID 重复。
  • machineId 需要手动设置,实际部署时如果采用手动分配 machineId,会非常低效。

CosId-SnowflakeId 主要解决 SnowflakeId 俩大问题:机器号分配问题、时钟回拨问题。 并且提供更加友好、灵活的使用体验。

MachineIdDistributor (MachineId 分配器)

目前 CosId 提供了以下三种 MachineId 分配器。

ManualMachineIdDistributor

cosid:
snowflake:
machine:
distributor:
type: manual
manual:
machine-id: 0

手动分配 MachineId

StatefulSetMachineIdDistributor

cosid:
snowflake:
machine:
distributor:
type: stateful_set

使用 KubernetesStatefulSet 提供的稳定的标识 ID 作为机器号。

RedisMachineIdDistributor

cosid:
snowflake:
machine:
distributor:
type: redis

使用 Redis 作为机器号的分发存储。

ClockBackwardsSynchronizer (时钟回拨同步器)

cosid:
snowflake:
clock-backwards:
spin-threshold: 10
broken-threshold: 2000

默认提供的 DefaultClockBackwardsSynchronizer 时钟回拨同步器使用主动等待同步策略,spinThreshold(默认值 10 毫秒) 用于设置自旋等待阈值, 当大于spinThreshold时使用线程休眠等待时钟同步,如果超过brokenThreshold(默认值 2 秒)时会直接抛出ClockTooManyBackwardsException异常。

MachineStateStorage (机器状态存储)

public class MachineState {
public static final MachineState NOT_FOUND = of(-1, -1);
private final int machineId;
private final long lastTimeStamp; public MachineState(int machineId, long lastTimeStamp) {
this.machineId = machineId;
this.lastTimeStamp = lastTimeStamp;
} public int getMachineId() {
return machineId;
} public long getLastTimeStamp() {
return lastTimeStamp;
} public static MachineState of(int machineId, long lastStamp) {
return new MachineState(machineId, lastStamp);
}
}
cosid:
snowflake:
machine:
state-storage:
local:
state-location: ./cosid-machine-state/

默认提供的 LocalMachineStateStorage 本地机器状态存储,使用本地文件存储机器号、最近一次时间戳,用作 MachineState 缓存。

ClockSyncSnowflakeId (主动时钟同步 SnowflakeId)

cosid:
snowflake:
share:
clock-sync: true

默认 SnowflakeId 当发生时钟回拨时会直接抛出 ClockBackwardsException 异常,而使用 ClockSyncSnowflakeId 会使用 ClockBackwardsSynchronizer主动等待时钟同步来重新生成 ID,提供更加友好的使用体验。

SafeJavaScriptSnowflakeId (JavaScript 安全的 SnowflakeId)

SnowflakeId snowflakeId=SafeJavaScriptSnowflakeId.ofMillisecond(1);

JavaScriptNumber.MAX_SAFE_INTEGER 只有 53 位,如果直接将 63 位的 SnowflakeId 返回给前端,那么会值溢出的情况,通常我们可以将 SnowflakeId 转换为 String 类型或者自定义 SnowflakeId 位分配来缩短 SnowflakeId 的位数 使 ID 提供给前端时不溢出。

SnowflakeFriendlyId (可以将 SnowflakeId 解析成可读性更好的 SnowflakeIdState )

cosid:
snowflake:
share:
friendly: true
public class SnowflakeIdState {

    private final long id;

    private final int machineId;

    private final long sequence;

    private final LocalDateTime timestamp;
/**
* {@link #timestamp}-{@link #machineId}-{@link #sequence}
*/
private final String friendlyId;
}
public interface SnowflakeFriendlyId extends SnowflakeId {

    SnowflakeIdState friendlyId(long id);

    SnowflakeIdState ofFriendlyId(String friendlyId);

    default SnowflakeIdState friendlyId() {
long id = generate();
return friendlyId(id);
}
}
        SnowflakeFriendlyId snowflakeFriendlyId=new DefaultSnowflakeFriendlyId(snowflakeId);
SnowflakeIdState idState=snowflakeFriendlyId.friendlyId();
idState.getFriendlyId(); //20210623131730192-1-0

SegmentId (号段模式)

RedisIdSegmentDistributor (使用Redis作为号段分发后端存储)

cosid:
segment:
enabled: true
distributor:
type: redis
share:
offset: 0
step: 100
provider:
bizC:
offset: 10000
step: 100
bizD:
offset: 10000
step: 100

RedisIdSegmentDistributor 步长设置为 1 时(每次生成ID都需要执行一次 Redis 网络 IO 请求)TPS 性能约为 21W/s (JMH 基准测试 ),如果在部分场景下我们对 ID 生成的 TPS 性能有更高的要求,那么可以选择使用增加每次ID分发步长来降低网络 IO 请求频次,提高 IdGenerator 性能(比如增加步长为 1000,性能可提升到 3545W+/s JMH 基准测试)。

SegmentChainId (号段链模式)

cosid:
segment:
enabled: true
mode: chain
chain:
safe-distance: 100
prefetch-period: 4000ns
distributor:
type: redis
share:
offset: 0
step: 100
provider:
bizC:
offset: 10000
step: 100
bizD:
offset: 10000
step: 100

IdGeneratorProvider

cosid:
snowflake:
provider:
bizA:
# epoch:
# timestamp-bit:
sequence-bit: 12
bizB:
# epoch:
# timestamp-bit:
sequence-bit: 12
IdGenerator idGenerator=idGeneratorProvider.get("bizA");

在实际使用中我们一般不会所有业务服务使用同一个 IdGenerator ,而是不同的业务使用不同的 IdGenerator,那么 IdGeneratorProvider 就是为了解决这个问题而存在的,他是 IdGenerator 的容器,可以通过业务名来获取相应的 IdGenerator

Examples

CosId-Examples

安装

Gradle

Kotlin DSL

    val cosidVersion = "1.1.8";
implementation("me.ahoo.cosid:spring-boot-starter-cosid:${cosidVersion}")

Maven

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion>
<artifactId>demo</artifactId>
<properties>
<cosid.version>1.1.8</cosid.version>
</properties> <dependencies>
<dependency>
<groupId>me.ahoo.cosid</groupId>
<artifactId>spring-boot-starter-cosid</artifactId>
<version>${cosid.version}</version>
</dependency>
</dependencies> </project>

application.yaml

cosid:
namespace: ${spring.application.name}
snowflake:
enabled: true
# epoch: 1577203200000
clock-backwards:
spin-threshold: 10
broken-threshold: 2000
machine:
# stable: true
# machine-bit: 10
# instance-id: ${HOSTNAME}
distributor:
type: redis
# manual:
# machine-id: 0
state-storage:
local:
state-location: ./cosid-machine-state/
share:
clock-sync: true
friendly: true
provider:
bizA:
# timestamp-bit:
sequence-bit: 12
bizB:
# timestamp-bit:
sequence-bit: 12
segment:
enabled: true
mode: chain
chain:
safe-distance: 100
prefetch-period: 4000ns
distributor:
type: redis
share:
offset: 0
step: 100
provider:
bizC:
offset: 10000
step: 100
bizD:
offset: 10000
step: 100

JMH-Benchmark

  • 基准测试运行环境:笔记本开发机 ( MacBook Pro (M1) )
  • 所有基准测试都在开发笔记本上执行。
  • Redis 部署环境也在该笔记本开发机上。

SnowflakeId

gradle cosid-core:jmh
# or
java -jar cosid-core/build/libs/cosid-core-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1
Benchmark                                                    Mode  Cnt        Score   Error  Units
SnowflakeIdBenchmark.millisecondSnowflakeId_friendlyId thrpt 4020311.665 ops/s
SnowflakeIdBenchmark.millisecondSnowflakeId_generate thrpt 4095403.859 ops/s
SnowflakeIdBenchmark.safeJsMillisecondSnowflakeId_generate thrpt 511654.048 ops/s
SnowflakeIdBenchmark.safeJsSecondSnowflakeId_generate thrpt 539818.563 ops/s
SnowflakeIdBenchmark.secondSnowflakeId_generate thrpt 4206843.941 ops/s

RedisIdBenchmark

gradle cosid-redis:jmh
# or
java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1 RedisIdBenchmark
Benchmark                    Mode  Cnt         Score         Error  Units
RedisIdBenchmark.step_1 thrpt 5 207470.850 ± 11832.936 ops/s
RedisIdBenchmark.step_100 thrpt 5 3868126.197 ± 258008.896 ops/s
RedisIdBenchmark.step_1000 thrpt 5 29506073.112 ± 2502253.182 ops/s

RedisChainIdBenchmark

gradle cosid-redis:jmh
# or
java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm thrpt -wi 1 -rf json -f 1 RedisChainIdBenchmark
Benchmark                                   Mode  Cnt          Score         Error  Units
RedisChainIdBenchmark.atomicLong_baseline thrpt 5 143740421.831 ± 1142477.957 ops/s
RedisChainIdBenchmark.step_1 thrpt 5 301874.926 ± 10340.941 ops/s
RedisChainIdBenchmark.step_100 thrpt 5 25746336.165 ± 433565.840 ops/s
RedisChainIdBenchmark.step_1000 thrpt 5 102722840.616 ± 2368562.637 ops/s

RedisIdBenchmark VS RedisChainIdBenchmark TPS (ops/s)

RedisIdBenchmark VS RedisChainIdBenchmark Sample (us/op)

java -jar cosid-redis/build/libs/cosid-redis-1.1.8-jmh.jar -bm sample -wi 1 -rf json -f 1 -tu us step_1000
Benchmark                                            Mode      Cnt    Score   Error  Units
RedisChainIdBenchmark.step_1000 sample 1062954 0.056 ± 0.002 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.00 sample ≈ 0 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.50 sample 0.042 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.90 sample 0.083 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.95 sample 0.084 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.99 sample 0.125 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.999 sample 3.000 us/op
RedisChainIdBenchmark.step_1000:step_1000·p0.9999 sample 8.818 us/op
RedisChainIdBenchmark.step_1000:step_1000·p1.00 sample 290.304 us/op
RedisIdBenchmark.step_1000 sample 1374946 0.064 ± 0.003 us/op
RedisIdBenchmark.step_1000:step_1000·p0.00 sample ≈ 0 us/op
RedisIdBenchmark.step_1000:step_1000·p0.50 sample 0.042 us/op
RedisIdBenchmark.step_1000:step_1000·p0.90 sample 0.042 us/op
RedisIdBenchmark.step_1000:step_1000·p0.95 sample 0.042 us/op
RedisIdBenchmark.step_1000:step_1000·p0.99 sample 0.083 us/op
RedisIdBenchmark.step_1000:step_1000·p0.999 sample 0.291 us/op
RedisIdBenchmark.step_1000:step_1000·p0.9999 sample 46.624 us/op
RedisIdBenchmark.step_1000:step_1000·p1.00 sample 483.840 us/op

CosId 1.1.8 发布,通用、灵活、高性能的分布式 ID 生成器的更多相关文章

  1. CosId 1.0.0 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  2. CosId 1.0.3 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  3. CosId 1.1.0 发布,通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  4. CosId 通用、灵活、高性能的分布式 ID 生成器

    CosId 通用.灵活.高性能的分布式 ID 生成器 介绍 CosId 旨在提供通用.灵活.高性能的分布式系统 ID 生成器. 目前提供了俩大类 ID 生成器:SnowflakeId (单机 TPS ...

  5. 分布式ID生成器(CosId)的设计与实现

    分布式ID生成器(CosId)设计与实现 CosId 简介 CosId 旨在提供通用.灵活.高性能的分布式 ID 生成器. 目前提供了俩类 ID 生成器: SnowflakeId : 单机 TPS 性 ...

  6. 分布式ID(CosId)之号段链模式性能(1.2亿/s)解析

    分布式ID(CosId)之号段链模式性能(1.2亿/s)解析 上一篇文章<分布式ID生成器(CosId)设计与实现>我们已经简单讨论过CosId的设计与实现全貌. 但是有很多同学有一些疑问 ...

  7. 高性能的分布式服务框架 Dubbo

    我思故我在,提问启迪思考! 1. 什么是Dubbo? 官网:http://dubbo.io/,DUBBO是一个分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及作为SOA服务治理的 ...

  8. Tair是一个高性能,分布式,可扩展,高可靠的key/value结构存储系统(转)

    Tair是一个高性能,分布式,可扩展,高可靠的key/value结构存储系统! Tair专为小文件优化,并提供简单易用的接口(类似Map)Tair支持Java和C版本的客户端 Tair is a di ...

  9. GRPC 1.3.4 发布,Google 高性能 RPC 框架(Java C++ Go)

    GRPC 1.3.4 发布了,GRPC 是一个高性能.开源.通用的 RPC 框架,面向移动和 HTTP/2 设计,是由谷歌发布的首款基于 Protocol Buffers 的 RPC 框架. GRPC ...

随机推荐

  1. Docker——Jenkins + Git + Registry构建自动化持续集成环境(CI/CD)

    前言 在互联网时代,对于每一家公司,软件开发和发布的重要性不言而喻,目前已经形成一套标准的流程,最重要的组成部分就是持续集成(CI)及持续部署.交付(CD). 本文基于Jenkins+Docker+G ...

  2. 攻防世界(八)web2

    攻防世界系列:web2 1.代码审计  知识补充: strrev(string):反转字符串 strlen(string):字符串长度 substr(string,start,length):截取字符 ...

  3. 020.Python生成器和生成器函数

    一 生成器 1.1 基本概念 元组推导式是是生成器(generator) 生成器定义 生成器可以实现自定义,迭代器是系统内置的,不能够更改 生成器的本质就是迭代器,只不过可以自定义. 生成器有两种定义 ...

  4. 004.Python运算符

    一 算数运算符 1.1 加法 [root@node10 python]# cat test.py var1 = 10 var2 = 7 res = var1 + var2 print(res) [ro ...

  5. KEIL expected an identifier

    error: #40: expected an identifier(在线等) C语言编译是提示的.这句话是什么意思啊, 怎样解决啊  我来答  浏览 33290 次   4个回答 #活动# [芝麻 ...

  6. Centos7.4 file '/grub/i386-pc/normal.mod' not found,实际为/boot下所有文件丢失

    注:如果服务器特别重要,此方案慎用.如果没有其他方案解决,可以使用该方案 事件:搭建在云计算管理平台CAS上的 Centos7.4 虚拟机在一次断电后,启动虚拟机出现file '/grub/i386- ...

  7. jenkins部署vue项目

    一.新建自由风格的项目 二.配置项目 三.部分部署脚本 #!/bin/bashecho $PATHnpm config set proxy nullnpm config set https-proxy ...

  8. window location href is not a function(Day_36)

    报window location href is not a function错误的解决方案: 原因: JS报错是由于写法问题或浏览器不兼容导致的,具体解决方法如下: 原来报错的写法: window. ...

  9. 重新整理 .net core 实践篇————配置系统之盟约[五]

    前言 在asp .net core 中我们会看到一个appsettings.json 文件,它就是我们在服务中的各种配置,是至关重要的一部门. 不管是官方自带的服务,还是我们自己编写的服务都是用它来实 ...

  10. GO学习-(6) Go语言基础之运算符

    Go语言基础之运算符 运算符用于在程序运行时执行数学或逻辑运算. 运算符 Go 语言内置的运算符有: 算术运算符 关系运算符 逻辑运算符 位运算符 赋值运算符 算数运算符 运算符 描述 + 相加 - ...