1.snowflake简介

        互联网快速发展的今天,分布式应用系统已经见怪不怪,在分布式系统中,我们需要各种各样的ID,既然是ID那么必然是要保证全局唯一,除此之外,不同当业务还需要不同的特性,比如像并发巨大的业务要求ID生成效率高,吞吐大;比如某些银行类业务,需要按每日日期制定交易流水号;又比如我们希望用户的ID是随机的,无序的,纯数字的,且位数长度是小于10位的。等等,不同的业务场景需要的ID特性各不一样,于是,衍生了各种ID生成器,但大多数利用数据库控制ID的生成,性能受数据库并发能力限制,那么有没有一款不需要依赖任何中间件(如数据库,分布式缓存服务等)的ID生成器呢?本着取之于开源,用之于开源的原则,今天,特此介绍Twitter开源的一款分布式自增ID算法snowflake,并附上算法原理推导和演算过程!

snowflake算法是一款本地生成的(ID生成过程不依赖任何中间件,无网络通信),保证ID全局唯一,并且ID总体有序递增,性能每秒生成300w+。

  • 1bit:一般是符号位,不做处理

  • 41bit:用来记录时间戳,这里可以记录69年,如果设置好起始时间比如今年是2018年,那么可以用到2089年,到时候怎么办?要是这个系统能用69年,我相信这个系统早都重构了好多次了。

  • 10bit:10bit用来记录机器ID,总共可以记录1024台机器,一般用前5位代表数据中心ID,后面5位是某个数据中心的机器ID

  • 12bit:循环位,用来对同一个毫秒之内产生不同的ID,12位可以最多记录4095个,也就是在同一个机器同一毫秒最多记录4095个,多余的需要进行等待下毫秒。

    <p>总体来说,在工作节点达到1024顶配的场景下,SnowFlake算法在同一毫秒内最多可以生成多少个全局唯一ID呢?这是一个简单的乘法:</p>
    
    <p>同一毫秒的ID数量 = 1024 X 4096 = 4194304</p>
    
    <p>400多万个ID,这个数字在绝大多数并发场景下都是够用的。</p>
    
    <p>snowflake 算法中,第三个部分是工作机器ID,可以结合上一节的命名方法,并通过Zookeeper管理workId,免去手动频繁修改集群节点,去配置机器ID的麻烦。</p>
    </li>

上面只是一个将64bit划分的标准,当然也不一定这么做,可以根据不同业务的具体场景来划分,比如下面给出一个业务场景:

  • 服务目前QPS10万,预计几年之内会发展到百万。

  • 当前机器三地部署,上海,北京,深圳都有。

  • 当前机器10台左右,预计未来会增加至百台。

这个时候我们根据上面的场景可以再次合理的划分62bit,QPS几年之内会发展到百万,那么每毫秒就是千级的请求,目前10台机器那么每台机器承担百级的请求,为了保证扩展,后面的循环位可以限制到1024,也就是2^10,那么循环位10位就足够了。

机器三地部署我们可以用3bit总共8来表示机房位置,当前的机器10台,为了保证扩展到百台那么可以用7bit 128来表示,时间位依然是41bit,那么还剩下64-10-3-7-41-1 = 2bit,还剩下2bit可以用来进行扩展。

适用场景:当我们需要无序不能被猜测的ID,并且需要一定高性能,且需要long型,那么就可以使用我们雪花算法。比如常见的订单ID,用雪花算法别人就发猜测你每天的订单量是多少。

上面定义了雪花算法的实现,在nextId中是我们生成雪花算法的关键。

2.防止时钟回拨

因为机器的原因会发生时间回拨,我们的雪花算法是强依赖我们的时间的,如果时间发生回拨,有可能会生成重复的ID,在我们上面的nextId中我们用当前时间和上一次的时间进行判断,如果当前时间小于上一次的时间那么肯定是发生了回拨,普通的算法会直接抛出异常,这里我们可以对其进行优化,一般分为两个情况:

  • 如果时间回拨时间较短,比如配置5ms以内,那么可以直接等待一定的时间,让机器的时间追上来。

  • 如果时间的回拨时间较长,我们不能接受这么长的阻塞等待,那么又有两个策略:

  1. 直接拒绝,抛出异常,打日志,通知RD时钟回滚。

  2. 利用扩展位,上面我们讨论过不同业务场景位数可能用不到那么多,那么我们可以把扩展位数利用起来了,比如当这个时间回拨比较长的时候,我们可以不需要等待,直接在扩展位加1。2位的扩展位允许我们有3次大的时钟回拨,一般来说就够了,如果其超过三次我们还是选择抛出异常,打日志。

通过上面的几种策略可以比较的防护我们的时钟回拨,防止出现回拨之后大量的异常出现。下面是修改之后的代码,这里修改了时钟回拨的逻辑:

最终代码如下:


  1. import org.apache.commons.lang3.RandomUtils;
  2. import org.apache.commons.lang3.StringUtils;
  3. import org.slf4j.Logger;
  4. import org.slf4j.LoggerFactory;
  5. import java.lang.management.ManagementFactory;
  6. import java.net.InetAddress;
  7. import java.net.NetworkInterface;
  8. import java.net.UnknownHostException;
  9. import java.text.SimpleDateFormat;
  10. import java.util.*;
  11. import java.util.concurrent.ConcurrentHashMap;
  12. import java.util.concurrent.CountDownLatch;
  13. import java.util.concurrent.TimeUnit;
  14. import java.util.concurrent.locks.LockSupport;
  15. /**
  16. * 分布式全局ID雪花算法解决方案
  17. *
  18. * 防止时钟回拨
  19. * 因为机器的原因会发生时间回拨,我们的雪花算法是强依赖我们的时间的,如果时间发生回拨,
  20. * 有可能会生成重复的ID,在我们上面的nextId中我们用当前时间和上一次的时间进行判断,
  21. * 如果当前时间小于上一次的时间那么肯定是发生了回拨,
  22. * 普通的算法会直接抛出异常,这里我们可以对其进行优化,一般分为两个情况:
  23. * 如果时间回拨时间较短,比如配置5ms以内,那么可以直接等待一定的时间,让机器的时间追上来。
  24. * 如果时间的回拨时间较长,我们不能接受这么长的阻塞等待,那么又有两个策略:
  25. * 直接拒绝,抛出异常,打日志,通知RD时钟回滚。
  26. * 利用扩展位,上面我们讨论过不同业务场景位数可能用不到那么多,那么我们可以把扩展位数利用起来了,
  27. * 比如当这个时间回拨比较长的时候,我们可以不需要等待,直接在扩展位加1。
  28. * 2位的扩展位允许我们有3次大的时钟回拨,一般来说就够了,如果其超过三次我们还是选择抛出异常,打日志。
  29. * 通过上面的几种策略可以比较的防护我们的时钟回拨,防止出现回拨之后大量的异常出现。下面是修改之后的代码,这里修改了时钟回拨的逻辑:
  30. */
  31. public class SnowflakeIdFactory {
  32. private static final Logger log = LoggerFactory.getLogger(SnowflakeIdFactory.class);
  33. /**
  34. * EPOCH是服务器第一次上线时间点, 设置后不允许修改
  35. * 2018/9/29日,从此时开始计算,可以用到2089年
  36. */
  37. private static long EPOCH = 1538211907857L;
  38. /**
  39. * 每台workerId服务器有3个备份workerId, 备份workerId数量越多, 可靠性越高, 但是可部署的sequence ID服务越少
  40. */
  41. private static final long BACKUP_COUNT = 3;
  42. /**
  43. * worker id 的bit数,最多支持8192个节点
  44. */
  45. private static final long workerIdBits = 5L;
  46. /**
  47. * 数据中心标识位数
  48. */
  49. private static final long dataCenterIdBits = 5L;
  50. /**
  51. * 序列号,支持单节点最高每毫秒的最大ID数4096
  52. * 毫秒内自增位
  53. */
  54. private static final long sequenceBits = 12L;
  55. /**
  56. * 机器ID偏左移12位
  57. */
  58. private static final long workerIdShift = sequenceBits;
  59. /**
  60. * 数据中心ID左移17位(12+5)
  61. */
  62. private static final long dataCenterIdShift = sequenceBits + workerIdBits;
  63. /**
  64. * 时间毫秒左移22位(5+5+12)
  65. */
  66. private static final long timestampLeftShift = sequenceBits + workerIdBits + dataCenterIdBits;
  67. /**
  68. * sequence掩码,确保sequnce不会超出上限
  69. * 最大的序列号,4096
  70. * -1 的补码(二进制全1)右移12位, 然后取反
  71. * 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095)
  72. */
  73. private static final long sequenceMask = -1L ^ (-1L << sequenceBits);
  74. //private final static long sequenceMask = ~(-1L << sequenceBits);
  75. /**
  76. * 实际的最大workerId的值 结果是31,8091
  77. * workerId原则上上限为1024, 但是需要为每台sequence服务预留BACKUP_AMOUNT个workerId,
  78. * (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数)
  79. */
  80. //private static final long maxWorkerId = (1L << workerIdBits) / (BACKUP_COUNT + 1);
  81. //原来代码 -1 的补码(二进制全1)右移13位, 然后取反
  82. private static final long maxWorkerId = -1L ^ (-1L << workerIdBits);
  83. //private final static long maxWorkerId = ~(-1L << workerIdBits);
  84. /**
  85. * 支持的最大数据标识id,结果是31
  86. */
  87. private static final long maxDataCenterId = -1L ^ (-1L << dataCenterIdBits);
  88. /**
  89. * long workerIdBits = 5L;
  90. * -1L 的二进制: 1111111111111111111111111111111111111111111111111111111111111111
  91. * -1L<<workerIdBits = -32 ,二进制: 1111111111111111111111111111111111111111111111111111111111100000
  92. * workerMask= -1L ^ -32 = 31, 二进制: 11111
  93. */
  94. private static long workerMask= -1L ^ (-1L << workerIdBits);
  95. //进程编码
  96. private long processId = 1L;
  97. private static long processMask=-1L ^ (-1L << dataCenterIdBits);
  98. /**
  99. * 工作机器ID(0~31)
  100. * snowflake算法给workerId预留了10位,即workId的取值范围为[0, 1023],
  101. * 事实上实际生产环境不大可能需要部署1024个分布式ID服务,
  102. * 所以:将workerId取值范围缩小为[0, 511],[512, 1023]
  103. * 这个范围的workerId当做备用workerId。workId为0的备用workerId是512,
  104. * workId为1的备用workerId是513,以此类推
  105. */
  106. private static long workerId;
  107. /**
  108. * 数据中心ID(0~31)
  109. */
  110. private long dataCenterId;
  111. /**
  112. * 当前毫秒生成的序列
  113. */
  114. private long sequence = 0L;
  115. /**
  116. * 上次生成ID的时间戳
  117. */
  118. private long lastTimestamp = -1L;
  119. private long extension = 0L;
  120. private long maxExtension = 0L;
  121. /**
  122. * 保留workerId和lastTimestamp, 以及备用workerId和其对应的lastTimestamp
  123. */
  124. private static Map<Long, Long> workerIdLastTimeMap = new ConcurrentHashMap<>();
  125. /**
  126. * 最大容忍时间, 单位毫秒, 即如果时钟只是回拨了该变量指定的时间, 那么等待相应的时间即可;
  127. * 考虑到sequence服务的高性能, 这个值不易过大
  128. */
  129. private static final long MAX_BACKWARD_MS = 3;
  130. private static SnowflakeIdFactory idWorker;
  131. static {
  132. idWorker = new SnowflakeIdFactory();
  133. }
  134. static {
  135. Calendar calendar = Calendar.getInstance();
  136. calendar.set(2018, Calendar.NOVEMBER, 1);
  137. calendar.set(Calendar.HOUR_OF_DAY, 0);
  138. calendar.set(Calendar.MINUTE, 0);
  139. calendar.set(Calendar.SECOND, 0);
  140. calendar.set(Calendar.MILLISECOND, 0);
  141. // EPOCH是服务器第一次上线时间点, 设置后不允许修改
  142. EPOCH = calendar.getTimeInMillis();
  143. // 初始化workerId和其所有备份workerId与lastTimestamp
  144. // 假设workerId为0且BACKUP_AMOUNT为4, 那么map的值为: {0:0L, 256:0L, 512:0L, 768:0L}
  145. // 假设workerId为2且BACKUP_AMOUNT为4, 那么map的值为: {2:0L, 258:0L, 514:0L, 770:0L}
  146. /* for (int i = 0; i<= BACKUP_COUNT; i++){
  147. workerIdLastTimeMap.put(workerId + (i * maxWorkerId), 0L);
  148. }*/
  149. }
  150. //成员类,IdGenUtils的实例对象的保存域
  151. private static class SnowflakeIdGenHolder {
  152. private static final SnowflakeIdFactory instance = new SnowflakeIdFactory();
  153. }
  154. //外部调用获取IdGenUtils的实例对象,确保不可变
  155. public static SnowflakeIdFactory getInstance(){
  156. return SnowflakeIdGenHolder.instance;
  157. }
  158. /**
  159. * 静态工具类
  160. *
  161. * @return
  162. */
  163. public static Long generateId(){
  164. long id = idWorker.nextId();
  165. return id;
  166. }
  167. //初始化构造,无参构造有参函数,默认节点都是0
  168. public SnowflakeIdFactory(){
  169. //this(0L, 0L);
  170. this.dataCenterId = getDataCenterId(maxDataCenterId);
  171. //获取机器编码
  172. this.workerId = getWorkerId(dataCenterId, maxWorkerId);
  173. }
  174. /**
  175. * 构造函数
  176. * @param workerId 工作ID (0~31)
  177. * @param dataCenterId 数据中心ID (0~31)
  178. */
  179. public SnowflakeIdFactory(long workerId, long dataCenterId) {
  180. if (workerId > maxWorkerId || workerId < 0) {
  181. throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));
  182. }
  183. if (dataCenterId > maxDataCenterId || dataCenterId < 0) {
  184. throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDataCenterId));
  185. }
  186. this.workerId = workerId;
  187. this.dataCenterId = dataCenterId;
  188. }
  189. /**
  190. * 获取带自定义前缀的全局唯一编码
  191. */
  192. public String getStrCodingByPrefix(String prefix){
  193. Long ele = this.nextId();
  194. return prefix + ele.toString();
  195. }
  196. /**
  197. * 获得下一个ID (该方法是线程安全的)
  198. * 在单节点上获得下一个ID,使用Synchronized控制并发,而非CAS的方式,
  199. * 是因为CAS不适合并发量非常高的场景。
  200. *
  201. * 考虑时钟回拨
  202. * 缺陷: 如果连续两次时钟回拨, 可能还是会有问题, 但是这种概率极低极低
  203. * @return
  204. */
  205. public synchronized long nextId() {
  206. long currentTimestamp = timeGen();
  207. // 当发生时钟回拨时
  208. if (currentTimestamp < lastTimestamp){
  209. // 如果时钟回拨在可接受范围内, 等待即可
  210. long offset = lastTimestamp - currentTimestamp;
  211. if ( offset <= MAX_BACKWARD_MS){
  212. try {
  213. //睡(lastTimestamp - currentTimestamp)ms让其追上
  214. LockSupport.parkNanos(TimeUnit.MILLISECONDS.toNanos(offset));
  215. //时间偏差大小小于5ms,则等待两倍时间
  216. //wait(offset << 1);
  217. //Thread.sleep(waitTimestamp);
  218. currentTimestamp = timeGen();
  219. //如果时间还小于当前时间,那么利用扩展字段加1
  220. //或者是采用抛异常并上报
  221. if (currentTimestamp < lastTimestamp) {
  222. //扩展字段
  223. //extension += 1;
  224. //if (extension > maxExtension) {
  225. //服务器时钟被调整了,ID生成器停止服务.
  226. throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - currentTimestamp));
  227. //}
  228. }
  229. } catch (Exception e) {
  230. e.printStackTrace();
  231. }
  232. }else {
  233. //扩展字段
  234. /*extension += 1;
  235. if (extension > maxExtension) {
  236. //服务器时钟被调整了,ID生成器停止服务.
  237. throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - currentTimestamp));
  238. }*/
  239. tryGenerateKeyOnBackup(currentTimestamp);
  240. }
  241. }
  242. //对时钟回拨简单处理
  243. /* if (currentTimestamp < lastTimestamp) {
  244. //服务器时钟被调整了,ID生成器停止服务.
  245. throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - currentTimestamp));
  246. }*/
  247. // 如果和最后一次请求处于同一毫秒, 那么sequence+1
  248. if (lastTimestamp == currentTimestamp) {
  249. // 如果当前生成id的时间还是上次的时间,那么对sequence序列号进行+1
  250. sequence = (sequence + 1) & sequenceMask;
  251. if (sequence == 0) {
  252. //自旋等待到下一毫秒
  253. currentTimestamp = waitUntilNextTime(lastTimestamp);
  254. }
  255. //判断是否溢出,也就是每毫秒内超过4095,当为4096时,与sequenceMask相与,sequence就等于0
  256. /*if (sequence == sequenceMask) {
  257. // 当前毫秒生成的序列数已经大于最大值,那么阻塞到下一个毫秒再获取新的时间戳
  258. currentTimestamp = this.waitUntilNextTime(lastTimestamp);
  259. }*/
  260. } else {
  261. // 如果是一个更近的时间戳, 那么sequence归零
  262. sequence = 0L;
  263. }
  264. // 更新上次生成id的时间戳
  265. lastTimestamp = currentTimestamp;
  266. // 更新map中保存的workerId对应的lastTimestamp
  267. //workerIdLastTimeMap.put(this.workerId, lastTimestamp);
  268. if (log.isDebugEnabled()) {
  269. log.debug("{}-{}-{}", new SimpleDateFormat("yyyy-MM-dd HH:mm:ss.SSS").format(new Date(lastTimestamp)), workerId, sequence);
  270. }
  271. // 进行移位操作生成int64的唯一ID
  272. //时间戳右移动23位
  273. long timestamp = (currentTimestamp - EPOCH) << timestampLeftShift;
  274. //workerId 右移动10位
  275. long workerId = this.workerId << workerIdShift;
  276. //dataCenterId 右移动(sequenceBits + workerIdBits = 17位)
  277. long dataCenterId = this.dataCenterId << dataCenterIdShift;
  278. return timestamp | dataCenterId | workerId | sequence;
  279. }
  280. /**
  281. * 尝试在workerId的备份workerId上生成
  282. * 核心优化代码在方法tryGenerateKeyOnBackup()中,BACKUP_COUNT即备份workerId数越多,
  283. * sequence服务避免时钟回拨影响的能力越强,但是可部署的sequence服务越少,
  284. * 设置BACKUP_COUNT为3,最多可以部署1024/(3+1)即256个sequence服务,完全够用,
  285. * 抗时钟回拨影响的能力也得到非常大的保障。
  286. * @param currentMillis 当前时间
  287. */
  288. private long tryGenerateKeyOnBackup(long currentMillis){
  289. // 遍历所有workerId(包括备用workerId, 查看哪些workerId可用)
  290. for (Map.Entry<Long, Long> entry:workerIdLastTimeMap.entrySet()){
  291. this.workerId = entry.getKey();
  292. // 取得备用workerId的lastTime
  293. Long tempLastTime = entry.getValue();
  294. lastTimestamp = tempLastTime==null?0L:tempLastTime;
  295. // 如果找到了合适的workerId
  296. if (lastTimestamp<=currentMillis){
  297. return lastTimestamp;
  298. }
  299. }
  300. // 如果所有workerId以及备用workerId都处于时钟回拨, 那么抛出异常
  301. throw new IllegalStateException("Clock is moving backwards, current time is "
  302. +currentMillis+" milliseconds, workerId map = " + workerIdLastTimeMap);
  303. }
  304. /**
  305. * 阻塞到下一个毫秒,直到获得新的时间戳
  306. * @param lastTimestamp 上次生成ID的时间截
  307. * @return 当前时间戳
  308. */
  309. protected long waitUntilNextTime(long lastTimestamp) {
  310. long timestamp = timeGen();
  311. while (timestamp <= lastTimestamp) {
  312. timestamp = timeGen();
  313. }
  314. return timestamp;
  315. }
  316. protected long timeGen() {
  317. return System.currentTimeMillis();
  318. }
  319. /**
  320. * 获取WorkerId
  321. * @param dataCenterId
  322. * @param maxWorkerId
  323. * @return
  324. */
  325. protected static long getWorkerId(long dataCenterId, long maxWorkerId) {
  326. StringBuffer mpid = new StringBuffer();
  327. mpid.append(dataCenterId);
  328. String name = ManagementFactory.getRuntimeMXBean().getName();
  329. if (!name.isEmpty()) {
  330. // GET jvmPid
  331. mpid.append(name.split("@")[0]);
  332. }
  333. // MAC + PID 的 hashcode 获取16个低位
  334. return (mpid.toString().hashCode() & 0xffff) % (maxWorkerId + 1);
  335. }
  336. /**
  337. * 获取机器编码 用来做数据ID
  338. * 数据标识id部分 通常不建议采用下面的MAC地址方式,
  339. * 因为用户通过破解很容易拿到MAC进行破坏
  340. */
  341. protected static long getDataCenterId(long tempMaxDataCenterId) {
  342. if (tempMaxDataCenterId < 0L || tempMaxDataCenterId > maxDataCenterId) {
  343. tempMaxDataCenterId = maxDataCenterId;
  344. }
  345. long id = 0L;
  346. try {
  347. InetAddress ip = InetAddress.getLocalHost();
  348. NetworkInterface network = NetworkInterface.getByInetAddress(ip);
  349. if (network == null) {
  350. id = 1L;
  351. } else {
  352. byte[] mac = network.getHardwareAddress();
  353. id = ((0x000000FF & (long) mac[mac.length - 1])
  354. | (0x0000FF00 & (((long) mac[mac.length - 2]) << 8))) >> 6;
  355. id = id % (tempMaxDataCenterId + 1);
  356. }
  357. } catch (Exception e) {
  358. System.out.println(" getDatacenterId: " + e.getMessage());
  359. }
  360. return id;
  361. }
  362. public static void testProductIdByMoreThread(int dataCenterId, int workerId, int n) throws InterruptedException {
  363. List<Thread> tlist = new ArrayList<>();
  364. Set<Long> setAll = new HashSet<>();
  365. CountDownLatch cdLatch = new CountDownLatch(10);
  366. long start = System.currentTimeMillis();
  367. int threadNo = dataCenterId;
  368. Map<String,SnowflakeIdFactory> idFactories = new HashMap<>();
  369. for(int i=0;i<10;i++){
  370. //用线程名称做map key.
  371. idFactories.put("snowflake"+i,new SnowflakeIdFactory(workerId, threadNo++));
  372. }
  373. for(int i=0;i<10;i++){
  374. Thread temp =new Thread(new Runnable() {
  375. @Override
  376. public void run() {
  377. Set<Long> setId = new HashSet<>();
  378. SnowflakeIdFactory idWorker = idFactories.get(Thread.currentThread().getName());
  379. for(int j=0;j<n;j++){
  380. setId.add(idWorker.nextId());
  381. }
  382. synchronized (setAll){
  383. setAll.addAll(setId);
  384. log.info("{}生产了{}个id,并成功加入到setAll中.",Thread.currentThread().getName(),n);
  385. }
  386. cdLatch.countDown();
  387. }
  388. },"snowflake"+i);
  389. tlist.add(temp);
  390. }
  391. for(int j=0;j<10;j++){
  392. tlist.get(j).start();
  393. }
  394. cdLatch.await();
  395. long end1 = System.currentTimeMillis() - start;
  396. log.info("共耗时:{}毫秒,预期应该生产{}个id, 实际合并总计生成ID个数:{}",end1,10*n,setAll.size());
  397. }
  398. public static void testProductId(int dataCenterId, int workerId, int n){
  399. SnowflakeIdFactory idWorker = new SnowflakeIdFactory(workerId, dataCenterId);
  400. SnowflakeIdFactory idWorker2 = new SnowflakeIdFactory(workerId+1, dataCenterId);
  401. Set<Long> setOne = new HashSet<>();
  402. Set<Long> setTow = new HashSet<>();
  403. long start = System.currentTimeMillis();
  404. for (int i = 0; i < n; i++) {
  405. setOne.add(idWorker.nextId());//加入set
  406. }
  407. long end1 = System.currentTimeMillis() - start;
  408. log.info("第一批ID预计生成{}个,实际生成{}个<<<<*>>>>共耗时:{}",n,setOne.size(),end1);
  409. for (int i = 0; i < n; i++) {
  410. setTow.add(idWorker2.nextId());//加入set
  411. }
  412. long end2 = System.currentTimeMillis() - start;
  413. log.info("第二批ID预计生成{}个,实际生成{}个<<<<*>>>>共耗时:{}",n,setTow.size(),end2);
  414. setOne.addAll(setTow);
  415. log.info("合并总计生成ID个数:{}",setOne.size());
  416. }
  417. public static void testPerSecondProductIdNums(){
  418. SnowflakeIdFactory idWorker = new SnowflakeIdFactory(1, 2);
  419. long start = System.currentTimeMillis();
  420. int count = 0;
  421. for (int i = 0; System.currentTimeMillis()-start<1000; i++,count=i) {
  422. /** 测试方法一: 此用法纯粹的生产ID,每秒生产ID个数为300w+ */
  423. idWorker.nextId();
  424. /** 测试方法二: 在log中打印,同时获取ID,此用法生产ID的能力受限于log.error()的吞吐能力.
  425. * 每秒徘徊在10万左右. */
  426. //log.error("{}",idWorker.nextId());
  427. }
  428. long end = System.currentTimeMillis()-start;
  429. System.out.println(end);
  430. System.out.println(count);
  431. }
  432. public static void main(String[] args) {
  433. /** case1: 测试每秒生产id个数?
  434. * 结论: 每秒生产id个数300w+ */
  435. testPerSecondProductIdNums();
  436. /** case2: 单线程-测试多个生产者同时生产N个id,验证id是否有重复?
  437. * 结论: 验证通过,没有重复. */
  438. //testProductId(1,2,10000);//验证通过!
  439. //testProductId(1,2,20000);//验证通过!
  440. /** case3: 多线程-测试多个生产者同时生产N个id, 全部id在全局范围内是否会重复?
  441. * 结论: 验证通过,没有重复. */
  442. /* try {
  443. testProductIdByMoreThread(1,2,100000);//单机测试此场景,性能损失至少折半!
  444. } catch (InterruptedException e) {
  445. e.printStackTrace();
  446. }*/
  447. }
  448. }

本文链接:https://blog.csdn.net/ycb1689/article/details/89331634

使用雪花算法为分布式下全局ID、订单号等简单解决方案考虑到时钟回拨的更多相关文章

  1. 开源一个比雪花算法更好用的ID生成算法(雪花漂移)

    比雪花算法更好用的ID生成算法(单机或分布式唯一ID) 转载及版权声明 本人从未在博客园之外的网站,发表过本算法长文,其它网站所现文章,均属他人拷贝之作. 所有拷贝之作,均须保留项目开源链接,否则禁止 ...

  2. 基于Twitter的Snowflake算法实现分布式高效有序ID生产黑科技(无懈可击)

    参考美团文档:https://tech.meituan.com/2017/04/21/mt-leaf.html Twitter-Snowflake算法产生的背景相当简单,为了满足Twitter每秒上万 ...

  3. snowflake 雪花算法 分布式实现全局id生成

    snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID. 这种方案大致来说是一种以划分命名空间(UUID也算,由于比较常见,所以单独分析)来生成ID的一种算法,这种方案 ...

  4. 基于雪花算法生成分布式ID(Java版)

    SnowFlake算法原理介绍 在分布式系统中会将一个业务的系统部署到多台服务器上,用户随机访问其中一台,而之所以引入分布式系统就是为了让整个系统能够承载更大的访问量.诸如订单号这些我们需要它是全局唯 ...

  5. 雪花算法【分布式ID问题】【刘新宇】

    分布式ID 1 方案选择 UUID UUID是通用唯一识别码(Universally Unique Identifier)的缩写,开放软件基金会(OSF)规范定义了包括网卡MAC地址.时间戳.名字空间 ...

  6. 雪花算法生成分布式ID

    分布式主键ID生成方案 分布式主键ID的生成方案有以下几种: 数据库自增主键 缺点: 导入旧数据时,可能会ID重复,导致导入失败 分布式架构,多个Mysql实例可能会导致ID重复 UUID 缺点: 占 ...

  7. 高并发环境下全局id生成策略

    解决方案: 基于Redis的全局id生成策略:(推荐此方法) 基于雪花算法的全局id生成: https://www.cnblogs.com/kobe-qi/p/8761690.html 基于zooke ...

  8. MySQL分库分表环境下全局ID生成方案 转

    在大型互联网应用中,随着用户数的增加,为了提高应用的性能,我们经常需要对数据库进行分库分表操作.在单表时代,我们可以完全依赖于数据库的自增ID来唯一标识一个用户或数据对象.但是当我们对数据库进行了分库 ...

  9. MySQL分库分表环境下全局ID生成方案

    在大型互联网应用中,随着用户数的增加,为了提高应用的性能,我们经常需要对数据库进行分库分表操作.在单表时代,我们可以完全依赖于数据库的自增ID来唯一标识一个用户或数据对象.但是当我们对数据库进行了分库 ...

随机推荐

  1. emit写了个实体转换程序

    就我自己知道的,automapper是常用的,还是比较合适好用.不过我一般采用MVVM模式,其实就是简单的model名称不同而已,而这些转换器升级,扩展的很多,功能丰富,但是我用不到啊,又不能按照自己 ...

  2. webstorm2018

    1.安装后修改hosts: windows\system32\drivers\etc   管理员权限修改 0.0.0.0 account.jetbrains.com 2. 选择activation c ...

  3. 在css里如何控制表单中文本的value内的文字的位置,比方说让它向右移动2px

    方法1:比较简单的方法是将文本放到一个容器中(div,span,a等等)然后给容器设置样式,通过控制容器的位置来达到控制字体位置.(margin-left:10px; margin-top:15px; ...

  4. Nginx学习总结(一)

    Nginx是目前比较主流的HTTP反向代理服务器(其企业版提供了基于TCP层的反向代理插件),对于构建大型分布式web应用,具有举足轻重的作用.简单来说,nginx有2个主要的功能:动/静态资源分离. ...

  5. HTML基础 img标签 做一个图库

    <!DOCTYPE html> <html> <head> <meta charset="utf-8"> <title> ...

  6. java类使用

    package java04; /* * 通常情况下,一个类不能直接使用,需要创建一个对象,才能使用 * *步骤: * 1.导包:就是指出需要使用的类在什么位置 * import 包名称.类名称: * ...

  7. LOJ6437 PKUSC2018 PKUSC

    带劲的计算几何[这一定是我WC之前开的最后一道计几!!! 每个点画个圆然后看一下交点 然后判断是多边形内还是多边形外 这个就是取圆上中点然后射线法 eps我1e-8才过 不知道为啥有的人说只能开1e- ...

  8. python代码整体左移或右移

    IDE 是  PyCharm 选中代码块: 1)右移:直接 Tab 2)左移:Shift + Tab

  9. abstractmethod

    a class with an abstract method cannot be instantiated (that is, we cannot create an instance by cal ...

  10. boost intrusive

    1. the advantages of intrusive container (1) Intrusive containers don't allocate memory dynamically. ...