关于分布式锁的概念,具体实现方式,直接参阅下面两个帖子,这里就不多介绍了。

分布式锁的多种实现方式

分布式锁总结

对于分布式锁的几种实现方式的优劣,这里再列举下

1. 数据库实现方式

优点:易理解

缺点:操作数据库消耗较大,性能较低。为了处理一些异常,会使得整个方案越来越复杂

2. 缓存实现方式

优点:性能好,实现起来较为方便。

缺点:通过超时时间来控制锁的失效时间并不是十分的靠谱。

3 zookeeper实现

优点:有效的解决单点问题,不可重入问题,非阻塞问题以及锁无法释放的问题。

缺点:性能上不如使用缓存实现分布式锁

第二篇帖子中,谈到redis实现分布式锁时,提了一些建议

"redis如果能像ZooKeeper一样,实现了和客户端绑定的临时key,一旦redis客户端挂了,临时key删除,通知watchkey的其他客户端(感觉这个是一个不错的需求,不知redis未来是否要实现),就可以消除锁超时,再使用Redlock实现的分布式锁,这时候可靠性就更高了。"

就性能而言,redis比zookeeper具有天然优势,而它的缺点也可以通过一些机制来另外改进。所以就尝试着修改了redis的源码,看能否解决上述问题。

修改点一:增加一条命令settp

settp(tp 可以理解为temporary的缩写),故名思议,就是一个临时的key。

命令格式:settp key value

首先使用这条命令,必须保证key是不存在的,即这个命令具有setnx命令的属性,然后在添加完key之后,将这个key加入到执行这条命令client的一个list里面。这个list专门用来保存临时键。那么在redis客户端挂了,或者意外断开连接时,在调用freeclient()函数时,便可以将临时键清理掉。就不会影响其他client再次获取锁

修改点二:增加命令watchex

命令格式:watchex key

返回:redisReply是一个字符串类型

如果key存在,则str内容为"EXIST"

如果key不存在,则str内容为"NOEXIST"

如果key被添加,返回"ADD";key被删除时,返回"DEL"

watchex,ex可以认为是exist的缩写,也是为了区别redis本身带有的watch命令。自带的watch命令,是为了在执行事务时,保证事务执行过程中键不被修改的一种乐观锁机制。而我们要实现的watchex命令,是为了监视某个键是否存在。在执行命令时,立即会返回一个结果,表示这个键是否存在。然后在运行过程中,如果这个键被创建,或者被删除,也会通知到watchex该key的所有客户端。

示例如下:

首先运行hiredis-example-ae,对应的源文件是example-ae.c

在另一个窗口中执行如下命令

可以看到在删除或者添加某个key时,在第一个窗口中都会收到通知

如果不想再watchex某个key,执行unwatchex key命令即可。

这个命令的实现原理其实有点类似redis 自身的pubsub机制,但是pubsub有一个局限就是,执行了该命令之后,就不能执行其他命令,只能等待channel上的信息。这种方式显然不适用于我们的场景。

我们的实现方式是,首先需要在client中保存一个所有watchex的list,然后在系统增加一个dict,用于保存每个被watchex的key。这个dict的键就是被watchex的key,值就是所有watchex这个key的client组成的一个链表。

无论在添加或者是删除某个key时,都去检查一下这个dict里面,有没有这个key。如果有,取出所有的client,发一份通知消息。

由于这个watchex这个命令,是一个典型的异步通知。所以在客户端调用这个命令时,要使用redis的异步执行命令接口redisAsyncCommand。具体调用方式,可以参考example-ae.c文件。

当然在客户端解析请求时,也要做一些变化。在async.c这个文件中,redisProcessCallbacks()这个函数专门解析服务器发回来的相应。每次从读缓冲区组装出一个redisreply结构,然后从redisCallbackList 里面取出头结点,其实就是一个回调函数,将redisreply传入到这个回调函数。这就是一次正常的调用过程。但是对于watchex命令,它是一个永久命令,故而不能回调函数不能插到redisCallbackList里面,所以另外建了一个dict用于保存watchex命令的回调函数,键是watchex命令的key,值即是回调函数。这样每次客户端解析出一个redisreply,首先判断这个reply是不是一个watchex命令的返回,如果是就从dict里面获取相应的回调函数,否则执行原有的解析流程。

整个过程即是如此,那么下面我们说一下在此基础上实现分布式锁的过程

首先,调用settp key "value"命令,如果返回成功,则说明获取锁成功;否则调用watchex key命令。由于这两步操作不是原子的,所以有可能调用watchex命令之后,返回noexist ,那么这时可以再尝试调用settp命令。如果还返回失败,说明锁已经被其他人占有,调用者可以等待或者干别的事。 当占有锁的人,用完释放之后,所有watchex这个key的client都会收到通知,这时所有client都会调用settp命令去抢锁,只会有一个人成功,其余的则继续等待,直到能抢占到锁为止。

从这个过程中,可以看出,这种实现方式会有“惊群”的问题,即通知了所有人,只有一个人能抢到锁,就会导致很多的无效操作。当然,也可以选择在key被释放时,只通知某一个client。但是由于redis的回复消息是没有确认机制的,如果这个通知消息丢失了,就可能导致其他所有的client一直等待下去。目前,还没有更好的解决方法,暂时先选择通知所有的client,如果大家有更好的方案,欢迎留言讨论。

文章中所讨论的实现,基于redis3.2.5版本,已经开源在github,地址是https://github.com/myd620/redis-dislock

使用redis构建可靠分布式锁的更多相关文章

  1. [翻译]利用REDIS来搭建可靠分布式锁的提议

    本系列都是翻译REDIS作者的博文  另外加上我自己的一点点理解  希望有问题大家一起讨论 http://antirez.com/news/77 原文地址 在利用REDIS做分布式锁时基本持有2种观点 ...

  2. Redis构建全局并发锁

    Redis构建全局并发锁 https://www.cnblogs.com/FG123/p/9990336.html 谈起Redis的用途,小伙伴们都会说使用它作为缓存,目前很多公司都用Redis作为缓 ...

  3. Redis系列(二)--分布式锁、分布式ID简单实现及思路

    分布式锁: Redis可以实现分布式锁,只是讨论Redis的实现思路,而真的实现分布式锁,Zookeeper更加可靠 为什么使用分布式锁: 单机环境下只存在多线程,通过同步操作就可以实现对并发环境的安 ...

  4. redis系列:分布式锁

    redis系列:分布式锁 1 介绍 这篇博文讲介绍如何一步步构建一个基于Redis的分布式锁.会从最原始的版本开始,然后根据问题进行调整,最后完成一个较为合理的分布式锁. 本篇文章会将分布式锁的实现分 ...

  5. Redis高并发分布式锁详解

    为什么需要分布式锁 1.为了解决Java共享内存模型带来的线程安全问题,我们可以通过加锁来保证资源访问的单一,如JVM内置锁synchronized,类级别的锁ReentrantLock. 2.但是随 ...

  6. 基于redis实现的分布式锁

    基于redis实现的分布式锁 我们知道,在多线程环境中,锁是实现共享资源互斥访问的重要机制,以保证任何时刻只有一个线程在访问共享资源.锁的基本原理是:用一个状态值表示锁,对锁的占用和释放通过状态值来标 ...

  7. 一个Redis实现的分布式锁

    import org.slf4j.Logger; import org.slf4j.LoggerFactory; import org.springframework.data.redis.conne ...

  8. 基于Redis的简单分布式锁的原理

    参考资料:https://redis.io/commands/setnx 加锁是为了解决多线程的资源共享问题.Java中,单机环境的锁可以用synchronized和Lock,其他语言也都应该有自己的 ...

  9. 在redis上实现分布式锁

    /** *在redis上实现分布式锁 */ class RedisLock { private $redisString; private $lockedNames = []; public func ...

随机推荐

  1. webapi - 使用依赖注入

    本篇将要和大家分享的是webapi中如何使用依赖注入,依赖注入这个东西在接口中常用,实际工作中也用的比较频繁,因此这里分享两种在api中依赖注入的方式Ninject和Unity:由于快过年这段时间打算 ...

  2. ASP.NET_各个币种之间的汇率转换(实时)使用Yahoo汇率。

    近期开发支付平台的时候有运用到各国的实时汇率之间的转换问题,于是在往上找了很多相关资料,以下就是一些参考网址: 1.提供API接口的网站:https://www.showapi.com:这个网站有提供 ...

  3. HTML5 Boilerplate - 让页面有个好的开始

    最近看到了HTML5 Boilerplate模版,系统的学习与了解了一下.在各种CSS库.JS框架层出不穷的今天,能看到这么好的HTML模版,感觉甚爽.写篇博客,推荐给大家使用.   一:HTML5 ...

  4. iOS逆向工程之Hopper+LLDB调试第三方App

    LLDB是Low Level Debugger的简称,在iOS开发的调试中LLDB是经常使用的,LLDB是Xcode内置的动态调试工具.使用LLDB可以动态的调试你的应用程序,如果你不做其他的额外处理 ...

  5. Redis链表实现

    链表在 Redis 中的应用非常广泛, 比如列表键的底层实现之一就是链表: 当一个列表键包含了数量比较多的元素, 又或者列表中包含的元素都是比较长的字符串时, Redis 就会使用链表作为列表键的底层 ...

  6. PayPal高级工程总监:读完这100篇论文 就能成大数据高手(附论文下载)

    100 open source Big Data architecture papers for data professionals. 读完这100篇论文 就能成大数据高手 作者 白宁超 2016年 ...

  7. VICA 架构设计(1)

    本文记录最近完成的一个通用实时通信客户端的架构.   背景 我们公司是做税务相关的软件,有针对大客户 MIS 系统,也有针对中小客户的 SaaS 平台.这些系统虽然都是 B/S 的,但是也需要使用 A ...

  8. JQuery中的siblings()是什么意思

    jQuery siblings() 方法返回被选元素的所有同胞元素,并且可以使用可选参数来过滤对同胞元素的搜索. 实例演示:点击某个li标签后将其设置为红色,而其所有同胞元素去除红色样式. 1.创建H ...

  9. vue.js几行实现的简单的todo list

    序:目前前端框架如:vue.react.angular,构建工具fis3.gulp.webpack等等...... 可谓是五花八门,层出不穷,眼花缭乱...其实吧只要你想玩还是可以玩玩的..下面是看了 ...

  10. 【干货分享】流程DEMO-请休假

    流程名: 请假申请  流程相关文件: 流程包.xml WebService业务服务.xml WebService.asmx WebService.cs  流程说明: 流程中集成了webservice服 ...