上一篇讲了hash数据类型的相关实现方法,没有茅塞顿开也至少知道redis如何搞事情的了吧. 本篇咱们继续来看redis中的数据类型的实现: list 相关操作实现. 同样,我们以使用者的角度,开始理解list提供的功能,相应的数据结构承载,再到具体实现,以这样一个思路来理解redis之list. 零.redis list相关操作方法 从官方的手册中可以查到相关的使用方法. 1> BLPOP key1 [key2] timeout功能: 移出并获取列表的第一个元素, 如果列表没有元素会阻塞列表直…

LinkedList 底层基于链表实现,增删不需要移动数据,所以效率很高.但是查询和修改数据的效率低,不能像数组那样根据下标快速的定位到数据,需要一个一个遍历数据. 基本结构 LinkedList 是基于链表实现的结构,主要核心是 Node 节点,源码如下: private static class Node<E> { E item; Node<E> next; Node<E> prev; Node(Node<E> prev, E element, Node…

Redis作为nosql数据库,kv string型数据的支持是最基础的,但是如果仅有kv的操作,也不至于有redis的成功.(memcache就是个例子) Redis除了string, 还有hash,list,set,zset. 所以,我们就来看看hash的相关操作实现吧. 首先,我们从作用上理解hash存在的意义:Redis hash 是一个 string 类型的 field 和 value 的映射表,hash 特别适合用于存储对象.从另一个方面来说是,hash可以聚合很多类似的属性,这是s…

上两篇我们讲了hash和list数据类型相关的主要实现方法,同时加上前面对框架服务和string相关的功能介绍,已揭开了大部分redis的实用面纱. 现在还剩下两种数据类型: set, zset. 本篇咱们继续来看redis中的数据类型的实现: set 相关操作实现. 研究过jdk的hashmap和hashset实现的同学,肯定都是知道,set其实就是一个简化版的map,只要将map的 k->v 的形式变为 k->1 的形式就可以了.所以set只是map的一个简单包装类. 同理,对于 redi…

上一篇文章从根本上理解了set/get的处理过程,相当于理解了 增.改.查的过程,现在就差一个删了.本篇我们来看一下删除过程. 对于客户端来说,删除操作无需区分何种数据类型,只管进行 del 操作即可. 零.删除命令 del 的定义 主要有两个: del/unlink, 差别是 unlink 速度会更快, 因为其使用了异步删除优化模式, 其定义如下: // 标识只有一个 w, 说明就是一个普通的写操作,没啥好说的 {,,NULL,,-,,,} // 标识为 wF, 说明它是一个快速写的操作,其实…

前面几篇文章,我们完全领略了redis的string,hash,list,set数据类型的实现方法,相信对redis已经不再神秘. 本篇我们将介绍redis的最后一种数据类型: zset 的相关实现. 本篇过后,我们对redis的各种基础功能,应该不会再有疑惑.有可能的话,我们后续将会对redis的高级功能的实现做解析.(如复制.哨兵模式.集群模式) 回归本篇主题,zset.zset 又称有序集合(sorted set),即是序版本的set.经过上篇的介绍,大家可以看到,redis的读取功能相当…

在 Celery 中,除了远程控制之外,还有一个元素可以让我们对分布式中的任务的状态有所掌控,而且从实际意义上来说,这个元素对 Celery 更为重要,这就是在本文中将要说到的 Event. 在 Celery 中,注册了很多的 Event,这些 Event 将会在 Task/Worker 的状态发生变化的时候被发出,然后被绑定的 Event 消费者(Receiver)所接受,绑定的 Event 消费者可以是一连串的回调函数,相信细心的同学在前面的源码解析过程中也有发现一些关于 event 的蛛丝…

[源码解析] 并行分布式框架 Celery 之 worker 启动 (1) 目录 [源码解析] 并行分布式框架 Celery 之 worker 启动 (1) 0x00 摘要 0x01 Celery的架构 0x02 示例代码 0x03 逻辑概述 0x04 Celery应用 4.1 添加子command 4.2 入口点 4.3 缓存属性cached_property 0x05 Celery 命令 0x06 worker 子命令 0x07 Worker application 0xFF 参考 0x00…

[源码解析] 分布式任务队列 Celery 之启动 Consumer 目录 [源码解析] 分布式任务队列 Celery 之启动 Consumer 0x00 摘要 0x01 综述 1.1 kombu.consumer 1.2 Celery Consumer 0x02 start in worker 0x03 start in consumer 3.1 start consumer.blueprint 3.2 Connection step 子组件 3.2.1 connect in consumer…

今天要聊的话题可能被大家关注得不过,但是对于 Celery 来说确实很有用的功能,曾经我在工作中遇到这类情况,就是我们将所有的任务都放在同一个队列里面,然后有一天突然某个同学的代码写得不对,导致大量的耗时任务被同时塞进了消息队列里面,这就悲剧了,这直接导致了其他服务长时间不可用,例如发送登录短信验证码无法使用了,还有支付信息无法同步了等等,反正就是造成了一些不小的影响. 当时我们的处理方式就很被动,只能手动连接上 MQ,然后把消息卸掉,其实也就手动将这些消息抛弃掉,从而让其他业务的消息可能正常运…