Beanstalkd介绍

• 特征

  1. 优先级：任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级，beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn) 。

  2. 延时任务 (delay)：有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时；或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with <delay>)。这种机制可以实现分布式的 java.util.Timer，这种分布式定时任务的优势是：如果某个消费者节点故障，任务超时重发 (time-to-run) 能够保证任务转移到另外的节点执行。

  3. 任务超时重发 (time-to-run)：Beanstalkd 把任务返回给消费者以后：消费者必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态；否则 Beanstalkd 会认为消息处理失败，然后把任务交给另外的消费者节点执行。如果消费者预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR (time-to-run).

  4. 任务预留 (buried)：如果任务因为某些原因无法执行, 消费者可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务，并且进行人工干预。简单的, kick <n> 能够一次性把 n 条被保留的任务踢回队列。

  5. 持久化：可以通过binlog将job及其状态记录到文件里面，在Beanstalkd下次启动时可以通过读取binlog来恢复之前的job及状态。

• 基本概念

  1. job: 需要异步处理的任务，是Beanstalkd中的基本单元，需要放在一个tube中。
  2. tube: 任务队列，用来存储统一类型的job，是producer和consumer操作的对象。
  3. producer: job的生产者，通过put命令来将一个job放到一个tube中。
  4. consumer: job的消费者，通过reserve|release|bury|delete命令来获取job或改变job的状态。

• job状态的流转流程

• 

• 概述：

  同Memcached的设计类似，Beanstalkd的协议设计比较简单明了，当一个任务被添加进Beanstalkd的队列里时，它的生命周期如上图所示。可以看到job有READY,RESERVED,DELAYED,BURIED四个状态；当一个producer直接put一个job之后，该job便进入了READY状态，等待consumer来处理。如果选择延迟put，job就先到DELAYED状态，等待指定时间后才迁移到READY状态；当consumer获取到该job后，该job的状态就从READY迁移RESERVED，这样其他的consumer就不能再操作该job；当consumer完成该job后，可以选择delete,release或者bury操作；delete之后，job从系统消亡，之后不能再获取；release操作可以重新把该job状态迁移回READY（也可以延迟该状态迁移操作），使其他的consumer可以继续获取和执行该job； Beanstalkd中有一到多个tube，每个tube都有一个ready队列和一个delay队列组成，一个job的生命周期只会存在于一个tube中。consumer要从某个tube获取job，可以向其发送watch命令，如果consumer想忽略某些tube，则可以像其发送ignore命令，consumer感兴趣的tube集合称之为wath list，显然，一个consumer获取的job肯定是来自它的watch list当中。当一个consumer没有指定tube名称时，它有一个默认的watch list称之为default。同理，如果producer提交job时没有指定tube名称，则默认添加到default当中。 当tube被引用时，它们会根据需要自动创建。如果一个tube中是空的（即它不包含REDY,DELAYED,BURIED jobs），并且没有consumer连接到它，它就会被删除。

1. READY - 需要立即处理的任务，当延时 (DELAYED) 任务到期后会自动成为当前任务

2. DELAYED - 延迟执行的任务, 当消费者处理任务后, 可以用将消息再次放回 DELAYED 队列延迟执行

3. RESERVED - 已经被消费者获取, 正在执行的任务(将不会被别的消费者拿到)。Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成

4. BURIED - 保留的任务: 任务不会被执行，也不会消失，除非有人把它 "踢" 回队列

5. DELETED - 消息被彻底删除。Beanstalkd 不再维持这些消息

• Beanstalkd 协议

1. 生产类 - use <tube> / put <priority> <delay> <ttr> [bytes]:  生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job).

2. 消费类 - watch <tubes> / reserve / delete <id> / release <id> <priority> <delay> / bury <id> / touch <id>
   消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务，这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。

3. 维护类 - peek job / peek delayed / peek ready / peek buried / kick <n>用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。被保留 (buried) 的任务可以用 kick 命令 "踢" 回队列。

• Beanstalkd客服端

• beanstalked