在很多应用场景中，分布式系统的可靠性保障尤其重要。比如电商平台中，客户的购买请求需要可靠处理，不能因为节点故障等原因丢失请求；比如告警系统中，产生的核心告警必须及时完整的知会监控人员，不能因为网络故障而丢失数据。

Storm消息可靠性保障是Storm核心特性之一，其中消息树的跟踪管理机制是Storm核心算法之一，本文将详细介绍Storm消息可靠处理机制。我们从Storm初探中的例子入手。

一、消息处理流程

1、 Spout节点

（1） Spout接收到一个文本消息；

msg1

刘备 关羽 张飞

曹操 郭嘉 荀彧

（2） Spout把文本消息拆分为2个行字符串消息，并把2个消息发送给NamesSplit Bolt节点。

2、 NamesSplit Bolt节点

（1） NamesSplit Bolt接收到两个行字符串消息；

msg2 刘备 关羽 张飞

msg3 曹操 郭嘉 荀彧

（2） NamesSplit Bolt把2个行字符串消息拆分为6个名字消息，发送给HelloWorld Bolt节点；

（3） NamesSplit Bolt确认，msg2、msg3处理完成。

3、 HelloWorld Bolt节点

（1） HelloWorld Bolt接收到6个名字消息；

msg4 刘备

msg5 关羽

msg6 张飞

msg7 曹操

msg8 郭嘉

msg9 荀彧

（2） HelloWorld Bolt SayHello；

（3） HelloWorld Bolt确认，msg4、msg5、msg6、msg7、msg8、msg9处理完成。

 二、关键代码

 1、 Spout

下面代码表示Spout节点发送消息，消息绑定到messageId上，这里的messageId可以看做上述例子中的msg1，tuple可以看做上述例子中的msg2或msg3。

public void nextTuple()

{

    this.collector.emit(List<Object> tuple, Object messageId);

}

下面代码会在消息处理成功或失败后调用。

public void ack(Object msgId)

{

}

public void fail(Object msgId)

{

}

2、 Bolt

这段代码是Bolt消息处理发送代码，我们详细看一下标红代码。

public void execute(Tuple input)

{

    String[] nameArray = names.split(" ");

    for(String name : nameArray)

    {

        List<Object> splitList = new ArrayList<Object>();

        splitList.add(name);

        collector.emit(inputList, splitList);

    }

    collector.ack(input);

}
OutputCollector.emit(Collection<Tuple> anchors, List<Object> tuple) 中tuple表示发送的子消息，anchors表示子消息的父节点。
这段代码既发送了子消息，又把子消息锚定到了消息树上。上述例子中，相当于把消息msg4 刘备，msg5关羽，msg6张飞锚定到消息msg2 刘备 关羽 张飞上。
OutputCollector.ack(Tuple input)表示回答消息处理完成。上述例子中，相当于确认msg2 刘备 关羽 张飞处理完成。

下面代码会在消息处理成功或失败后调用。
public void ack(Object msgId)

{

}

public void fail(Object msgId)

{

}


三、消息重发机制


可以看到，一条消息从Spout发送后，会产生一棵消息树，只有当消息树中的所有消息都被确认后（ack），Storm才认为消息处理完成。


代码上可以轻易看出，我们只需要指定根节点消息ID（即Spout接收到的消息ID），其他消息ID系统会自动生成。同时，我们只需要确认非根节点消息处理完成。


实际上，Spout或者Bolt每发送一条消息，消息便会存储到kestrel队列中，Bolt每接收到一条消息，kestrel便会标记这条消息在处理中（pengding），直到该条消息被确认处理完成，kestrel才把它移除出队列。


Bolt消息处理过程中，发生异常或者超时，kestrel会把该条消息从处理中状态重新置为待处理状态，等待Storm下一次调度处理。


四、消息树管理算法


可以看到，Spout每处理一个消息，就会生成一棵消息树，如果Storm存储每棵消息树每个节点的状态，内存很快便会耗尽，显然是不可取的。


实际上，Storm仅仅采用20字节管理一棵消息树，数据结构如下：


treeId|{64bit}


treeId用于区分不同的消息树（和代码中指定的根节点ID一一对应），{64bit}则用于消息树节非根点异或计算。


每生成一个64位msgid，则与{64bit}异或计算一次，直到该消息确认处理完成后，再与{64bit}异或计算一次。（异或计算结果为新的{64bit}值）


当{64bit}==0时，表示消息处理完毕。（一目了然，在此不再证明）
												





											
Storm消息可靠处理机制的更多相关文章
	

    
								
  1. Storm-6 Storm的并行度、Grouping策略以及消息可靠处理机制简介
		
    概念: 配置并行度 动态的改变并行度 流分组策略----Stream Grouping 消息的可靠处理机制 概念: Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程.一 ...
    
		
    2. 
						
  2. Storm的并行度、Grouping策略以及消息可靠处理机制简介
		
    转自:https://my.oschina.net/zc741520/blog/409949 概念: Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程.一个Topolo ...
    
		
    3. 
						
  3. Storm消息可靠机制
		
    一:介绍 1.介绍 默认情况是,Spout每获取一条数据,封装后发送给后面的组件,不再管后面是否处理完成或成功接收,不再考虑. 这种的情况是不用太精确,没有启用可靠性消息机制. 2.方面的体现 spo ...
    
		
    4. 
						
  4. Storm消息容错机制（ack-fail机制）
		
    storm消息容错机制(ack-fail) 1.介绍 在storm中,可靠的信息处理机制是从spout开始的. 一个提供了可靠的处理机制的spout需要记录他发射出去的tuple,当下游bolt处理t ...
    
		
    5. 
						
  5. IM消息送达保证机制实现(二)：保证离线消息的可靠投递
		
    1.前言 本文的上篇<IM消息送达保证机制实现(一):保证在线实时消息的可靠投递>中,我们讨论了在线实时消息的投递可以通过应用层的确认.发送方的超时重传.接收方的去重等手段来保证业务层面消 ...
    
		
    6. 
						
  6. ActiveMQ的JMS消息可靠机制
		
    JMS消息可靠机制 ActiveMQ消息签收机制: 客戶端成功接收一条消息的标志是一条消息被签收,成功应答. 消息的签收情形分两种: 1.带事务的session 如果session带有事务,并且事务成 ...
    
		
    7. 
						
  7. Storm系列三： Storm消息可靠性保障
		
    Storm系列三: Storm消息可靠性保障 在上一篇 Storm系列二: Storm拓扑设计 中我们已经设计了一个稍微复杂一点的拓扑. 而本篇就是在上一篇的基础上再做出一定的调整. 在这里先大概提一 ...
    
		
    8. 
						
  8. Storm内部的消息传递机制
		
    作者:Jack47 转载请保留作者和原文出处 欢迎关注我的微信公众账号程序员杰克,两边的文章会同步,也可以添加我的RSS订阅源. 一个Storm拓扑,就是一个复杂的多阶段的流式计算.Storm中的组件 ...
    
		
    9. 
						
  9. 【RabbitMQ】如何进行消息可靠投递【上篇】
		
    说明 前几天,突然发生线上报警,钉钉连发了好几条消息,一看是RabbitMQ相关的消息,心头一紧,难道翻车了? [橙色报警] 应用[xxx]在[08-15 16:36:04]发生[错误日志异常],al ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. Linux 下的常用工具
			
    Useful Linux Utilities (This article is under constant construction) ssh 相关文章 How To Change OpenSSH  ...
    
			
    2. 
						
  2. 20150825 C# 调用带参数的存储过程 模板
			
    ////// exec proceudre2                        //System.Data.SqlClient.SqlConnection sqlcon = new Sys ...
    
			
    3. 
						
  3. iOS耳机操作
			
    iOS在7之后增加的麦克风权限的申请,代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 AVAudioSession *avSession = [AVAudioSession shar ...
    
			
    4. 
						
  4. 《UNIX级别编程环境》注意读出信号（2）
			
    1.功能sigaction sigaction动与指定信号相关联的处理动作.其函数原型例如以下: #inlcude <signal.h> int sigaction(int signo,c ...
    
			
    5. 
						
  5. git push解决办法： ! [remote rejected] master -&gt; master (pre-receive hook declined)
			
    前天准备上传一个project到GitLab上,但是试了很多次都上传不上去,报错如下: ! [remote rejected] master -> master (pre-receive hoo ...
    
			
    6. 
						
  6. PHP之回调函数传参(解决eval函数拼接对象参数的问题)
			
    在使用Smarty时,定义了一个统一调用控制器的函数,如下: function C($name, $method){//控制器的名称和其中方法的名称 require_once "contro ...
    
			
    7. 
						
  7. BootStrap的table技术小结：数据填充、分页、列宽可拖动
			
    本文结构:先说明,后代码.拷贝可直接运行. 一.demo结构: 二.文件引入 这些里面除了下面2个比较难找,其他的都很好找 bootstrap-table-resizable.js colResiza ...
    
			
    8. 
						
  8. POJ 1986 Distance Queries(LCA Tarjan法)
			
    Distance Queries [题目链接]Distance Queries [题目类型]LCA Tarjan法 &题意: 输入n和m,表示n个点m条边,下面m行是边的信息,两端点和权,后面 ...
    
			
    9. 
						
  9. SQL-43 将所有to_date为9999-01-01的全部更新为NULL,且 from_date更新为2001-01-01。
			
    题目描述 将所有to_date为9999-01-01的全部更新为NULL,且 from_date更新为2001-01-01.CREATE TABLE IF NOT EXISTS titles_test ...
    
			
    10. 
						
  10. 通过JVM 参数 实现spring 应用的二进制代码与配置分离。
			
    原创文章,转载请注明出处 分离的好处就不说了.说下分离的思路.通过JVM 参数-D 添加 config.path 的property 到系统中.系统通过System.getProperty(confi ...
    
			
    11.