Storm的数据可靠性(理论)

Storm的数据可靠性(理论)
.note-content {font-family: "Helvetica Neue",Arial,"Hiragino Sans GB","STHeiti","Microsoft YaHei","WenQuanYi Micro Hei",SimSun,Song,sans-serif;}

.note-content h2 {line-height: 1.6; color: #0AA89E;}
.note-content {background: #FFFFFF;}
.note-content h1 {color: #7AB3A7;}
.note-content h3 {color: #147A67;}

Storm的数据可靠性(理论)

我们都知道，分布式计算系统一般都管理着许多的机器。我们假设，现在有1000台机器的集群，假设每天每台机器出故障的几率只有1/1000，也就是说三年出一次故障，那么我们来算算每天至少有一台机器出故障的概率是多少？

也就是说，即使平均每台机器三年才出一次故障，这么对于1000台机器的集群，每天也会有一半以上的概率机器会挂掉。

所以说，分布式计算里面经常需要考虑任何的机器(Worker)挂掉，数据依然能够正常处理

故障处理

○ Nimbus故障，换台机器重启即可

○ Supervisor挂掉，迁移其上Worker即可

○ Worker挂掉，迁移走数据能正确处理吗？也就是说，如果Storm把所有数据发到Worker上面计算，它又是如何保证这些数据正确的恢复？如何保证这些数据不被重复计算？

Storm是使用一种叫做源端重放的方法来保证其可靠性的。

也就是说，Worker在运行其间有些什么原因导致数据丢失或者处理超时，这个时候Storm会通过一种叫Acker的机制来计算出这个错误是由源端的哪个tuple产生的，然后通知产生tuple的那个spout”这个tuple处理失败了，重发一下”，这个时候就会重发一个tuple使得下游能处理完

Spout数据保障

• 不丢：Acker机制保证数据如果未成个处理，可以及时发现，并通知Spout重发
• 不重：使用msgID去重

Spout容错

• NextTuple中，emit时，指定msgID

1._collector.emit(new Values(sentence),1111);//1111为msgID

• 如果哪个tuple处理超时了，那么fail就会被调用

1.@Override
2.public void fail(Object id){
3.}

返回一个msgID，这样就知道哪一个tuple fail了，重发哪个tuple

Bolt容错

• emit时，锚定输入Tuple
• ack输入tuple

Trident API

• 为用户屏蔽掉一些状态与计算一致的细节
• 使用户更方便书写可容错的作业