Twitter Storm中Topology的状态

Twitter Storm中Topology的状态

状态转换如下,Topology 的持久化状态包括： active, inactive, killed, rebalancing 四个状态。

代码上看到每种状态都可以转换成一些持久化 ( 写入到 zk 中的状态 ) 或者中间状态。

1. (defn state-transitions [nimbus storm-id status]
2. {:active {:monitor (reassign-transition nimbus storm-id)
3. :inactivate :inactive
4. :activate nil
5. :rebalance (rebalance-transition nimbus storm-id status)
6. :kill (kill-transition nimbus storm-id)
7. }
8. :inactive {:monitor (reassign-transition nimbus storm-id)
9. :activate :active
10. :inactivate nil
11. :rebalance (rebalance-transition nimbus storm-id status)
12. :kill (kill-transition nimbus storm-id)
13. }
14. :killed {:startup (fn [] (delay-event nimbus
15. storm-id
16. (:kill-time-secs status)
17. :remove))
18. :kill (kill-transition nimbus storm-id)
19. :remove (fn []
20. (log-message "Killing topology: " storm-id)
21. (.remove-storm! (:storm-cluster-state nimbus)
22. storm-id)
23. nil)
24. }
25. :rebalancing {:startup (fn [] (delay-event nimbus
26. storm-id
27. (:delay-secs status)
28. :do-rebalance))
29. :kill (kill-transition nimbus storm-id)
30. :do-rebalance (fn []
31. (do-rebalance nimbus storm-id status)
32. (:old-status status))
33. }})

1. active

active 状态的时候可以转换成 monitor, inactivate, activate, rebalance, kill 。

(1) monitor: 转换成 monitor 实际上是执行了 reassign-transition 操作：

1. (defn reassign-transition [nimbus storm-id]
2. (fn []
3. (reassign-topology nimbus storm-id)
4. nil
5. ))

可以看出，实际上是为这个 topology 重新分配任务，返回值为 nil ， 说明在 zk 中不会更改 topology 的持久化状态。

(2)inactivate: 返回值是 inactive, 状态转换的时候会将 zk 中 topology 的状态转换成 inactive 。

(3)activate: nil 说明什么操作都不做

(4)rebalance: 实际上是调用了 rebalance-transition 函数，从代码可以看出，会将状态改成 rebalancing, 然后再转换成 do-rebalance 。 do-rebalance 其实也是重新分配任务，具体看4 。

1. (defn rebalance-transition [nimbus storm-id status]
2. (fn [time num-workers executor-overrides]
3. (let [delay (if time
4. time
5. (get (read-storm-conf (:conf nimbus) storm-id)
6. TOPOLOGY-MESSAGE-TIMEOUT-SECS))]
7. (delay-event nimbus
8. storm-id
9. delay
10. :do-rebalance)
11. {:type :rebalancing
12. :delay-secs delay
13. :old-status status
14. :num-workers num-workers
15. :executor-overrides executor-overrides
16. })))

(5)kill: 实际上执行的是 kill-transition 方法，将 topology 的状态先改为 killed, 然后经过 kill-time 的时间，将topology remove, 详见3

1. (defn kill-transition [nimbus storm-id]
2. (fn [kill-time]
3. (let [delay (if kill-time
4. kill-time
5. (get (read-storm-conf (:conf nimbus) storm-id)
6. TOPOLOGY-MESSAGE-TIMEOUT-SECS))]
7. (delay-event nimbus
8. storm-id
9. delay
10. :remove)
11. {:type :killed
12. :kill-time-secs delay})
13. ))

2. inactvie

(1) monitor: 与1中相同

(2) activate: 返回值是 active, 状态转换的时候会将 zk 中 topology 的状态转换成 active 。

(3) inactivate: nil 说明什么操作都不做

(4) rebalance: 与1中相同

3. killed

(1) startup:将状态转换成remove

(2) kill:  与1中相同

(3) remove:   实际上是调用了 remove-storm!函数, 清楚topology在zk上的相关目录。

1. (remove-storm! [this storm-id]
2. (delete-node cluster-state (storm-task-root storm-id))
3. (delete-node cluster-state (assignment-path storm-id))
4. (remove-storm-base! this storm-id))

4. rebalancing

(1) startup:将状态转换成do-rebalance

(2) kill:  与1中相同

(3) do-rebalance:  实际上是重新将任务分配，与初始分配任务不同，它假设所有的任务都是活跃的，所有的端口都不要判断是否需要保留，也就是说所有的任务重新分配，无论某些端口上的任务分配已经满足均衡要求。