storm核心组件

Storm核心组件

　　了解 Storm 的核心组件对于理解 Storm 原理非常重要，下面介绍 Storm 的整体，然后介绍 Storm 的核心。 Storm 集群由一个主节点和多个工作节点组成。主节点运行一个名为“Nimbus”的守护进程，工作节点都运行一个名为“Supervisor”的守护进程，两者的协调工作由 ZooKeeper 来完成， ZooKeeper 用于管理集群中的不同组件。
　　每一个工作节点上运行的 Supervisor 监听分配给它那台机器的工作，根据需要启动 / 关闭工作进程，每一个工作进程执行一个 Topology 的一个子集；一个运行的 Topology 由运行在很多机器上的很多工作进程 Worker 组成。那么 Storm 的核心就是主节点（Nimbus）、工作节点（Supervisor）、协调器（ZooKeeper）、工作进程（ Worker）、任务线程（Task）。

1.3.1　主节点 Nimbus
　　主节点通常运行一个后台程序——Nimbus，用于响应分布在集群中的节点，分配任务和监测故障，这类似于 Hadoop 中的 JobTracker。
　　Nimbus 进程是快速失败（ fail-fast）和无状态的，所有的状态要么在 ZooKeeper 中，要么在本地磁盘上。可以使用 kill -9 来杀死 Nimbus 进程，然后重启即可继续工作。
1.3.2　工作节点 Supervisor
　　工作节点同样会运行一个后台程序——Supervisor，用于收听工作指派并基于要求运行工作进程。每个工作节点都是 Topology 中一个子集的实现。而 Nimbus 和 Supervisor 之间的协调则通过 ZooKeeper 系统。
　　同 样， Supervisor 进 程 也 是 快 速 失 败（fail-fast） 和 无 状 态 的， 所 有 的 状 态 要 么 在ZooKeeper 中，要么在本地磁盘上，用 kill -9 来杀死 Supervisor 进程，然后重启就可以继续工作。
1.3.3　协调服务组件 ZooKeeper
　　ZooKeeper 是完成 Nimbus 和 Supervisor 之间协调的服务。 Storm 使用 ZooKeeper 协调集群，由于 ZooKeeper 并不用于消息传递，所以 Storm 给 ZooKeeper 带来的压力相当低。在大多数情况下，单个节点的 ZooKeeper 集群足够胜任，不过为了确保故障恢复或者部署大规模Storm 集群，可能需要更大规模的 ZooKeeper 集群。 Nimbus、 Supervisor 与 ZooKeeper 的关系如图 1-11 所示。

图 1-11 Nimbus、 Supervisor 与 ZooKeeper 关系图

1.3.4　其他核心组件
　　Storm 的组件不止上面的，还有一些组件也是 Storm 的核心，缺一不可。下面简单介绍Worker 和 Task。
　　1）具体处理事务进程 Worker：运行具体处理组件逻辑的进程。
　　2）具体处理线程 Task ： Worker 中的每一个 Spout/Bolt 线程称为一个 Task。在 Storm 0.8之后， Task 不再与物理线程对应，同一个 Spout/Bolt 的 Task 可能会共享一个物理线程，该线程称为 Executor。