【原】Storm配置

Storm入门教程

1. Storm基础

Storm

Storm主要特点

Storm基本概念

Storm调度器

Storm配置

Guaranteeing Message Processing（消息处理保障机制）

Daemon Fault Tolerance（守护线程容错机制）

理解Storm拓扑的并行

Tutorial

Local模式

在生产环境中运行Topologies

---

---

Storm配置

Storm为了调整nimbus、supervisor和运行的topologies的行为，有许多配置项。一些配置是系统配置且不能被topology 修改，其他的可以被topology 修改。

在defaults.yaml 文件中每个配置项有默认值。你可以在Nimbus和supervisor的类路径上定义storm.yaml文件来覆写该配置。最后用 StormSubmitter提交你的topology 的具体配置项。然而，具体的配置项只能覆写前缀为"TOPOLOGY"开头的项。

Storm0.7.0以后允许你覆写每个bolt和spout的配置项。配置项如下：

1."topology.debug"

2."topology.max.spout.pending"

3."topology.max.task.parallelism"

4."topology.kryo.register": 此项不同于其它，因为序列化是被topology的所有组件使用 详情看 Serialization.

Java API允许用两种方法配置选项：

1.内部：覆写任何spout或bolt的getComponentConfiguration 方法并返回配置项集合

2.外部：调用TopologyBuilder 的setSpout 和setBolt 方法返回对象的addConfiguration 和addConfigurations 方法中修改。

配置项的优先级别为：defaults.yaml < storm.yaml < topology specific configuration < internal component specific configuration < external component specific configuration.

相关链接：

Config: 创建topology 的一个配置帮助类。

defaults.yaml: 配置默认值。

Setting up a Storm cluster: 如何配置Storm集群。

Running topologies on a production cluster: 在集群中配置正在运行的topologies。

Local mode: Local模式下的配置项。