Mac安装 Storm 小结

Strom 安装&部署

本地执行:Storm Topology是可进行本地运行的, 必须在发布前进行本地测试, 以确保代码本身业务逻辑没有问题( Windows也可执行, 但是由于权限等原因, 执行时可能会报错, 但不影响执行结果).

本地集群执行: Storm的本地集群搭建只能在UNIX架构的系统上执行, 相对于本地测试来说, 本地集群测试可以暴露更多的问题(比如文件路径, 权限等), 像是真正的将Topology提交到生产集群一样.

Storm 相关网站: 并发编程网-Storm, 官网
Storm 相关书籍: Getting Started with Storm

1.安装本地集群

1.1 Mac参见:
http://blog.csdn.net/lazythinker/article/details/13002069

1.2 Linux参见官网:
http://storm.incubator.apache.org/documentation/Setting-up-a-Storm-cluster.html
http://my.oschina.net/BreathL/blog/84165

1.3 需要的Dependency有:
#
Linux
OSX
依赖及备注
1 JDK6 JDK6 Zookeeper
2 Python2.6.6 and above Python2.6.6 and above Nimbus
3 Zookeeper Zookeeper 务必重命名${Zookeeper}/conf下的zoo_sample.conf --> zoo.conf
4 无 autotools, autoconf, automake, pkg-config
ZeroMQ JZMQ
OSX详细安装介绍:
http://www.loveyqq.tk/?p=6
OSX pkg-conf问题解决:
http://stackoverflow.com/questions/3522248/how-do-i-compile-jzmq-for-zeromq-on-osx
5 ZeroMQ ZeroMQ
OSX详细安装介绍:
http://www.loveyqq.tk/?p=6
6 JZMQ JZMQ
OSX问题解决:
http://tjun.org/blog/2012/04/how-to-build-jzmq-in-mac-os-x-lion/
http://stackoverflow.com/questions/4478125/zeromq-java-installation-problem

1.4 测试
启动nimbus : ${storm_honme}/bin/storm nimbus
启动supervisor: ${storm_honme}/bin/storm supervisor
启动ui: ${storm_honme}/bin/storm ui
访问127.0.0.1:8080, storm 是否正常启动, 或者使用命令行查看storm 状态

2.开发Storm Topology 及 部署到集群

2.1 Storm Hello World Code
url: https://github.com/zhwbqd/examples-ch02-getting_started

2.2 执行
mvn clean package
对于这个例子，在拓扑工程目录下面运行:
storm jar target/Topologies-0.0.1-SNAPSHOT.jar TopologyMain ${project_path}/src/main/resources/words.txt
通过这些命令，你就把拓扑发布集群上了。
如果想停止或杀死它，运行:
storm kill Count-Word-Topology
NOTE：拓扑名称必须保证惟一性。

2.3 查看执行结果
访问127.0.0.1, 查看是否有对应的Topology
或 storm list 查看情况
也可查看 ${strom_home}/logs/work.log 查看工作进程执行结果