2.Storm环境搭建

单机

...

集群

...

搭建Storm开发环境

搭建Storm开发环境主要概括为以下两步：

1.下载Storm发行稳定版，然后解压，最后把解压后的bin/文件所在目录添加到你的系统环境变量中。

2.为了能在远程集群环境中启动或停止topologies ，需要在~/.storm/storm.yaml文件中配置集群信息。

什么是开发环境

Storm有两种操作模式：本地模式和远程模式。在本地模式中，在本地机器中的进程中就可以开发和测试topologies。在远程模式中，是将topologies提交到远程的集群中执行。

Storm开发环境已安装好了一切，所以可以在本地模式中进行开发和测试，然后将topologies 打jar包发送到集群中执行，可通过submit提交或kill杀死该topology

让我们简要了解一下本地模式和集群模式的关系吧。Storm集群是由命名为“Nimbus”的master节点管理的，其他节点和Nimbus进程进行通信，实现提交代码（打成jar包）和集群中执行topologies 的任务，Nimbus负责集群中代码的分发和安排workers运行代码。你可以通过命令行客户端程序storm来 和Nimbus通信，该客户端只适合远程模式，不适合本地模式。

在本地机器上安装 Storm

如果要从本地机器上直接向远程集群提交拓扑，你需要在本地机器上安装 Storm 程序。本地的 Storm 程序可以提供与远程集群交互的 storm 客户端。在安装本地 Storm 之前，你需要下载一个 Storm 安装程序并将其解压到你的电脑的某个位置。然后将 Storm 的 bin/ 目录添加到你的 PATH 环境变量中，确保 bin/storm 脚本可以直接运行。

在本地机器上安装的 Storm 仅能用于与远程集群的交互。对于本地模式下的开发、测试拓扑，推荐使用 Maven 来将 Storm 添加到你的项目的开发依赖中。关于 Maven 的使用请参考此文。

在远程集群上开始/终止拓扑的运行

在上一步中我们已经安装好了本地的 storm 客户端。接下来就需要告诉客户端需要连接哪一个 Storm 集群。这可以通过在 ~/.storm/storm.yaml 文件中填写 Storm 集群的主节点的 host 地址来实现：

nimbus.seeds: ["123.45.678.890"]

【原】Storm环境搭建的更多相关文章

  1. storm环境搭建（前言）—— 翻译 Setting Up a Development Environment

    Setting Up a Development Environment 搭建storm开发环境所需步骤: Download a Storm release , unpack it, and put ...

  2. storm环境搭建

    备注——使用: 1.单机版本: 启动zkServer.nimbus.supervisor.ui服务: zkServer.sh start zkServer.sh status #查看zkserver是 ...

  3. Storm环境搭建（分布式集群）

    作为流计算的开篇,笔者首先给出storm的安装和部署,storm的第二篇,笔者将详细的介绍storm的工作原理.下边直接上干货,跟笔者的步伐一块儿安装storm. 原文链接:Storm环境搭建(分布式 ...

  4. 170824、storm 环境搭建

    /*********************storm 环境搭建 **********************/ 1 安装jdk1.7 2 安装zookeeper集群环境 3 安装Python2.6. ...

  5. 《OD大数据实战》Storm环境搭建

    一.环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz ...

  6. 54.Storm环境搭建

    集群环境搭建 关闭防火墙,修改/etc/hosts配置(3台机器的ip可以相互通信) 下载安装jdk7(1.6以上),配置JAVA_HOME, CLASSPATH 搭建Zookeeper集群(保证3台 ...

  7. mac10.9下eclipse的storm开发环境搭建

    --------------------------------------- 博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1& ...

  8. 一：Storm集群环境搭建

    第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...

  9. Storm —— 集群环境搭建

    一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...

随机推荐

  1. Protege A DOT error has occurred错误

    问题参生的原因:graphviz没有安装或者,没有配置好 解决方法: 1.下载graphviz,这里是百度软件下载的,在官网下载需要注册账户,麻烦 2.安装graphviz,找到下面的路径. 3.设置 ...

  2. RN学习1——前奏，app插件化和热更新的探索

    react_native_banner-min.png React Native(以下简称RN)有大量前端开发者的追捧.前端开发是一个活跃的社区,一直尝试着一统前后端,做一个全栈开发,RN就是他们在客 ...

  3. tomcat免重启随意更改java代码 提高开发效率

    转载:http://developer.51cto.com/art/201012/241243.htm 做为了一个java开发人员,总是为因为要增加一个类,或是增加删除一个方法,甚至修改一个小处代码而 ...

  4. Ping 命令

    Ping”命令是我们在判断网络故障常用的命令 它是用来检查网络是否通畅或者网络连接速度的命令. 它所利用的原理是这样的:网络上的机器都有唯一确定的IP地址,我们给目标IP地址发送一个数据包, 对方就要 ...

  5. HDU5088——Revenge of Nim II(高斯消元&矩阵的秩)(BestCoder Round #16)

    Revenge of Nim II Problem DescriptionNim is a mathematical game of strategy in which two players tak ...

  6. Android The content of the adapter has changed but ListView did not receive a notification终极解决方法

    这几天做一个自动扫描SD卡上所有APK文件的小工具,扫描过程中会把APK添加到LISTVIEW中显示,结果出现以下错误:(有时候触摸更新数据时候,触摸listview也会报错) E/AndroidRu ...

  7. Intellij IDEA 构建Spring Web项目 — 用户登录功能

    相关软件: 1.Intellij IDEA14:http://pan.baidu.com/s/1nu16VyD 2.JDK7:http://pan.baidu.com/s/1dEstJ5f 3.Tom ...

  8. Atheros AR9485 ubuntu 10.04 驱动安装及networking disable问题解决

    Laptop: ACER Aspire 5733-6629 Wireless:Lite-on HB125, CHIPS: Atheros AR9485 Ubuntu: 10.04LTS (2.6.32 ...

  9. awk 传入外部参数

    awk 传入外部参数 num1=1.1 num2=2.2 result=$(awk -v n1=$num1 -v n2=$num2 'BEGIN{print (n2>n1)?1:0}')

  10. Websocket和PHP Socket编程

    本来是搜一些html5 websocket资料看的,结果被引去看了php的socket编程.下面是一些简单的例子,在命令行运行php脚本就行 [命令行运行PHP]PHP中有一个php.exe文件,可以 ...