本文将介绍如何设置Storm的开发环境。下面是大纲:

1.下载Storm发布包,解压,将解压的 bin目录放到你电脑的PATH中。

2.为了能够在远程集群中启动或者停止Topology,请将集群信息放到~/.storm/storm.yaml中

下面是步骤的详细说明。

什么是开发环境?

Storm有两种运行模式:本地模式和远程模式。在本地模式下,你完全可以使用本地机器来开发和测试Topology。在远程模式下,提交Topology到远程集群执行。

Storm开发环境包含了所有工具,因此你可以在本地模式开发和测试Topology,打包并在远程集群中运行,向集群提交或者kill掉Topology。

我们来快速了解下本地机器和远程集群的关系。一个Storm集群由一个叫"Nimbus"的主节点管理。你的机器和Nimbus通信同时向远程集群提交代码(打包成jar)和Topology,Nimbus 会分发你的代码并且分配worker运行你提交的Topology,你的机器使用storm客户端来和Nimbus通信。Storm客户端只能在远程模式下使用;它在本地模式下不起作用。

本地安装Storm

如果你想从你的机器提交Topology到远程集群,你需要在本地安装Storm。通过客户端和远程集群交互。要在本地安装Storm点击此处下载Storm发布包,并且将其解压在你电脑的某个地方。然后将解压的bin目录添加到你PATH中,使bin/storm脚本可执行。

本地安装Storm仅仅是为了和远程集群交互。在本地模式下开发和测试Topology,建议你使用maven并且在项目中包含Storm的依赖。阅读Maven一文来了解如何使用maven。

在远程集群启动和停止Topology

前面安装了Storm客户端来和远程集群进行通信。现在,你要做的是告诉Storm要和哪个集群对话。要和集群对话,你必须做的工作是将主节点的主机地址放到~/.storm/storm.yaml文件中,如下所示:

1
nimbus.host: "123.45.678.890"

另外,如果你用storm-deploy项目在AWS上部署Storm集群,它将自动设置~/.storm/storm.yaml文件,你可以使用"attach"命令绑定Storm集群(或者在多个集群上切换),配置如下:

1
lein run :deploy --attach --name mystormcluster

storm-deploy的更多信息请关注wiki

Storm官方文档翻译之设置开发环境的更多相关文章

  1. Storm官方文档翻译之在生产环境集群中运行Topology

    在进群生产环境下运行Topology和在本地模式下运行非常相似.下面是步骤: 1.定义Topology(如果使用Java开发语言,则使用TopologyBuilder来创建) 2.使用StormSub ...

  2. 2.翻译系列:为EF Code-First设置开发环境(EF 6 Code-First系列)

    原文链接:http://www.entityframeworktutorial.net/code-first/setup-entity-framework-code-first-environment ...

  3. Ubuntu上源码安装golang并设置开发环境

    安装go #wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz #tar -xzf go1.10.3.linux-amd64.tar.g ...

  4. Storm官方文档翻译之创建Storm项目

    本文将讲述如何在开发环境创建一个Storm项目,下面是步骤: 1.将Storm的相关jar包添加到classpath中: 2.如果使用多语言开发,也要将多语言目录添加到classpath; 点击sto ...

  5. Pycharm Django开发(一)设置开发环境

    一 由于我是一个对开发环境有强迫症的人,在装完PYTHON 2.6 3.3  3.4中,在创建Django工程的时候,会出现N个版本的python,那么在这里可以设置你喜欢和要使用的版本.

  6. andriod学习二 设置开发环境

    1.官方环境搭建步骤     http://developer.android.com/sdk/installing/index.html         包括:下载JDK6,Eclipse 3.6, ...

  7. 「Ionic」设置开发环境

    轉載請一定註明地址:http://www.cnblogs.com/surge/p/5983024.html 謝謝! 濤叔是在mac環境下進行的,涉及android環境的配置不保證成功. 少废话,跟着濤 ...

  8. 在 Windows Vista、Windows 7 和 Windows Server 2008 上设置 SharePoint 2010 开发环境

    适用范围: SharePoint Foundation 2010 | SharePoint Server 2010 本文内容 步骤 1:选择和预配置操作系统 步骤 2:安装 SharePoint 20 ...

  9. Storm官方帮助手册翻译(上)

    Storm作为当前最流行的实时计算框架,自Twitter将其开源后就一直备受关注.由于其具有先天的稳定性以及便捷性,目前被许多大公司所采用,国外像雅虎.雅虎日本.Twitter.OOYALA.Spot ...

随机推荐

  1. Android5.1源码Xposed框架编译

    介绍 Xposed框架是一款可以在不修改APK的情况下影响程序运行(修改系统)的框架服务,基于它可以制作出许多功能强大的模块,且在功能不冲突的情况下同时运作 . 对于Android5.1系统,官方提供 ...

  2. js字符串函数 [http://www.cnblogs.com/qfb620/archive/2011/07/28/2119799.html]

    JS自带函数concat将两个或多个字符的文本组合起来,返回一个新的字符串.var a = "hello";var b = ",world";var c = a ...

  3. 第九十三节,html5+css3移动手机端流体布局,基础CSS,头部设计,轮播设计,底部设计

    html5+css3移动手机端流体布局,基础CSS,头部设计,轮播设计,底部设计 基础CSS 首先将通用css属性写好 @charset "utf-8"; /*通用样式*/ /*去 ...

  4. iOS开发传感器相关

    手机里面内置了很多的传感器,例如:光传感器,湿度传感器,温度传感器,距离传感器等等 //开发传感器相关的东西必须使用真机 //在螺旋仪和加速计所有两种方式push和pull的方式,push的方式是时时 ...

  5. Hadoop之初体验

    首先是来说一下这两天来自己的个人感受吧.我争取在第一段将情怀给逼逼完,大家可以无视这一段~~~真心是不容易,第一个感觉就是,乱.为啥呢?先说说我使用Hadoop的原因吧.选了云计算这门课,打算到时候深 ...

  6. OpenCV2.x自学笔记——自适应阈值

    adaptiveThreshold(src,dst, double maxValue, int adaptiveMethod, int thresholdType, int blockSize, do ...

  7. shell脚本学习(三)

    1.在grep中, ^标记着单词的开始, $ 标记着单词的结束. 查看一个单词是否在linux自带的词典中,脚本如下: #bin/sh #文件名:checkword.sh word=$1 grep & ...

  8. delphi中nil、null、UnAssigned区别

    nil:空指针,空地址,对象也是指针,所以可以object := nil;null:null是一个未定义值的变量,既不是0也不代表空字符串,它是未定义的.http://www.delphibasics ...

  9. HttpReceiveRequestEntityBody 使用应注意的地方

    如果EntityBody数据很大,调用此函数是不能完全接收全部数据的,我们不能简单的判断 1: BYTE* pBuffer = new BYTE[4096]; 2: ZeroMemory(pBuffe ...

  10. MAC img 安装 mysql 修改密码

    参考 : http://tieba.baidu.com/p/3042628829 step1: 苹果->系统偏好设置->最下边点mysql 在弹出页面中 关闭mysql服务(点击stop ...