Storm集群部署

所有集群部署的基本流程都差不多:下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。

1、所有的集群上都要配置hosts

vi  /etc/hosts

192.168.33.201  storm1  hadoop1  zk1

192.168.33.202  storm2  hadoop2  zk2

192.168.33.203  storm3  hadoop3  zk3

2、集群部署的基础环境准备

安装前,zookeeper集群已经部署完毕!!!

创建工作目录并赋权(三台机器都要创建)

mkdir /export

mkdir /export/servers

chmod 755 -R /export

3、下载安装包并上传

从官网下载http://storm.apache.org/。  下载好了将安装包上传(alt+P)。

4、解压安装包并配置环境变量

tar -zxvf apache-storm-1.0.3.tar.gz -C /export/servers

cd  /export/servers/

ln -s apache-storm-1.0.3 storm

     ---ln -s 源文件 目标文件:创建软连接

     ---当我们需要在不用的目录,用到相同的文件时,我们不需要再每一个需要的目录下都放一个必须相同的文件。我们只要在某个固定的目录,放上该文件,

      然后在其他的目录下用ln 命令链接它就可以了。不必重复占用磁盘空间!

配置环境变量:

export STORM_HOME=/export/servers/apache-storm-1.0.3

export PATH=.:$STORM_HOME/bin:$...

配置完source  /etc/profile

将profile文件拷贝到其他两台机器上

scp  /etc/profile  storm2:/etc/

scp  /etc/profile  storm3:/etc/

拷贝完成后都要刷新环境变量source  /etc/profile

5、修改配置文件

vi  /export/servers/storm/conf/storm.yaml

输入一下内容:

  

6、分发安装包

scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers

scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers

然后分别在storm2、storm3上创建软连接

cd /export/servers/

ln -s apache-storm-1.0.3 storm

7、启动集群(要先启动zookeeper集群!!!)

(1)在nimbus.host所属的机器上storm1启动nimbus服务:

cd  /export/servers/storm/bin/

nohup  ./storm  nimbus  &

    ---nohup命令:不挂断地运行命令。原程序的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。nohup  ./storm nimbus   & 后台启动   storm nimbus 前台启动

(2)在nimbus.host所属的机器上storm1启动ui服务:

cd  /export/servers/storm/bin/

nohup  ./storm  ui  &

(3)在其他各节点上storm2和storm3启动supervisor服务:

cd  /export/servers/storm/bin/

nohup  ./storm  supervisor  &

8、查看集群是否部署成功

访问http://storm1:8080/,即可看到storm的ui界面。

Storm1.0.3集群部署的更多相关文章

  1. hbase-2.0.4集群部署

    hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好ha ...

  2. redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  3. 1--redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  4. redis-5.0.5 集群部署

    之前写过一套基于redis-4.0.6版本的测试集群部署 https://www.cnblogs.com/mrice/p/10730309.html 最近生产环境需要部署一套redis-5.0.5版本 ...

  5. redis 3.0的集群部署

    转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到re ...

  6. (转)redis 3.0的集群部署

    一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/ ...

  7. redis3.0.7集群部署手册

    1.用root登录主机2.将redis-3.0.7.tar.gz传送到主机3.将rubygems-update-2.5.2.gem,redis-3.0.0.gem传送到主机4.解压redis-3.0. ...

  8. linux下redis4.0.2集群部署(利用Ruby脚本命令)

    一.原生命令方式和Ruby脚本方式区别 利用Ruby脚本部署和用原生命令部署,节点准备的步骤都是一样的,节点启动后的握手,以及主从.槽分配,利用Ruby脚本一步就能完成,利用原生命令需要一步一步地执行 ...

  9. linux下redis4.0.2集群部署(利用原生命令)

    一.部署架构如下 每台服务器准备2个节点,一主一从,主节点为另外两台其中一台的主,从节点为另外两台其中一台的从. 二.准备6个节点配置文件 在172.28.18.75上操作 cd /etc/redis ...

随机推荐

  1. hadoop2相对hadoop1有非常重大的改进

    hadoop2相对hadoop1有非常重大的改进. 下面看一下在HDFS和MapReduce方面的改进: HDFS Federation(HDFS联邦)federation-background[1] ...

  2. 架构师成长之路1.1-系统监控工具htop

    点击返回架构师成长之路 架构师成长之路1.1-系统监控工具htop htop 是Linux系统中的一个互动的进程查看器,一个文本模式的应用程序(在控制台或者X终端中),需要ncurses. 与Linu ...

  3. CentOS安装git及使用Gitolite来管理版本库

    首先吐槽一下网上的各种教程,大部分都扯蛋,估计都是些所谓的"编辑"在网上瞎抄来的-- 以下内容都是基于CentOS的服务器端,Mac OS X的客户端. 如果是使用的Windows ...

  4. bzoj1178/luogu3626 会议中心 (倍增+STL::set)

    贪心地,可以建出一棵树,每个区间对应一个点,它的父亲是它右边的.与它不相交的.右端点最小的区间. 为了方便,再加入一个[0,0]区间 于是就可以倍增来做出从某个区间开始,一直到某个右界,这之中最多能选 ...

  5. 前端学习 -- Css -- 定义列表

    定义列表用来对一些词汇或内容进行定义 使用dl来创建一个定义列表 dl中有两个子标签 dt : 被定义的内容 dd : 对定义内容的描述 同样dl和ul和ol之间都可以互相嵌套 <!DOCTYP ...

  6. 【POJ3250】Bad Hair Day 单调栈

    题目大意:给定一个由 N 个数组成的序列,求以每个序列为基准,向右最大有多少个数字都比它小. 单调栈 单调栈中维护的是数组的下标. 单调栈在每个元素出栈时统计该出栈元素的答案贡献或对应的值. 单调栈主 ...

  7. activiti 用户手册中 10分钟 小例子 简单代码搭建 及 其中的 各种坑

    看mossle的 5.16 用户手册中的  快速起步:10分钟教程 想自己跑一下,虽然官方文档已经写的非常详细了,但是实际操作中还是遇到各种坑,这里记录下来. 首先官网下载最新的 5版本 full G ...

  8. 开发环境--Pipenv的使用

    1.Pipenv 介绍 Pipenv是基于pip的Python包管理工具,它和pip的用法非常相似,可以看做pip的加强版. pipenv解决了旧的pip+virtualenv+requirement ...

  9. Zabbix应用七:Zabbix发送短信报警

    Zabbix利用Python脚本调用短信API发送报警信息 一.先贴出python脚本: #!/usr/bin/python # _*_ coding:utf8 _*_ import sys impo ...

  10. websocket使用nginx作为反向代理

    需要nginx作为websocket的反向代理,没有nginx反向代理时候没有问题,通过nginx反向代理后会报400错误,查后台调试信息: tornado.general – DEBUG – Can ...