Storm集群部署

所有集群部署的基本流程都差不多:下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。

1、所有的集群上都要配置hosts

vi  /etc/hosts

192.168.33.201  storm1  hadoop1  zk1

192.168.33.202  storm2  hadoop2  zk2

192.168.33.203  storm3  hadoop3  zk3

2、集群部署的基础环境准备

安装前,zookeeper集群已经部署完毕!!!

创建工作目录并赋权(三台机器都要创建)

mkdir /export

mkdir /export/servers

chmod 755 -R /export

3、下载安装包并上传

从官网下载http://storm.apache.org/。  下载好了将安装包上传(alt+P)。

4、解压安装包并配置环境变量

tar -zxvf apache-storm-1.0.3.tar.gz -C /export/servers

cd  /export/servers/

ln -s apache-storm-1.0.3 storm

     ---ln -s 源文件 目标文件:创建软连接

     ---当我们需要在不用的目录,用到相同的文件时,我们不需要再每一个需要的目录下都放一个必须相同的文件。我们只要在某个固定的目录,放上该文件,

      然后在其他的目录下用ln 命令链接它就可以了。不必重复占用磁盘空间!

配置环境变量:

export STORM_HOME=/export/servers/apache-storm-1.0.3

export PATH=.:$STORM_HOME/bin:$...

配置完source  /etc/profile

将profile文件拷贝到其他两台机器上

scp  /etc/profile  storm2:/etc/

scp  /etc/profile  storm3:/etc/

拷贝完成后都要刷新环境变量source  /etc/profile

5、修改配置文件

vi  /export/servers/storm/conf/storm.yaml

输入一下内容:

  

6、分发安装包

scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers

scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers

然后分别在storm2、storm3上创建软连接

cd /export/servers/

ln -s apache-storm-1.0.3 storm

7、启动集群(要先启动zookeeper集群!!!)

(1)在nimbus.host所属的机器上storm1启动nimbus服务:

cd  /export/servers/storm/bin/

nohup  ./storm  nimbus  &

    ---nohup命令:不挂断地运行命令。原程序的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。nohup  ./storm nimbus   & 后台启动   storm nimbus 前台启动

(2)在nimbus.host所属的机器上storm1启动ui服务:

cd  /export/servers/storm/bin/

nohup  ./storm  ui  &

(3)在其他各节点上storm2和storm3启动supervisor服务:

cd  /export/servers/storm/bin/

nohup  ./storm  supervisor  &

8、查看集群是否部署成功

访问http://storm1:8080/,即可看到storm的ui界面。

Storm1.0.3集群部署的更多相关文章

  1. hbase-2.0.4集群部署

    hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好ha ...

  2. redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  3. 1--redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  4. redis-5.0.5 集群部署

    之前写过一套基于redis-4.0.6版本的测试集群部署 https://www.cnblogs.com/mrice/p/10730309.html 最近生产环境需要部署一套redis-5.0.5版本 ...

  5. redis 3.0的集群部署

    转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到re ...

  6. (转)redis 3.0的集群部署

    一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/ ...

  7. redis3.0.7集群部署手册

    1.用root登录主机2.将redis-3.0.7.tar.gz传送到主机3.将rubygems-update-2.5.2.gem,redis-3.0.0.gem传送到主机4.解压redis-3.0. ...

  8. linux下redis4.0.2集群部署(利用Ruby脚本命令)

    一.原生命令方式和Ruby脚本方式区别 利用Ruby脚本部署和用原生命令部署,节点准备的步骤都是一样的,节点启动后的握手,以及主从.槽分配,利用Ruby脚本一步就能完成,利用原生命令需要一步一步地执行 ...

  9. linux下redis4.0.2集群部署(利用原生命令)

    一.部署架构如下 每台服务器准备2个节点,一主一从,主节点为另外两台其中一台的主,从节点为另外两台其中一台的从. 二.准备6个节点配置文件 在172.28.18.75上操作 cd /etc/redis ...

随机推荐

  1. MT【98】三元对称不等式

    评:这是一道浙江省省赛题,这里利用对称性,设$x\le y\le z$从而解决了问题.值得注意的是此处三元轮换对称正好也是完全对称,但如果变成一般的$n\ge4$元对称问题时,就不能设大小关系.事实上 ...

  2. 学习Spring Boot:(十四)spring-shiro的密码加密

    前言 前面配置了怎么使用 shiro ,这次研究下怎么使用spring shiro的密码加密,并且需要在新增.更新用户的时候,实现生成盐,加密后的密码进行入库操作. 正文 配置凭证匹配器 @Bean ...

  3. 简单prufer应用

    [bzoj1005] Description 自从明明学了树的结构,就对奇怪的树产生了兴趣......给出标号为1到N的点,以及某些点最终的度数,允许在任意两点间连线,可产生多少棵度数满足要求的树? ...

  4. 手速太慢QAQ

    显然D是个细节题,但是还剩1h时看眼榜还没人过EF,只好冷静写D,大概思路是任何时候如果min(n,m)<=2,max(n,m)<=4暴搜,否则直接贪心是很对的,即第一步让S.T长度平均化 ...

  5. 超实用Image类

    using System; using System.Drawing; using System.Drawing.Imaging; using System.IO; using System.Runt ...

  6. 学习6__STM32--SPI外设之中断收发---

    <目标> STM32双机 SPI中断收发通信 <描述> # STM32双机配置为一主一从模式 # 采用主机中断发送,从机中断接收 # 收发机制采用不间断收发(发送为空就发送,接 ...

  7. 解题:NOI 2010 超级钢琴

    题面 WC时候写的题,补一下 做法比较巧妙:记录每个位置和它当前对应区间的左右端点,做前缀和之后重载一下小于号,用优先队列+ST表维护当前最大值.这样贡献就是区间最大值和端点左边差分一下,可以O(1) ...

  8. Stanford机器学习笔记-9. 聚类(K-means算法)

    9. Clustering Content 9. Clustering 9.1 Supervised Learning and Unsupervised Learning 9.2 K-means al ...

  9. Hadoop基础-常见异常剖析之防坑小技巧

    Hadoop基础-常见异常剖析之防坑小技巧 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.

  10. bzoj千题计划287:bzoj1228: [SDOI2009]E&D

    http://www.lydsy.com/JudgeOnline/problem.php?id=1228 打SG函数表,找规律: 若n是奇数m是奇数,则SG(n,m)=0 若n是偶数m是偶数,则SG( ...