Storm集群部署

所有集群部署的基本流程都差不多:下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。

1、所有的集群上都要配置hosts

vi  /etc/hosts

192.168.33.201  storm1  hadoop1  zk1

192.168.33.202  storm2  hadoop2  zk2

192.168.33.203  storm3  hadoop3  zk3

2、集群部署的基础环境准备

安装前,zookeeper集群已经部署完毕!!!

创建工作目录并赋权(三台机器都要创建)

mkdir /export

mkdir /export/servers

chmod 755 -R /export

3、下载安装包并上传

从官网下载http://storm.apache.org/。  下载好了将安装包上传(alt+P)。

4、解压安装包并配置环境变量

tar -zxvf apache-storm-1.0.3.tar.gz -C /export/servers

cd  /export/servers/

ln -s apache-storm-1.0.3 storm

     ---ln -s 源文件 目标文件:创建软连接

     ---当我们需要在不用的目录,用到相同的文件时,我们不需要再每一个需要的目录下都放一个必须相同的文件。我们只要在某个固定的目录,放上该文件,

      然后在其他的目录下用ln 命令链接它就可以了。不必重复占用磁盘空间!

配置环境变量:

export STORM_HOME=/export/servers/apache-storm-1.0.3

export PATH=.:$STORM_HOME/bin:$...

配置完source  /etc/profile

将profile文件拷贝到其他两台机器上

scp  /etc/profile  storm2:/etc/

scp  /etc/profile  storm3:/etc/

拷贝完成后都要刷新环境变量source  /etc/profile

5、修改配置文件

vi  /export/servers/storm/conf/storm.yaml

输入一下内容:

  

6、分发安装包

scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers

scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers

然后分别在storm2、storm3上创建软连接

cd /export/servers/

ln -s apache-storm-1.0.3 storm

7、启动集群(要先启动zookeeper集群!!!)

(1)在nimbus.host所属的机器上storm1启动nimbus服务:

cd  /export/servers/storm/bin/

nohup  ./storm  nimbus  &

    ---nohup命令:不挂断地运行命令。原程序的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。nohup  ./storm nimbus   & 后台启动   storm nimbus 前台启动

(2)在nimbus.host所属的机器上storm1启动ui服务:

cd  /export/servers/storm/bin/

nohup  ./storm  ui  &

(3)在其他各节点上storm2和storm3启动supervisor服务:

cd  /export/servers/storm/bin/

nohup  ./storm  supervisor  &

8、查看集群是否部署成功

访问http://storm1:8080/,即可看到storm的ui界面。

Storm1.0.3集群部署的更多相关文章

  1. hbase-2.0.4集群部署

    hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好ha ...

  2. redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  3. 1--redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  4. redis-5.0.5 集群部署

    之前写过一套基于redis-4.0.6版本的测试集群部署 https://www.cnblogs.com/mrice/p/10730309.html 最近生产环境需要部署一套redis-5.0.5版本 ...

  5. redis 3.0的集群部署

    转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到re ...

  6. (转)redis 3.0的集群部署

    一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/ ...

  7. redis3.0.7集群部署手册

    1.用root登录主机2.将redis-3.0.7.tar.gz传送到主机3.将rubygems-update-2.5.2.gem,redis-3.0.0.gem传送到主机4.解压redis-3.0. ...

  8. linux下redis4.0.2集群部署(利用Ruby脚本命令)

    一.原生命令方式和Ruby脚本方式区别 利用Ruby脚本部署和用原生命令部署,节点准备的步骤都是一样的,节点启动后的握手,以及主从.槽分配,利用Ruby脚本一步就能完成,利用原生命令需要一步一步地执行 ...

  9. linux下redis4.0.2集群部署(利用原生命令)

    一.部署架构如下 每台服务器准备2个节点,一主一从,主节点为另外两台其中一台的主,从节点为另外两台其中一台的从. 二.准备6个节点配置文件 在172.28.18.75上操作 cd /etc/redis ...

随机推荐

  1. APIO模拟赛(HGOI20180909)

    想法:贪心. A.最大高度大的先剪 首先需要知道: 1.每个草最多剪1次 假设有个草剪了2次,显然可以放到最后一次剪得效果和剪2次的效果一样的, 为了少剪那么草最多剪去一次,从而,步数step> ...

  2. 【bzoj3489】 A simple rmq problem

    http://www.lydsy.com/JudgeOnline/problem.php?id=3489 (题目链接) 题意 在线求区间不重复出现的最大的数. Solution KDtree竟然能够处 ...

  3. 五、spring boot 1.5.4 集成 jpa+hibernate+jdbcTemplate

    1.pom添加依赖 <!-- spring data jpa,会注入tomcat jdbc pool/hibernate等 --> <dependency> <group ...

  4. CF1027C Minimum Value Rectangle

    之前做的时候没想出来...现在来数学推导一波. 题意:从n个木棒中选出4个拼成一个矩形,使得 (周长)2/面积 最小. 解:设矩形宽a长b.我们要最小化下面这个式子: 去掉常数,不妨设b = a + ...

  5. npm 设置地址

    -- 查看当前地址: npm config get registry https://registry.npmjs.org/ npm config get disturl undefined -- 设 ...

  6. Nginx 连接限制和访问控制Nginx 连接限制和访问控制

    Nginx 连接限制和访问控制   前言 Nginx自带的模块支持对并发请求数进行限制, 还有对请求来源进行限制.可以用来防止DDOS攻击.阅读本文须知道nginx的配置文件结构和语法. 连接限制 l ...

  7. Hadoop生态圈-Kafka的完全分布式部署

    Hadoop生态圈-Kafka的完全分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客主要内容就是搭建Kafka完全分布式,它是在kafka本地模式(https:/ ...

  8. 函数和常用模块【day04】: 总结(十二)

  9. 第一节 Spring的环境搭建

     正在构建,扫一扫,敬请期待 和玩得来的人在一起玩才叫玩! 和玩不来的人在一起玩,那种感觉就像加班啊! 关注胖个人微信公众账号,希望对各位学生有所帮助! --胖先生 Spring框架,什么是Sprin ...

  10. JavaScript的单线程性质以及定时器的工作原理

    前些日子还在网上争论过js动画用setTimeout还是setInterval,个人偏向于setTimeout,当动画中牵扯到ajax时用setInterval会有时间偏差,出现一些问题即使用clea ...