Storm集群部署

所有集群部署的基本流程都差不多:下载安装包并上传、解压安装包并配置环境变量、修改配置文件、分发安装包、启动集群、查看集群是否部署成功。

1、所有的集群上都要配置hosts

vi  /etc/hosts

192.168.33.201  storm1  hadoop1  zk1

192.168.33.202  storm2  hadoop2  zk2

192.168.33.203  storm3  hadoop3  zk3

2、集群部署的基础环境准备

安装前,zookeeper集群已经部署完毕!!!

创建工作目录并赋权(三台机器都要创建)

mkdir /export

mkdir /export/servers

chmod 755 -R /export

3、下载安装包并上传

从官网下载http://storm.apache.org/。  下载好了将安装包上传(alt+P)。

4、解压安装包并配置环境变量

tar -zxvf apache-storm-1.0.3.tar.gz -C /export/servers

cd  /export/servers/

ln -s apache-storm-1.0.3 storm

     ---ln -s 源文件 目标文件:创建软连接

     ---当我们需要在不用的目录,用到相同的文件时,我们不需要再每一个需要的目录下都放一个必须相同的文件。我们只要在某个固定的目录,放上该文件,

      然后在其他的目录下用ln 命令链接它就可以了。不必重复占用磁盘空间!

配置环境变量:

export STORM_HOME=/export/servers/apache-storm-1.0.3

export PATH=.:$STORM_HOME/bin:$...

配置完source  /etc/profile

将profile文件拷贝到其他两台机器上

scp  /etc/profile  storm2:/etc/

scp  /etc/profile  storm3:/etc/

拷贝完成后都要刷新环境变量source  /etc/profile

5、修改配置文件

vi  /export/servers/storm/conf/storm.yaml

输入一下内容:

  

6、分发安装包

scp -r /export/servers/apache-storm-1.0.3 storm2:/export/servers

scp -r /export/servers/apache-storm-1.0.3 storm3:/export/servers

然后分别在storm2、storm3上创建软连接

cd /export/servers/

ln -s apache-storm-1.0.3 storm

7、启动集群(要先启动zookeeper集群!!!)

(1)在nimbus.host所属的机器上storm1启动nimbus服务:

cd  /export/servers/storm/bin/

nohup  ./storm  nimbus  &

    ---nohup命令:不挂断地运行命令。原程序的标准输出被自动改向到当前目录下的nohup.out文件,起到了log的作用。nohup  ./storm nimbus   & 后台启动   storm nimbus 前台启动

(2)在nimbus.host所属的机器上storm1启动ui服务:

cd  /export/servers/storm/bin/

nohup  ./storm  ui  &

(3)在其他各节点上storm2和storm3启动supervisor服务:

cd  /export/servers/storm/bin/

nohup  ./storm  supervisor  &

8、查看集群是否部署成功

访问http://storm1:8080/,即可看到storm的ui界面。

Storm1.0.3集群部署的更多相关文章

  1. hbase-2.0.4集群部署

    hbase-2.0.4集群部署 1. 集群节点规划: rzx1 HMaster,HRegionServer rzx2 HRegionServer rzx3 HRegionServer 前提:搭建好ha ...

  2. redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  3. 1--redis3.0.5集群部署安装详细步骤

    Redis集群部署文档(centos6系统) (要让集群正常工作至少需要3个主节点,在这里我们要创建6个redis节点,其中三个为主节点,三个为从节点,对应的redis节点的ip和端口对应关系如下) ...

  4. redis-5.0.5 集群部署

    之前写过一套基于redis-4.0.6版本的测试集群部署 https://www.cnblogs.com/mrice/p/10730309.html 最近生产环境需要部署一套redis-5.0.5版本 ...

  5. redis 3.0的集群部署

    转载请注明出处:http://hot66hot.iteye.com/admin/blogs/2050676 最近研究redis-cluster,正好搭建了一个环境,遇到了很多坑,系统的总结下,等到re ...

  6. (转)redis 3.0的集群部署

    一:关于redis cluster 1:redis cluster的现状 reids-cluster计划在redis3.0中推出,可以看作者antirez的声明:http://antirez.com/ ...

  7. redis3.0.7集群部署手册

    1.用root登录主机2.将redis-3.0.7.tar.gz传送到主机3.将rubygems-update-2.5.2.gem,redis-3.0.0.gem传送到主机4.解压redis-3.0. ...

  8. linux下redis4.0.2集群部署(利用Ruby脚本命令)

    一.原生命令方式和Ruby脚本方式区别 利用Ruby脚本部署和用原生命令部署,节点准备的步骤都是一样的,节点启动后的握手,以及主从.槽分配,利用Ruby脚本一步就能完成,利用原生命令需要一步一步地执行 ...

  9. linux下redis4.0.2集群部署(利用原生命令)

    一.部署架构如下 每台服务器准备2个节点,一主一从,主节点为另外两台其中一台的主,从节点为另外两台其中一台的从. 二.准备6个节点配置文件 在172.28.18.75上操作 cd /etc/redis ...

随机推荐

  1. mysql账户添加远程访问

    我们要将root账户设置为远程可访问 mysql> show databases; +--------------------+ | Database | +------------------ ...

  2. 【字符串算法2】浅谈Manacher算法

    [字符串算法1] 字符串Hash(优雅的暴力) [字符串算法2]Manacher算法 [字符串算法3]KMP算法 这里将讲述  字符串算法2:Manacher算法 问题:给出字符串S(限制见后)求出最 ...

  3. 解题:CF1118F2 Tree Cutting (Hard Version)

    题面 好题不问Div(这是Div3最后一题,不得不说Mike真是强=.=) 首先同一个颜色的点的LCA要和它们在一个划分出的块里,那么我们先按颜色把所有点到它们的LCA的路径涂色,如果这个过程中出现了 ...

  4. HDU 5574 Colorful Tree

    • 给出一棵树,每个点有初始的颜色,支持两种操作• 将一个点的子树染成一种给定颜色• 问一个点的子树里有几种不同的颜色 •

  5. HDU 6156 数位dp

    Palindrome Function Time Limit: 8000/4000 MS (Java/Others)    Memory Limit: 256000/256000 K (Java/Ot ...

  6. Centos6.6下编译安装Apache2.2.31

    安装环境: [root@apache ~]# cat /etc/redhat-release CentOS release 6.6 (Final) [root@apache ~]# uname -r ...

  7. 「Vue」vue cli3项目打包为APP方法及坑点

    1.执行npm run build之后生成dist文件夹 2.打开HBuilderX新建一个APP项目 3.把dist文件夹里的所有文件拷贝替换到APP文件夹下 4.打开manifest.json文件 ...

  8. Mac OS利用ssh访问ubuntu虚拟机及云端操作

    1.桥接模式 将该虚拟机的网口设置成桥接模式(Bridged Adapter),以确保主机可以ping通虚拟机: 2.安装ssh 在ubuntu虚拟机上安装ssh server: sudo apt-g ...

  9. JAVA记录-JSP内容

    JSP(JavaServer Pages )是什么? JavaServer Pages(JSP)是一种支持动态内容开发的网页技术它可以帮助开发人员通过利用特殊的JSP标签,其中大部分以<%开始并 ...

  10. NP难问题求解综述

    NP难问题求解综述 摘要:定义NP问题及P类问题,并介绍一些常见的NP问题,以及NP问题的一些求解方法,最后最NP问题求解的发展方向做一些展望.   关键词:NP难问题 P类问题 算法 最优化问题   ...