1.安装storm

下载storm安装包

在线下载

wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

或者下载到本地,再上传服务器

解压到安装目录

tar -zxvf 安装包名

配置环境变量

vi /etc/profile

#storm环境变量

export STORM_HOME=/opt/deploy/apache-storm-1.1.1

export PATH=$PATH:$STORM_HOME/bin

2.编写配置文件

(注意第一列需要有一个空格)

storm.yaml文件(注意:storm.yaml配置,凡是有冒号的地方,冒号后都要有个空格)

vi storm.yaml

#zookeeper服务器ip

storm.zookeeper.servers:

- "ip"

- "ip"

- "ip"

# nimbus

nimbus.seeds: ["ip"]

#zookeeper端口

storm.zookeeper.port: 2181

#storm少量数据存放地址

storm.local.dir: "/opt/deploy/apache-storm-1.1.1/data"

#storm访问的UI界面端口

ui.port: 8080

supervisor.slots.ports:

- 6700

- 6701

- 6702

- 6703

注意事项:

1.servers和seeds写对应机器ip,名字有时候启动后会出现hostname不识别报错

2.storm中写入的zk端口要和zk的启动端口一致(及时确认端口信息)

3.storm.yaml配置文件集群上每台机器都一样,如果后期修改,确认三台机器修改后仍保持一致。

创建data文件夹 mkdir apache-storm-1.1.1/data

赋给文件夹读写的权限

sudo chmod -R 777 data

注释:

-R 是指级联应用到目录里的所有子目录和文件

777 是所有用户都拥有最高权限

将文件传入其他节点:

scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/

scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/

开启防火墙(每一台机器都需要开通)

需开放的端口:

8080、2181、6700、6701、6702、6703、6627(分配给主节点的端口)

firewall-cmd --add-port=9086/tcp --permanent

firewall-cmd --reload

3.启动

测试安装是否成功

3.1 master节点:Storm1

启动nimbus和ui服务及logviwer日志服务。

nohup /opt/deploy/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &

nohup /opt/deploy/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &

nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &

3.2 slave节点:Storm2、Storm3

启动supervisor服务。

nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &

nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &

3.3 jps查看进程

master节点

jps

出现以下显示

3828 Jps

3485 nimbus

3437 core

63204 logviewer(如果不启动logviewer则没有此进程)

slave节点

jps

出现以下显示

1896 Jps

1726 supervisor

85894 LogWriter(如果不启动 logviewer 则没有此进程)

4、查看storm ui页面

访问storm1:8080查看storm ui页面:(ip:端口号)

centos7:storm集群环境搭建的更多相关文章

  1. 一:Storm集群环境搭建

    第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...

  2. Storm —— 集群环境搭建

    一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...

  3. Storm 学习之路(四)—— Storm集群环境搭建

    一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...

  4. Storm 系列(四)—— Storm 集群环境搭建

    一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...

  5. 大数据处理框架之Strom:Storm集群环境搭建

    搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo)      zookeeper-3.4.11 jdk1.7.0_80      Pyth ...

  6. storm集群环境搭建

    1.环境 Java环境 卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量 2.安装storm 下载storm安装包 解压到安装目录,配置环境变量 vi /etc/profile # ...

  7. 大数据 -- Hadoop集群环境搭建

    首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...

  8. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。

    Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...

  9. Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0

    如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...

随机推荐

  1. spring中spEL常用应用场景

    spEL表达式表示:#{} 一.基本类型值运算操作 {}可以放置数字,字符串,布尔型,表达式(运算,正则,逻辑).这个应用场景和EL表达式一样的,实际中用的也不多. 注意:在XML中表示==,> ...

  2. PAT Advanced 1050 String Subtraction (20 分)

    Given two strings S​1​​ and S​2​​, S=S​1​​−S​2​​ is defined to be the remaining string after taking ...

  3. 为什么 Android 开发者都应该尝试一下 Anko?

    简评: 这里介绍的仅仅是 Anko 中很小的一部分,Kotlin + Anko 真的让 Android 开发简化了不少,用了 Anko 基本就可以告别那些什么 Android 不得不知的代码收集贴了. ...

  4. 多线程使用@Async注解创建多线程,自定义线程池

    转载自博客https://www.jianshu.com/p/7ac04a501eba

  5. SpringMVC 向页面传值-Map、Model和ModelMap

    除了使用ModelAndView方式外.还可以使用Map.Model和ModelMap来向前台页面传值 使用后面3种方式,都是在方法参数中,指定一个该类型的参数.例如: Java代码 @Request ...

  6. 从mysql8.0.15升级到8.0.16

    从mysql8.0.15升级到8.0.16 环境简介 操作系统:Centos 6.10 64位 目前版本:8.0.15 MySQL Community Server 二进制 目的:升级为8.0.16 ...

  7. win2008 ad域控搭建

    一.前言 1.1 AD 域服务 什么是目录(directory)呢? 日常生活中使用的电话薄内记录着亲朋好友的姓名.电话与地址等数据,它就是 telephone directory(电话目录):计算机 ...

  8. 关于 ATL 中 CComControl 的构造

    分享一篇 C++语言 & ATL 的高阶解读笔记,你需要在C++语言特性中上串下跳,应该算篇有质量的文章. class ATL_NO_VTABLE CHello : // ... public ...

  9. Linux 系统磁盘空间占满,df 和 du 结果不一致

    服务器运行一段时间后df查看磁盘剩余空间不足,通过du统计发现被几个文件占用,遂删除之.过了一段时间磁盘空间再次不足,通过du统计却找不到那么多大文件.搜索后才得知原因:文件删除后空间没有释放,du统 ...

  10. 泛型(二)封装工具类CommonUtils-把一个Map转换成指定类型的javabean对象

    1.commons-beanutils的使用 commons-beanutils-1.9.3.jar 依赖 commons-logging-1.2.jar 代码1: String className ...