storm集群环境搭建
1.环境
Java环境
卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量
2.安装storm
下载storm安装包
解压到安装目录,配置环境变量
vi /etc/profile
#storm环境变量
export STORM_HOME=/opt/deploy/storm/apache-storm-1.1.1
export PATH=$PATH:$STORM_HOME/bin
3.编写配置文件
storm.yaml文件
vi storm.yaml
#zookeeper集群虚机ip
storm.zookeeper.servers:
- "192.168.0.1"
- "192.168.0.2"
- "192.168.0.3"
#nimbus机器ip
nimbus.seeds: ["192.168.0.4"]
#zookeeper端口
storm.zookeeper.port: 2181
#storm少量数据存放地址
storm.local.dir: "/opt/deploy/storm/apache-storm-1.1.1/data"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
创建data文件夹 mkdir apache-storm-1.1.1/data
赋给文件夹读写的权限
sudo chmod -R 777 data
注释:
-R 是指级联应用到目录里的所有子目录和文件
777 是所有用户都拥有最高权限
配置完成后通过scp命令分发到storm集群的其他机器上,并修改相应的配置文件
4.启动,测试安装是否成功
4.1 master节点:Storm1
启动nimbus和ui服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &
4.2 slave节点:Storm2、Storm3
启动supervisor服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &
4.3 jps查看进程
master节点
jps
出现以下显示
2947 QuorumPeerMain
3828 Jps
3485 nimbus
3437 core
slave节点
jps
出现以下显示
1896 Jps
1628 QuorumPeerMain
1726 supervisor
5、访问storm1:8888查看storm ui页面
192.168.0.121:8888
备注:
如果storm ui页面无法访问,检查一下服务器的防火墙是否没有关闭
CentOS 7.0默认使用的是firewall作为防火墙
查看防火墙状态
firewall-cmd --state
1
停止firewall
systemctl stop firewalld.service
1
禁止firewall开机启动
systemctl disable firewalld.service
storm集群环境搭建的更多相关文章
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 学习之路(四)—— Storm集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 系列(四)—— Storm 集群环境搭建
一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...
- 大数据处理框架之Strom:Storm集群环境搭建
搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Pyth ...
- centos7:storm集群环境搭建
1.安装storm 下载storm安装包 在线下载 wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.t ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- Hadoop+Spark:集群环境搭建
环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...
- 项目进阶 之 集群环境搭建(三)多管理节点MySQL集群
上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点 ...
随机推荐
- 魔术矩阵Java代码
//该魔术矩阵默认从右上角45度递增 //@漫流——595128841在qq点com //import java.util.Arrays; //用于打印API函数 public class 魔方矩阵 ...
- PAT Advanced 1048 Find Coins (25 分)
Eva loves to collect coins from all over the universe, including some other planets like Mars. One d ...
- python连接 MySQ 数据库
python 是目前比较流行的语言,所以学习一下 首先需要 安装MySQL-python驱动 下载地址:http://dev.mysql.com/downloads/connector/python/ ...
- 算法复习-a 到 z不完全排列生成
在网上看到这个题,觉得很有意思,也算是一种方法...但是复杂度同样很高,生成全排列本身需要很大复杂度. 题目:现在有 a 到 z 26 个元素, 编写程序打印 a 到 z 中任取 3 个元素的组合(比 ...
- Github Actions教程:运行python代码并Push到远端仓库
我自己做了一个网站,这个网站会使用一个python脚本来生成. 具体生成的方法是python脚本会读取目录下的csv文件,将每一行数据解析成固定格式,然后生成html文件,最后需要将修改后的文件自动p ...
- mvn 本地jar包 加入自己的maven仓库
-Dfile :你的jar的名称 -DgroupId :在pom中的groupId -DartifactId :在pom中的artifactId -Dversion :在pom中的version 在j ...
- mysql 创建用户和授权
https://www.cnblogs.com/sos-blue/p/6852945.html
- noip模拟题 Market
题面描述: 数据范围: Solution: 我们发现\(v\)很小,但是\(M\)很大,考虑转化一下一般的背包 我们用\(f[v]\)来表示拿到价值为\(v\)的物品需要付出的最少代价,特别的,当\( ...
- NABCD分析——生活日历
N(Need)需求 本软件的主体为日历.如今人们的生活趋于现代化,大家主要通过手机来查看日期,但我们每一天都有想要做或未完成的事情,也存在对自己有特殊意义的日子.每天人们都会有或大或小的支出与收入,想 ...
- sqli-labs(20)
0X01 试探一下 这是登录成功的页面 这里题目高速我们是基于cookie的注入 0X01抓包试探 这里登陆的时候有两个包 我们要含有cookie的那个包 0X02试探判断是否cookie存在注入 C ...