centos7:storm集群环境搭建
1.安装storm
下载storm安装包
在线下载
wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz
或者下载到本地,再上传服务器
解压到安装目录
tar -zxvf 安装包名
配置环境变量
vi /etc/profile
#storm环境变量
export STORM_HOME=/opt/deploy/apache-storm-1.1.1
export PATH=$PATH:$STORM_HOME/bin
2.编写配置文件
(注意第一列需要有一个空格)
storm.yaml文件(注意:storm.yaml配置,凡是有冒号的地方,冒号后都要有个空格)
vi storm.yaml
#zookeeper服务器ip
storm.zookeeper.servers:
- "ip"
- "ip"
- "ip"
# nimbus
nimbus.seeds: ["ip"]
#zookeeper端口
storm.zookeeper.port: 2181
#storm少量数据存放地址
storm.local.dir: "/opt/deploy/apache-storm-1.1.1/data"
#storm访问的UI界面端口
ui.port: 8080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
注意事项:
1.servers和seeds写对应机器ip,名字有时候启动后会出现hostname不识别报错
2.storm中写入的zk端口要和zk的启动端口一致(及时确认端口信息)
3.storm.yaml配置文件集群上每台机器都一样,如果后期修改,确认三台机器修改后仍保持一致。
创建data文件夹 mkdir apache-storm-1.1.1/data
赋给文件夹读写的权限
sudo chmod -R 777 data
注释:
-R 是指级联应用到目录里的所有子目录和文件
777 是所有用户都拥有最高权限
将文件传入其他节点:
scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/
scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/
开启防火墙(每一台机器都需要开通)
需开放的端口:
8080、2181、6700、6701、6702、6703、6627(分配给主节点的端口)
firewall-cmd --add-port=9086/tcp --permanent
firewall-cmd --reload
3.启动
测试安装是否成功
3.1 master节点:Storm1
启动nimbus和ui服务及logviwer日志服务。
nohup /opt/deploy/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &
nohup /opt/deploy/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &
nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &
3.2 slave节点:Storm2、Storm3
启动supervisor服务。
nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &
nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &
3.3 jps查看进程
master节点
jps
出现以下显示
3828 Jps
3485 nimbus
3437 core
63204 logviewer(如果不启动logviewer则没有此进程)
slave节点
jps
出现以下显示
1896 Jps
1726 supervisor
85894 LogWriter(如果不启动 logviewer 则没有此进程)
4、查看storm ui页面
访问storm1:8080查看storm ui页面:(ip:端口号)
centos7:storm集群环境搭建的更多相关文章
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 学习之路(四)—— Storm集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
- Storm 系列(四)—— Storm 集群环境搭建
一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...
- 大数据处理框架之Strom:Storm集群环境搭建
搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo) zookeeper-3.4.11 jdk1.7.0_80 Pyth ...
- storm集群环境搭建
1.环境 Java环境 卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量 2.安装storm 下载storm安装包 解压到安装目录,配置环境变量 vi /etc/profile # ...
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(十二)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网。
Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭 ...
- Kafka:ZK+Kafka+Spark Streaming集群环境搭建(二)安装hadoop2.9.0
如何搭建配置centos虚拟机请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.& ...
随机推荐
- SugarCRM开发入门
SugarCRM官网下载地址:https://sourceforge.net/projects/sugarcrm/ 概述 Sugar最初是基于LAMP(Linux.Apache.MySQL和PHP)运 ...
- javascript之定时器的使用
一:什么是定时器 (一)无限循环定时器 <script> window.onload = function(){ function test(){ alert("test&quo ...
- websocket和通信
最近默默的在学websocket,推荐的当然是阮一峰的博客了,其中也学到了不少 可以去看看咯 http://www.ruanyifeng.com/blog/2017/05/websocket.htm ...
- mysql的视图、索引、触发器、存储过程
USE school; SELECT * FROM sc; SELECT * FROM course; SELECT * FROM student; SELECT * FROM teacher; -- ...
- Python 3标准库第三章
时间过得很快,又是一周过去了,今天感觉迷迷糊糊的,不在状态,然后,下面开始我们的讲解,还是跟大家分享一下我自己的一些想法,第一.怎么讲了,就是各位如果有怀才不遇的想法,我感觉最好不要有这种想法;第二. ...
- C++为什么不可以把一个数组直接赋值给另一个数组
今天好奇一个问题, int a[3] = {1,2,3]; int b[3]; b=a; 编译器报错, 网上找了一圈, 大概明白: C++就是如此设定的, 数组不能直接赋值, 可以使用std::cop ...
- Hystrix——让你的服务更稳一点
摘要: 1.为什么要用Hystrix在分布式服务环境下,服务之间的调用关系变得错综复杂,你是否担心依赖的服务延迟导致自己的服务也被拖跨呢?是否在苦苦思考如何优雅的对依赖服务进行异步调用呢?是否希望当流 ...
- excel中汉字转拼音
Excel中文转拼音(完整版)打开Excel->工具->宏->Viaual Basic编辑器在弹出来的窗口中对着VBAproject点右键->插入->模块下面会出现一个名 ...
- 解决postgresql在docker中无法保存状态的问题
PS:最佳解决方式是将目录挂载到宿主机,容器出问题了,数据还在,以下方式容器出问题会丢失数据,以下思想只供参考!!! 用过docker的人都知道,docker是不适合来放数据库的,这也不是绝对的.如果 ...
- 正则获取a标签和a标签中的href地址
/(<\/?a.*?>)/ a标签 /<a\b.*?</a>/ 表式以"<a "(有空格) 开始 以"</a>" ...