170824、storm 环境搭建
/*********************storm 环境搭建 **********************/ 1 安装jdk1.7
2 安装zookeeper集群环境
3 安装Python2.6.6 网址:https://www.python.org/ftp/python/2.6.6/
4 安装storm0.9.1
解压三台机器:
命令:tar -zxvf apache-storm-0.9.2-incubating.tar.gz -C /usr/local/
命令: mv apache-storm-0.9.2-incubating/ apache-storm-0.9.2
5 修改storm配置文件:
1 cd /usr/local/apache-storm-0.9.2/conf
修改命令:vim storm.yaml文件(三台zookeeper的地址)
(1)storm.zookeeper.servers:
- "192.168.80.1"
- "192.168.80.2"
- "192.168.80.3" (2)nimbus.host: "192.168.80.1" (3)创建data目录 添加到配置文件中:mkdir /usr/local/apache-storm-0.9.2/data
storm.local.dir: "/usr/local/apache-storm-0.9.2/data"
(4)配置ui.port
ui.port: 18080
(5)配置supervisor的工作进程
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703 6 把apache-storm-0.9.2使用scp到各个集群的服务器中去。
7 修改配置文件 /etc/profile 把STORM配置到其中去 并 使用scp到各个集群的服务器中去。
命令:vim /etc/profile
修改内容:
export STORM_HOME=/usr/local/apache-storm-0.9.2
export PATH=.:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$PATH
最后分别进行 source /etc/profile
8 首先启动zookeeper集群,然后分别启动运行storm:
192.168.80.1: 主机器(nimbus运行) storm nimbus &
192.168.80.2: 从机器(supervisor运行) storm supervisor &
192.168.80.3: 从机器(supervisor运行) storm supervisor &
192.168.80.1: 主机器(ui运行)storm ui & (查看ui)
192.168.80.1: 主机器(logviewer运行) storm logviewer &(查看工作日志) 9 然后在浏览器中输入主机器的ip,端口默认8080 (http://192.168.80.1:18080/)
这样可以看到storm的一些集群配置,如图
170824、storm 环境搭建的更多相关文章
- storm环境搭建(前言)—— 翻译 Setting Up a Development Environment
Setting Up a Development Environment 搭建storm开发环境所需步骤: Download a Storm release , unpack it, and put ...
- storm环境搭建
备注——使用: 1.单机版本: 启动zkServer.nimbus.supervisor.ui服务: zkServer.sh start zkServer.sh status #查看zkserver是 ...
- 【原】Storm环境搭建
2.Storm环境搭建 单机 ... 集群 ... 搭建Storm开发环境 搭建Storm开发环境主要概括为以下两步: 1.下载Storm发行稳定版,然后解压,最后把解压后的bin/文件所在目录添加到 ...
- Storm环境搭建(分布式集群)
作为流计算的开篇,笔者首先给出storm的安装和部署,storm的第二篇,笔者将详细的介绍storm的工作原理.下边直接上干货,跟笔者的步伐一块儿安装storm. 原文链接:Storm环境搭建(分布式 ...
- 《OD大数据实战》Storm环境搭建
一.环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz ...
- 54.Storm环境搭建
集群环境搭建 关闭防火墙,修改/etc/hosts配置(3台机器的ip可以相互通信) 下载安装jdk7(1.6以上),配置JAVA_HOME, CLASSPATH 搭建Zookeeper集群(保证3台 ...
- mac10.9下eclipse的storm开发环境搭建
--------------------------------------- 博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1& ...
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
随机推荐
- SVN的Branch和Tag管理
dev:开发主线 branch: 部分特殊客户的定制化版本 tag: 主线的某个发布版本 release: 主线的里程碑式的发布版本(相比上一里程碑版本,改动非常大,并且当前已经很稳定的) 你可以在b ...
- 基于CentOS 搭建 FTP 文件服务
系统要求: CentOS 7.2 64 位操作系统 一. 安装 VSFTPD (vsftpd 是在 Linux 上被广泛使用的 FTP 服务器,根据其[官网介绍][https://security.a ...
- String s = new String("xyz");产生了几个对象?
面试官Q1:请问String s = new String("xyz");产生了几个对象? 对于这个问题,老套路先上代码: public class StringTest { pu ...
- OpenCV 学习笔记 04 深度估计与分割——GrabCut算法与分水岭算法
1 使用普通摄像头进行深度估计 1.1 深度估计原理 这里会用到几何学中的极几何(Epipolar Geometry),它属于立体视觉(stereo vision)几何学,立体视觉是计算机视觉的一个分 ...
- 7.翻译系列:EF 6中的继承策略(EF 6 Code-First 系列)
原文地址:http://www.entityframeworktutorial.net/code-first/inheritance-strategy-in-code-first.aspx EF 6 ...
- Django-基础-2-ORM
参考文章: http://www.cnblogs.com/haiyan123/p/7732190.html https://www.cnblogs.com/liuqingzheng/articles/ ...
- 复习下C 链表操作(双向循环链表,查找循环节点)
双向循环链表 和 单向循环链表 查找循环节点 思路都是一样. 快慢指针查找法. 理论可参考 c 链表之 快慢指针 查找循环节点 typedef struct Student_Double { ]; ...
- (转)PyCharm报错:“No R interpreter defined: Many R……”——解决办法
报错截图: 下载安装链接:The Comprehensive R Archive Network
- 【iCore4 双核心板】DEMO V1.0 测试程序发布
iCore4 Demo V1.0程序说明 一.概要 本资料包含5个文件夹: 1.“arm”里是iCore4上arm的程序包,开发环境为KEIL5.17: 2.“fpga”里是iCore4上FPGA的程 ...
- <王二的经济学故事>读书笔记
不是简单地用价格把供需弄平衡就完事了,座位分配给谁同样重要 一个成功的社会必须要有成功的人,必须要给成功的人应得的回报 需求曲线向下倾斜,价格越高需求越少 先来的都是那些时间最不值钱的 无论收入分配差 ...
