170824、storm 环境搭建
/*********************storm 环境搭建 **********************/ 1 安装jdk1.7
2 安装zookeeper集群环境
3 安装Python2.6.6 网址:https://www.python.org/ftp/python/2.6.6/
4 安装storm0.9.1
解压三台机器:
命令:tar -zxvf apache-storm-0.9.2-incubating.tar.gz -C /usr/local/
命令: mv apache-storm-0.9.2-incubating/ apache-storm-0.9.2
5 修改storm配置文件:
1 cd /usr/local/apache-storm-0.9.2/conf
修改命令:vim storm.yaml文件(三台zookeeper的地址)
(1)storm.zookeeper.servers:
- "192.168.80.1"
- "192.168.80.2"
- "192.168.80.3" (2)nimbus.host: "192.168.80.1" (3)创建data目录 添加到配置文件中:mkdir /usr/local/apache-storm-0.9.2/data
storm.local.dir: "/usr/local/apache-storm-0.9.2/data"
(4)配置ui.port
ui.port: 18080
(5)配置supervisor的工作进程
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703 6 把apache-storm-0.9.2使用scp到各个集群的服务器中去。
7 修改配置文件 /etc/profile 把STORM配置到其中去 并 使用scp到各个集群的服务器中去。
命令:vim /etc/profile
修改内容:
export STORM_HOME=/usr/local/apache-storm-0.9.2
export PATH=.:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$PATH
最后分别进行 source /etc/profile
8 首先启动zookeeper集群,然后分别启动运行storm:
192.168.80.1: 主机器(nimbus运行) storm nimbus &
192.168.80.2: 从机器(supervisor运行) storm supervisor &
192.168.80.3: 从机器(supervisor运行) storm supervisor &
192.168.80.1: 主机器(ui运行)storm ui & (查看ui)
192.168.80.1: 主机器(logviewer运行) storm logviewer &(查看工作日志) 9 然后在浏览器中输入主机器的ip,端口默认8080 (http://192.168.80.1:18080/)
这样可以看到storm的一些集群配置,如图
170824、storm 环境搭建的更多相关文章
- storm环境搭建(前言)—— 翻译 Setting Up a Development Environment
Setting Up a Development Environment 搭建storm开发环境所需步骤: Download a Storm release , unpack it, and put ...
- storm环境搭建
备注——使用: 1.单机版本: 启动zkServer.nimbus.supervisor.ui服务: zkServer.sh start zkServer.sh status #查看zkserver是 ...
- 【原】Storm环境搭建
2.Storm环境搭建 单机 ... 集群 ... 搭建Storm开发环境 搭建Storm开发环境主要概括为以下两步: 1.下载Storm发行稳定版,然后解压,最后把解压后的bin/文件所在目录添加到 ...
- Storm环境搭建(分布式集群)
作为流计算的开篇,笔者首先给出storm的安装和部署,storm的第二篇,笔者将详细的介绍storm的工作原理.下边直接上干货,跟笔者的步伐一块儿安装storm. 原文链接:Storm环境搭建(分布式 ...
- 《OD大数据实战》Storm环境搭建
一.环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz ...
- 54.Storm环境搭建
集群环境搭建 关闭防火墙,修改/etc/hosts配置(3台机器的ip可以相互通信) 下载安装jdk7(1.6以上),配置JAVA_HOME, CLASSPATH 搭建Zookeeper集群(保证3台 ...
- mac10.9下eclipse的storm开发环境搭建
--------------------------------------- 博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1& ...
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
随机推荐
- Sublime美化配置
1.主题预览 material主题:https://equinsuocha.io/material-theme/#/default 2.效果预览 { "ignored_packages&qu ...
- scala recursive value x$5 needs type
recursive value x$5 needs type的原因是使用了一个类型不确定的变量,例如 val (id, name) = (id, getName(id)) 其中id是个变量,其值还不确 ...
- shell变量的截取总结
#shell变量的截取 Shell中的${}.##和%% 假设定义了一个变量为: 代码如下: file=/dir1/dir2/dir3/my.file.txt //变量的删除 可以用${ }分别替换得 ...
- 解决ScrollView嵌套RecyclerView的显示及滑动问题
项目中时常需要实现在ScrollView中嵌入一个或多个RecyclerView.这一做法通常会导致如下几个问题 页面滑动卡顿 ScrollView高度显示不正常 RecyclerView内容 ...
- 适配器模式在Android中的应用
工资翻倍篇之适配器模式 先了解一下适配器的基本概念,然后再详细分析一些适配器的样例,最后通过Android开发中经常使用的适配器模式进行分析,保证对适配器模式理解透彻. 适配器模式可分为三类:类的适配 ...
- SNF快速开发平台MVC-EasyUI3.9之-ueditor富文本编辑在 asp.net MVC下使用步骤
mvc项目中用到了这个富文本编辑就试着把遇到的问题个使用步骤在这里记录一下,希望大家少走弯路. 1.首先我们先下载net版本的uediot 2.然后把整个文档拷贝到我们的项目中,记得是整个 把下载的文 ...
- 完美的代码生成器SNF.CodeGenerator-快速开发者的利器--SNF快速开发平台3.1
第1章 SNF.CodeGenerator代码生成器简介 本项目是完全基于Spring.Net.Framework 平台进行研发.与Spring.Net.Framework平台无缝衔接.并支持模型层. ...
- 为何float有效位数为7位?
为何float有效位数为7位? 首先我们应该明确一点:C语言中,%f表示保留7位有效数字7位有效数字: 是指 整数部分 和小数部分一共7位 单精度数的尾数用23位存储,加上默认的小数点前的1位1,2^ ...
- (Java编程思想)Thinking in Java
1. 为什么突然想去研读<Thinking in Java>? 最近终于下定决心撸了一本<Thinking in Java>第四版,虽然在此之前我就久闻这本书的大名,但一直未曾 ...
- 详解CUDA编程
CUDA 是 NVIDIA 的 GPGPU 模型,它使用 C 语言为基础,可以直接以大多数人熟悉的 C 语言,写出在显示芯片上执行的程序,而不需要去学习特定的显示芯片的指令或是特殊的结构.” 编者注: ...
