storm的安装配置
一、安装Zookeeper
1、设置.profile文件:
export ZOOKEEPER_HOME=/home/hadoop/streamdata/zookeeper-3.4.5-cdh4.5.0
export PATH=$PATH:$ZOOKEEPER_HOME/bin
2、设置zoo.cfg文件:
tickTime=2000
dataDir=/home/hadoop/streamdata/data/zookeeper/
clientPort=2181
initLimit=5
syncLimit=2
server.1=kit-bg1:2888:3888
server.2=kit-bg2:2888:3888
server.3=kit-bg3:2888:3888
3、设置myid文件。分别在各机器的dataDir指定的目录下,创建myid文件,kit-bg1上内容为"1",kit-bg2内容为"2",kit-bg3内容为"3"。
4、命令:
zkServer.sh start 需在各机分别执行
zkServer.sh status
zkServer.sh stop
zkCli.sh 客户端测试
二、安装zeromq-2.1.7
下载解压缩后,执行:
cd zeromq-2.1.7
./configure
make
su
make install
问题:
错误: configure: error: no acceptable C compiler found in $PATH
解决:yum -y install gcc
错误: configure: error: Unable to find a working C++ compiler
解决:yum -y install gcc-c++
错误:configure: error: cannot link with -luuid, install uuid-dev.
解决:yum -y install *uuid-devel*
三、安装jzmq
从https://github.com/nathanmarz/jzmq下载源码,执行:
cd jzmq
./autogen.sh
./configure
make
su
make install
问题:
错误:autogen.sh: error: could not find libtool. libtool is required to run autogen.sh.
解决:yum -y install libtool
四、安装storm
设置.profile文件:
export STORM_HOME=/home/hadoop/streamdata/apache-storm-0.9.1-incubating
export PATH=$PATH:$STORM_HOME/bin
配置storm.yaml文件:
storm.zookeeper.servers:
- "kit-bg1"
- "kit-bg2"
- "kit-bg3"storm.local.dir: "/home/hadoop/streamdata/data/storm"
nimbus.host: "kit-bg1"
ui.port: 18080
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
启动服务:
storm nimbus&
storm supervisor&
storm ui&
storm nimbus&命令仅需master上执行。
storm的安装配置的更多相关文章
- ubuntu14.04LTS 下storm单机版安装配置
1.下载storm 的安装文件 http://www.apache.org/dyn/closer.cgi/incubator/storm/apache-storm-0.9.2-incubating/a ...
- storm单机版安装配置
1,install zeromq 期间可能出现:configure: error: cannot link with -luuid, install uuid-dev. 因此可以先安装 sudo ap ...
- Twitter Storm安装配置(Ubuntu系统)单机版
要使用storm首先要安装以下工具:JDK.Python.zookeeper.zeromq.jzmq.storm (注:各个模块都是独立的,如果安装失败或者卡顿可以单独百度某个模块的安装,都是可以的. ...
- Storm 集群安装配置
本文详细介绍了 Storm 集群的安装配置方法.如果需要在 AWS 上安装 Storm,你应该看一下 storm-deploy 项目.storm-deploy 可以自动完成 E2 上 Storm 集群 ...
- storm 安装配置
1.1.下载安装包 storm.apache.org 配置zookeeper:http://www.cnblogs.com/eggplantpro/p/7120893.html 1.2.解压安装包ta ...
- storm集群配置以及java编写拓扑例子
storm集群配置 安装 修改配置文件 使用java编写拓扑 storm集群配置 storm配置相当简单 安装 tar -zxvf apache-storm-1.2.2.tar.gz rm apach ...
- 大数据笔记(二十七)——Spark Core简介及安装配置
1.Spark Core: 类似MapReduce 核心:RDD 2.Spark SQL: 类似Hive,支持SQL 3.Spark Streaming:类似Storm =============== ...
- storm的安装
一. 安装storm要先本机搭建好zookeeper集群(手动目录安装或者CDH安装) 二. Java 6 Python 2.6.6 unzip(针对使用语言要安装好相应环境 比如java 要JDK和 ...
- (Linux环境Kafka集群安装配置及常用命令
Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 ...
随机推荐
- 谈Delphi中SSL协议的应用(好多相关文章)
摘要:本文主要介绍如何在Delphi中使用SSL协议.一共分为七个部分:(1)SSL协议是什么?(2)Delphi中如何使用SSL协议?(3)SSL客户端编程实例.(4)SSL服务端编程实例.(5)S ...
- Android:PopupWindow简单弹窗改进版
Android:PopupWindow简单弹窗 继续上一节的内容,改进一下,目标是点击菜单后把菜单收缩回去并且切换内容,我使用的是PopupWindow+RadioGroup public class ...
- POJ 1166 The Clocks (爆搜 || 高斯消元)
题目链接 题意: 输入提供9个钟表的位置(钟表的位置只能是0点.3点.6点.9点,分别用0.1.2.3)表示.而题目又提供了9的步骤表示可以用来调正钟的位置,例如1 ABDE表示此步可以在第一.二.四 ...
- LA 3641 (置换 循环的分解) Leonardo's Notebook
给出一个26个大写字母的置换B,是否存在A2 = B 每个置换可以看做若干个循环的乘积.我们可以把这些循环看成中UVa 10294的项链, 循环中的数就相当于项链中的珠子. A2就相当于将项链旋转了两 ...
- HDU 4746 (莫比乌斯反演) Mophues
这道题看巨巨的题解看了好久,好久.. 本文转自hdu4746(莫比乌斯反演) 题意:给出n, m, p,求有多少对a, b满足gcd(a, b)的素因子个数<=p,(其中1<=a<= ...
- Asp.Net微信登录-电脑版扫描二维码登录
像京东,一号店等网站都实现了用微信来登录的功能,就是用手机上的微信扫一扫网站上的二维码,微信上确认后,即可自动用微信的帐号登录网站. 一.创建网站应用 在微信开放平台创建一个网站应用 https:// ...
- js array 数组删除元素
/* * 方法:Array.remove(dx) * 功能:根据元素位置值删除数组元素. * 参数:元素值 * 返回:在原数组上修改数组 */ Array.prototype.baoremove = ...
- 【iOS-Cocos2d游戏开发之四】独自收集Cocos2d提供的字体!共57种(有对照的字体图)
本站文章均为李华明Himi原创,转载务必在明显处注明:(作者新浪微博:@李华明Himi) 转载自[黑米GameDev街区] 原文链接: http://www.himigame.com/iphone-c ...
- 【 D3.js 高级系列 — 9.0 】 交互式提示框
一般来说,图表中不宜存在过多文字.但是,有时需要一些文字来描述某些图形元素.那么,可以实现一种交互:当用户鼠标滑到某图形元素时,出现一个提示框,里面写有描述文字.这是一种简单.普遍的交互式,几乎适用于 ...
- vim - 查找替换
:%s/\<key_word_replaced\>/word_you_want_to_say/g