第一:storm集群环境准备及部署
【1】硬件环境准备
--->机器数量>=3
--->网卡>=1
--->内存:尽可能大
--->硬盘:无额外需求
【2】软件环境准备
--->CentOS-6.0-x86_64系统环境
--->三台地址
--->zookeeper和storm公用物理环境

第二:节点环境查看

第三:节点之间用ip-->别名绑定/etc/hosts,然后用ping 别名 进行测试

第四:zookeeper集群环境搭建
第五:Storm集群环境搭建
【1】storm集群搭建的基本流程

【2】storm常用配置的讲解

第六:Storm安装包下载

第七:安装Storm
【1】将压缩包解压,并移动到创建的storm目录下

【2】storm.yaml配置文件的配置(配置文件不要空行,前边不要加空格)
#storm节点和zooKeeper集群建立链接的配置(zookeeper的节点名字用的是其所在机器的hostname)
 storm.zookeeper.servers:
     - "sjm6-qatest10-30.75"
     - "sjm6-qatest11-30.76"
     - "sjm6-qatest12-30.77"

#storm集群中的nimbus节点的配置
 nimbus.host: "sjm6-qatest10-30.75"

#storm记录临时状态的配置(:后加一个空格,会自动创建)
storm.local.dir: "/var/storm/status"

#storm工作节点的进程端口。每配置一个端口,则工作节点就可以多启动一个worker
supervisor.slots.ports:
     - 6700
     - 6701
     - 6702
     - 6703

【3】storm环境变量的配置
#jdk
export JAVA_HOME=/apps/jdk1.6.0_19
export JAVA_BIN=/apps/jdk1.6.0_19/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH

#zookeeper
export ZOOKEEPER_HOME= /opt/zookeeper
export PATH=$ZOOKEEPER_HOME/bin:$PATH

#storm
export STORM_HOME=/opt/storm/apache-storm-0.9.2-incubating
export PATH=$STORM_HOME/bin:$PATH

【4】storm的启动
#storm ui >/dev/null 2>&1 &
==>启动storm的ui,将输出指向/dev/null设备中
==>2>&1  错误指向正常输出
==>& 表示后台运行

# storm nimbus>/dev/null 2>&1 &
==>启动nimbus节点

# storm supervisor>/dev/null 2>&1 &
==>启动supervisor节点

【5】storm的ui界面

一:Storm集群环境搭建的更多相关文章

  1. Storm —— 集群环境搭建

    一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...

  2. Storm 学习之路(四)—— Storm集群环境搭建

    一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...

  3. Storm 系列(四)—— Storm 集群环境搭建

    一.集群规划 这里搭建一个 3 节点的 Storm 集群:三台主机上均部署 Supervisor 和 LogViewer 服务.同时为了保证高可用,除了在 hadoop001 上部署主 Nimbus ...

  4. 大数据处理框架之Strom:Storm集群环境搭建

    搭建环境 Red Hat Enterprise Linux Server release 7.3 (Maipo)      zookeeper-3.4.11 jdk1.7.0_80      Pyth ...

  5. storm集群环境搭建

    1.环境 Java环境 卸载虚机环境中自带的openJdk,安装sun的jdk,配置环境变量 2.安装storm 下载storm安装包 解压到安装目录,配置环境变量 vi /etc/profile # ...

  6. centos7:storm集群环境搭建

    1.安装storm 下载storm安装包 在线下载 wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.t ...

  7. 大数据 -- Hadoop集群环境搭建

    首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...

  8. Hadoop+Spark:集群环境搭建

    环境准备: 在虚拟机下,大家三台Linux ubuntu 14.04 server x64 系统(下载地址:http://releases.ubuntu.com/14.04.2/ubuntu-14.0 ...

  9. 项目进阶 之 集群环境搭建(三)多管理节点MySQL集群

    上次的博文项目进阶 之 集群环境搭建(二)MySQL集群中,我们搭建了一个基础的MySQL集群,这篇博客咱们继续讲解MySQL集群的相关内容,同时针对上一篇遗留的问题提出一个解决方案. 1.单管理节点 ...

随机推荐

  1. ExtJs在页面上window再调用Window的事件处理

    今天在开发Ext的过程中遇到了一个恶心的问题,就是在ext.window页面,点击再次弹出window时,gridpanel中的store数据加载异常,不能正常被加载,会出现缓存,出现该问题,是因为w ...

  2. linux安装卸载MySQL以及密码设置+Hive测试

    linux系统卸载MYSQL 1,先通过yum方式卸载mysql及相关组件 命令:yum remove mysql* 2.通过命令:rpm -qa|grep -i mysql 查找系统的有关于mysq ...

  3. selenium测试-open chrome

    通过selenium来打开浏览器测试之前,需要确认本地已安装相应的webdriver,本例以chrome为例. 1. 查看本地chrome版本,以此确认需要安装的webdriver版本 查看chrom ...

  4. #define与typedef

    #define(宏定义)只是简单的字符串代换(原地扩展),它本身并不在编译过程中进行,而是在这之前(预处理过程)就已经完成了. typedef是为了增加可读性而为标识符另起的新名称(仅仅只是个别名), ...

  5. Educational Codeforces Round 50 (Rated for Div. 2) C. Classy Numbers

    C. Classy Numbers 题目链接:https://codeforces.com/contest/1036/problem/C 题意: 给出n个询问,每个询问给出Li,Ri,问在这个闭区间中 ...

  6. ES6中函数的扩展

    一.设置默认参数 ES6之前,给函数设置默认参数是这样做的: function fn(a) { if(typeof y === undefined){ a = a || 'hello'; } cons ...

  7. 第k小子集

    有n个数,共有2^n个子集,一个子集的值看做其所有数的和.求这2^n个子集中第K小的子集.n<=35. meet in the middle + 二分判定 注意在双指针逼近时,相等的数带来的影响 ...

  8. Packet Tracer 5.0 构建CCNA实验(2)—— 配置VLAN

    Packet Tracer 5.0 构建CCNA实验(2)—— 配置VLAN Vlan(Virtual Local Area Network) 即虚拟局域网.VLAN可以把同一个物理网络划分为多个逻辑 ...

  9. [Luogu 1168] 中位数

    中位数可以转化为区间第k大问题,当然是选择Treap实现名次树了啊.(笑) 功能十分简单的Treap即能满足需求--只需要插入与查找第大的功能. 插入第i个数时,如果i是奇数,随即询问当前排名第(i+ ...

  10. WCF使用注意事项

    执行如下 批处理:"C:\Program Files\Microsoft SDKs\Windows\v6.0A\Bin\svcutil.exe" http://127.0.0.1: ...