170824、storm 环境搭建
/*********************storm 环境搭建 **********************/ 1 安装jdk1.7
2 安装zookeeper集群环境
3 安装Python2.6.6 网址:https://www.python.org/ftp/python/2.6.6/
4 安装storm0.9.1
解压三台机器:
命令:tar -zxvf apache-storm-0.9.2-incubating.tar.gz -C /usr/local/
命令: mv apache-storm-0.9.2-incubating/ apache-storm-0.9.2
5 修改storm配置文件:
1 cd /usr/local/apache-storm-0.9.2/conf
修改命令:vim storm.yaml文件(三台zookeeper的地址)
(1)storm.zookeeper.servers:
- "192.168.80.1"
- "192.168.80.2"
- "192.168.80.3" (2)nimbus.host: "192.168.80.1" (3)创建data目录 添加到配置文件中:mkdir /usr/local/apache-storm-0.9.2/data
storm.local.dir: "/usr/local/apache-storm-0.9.2/data"
(4)配置ui.port
ui.port: 18080
(5)配置supervisor的工作进程
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703 6 把apache-storm-0.9.2使用scp到各个集群的服务器中去。
7 修改配置文件 /etc/profile 把STORM配置到其中去 并 使用scp到各个集群的服务器中去。
命令:vim /etc/profile
修改内容:
export STORM_HOME=/usr/local/apache-storm-0.9.2
export PATH=.:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$STORM_HOME/bin:$PATH
最后分别进行 source /etc/profile
8 首先启动zookeeper集群,然后分别启动运行storm:
192.168.80.1: 主机器(nimbus运行) storm nimbus &
192.168.80.2: 从机器(supervisor运行) storm supervisor &
192.168.80.3: 从机器(supervisor运行) storm supervisor &
192.168.80.1: 主机器(ui运行)storm ui & (查看ui)
192.168.80.1: 主机器(logviewer运行) storm logviewer &(查看工作日志) 9 然后在浏览器中输入主机器的ip,端口默认8080 (http://192.168.80.1:18080/)
这样可以看到storm的一些集群配置,如图
170824、storm 环境搭建的更多相关文章
- storm环境搭建(前言)—— 翻译 Setting Up a Development Environment
Setting Up a Development Environment 搭建storm开发环境所需步骤: Download a Storm release , unpack it, and put ...
- storm环境搭建
备注——使用: 1.单机版本: 启动zkServer.nimbus.supervisor.ui服务: zkServer.sh start zkServer.sh status #查看zkserver是 ...
- 【原】Storm环境搭建
2.Storm环境搭建 单机 ... 集群 ... 搭建Storm开发环境 搭建Storm开发环境主要概括为以下两步: 1.下载Storm发行稳定版,然后解压,最后把解压后的bin/文件所在目录添加到 ...
- Storm环境搭建(分布式集群)
作为流计算的开篇,笔者首先给出storm的安装和部署,storm的第二篇,笔者将详细的介绍storm的工作原理.下边直接上干货,跟笔者的步伐一块儿安装storm. 原文链接:Storm环境搭建(分布式 ...
- 《OD大数据实战》Storm环境搭建
一.环境搭建 1. 下载 http://www.apache.org/dyn/closer.lua/storm/apache-storm-0.9.6/apache-storm-0.9.6.tar.gz ...
- 54.Storm环境搭建
集群环境搭建 关闭防火墙,修改/etc/hosts配置(3台机器的ip可以相互通信) 下载安装jdk7(1.6以上),配置JAVA_HOME, CLASSPATH 搭建Zookeeper集群(保证3台 ...
- mac10.9下eclipse的storm开发环境搭建
--------------------------------------- 博文作者:迦壹 博客地址:http://idoall.org/home.php?mod=space&uid=1& ...
- 一:Storm集群环境搭建
第一:storm集群环境准备及部署[1]硬件环境准备--->机器数量>=3--->网卡>=1--->内存:尽可能大--->硬盘:无额外需求[2]软件环境准备---& ...
- Storm —— 集群环境搭建
一.集群规划 这里搭建一个3节点的Storm集群:三台主机上均部署Supervisor和LogViewer服务.同时为了保证高可用,除了在hadoop001上部署主Nimbus服务外,还在hadoop ...
随机推荐
- 【Linux】Cent OS 虚拟机开机自启动配置
一次断电,导致实体机关机了,虚拟机也连不上去,只好手动来起来. 我想增加一下自启动,让硬件开机的时候,自动启动虚拟机: 其实是有办法的,尝试了一下,也成功了,这里简单标记下. virsh autost ...
- Spark机器学习(4):朴素贝叶斯算法
1. 贝叶斯定理 条件概率公式: 这个公式非常简单,就是计算在B发生的情况下,A发生的概率.但是很多时候,我们很容易知道P(A|B),需要计算的是P(B|A),这时就要用到贝叶斯定理: 2. 朴素贝叶 ...
- C#串口SerialPort常用属性方法
SerialPort(): //属性 .BaudRate;获取或设置波特率 .BytesToRead;得到 接收到数据的字节数 .BytesToWrites;得到送往串口的字节数 .DataBits; ...
- 【NLP】Python实例:基于文本相似度对申报项目进行查重设计
Python实例:申报项目查重系统设计与实现 作者:白宁超 2017年5月18日17:51:37 摘要:关于查重系统很多人并不陌生,无论本科还是硕博毕业都不可避免涉及论文查重问题,这也对学术不正之风起 ...
- composer 使用
#安装 composer curl -sS https://getcomposer.org/installer | php或直接下载 composer.phar( https://getcompose ...
- SSL介绍(Secure socket Layer & Security Socket Layer)
一个应用程序的安全需求在很大程度上依赖于将如何使用该应用程序和该应用程序将要保护什么.不过,用现有技术实现强大的. 一般用途的安全通常是可能的.认证就是一个很好的示例. 当顾客想从 Web 站点购买某 ...
- Swift ARC 自动引用计数
1.ARC 引用类型在堆上的内存分配过程中有 8 字节的地址长度用来保存对象的引用计数,堆上的内存并不像栈上那样立即进行回收,系统会定时对堆上的内存进行检查,当某个实例不再被使用时,引用计数会变为 0 ...
- Benchmark Web App 性能瓶颈分析与性能测试工具的使用方法总结
主要分为以下几个要素的指标: Disk IO . CPU . mem . Net . MySQL Web性能测试工具: 客户端 服务器端: 服务器性能测试工具: 服务器性能瓶颈分析工具: ab, si ...
- WPF 4.5 is here : check out the new features !
So what's New in WPF Version 4.5 Developer Preview ? Here is a list of the new features and their re ...
- Windows 下单机最大TCP连接数
在做Socket 编程时,我们经常会要问,单机最多可以建立多少个 TCP 连接,本文将介绍如何调整系统参数来调整单机的最大TCP连接数. Windows 下单机的TCP连接数有多个参数共同决定,下面一 ...
