Strom的安装及使用
在使用storm之前,首先看zookeeper是否安装好
单机版
1.在node1上修改配置文件conf下的storm.yaml文件
2.检查Java和Python的版本是否符合要求,运行java -version和python -version
版本至少在Java 6+,Python 2.6.6+以上
3.部署zookeeper3.4.5+,ZK用3.4.5,因为它支持磁盘的快照和namenode的定期删除,避免磁盘被打满
4.新建logs文件:mkdir logs
4.执行以下命令:
./bin/storm dev-zookeeper >> ./logs/zk.out2>&1 &
./bin/storm nimbus >> ./logs/nimbus.out 2>&1 &
./bin/storm ui >> ./logs/ui.out 2>&1 &
http://node1:8080(查看启动是否成功)
./bin/storm supervisor >> ./logs/supervisor.out 2>&1 &
./bin/storm logviewer >> ./logs/logviewer.out 2>&1 &
./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.5.jar storm.starter.WordCountTopology wordcount
接着访问http://node1:8080,运行wordcount example
单机版的步骤,storm自带了一个开发版的ZK,也不需要自己去部署,配置都不需要,极其简单
的,这也是Storm的一个好处,基本上是开箱即用的,单机环境虽然没有什么实际的价值,但是
在简单的测试上还是很有用的
分布式配置使用storm
1.进入storm目录后,先修改配置文件conf下的storm.yaml文件
修改zookeeper的主机名和主节点的名称(注意空格,三台都要修改此文件)
ZK所有的数据都写在dataDir下面,另外autopurge.purgeInterval=1就是每隔一小时,它来清理dataDir里面的数据,因为ZK会产生snapshot和binlog,产生的速度非常快用不了几天就会把磁盘给打满,我们一小时清理一次就可以有效的避免这个问题,清理的规则是清理的时候它会保留最新的3个文件,当然这个3也是可以配置的,第二个标红的就是我们ZK有3个机器的列表,其他就是一些默认的配置了,比如默认接收客户端的端口是2181
2.新建logs文件:mkdir logs(三台分别添加)
3.在node1里执行:
./bin/storm nimbus >> logs/nimbus.out 2>&1 &
./bin/storm ui >> logs/ui.out 2>&1 &
在node2、node3里执行:
./bin/storm supervisor >> logs/supervisor.out 2>&1 &
回到node1里:./bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.5.jar storm.starter.WordCountTopology wordcount(必须在主节点上运行)
Strom的安装及使用的更多相关文章
- strom的使用01
1.strom的安装和测试 1.1 搭建zookeeper集群 参考hadoop2.0初识1.3中的1.4配置zookeeper集群和自动故障转移 1.2 安装storm依赖的软件 sudo yum ...
- Strom简介,以及安装,和官方案例测试
一:简介 1.strom的两种形式 2.strom的特性 3.使用场景 4.集群架构 5.集群架构进程 6.组件 Nimbus 7.从节点Supervisor 8.组件worker 9.组件Execu ...
- Strom的配置安装
1.准备环境 1.1配置列表 配置项 版本信息 OS Red Hat Enterprise Linux Server release 5.5 (Tikanga) IP 192.168.1.191/ ...
- kafka和strom集群的环境安装
前言 storm和kafka集群安装是没有必然联系的,我将这两个写在一起,是因为他们都是由zookeeper进行管理的,也都依赖于JDK的环境,为了不重复再写一遍配置,所以我将这两个写在一起.若只需一 ...
- Storm(1)-centos7下安装单机版Strom
1.所需软件: jdk8.zookeeper.storm 2.安装zookeeper单机版 下载:http://zookeeper.apache.org/releases.html#download ...
- 安装storm的一些很乱的笔记
下面是自己安装和测试storm的一些笔记,比较乱,后续有时间在整理一篇. storm jar all-my-code.jar com.storm.MyTopology arg1 arg2这个命令会运行 ...
- 不在折腾---storm-0.9.2-incubating分布式安装
安装一个zookeeper集群 > 请参考:不在折腾----zookeeper-3.4.5 上传strom的安装包 解压 配置,conf/storm.yaml * 所使用的zookeeper集群 ...
- Flume+Kafka+Strom基于伪分布式环境的结合使用
目录: 一.Flume.Kafka.Storm是什么,如何安装? 二.Flume.Kafka.Storm如何结合使用? 1) 原理是什么? 2) Flume和Kafka的整合 3) Kafka和St ...
- storm在windows系统下安装调试
基础知识 Storm是一个分布式的,可靠的,容错的数据流处理系统.它会把工作任务委托给不同类型的组件,每个组件负责处理一项简单特定的任务.Storm集群的输入流由一个被称作spout的组件管理,spo ...
随机推荐
- [C#]判断是否是合法的IP4,IP6地址
判断一个字符串如果没有端口的话,利用IPAddress.TryParse很好判断,那么有端口怎么判断呢,正则表达式?还是其他方式? 关键代码: /// <summary> /// 判断是否 ...
- JavaScript 判断用户输入的邮箱及手机格式是否正确
JavaScript判断用户输入的邮箱格式是否正确.判断用户输入的手机号格式是否正确,下面有个不错的示例,感兴趣的朋友可以参考下. 复制代码代码如下: /* * 功能:判断用户输入的邮箱格式是否正确 ...
- Linux主机在LNMP环境中同时运行多个PHP版本
这次遇到的问题是,客户网站已经使用PHP5.4运行多个网站程序,但是新安装的程序需要使用PHP5.3. 从我之前的经验来看,给网站更换PHP版本,可能会带来意想不到的后果.比如,之前某客户Discuz ...
- 数据结构与算法C语言实现笔记(1)--表
声明:此一系列博客为阅读<数据结构与算法分析--C语言描述>(Mark Allen Weiss)笔记,部分内容参考自网络:转载请注明出处. 1.表 表是最简单的数据结构,是形如A1.A2. ...
- OpenCASCADE 基础
OpenCASCADE 基础 转载▼ 一直在用OCC作项目,但这方面的中文资料很少,看来OCC在中国还不是十分普及: 后来,项目中使用OCC和DirectX结合使用,取得了很好的效果: 随着OCC6. ...
- Apple 如何知道你使用了私有API
大约有三种方式 otool -L这个工具可以清晰的列出你链接所有的库 像IO.Kit是不允许使用的 nm -u 这个工具可以清晰的列出你所有链接符号如 C方法 OC方法 检查所有Selecter的字符 ...
- javascript 冒泡
http://www.cnblogs.com/hh54188/archive/2012/02/08/2343357.html http://blog.csdn.net/xuefeng0707/arti ...
- WP8教程
http://www.maiziedu.com/courses-list?technology_category=6
- SNMP中文
SNMP4J 处理中文信息时的问题 http://qsjiangs.iteye.com/blog/1966899
- Android ExpandableListView的简单应用
Expandablelistview1Activity.java package com.wangzhu.demoexpandablelistview; import java.util.ArrayL ...