Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装
Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装 下载Storm-1.0.1
http://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-1.0.1/apache-storm-1.0.1.tar.gz 下载ZooKeeper-3.4.8
http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.8/zookeeper-3.4.8.tar.gz 下载Netty-4.1.3.Final.tar.bz2
http://akamai.bintray.com/e7/e769383d99e244b7173b496f90f9b4a00574f8a33cdec2fe40b54f957a373e01?__gda__=exp=1469008981~hmac=7f3864e58af529209d0c0460cc3d5a73f267d7b550ad82bf14c0f645f8608e74&response-content-disposition=attachment%3Bfilename%3D%22netty-4.1.3.Final.tar.bz2%22&response-content-type=application%2Fx-bzip2 软件包如下:
apache-storm-1.0.1.tar.gz
jdk-7u65-linux-x64.tar.gz
netty-4.1.3.Final.tar.bz2
zookeeper-3.4.8.tar.gz 集群规划
主机 IP Soft Process
nimbus01 192.168.14.162 Netty、Storm nimbus、core、logviewer
nimbus02 192.168.14.156 Netty、Storm nimbus、logviewer
supervisor01 192.168.14.59 Netty、ZooKeeper、Storm supervisor、logviewer
supervisor02 192.168.14.119 Netty、ZooKeeper、Storm supervisor、logviewer
supervisor03 192.168.14.139 Netty、ZooKeeper、Storm supervisor、logviewer 一、配置免密码登录 二、安装Jdk
在所有节点上安装jdk
cd /usr/local/soft/
tar -zxvf jdk-7u65-linux-x64.tar.gz
cd jdk1.7.0_65
vim /etc/profile
export JAVA_HOME=/usr/local/soft/jdk1.7.0_65
export PATH=.:$JAVA_HOME/bin:$PATH
source /etc/profile 三、安装ZooKeeper-3.4.8
在supervisor01节点上配置
cd /usr/local/soft/
tar -zxvf zookeeper-3.4.8.tar.gz
cd zookeeper-3.4.8
mv conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/soft/zookeeper-3.4.8/data
clientPort=2181
server.1=suspervisor01:2888:3888
server.2=suspervisor02:2888:3888
server.3=suspervisor03:2888:3888
mkdir data && echo "1">data/myid
复制supervisor01节点上的ZooKeeper到supervisor02上
scp -r /usr/local/soft/zookeeper-3.4.8 root@supervisor02:/usr/local/soft/
echo "2" >/usr/local/soft/zookeeper-3.4.8/data/myid
复制supervisor01节点上的ZooKeeper到supervisor03上
scp -r /usr/local/soft/zookeeper-3.4.8 root@supervisor03:/usr/local/soft/
echo "3" >/usr/local/soft/zookeeper-3.4.8/data/myid 四、安装Storm-1.0.1
在nimbus01节点上配置
cd /usr/local/soft/
tar -zxvf apache-storm-1.0.1.tar.gz
cd apache-storm-1.0.1
vim conf/storm.yaml
# #### Storm dependents The ZooKeeper Cluster ####
storm.zookeeper.servers:
- "supervisor01"
- "supervisor02"
- "supervisor03" # #### Storm Nimbus Nodes HA ####
nimbus.seeds: ["nimbus01", "nimbus02"] # #### Storm Local Storage ####
storm.local.dir: "/usr/local/soft/apache-storm-1.0.1/localdir" # #### Storm Supervisor Nodes Worker Process ####
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703 # #### Not Selector ZeroMQ, Storm Use Netty Transport Protocol ####
storm.messaging.transport: "org.apache.storm.messaging.netty.Context"
storm.messaging.netty.server_worker_threads: 1
storm.messaging.netty.client_worker_threads: 1
storm.messaging.netty.buffer_size: 5242880
storm.messaging.netty.max_retries: 300
storm.messaging.netty.max_wait_ms: 1000
storm.messaging.netty.min_wait_ms: 100
mkdir localdir
复制nimbus01节点上的Storm到nimbus02、supervisor01、supervisor02、supervisor03上
scp -r /usr/local/soft/apache-storm-1.0.1 root@nimbus02:/usr/local/soft/
scp -r /usr/local/soft/apache-storm-1.0.1 root@supervisor01:/usr/local/soft/
scp -r /usr/local/soft/apache-storm-1.0.1 root@supervisor02:/usr/local/soft/
scp -r /usr/local/soft/apache-storm-1.0.1 root@supervisor03:/usr/local/soft/ 五、启动集群
1、ZooKeeper
启动集群
for i in supervisor01 supervisor02 supervisor03; do echo $i; ssh $i "source /etc/profile; /usr/local/soft/zookeeper-3.4.8/bin/zkServer.sh start"; done
关闭集群
for i in supervisor01 supervisor02 supervisor03; do echo $i; ssh $i "source /etc/profile; /usr/local/soft/zookeeper-3.4.8/bin/zkServer.sh stop"; done
查看ZooKeeper进程状态
for i in supervisor01 supervisor02 supervisor03; do echo $i; ssh $i "source /etc/profile; /usr/local/soft/zookeeper-3.4.8/bin/zkServer.sh status"; done
查看进程
for i in supervisor01 supervisor02 supervisor03; do echo $i; ssh $i "source /etc/profile; jps"; done 2、启动Storm(需要确保ZooKeeper集群已经启动)
启动nimbus(storm.yaml中nimbus.seeds: []的节点都需要启动nimbus进程)
在nimbus01上启动如下进程
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm nimbus &
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm ui &
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm logviewer & 在nimbus02上启动如下进程
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm nimbus &
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm logviewer & 在supervisor01上启动如下进程
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm supervisor &
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm logviewer & 在supervisor02上启动如下进程
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm supervisor &
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm logviewer & 在supervisor03上启动如下进程
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm supervisor &
nohup /usr/local/soft/apache-storm-1.0.1/bin/storm logviewer &
Storm-1.0.1+ZooKeeper-3.4.8+Netty-4.1.3 HA集群安装的更多相关文章
- 菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章
菜鸟玩云计算之十八:Hadoop 2.5.0 HA 集群安装第1章 cheungmine, 2014-10-25 0 引言 在生产环境上安装Hadoop高可用集群一直是一个需要极度耐心和体力的细致工作 ...
- 基于zookeeper的高可用Hadoop HA集群安装
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com ...
- 菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章
菜鸟玩云计算之十九:Hadoop 2.5.0 HA 集群安装第2章 cheungmine, 2014-10-26 在上一章中,我们准备好了计算机和软件.本章开始部署hadoop 高可用集群. 2 部署 ...
- Zookeeper(1、3、5节点)集群安装
1节点 1 week110的zookeeper的安装 + zookeeper提供少量数据的存储 3节点 hadoop-2.6.0.tar.gz的集群搭建(3节点) hadoop-2.6.0-cdh5. ...
- CentOS下Storm 1.0.0集群安装具体解释
本文环境例如以下: 操作系统:CentOS 6 32位 ZooKeeper版本号:3.4.8 Storm版本号:1.0.0 JDK版本号:1.8.0_77 32位 python版本号:2.6.6 集群 ...
- Storm集群安装Version1.0.1开启Kerberos
Storm集群安装,基于版本1.0.1, 同时开启Kerberos安全认证, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 ...
- Storm集群安装Version1.0.1
Storm集群安装,基于版本1.0.1, 使用apache-storm-1.0.1.tar.gz安装包. 1.安装规划 角色规划 IP/机器名 安装软件 运行进程 nimbus zdh-237 sto ...
- Kafka集群安装Version1.0.1(自带Zookeeper)
1.说明 Kafka集群安装,基于版本1.0.1, 使用kafka_2.12-1.0.1.tgz安装包, 其中2.12是编译工具Scala的版本. 而且不需要另外安装Zookeeper服务, 使用Ka ...
- hadoop-2.6.0.tar.gz的集群搭建(3节点)(不含zookeeper集群安装)
前言 本人呕心沥血所写,经过好一段时间反复锤炼和整理修改.感谢所参考的博友们!同时,欢迎前来查阅赏脸的博友们收藏和转载,附上本人的链接http://www.cnblogs.com/zlslch/p/5 ...
随机推荐
- Tomcat- java.lang.NoSuchMethodException: org.apache.catalina.deploy.WebXml addServlet
在MyEclipse中启动Tomcat的时候报错: java.lang.NoSuchMethodException: org.apache.catalina.deploy.WebXml addServ ...
- Plsql工具单步调试 存储过程或是 函数(oracle数据库)-留着自己用的
<案例1> 原地址: http://jingyan.baidu.com/article/3a2f7c2e144d2826aed61167.html 调试过程对找到一个存过的bug或错误是非 ...
- Typescript 团队合作的利器
前言 在介绍Typescript 之前,我需要隆重介绍一个人: 安德斯·海尔斯伯格(Anders Hejlsberg,1960.12~),丹麦人,Turbo Pascal编译器的主要作者,Delphi ...
- Java线程(学习整理)--4---一个简单的生产者、消费者模型
1.简单的小例子: 下面这个例子主要观察的是: 一个对象的wait()和notify()使用情况! 当一个对象调用了wait(),那么当前掌握该对象锁标记的线程,就会让出CPU的使用权,转而进入该对 ...
- 大规模字符串检索-压缩trie树
本文使用压缩trie树实现字符串检索的功能.首先将字符串通过编码转化为二进制串,随后将二进制串插入到trie树中,在插入过程中同时实现压缩的功能. 字符编码采用Huffman,但最终测试发现不采用Hu ...
- SGU 144.Meeting
题目: 两支地区ACM比赛的队伍决定为了国际决赛而在一起集训. 他们约定在某天的 X 时到 Y 时的某一时刻相会. 但由于他们很少按时到 (有的队伍比赛那天都会迟到), 他们没有设定一个确切的相遇时间 ...
- topcoder算法练习3
SRM144 DIV1 1100 point Problem Statement NOTE: There are images in the examples section of this ...
- c#的异或运算符
int a = 5; int b = 30; Console.WriteLine(a^b); Console.ReadKey(); 输出结果是27 这是因为 5的二进制是0000 010130的二进 ...
- php框架练习
框架的作用: 功能:操作数据库 模版引擎smarty 分析,应该具备什么功能? a:具体配置文件 ,配置文件的读取功能 b:数据库处理类 c:目录结构 先建一个includes文件放入,配置文件(co ...
- unix 环境高级编程 读书笔记与习题解答第四篇
第一章 第六节 第一小节 这一章没有程序设计和API方面的深入学习,而是注重介绍了unix操作系统中的原始数据类型和系统原型函数,错误处理方面的知识. ____unistd.h____ 该文件包含了u ...