[hadoop][会装]zookeeper安装
1.简介
分布式场景下的各个进程间的协调运作离不开zookeeper, zookeeper已经是大数据领域提供分布式协调服务的事实标准。
本文只介绍zookeeper的安装方法。
2. 节点规划如下:
| xufeng-1 | xufeng-2 | xufeng-3 |
| zookeeper | zookeeper | zookeeper |
3.目录规划
drwxrwxr-x. hadoop hadoop 7月 : hadoop-data
drwxrwxr-x. hadoop hadoop 7月 : hadooplib
drwxrwxr-x. hadoop hadoop 7月 : java
lrwxrwxrwx. hadoop hadoop 7月 : zookeeper -> /opt/hadoop/hadooplib/cdh5.4.2/zookeeper-3.4.-cdh5.4.2
drwxrwxr-x. hadoop hadoop 7月 : zookeeper-config
上述中:
1.软链接形式有利于后续版本升级后不会影响到环境变量等参数的设定。
2.配置文件独立于软件包有利于升级后不会影响到现有的运行参数。
4.开始安装
【各个节点上操作】
a.设定环境变量参数:
#zookeeper
export ZOOKEEPER_HOME=/opt/hadoop/zookeeper
export ZOOCFGDIR=/opt/hadoop/zookeeper-config
b.设定配置文件
将软件包中的conf下的文件拷贝到 zookeeper-config文件夹下
将zoo_sample.cfg改名为zoo.cfg
[hadoop@xufeng- hadoop]$ cd zookeeper-config/
[hadoop@xufeng- zookeeper-config]$ ll
总用量
-rwxr-x---. hadoop hadoop 7月 : configuration.xsl
-rwxr-x---. hadoop hadoop 7月 : log4j.properties
-rwxr-x---. hadoop hadoop 7月 : zoo.cfg
c.修改zoo.cfg,根据环境信息增加如下三行信息
# the port at which the clients will connect
clientPort= server.=xufeng-::
server.=xufeng-::
server.=xufeng-:: #
# Be sure to read the maintenance section of the
d.在zoo.cfg配置中查看dataDir参数设定信息,分别在各个主机上的此目录中创建myid文件:
[hadoop@xufeng- hadoop]$ cd hadoop-data/zookeeper/
[hadoop@xufeng- zookeeper]$ ll
总用量
-rw-rw-r--. hadoop hadoop 7月 : myid
e.设定myid内容,根据步骤c的设定,在xufeng-1主机上的myid文件中写入1,xufeng-2的myid文件中写入2,xufeng-3的myid文件写入3



e.配置日志目录和参数
在~/.brash_profile中增加如下两个变量:
export ZOO_LOG_DIR=/opt/hadoop/zookeeper/logs
export ZOO_LOG4J_PROP='INFO,ROLLINGFILE'
以上安装部分完成
5. 启动zookeeper
在各个几点上
a. 执行zkServer.sh start启动脚本
[hadoop@xufeng- hadoop]$ zkServer.sh start
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Starting zookeeper ... STARTED
注意:
听说centOS6有一个bug:
需要关闭防火墙才能联通端口:
所以当你启动zookeeper后发现日志中有no route hosts错误时候多半是这个原因,可以执行如下命令: service iptables stop
chkconfig iptables off
b. 查看各个zookeeper的状态:
[hadoop@xufeng- zookeeper]$ zkServer.sh status
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Mode: leader [hadoop@xufeng- zookeeper]$ zkServer.sh status
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Mode: follower [hadoop@xufeng- hadoop]$ zkServer.sh status
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Mode: follower
以上。
[hadoop][会装]zookeeper安装的更多相关文章
- Hadoop的HA(ZooKeeper)安装与部署
非HA的安装步骤 https://www.cnblogs.com/live41/p/15467263.html 一.部署设定 1.服务器 c1 192.168.100.105 zk.name ...
- [hadoop][会装]hadoop ha模式安装
1.简介 2.X版本后namenode支持了HA特性,使得整个文件系统的可用性更加增强. 2.安装前提 zookeeper集群,zookeeper的安装参考[hadoop][会装]zookeeper安 ...
- 基于zookeeper的高可用Hadoop HA集群安装
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com ...
- 3.Hadoop集群搭建之Zookeeper安装
前期准备 下载Zookeeper 3.4.5 若无特殊说明,则以下操作均在master节点上进行 1. 解压Zookeeper #直接解压Zookeeper压缩包 tar -zxvf zookeepe ...
- Hadoop学习之路(9)ZooKeeper安装
文章目录 1.环境准备 1.1下载zooKeeper 1.3安装zooKeeper 1.4配置zooKeeper环境变量 1.5 修改zookeeper集群配置文件 1.6 创建myid文件 1.7 ...
- Hadoop学习(5)-zookeeper的安装和命令行,java操作
zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下 ...
- ZooKeeper 安装部署及hello world(转)
ZooKeeper 安装部署及hello world 先给一堆学习文档,方便以后查看官网文档地址大全:OverView(概述)http://zookeeper.apache.org/doc/r3.4 ...
- ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境:■ 伪集群模式:就是在一台物 ...
- zookeeper安装和应用场合(名字,配置,锁,队列,集群管理)
安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/ 来获取,Zookee ...
随机推荐
- 计蒜客 17417 Highest Tower(思维+图论)
题解: 实际上一个可行解即选取长和宽的一个,使得最后每一组选第一维的数值都不同 在此基础上,使得另一维的和最大. 然后建立图论模型 对于每一个方块,在a和b之间连边. 对于选择的方案,如果选择a-&g ...
- 【以前的空间】poj 2288 Islands and Bridges
一个不错的题解 : http://blog.csdn.net/accry/article/details/6607703 这是一道状态压缩.每个点有一个值,我们最后要求一个最值sum.sum由三部分组 ...
- 38 一次 redis 连接泄露的原因 以及 ShardedJedisPool
版权声明:本文为博主原创文章,未经博主允许不得转载. https://blog.csdn.net/u011039332/article/details/85381051前言 这个是接着 上次的 这篇文 ...
- BZOJ3040:最短路——题解
https://www.lydsy.com/JudgeOnline/problem.php?id=3040 题意rt,使用pb_ds的堆解决本问题. 所以其实就是mark一下的. 不过有人确认过官方不 ...
- 51NOD 1353:树——题解
http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1353 今天小a在纸上研究树的形态,众所周知的,有芭蕉树,樟树,函树,平衡 ...
- bzoj3524: [Poi2014]Couriers(主席树)
主席树(可持久化权值线段树)初探... 修改一个点只对树上logn个点有影响,所以新建logn个点就行了,总共新建mlogn个点. 查询一个区间[l,r],相当于将数一个一个加进树,询问第l到第r次操 ...
- finetune on caffe
官方例程:http://caffe.berkeleyvision.org/gathered/examples/finetune_flickr_style.html 相应的中文说明:http://blo ...
- Educational Codeforces Round 6 C
C. Pearls in a Row time limit per test 2 seconds memory limit per test 256 megabytes input standard ...
- distcc配置
原理图: OS: ubuntu Server 12.04 1.安装 apt-get install distcc 2.配置 将文件/etc/default/distcc修改为如下格式 STARTDIS ...
- hadoop压缩和解压
最近有一个hadoop集群上的备份需求.源文件有几百G,如果直接复制太占用磁盘空间.将文件从hadoop集群下载到本地,压缩之后再上传到hadoop则太耗时间.于是想到能否直接在HDFS文件系统上进行 ...