[hadoop][会装]zookeeper安装
1.简介
分布式场景下的各个进程间的协调运作离不开zookeeper, zookeeper已经是大数据领域提供分布式协调服务的事实标准。
本文只介绍zookeeper的安装方法。
2. 节点规划如下:
xufeng-1 | xufeng-2 | xufeng-3 |
zookeeper | zookeeper | zookeeper |
3.目录规划
drwxrwxr-x. hadoop hadoop 7月 : hadoop-data
drwxrwxr-x. hadoop hadoop 7月 : hadooplib
drwxrwxr-x. hadoop hadoop 7月 : java
lrwxrwxrwx. hadoop hadoop 7月 : zookeeper -> /opt/hadoop/hadooplib/cdh5.4.2/zookeeper-3.4.-cdh5.4.2
drwxrwxr-x. hadoop hadoop 7月 : zookeeper-config
上述中:
1.软链接形式有利于后续版本升级后不会影响到环境变量等参数的设定。
2.配置文件独立于软件包有利于升级后不会影响到现有的运行参数。
4.开始安装
【各个节点上操作】
a.设定环境变量参数:
#zookeeper
export ZOOKEEPER_HOME=/opt/hadoop/zookeeper
export ZOOCFGDIR=/opt/hadoop/zookeeper-config
b.设定配置文件
将软件包中的conf下的文件拷贝到 zookeeper-config文件夹下
将zoo_sample.cfg改名为zoo.cfg
[hadoop@xufeng- hadoop]$ cd zookeeper-config/
[hadoop@xufeng- zookeeper-config]$ ll
总用量
-rwxr-x---. hadoop hadoop 7月 : configuration.xsl
-rwxr-x---. hadoop hadoop 7月 : log4j.properties
-rwxr-x---. hadoop hadoop 7月 : zoo.cfg
c.修改zoo.cfg,根据环境信息增加如下三行信息
# the port at which the clients will connect
clientPort= server.=xufeng-::
server.=xufeng-::
server.=xufeng-:: #
# Be sure to read the maintenance section of the
d.在zoo.cfg配置中查看dataDir参数设定信息,分别在各个主机上的此目录中创建myid文件:
[hadoop@xufeng- hadoop]$ cd hadoop-data/zookeeper/
[hadoop@xufeng- zookeeper]$ ll
总用量
-rw-rw-r--. hadoop hadoop 7月 : myid
e.设定myid内容,根据步骤c的设定,在xufeng-1主机上的myid文件中写入1,xufeng-2的myid文件中写入2,xufeng-3的myid文件写入3
e.配置日志目录和参数
在~/.brash_profile中增加如下两个变量:
export ZOO_LOG_DIR=/opt/hadoop/zookeeper/logs
export ZOO_LOG4J_PROP='INFO,ROLLINGFILE'
以上安装部分完成
5. 启动zookeeper
在各个几点上
a. 执行zkServer.sh start启动脚本
[hadoop@xufeng- hadoop]$ zkServer.sh start
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Starting zookeeper ... STARTED
注意:
听说centOS6有一个bug:
需要关闭防火墙才能联通端口:
所以当你启动zookeeper后发现日志中有no route hosts错误时候多半是这个原因,可以执行如下命令: service iptables stop
chkconfig iptables off
b. 查看各个zookeeper的状态:
[hadoop@xufeng- zookeeper]$ zkServer.sh status
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Mode: leader [hadoop@xufeng- zookeeper]$ zkServer.sh status
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Mode: follower [hadoop@xufeng- hadoop]$ zkServer.sh status
JMX enabled by default
Using config: /opt/hadoop/zookeeper-config/zoo.cfg
Mode: follower
以上。
[hadoop][会装]zookeeper安装的更多相关文章
- Hadoop的HA(ZooKeeper)安装与部署
非HA的安装步骤 https://www.cnblogs.com/live41/p/15467263.html 一.部署设定 1.服务器 c1 192.168.100.105 zk.name ...
- [hadoop][会装]hadoop ha模式安装
1.简介 2.X版本后namenode支持了HA特性,使得整个文件系统的可用性更加增强. 2.安装前提 zookeeper集群,zookeeper的安装参考[hadoop][会装]zookeeper安 ...
- 基于zookeeper的高可用Hadoop HA集群安装
(1)hadoop2.7.1源码编译 http://aperise.iteye.com/blog/2246856 (2)hadoop2.7.1安装准备 http://aperise.iteye.com ...
- 3.Hadoop集群搭建之Zookeeper安装
前期准备 下载Zookeeper 3.4.5 若无特殊说明,则以下操作均在master节点上进行 1. 解压Zookeeper #直接解压Zookeeper压缩包 tar -zxvf zookeepe ...
- Hadoop学习之路(9)ZooKeeper安装
文章目录 1.环境准备 1.1下载zooKeeper 1.3安装zooKeeper 1.4配置zooKeeper环境变量 1.5 修改zookeeper集群配置文件 1.6 创建myid文件 1.7 ...
- Hadoop学习(5)-zookeeper的安装和命令行,java操作
zookeeper是干嘛的呢 Zookeeper的作用1.可以为客户端管理少量的数据kvkey:是以路径的形式表示的,那就意味着,各key之间有父子关系,比如/ 是顶层key用户建的key只能在/ 下 ...
- ZooKeeper 安装部署及hello world(转)
ZooKeeper 安装部署及hello world 先给一堆学习文档,方便以后查看官网文档地址大全:OverView(概述)http://zookeeper.apache.org/doc/r3.4 ...
- ZooKeeper学习第二期--ZooKeeper安装配置
一.Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式. ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境:■ 伪集群模式:就是在一台物 ...
- zookeeper安装和应用场合(名字,配置,锁,队列,集群管理)
安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础,最新的版本可以通过官网http://hadoop.apache.org/zookeeper/ 来获取,Zookee ...
随机推荐
- P2420 让我们异或吧
题目描述 异或是一种神奇的运算,大部分人把它总结成不进位加法. 在生活中…xor运算也很常见.比如,对于一个问题的回答,是为1,否为0.那么: (A是否是男生 )xor( B是否是男生)=A和B是否能 ...
- POJ 2774 求两个串的最长公共前缀 | 后缀数组
#include<cstdio> #include<algorithm> #include<cstring> #define N 200005 using name ...
- printf函数用法小记
By francis_hao Aug 26,2017 C语言中printf函数是一个比较常用的函数,但是常用并不代表完全了解,本文翻译了printf的man手册,介绍了其全部功能(不包括ma ...
- Python Pandas与Numpy中axis参数的二义性
Stackoverflow.com是程序员的好去处,本公众号将以pandas为主题,开始一个系列,争取做到每周一篇,翻译并帮助pandas学习者一起理解一些有代表性的案例.今天的主题就是Pandas与 ...
- mybatis分页查询需要注意的问题
一般对mybatis的分页查询的关键代码就两行: #currentPage代表当前页,pageSize代表每页的行数 PageHelper.startPage(currentPage, pageSiz ...
- lnmp 环境搭建
3.安装 lnmp : wget http://soft.vpser.net/lnmp/lnmp1.3-full.tar.gz tar -zxvf lnmp1.3-full.tar.gz cd lnm ...
- centOS升级部分功能后,不能进入桌面(桌面)
在Linux中安装nginx,安装过程中需要安装c++等一部分环境,装完后,莫名奇妙的centos就不能进入桌面了,命令窗口可以进去. 网上查了查资料,说是升级了一部分功能,和内核有冲突.需要更新下系 ...
- 用Apache Spark和TensorFlow进行的深度学习
原文:https://databricks.com/blog/2016/01/25/deep-learning-with-apache-spark-and-tensorflow.html by Tim ...
- js的alert抛出之后怎么让页面停止执行?
方法: 1.如果是form的submit提交,如果要停止,则返回false:如果提交,则返回true就行了. 2.如果是手工跳转的方式,则如果要停止,则不执行跳转代码:如果要提交,则执行跳转代码 示例 ...
- LightOJ 1135 - Count the Multiples of 3 线段树
http://www.lightoj.com/volume_showproblem.php?problem=1135 题意:给定两个操作,一个对区间所有元素加1,一个询问区间能被3整除的数有多少个. ...