二、集群环境安装Zookeeper

1.         hadoop0,namenode机器下,配置zookeeper,先解压安装包。

使用命令:tar -zxvf zookeeper-3.4.4.tar.gz

2.         Hadoop0,配置zookeeper的环境变量

a)         打开/etc/profile,增加并修改如下内容

export ZOOKEEPER_HOME=/usr/local/zookeeper
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH:$PATH:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf

3.         进入zookeeper的配置目录,首先把zoo_sample.cfg重命名一下,可以重新复制一遍。

使用命令:cp zoo_sample.cfg zoo.cfg

4.         修改配置zoo.cfg,修改添加如下内容:

dataDir=/usr/local/zookeeper/data
server.=hadoop0::
server.=hadoop1::

dataDir用于存放第5步的myid文件

Hadoop0、hadoop1分别是主机名,节点数量最好是奇数;

2888端口,是从机器(follower)连接到主机器(leader)的端口号;

端口3888,是进行leadership选举的端口号;

注意,如果是在一台机器上搭建,则应避免端口冲突。

5.         dataDir所指定的目录下创建一个文件名为myid的文件

文件中的内容只有一行,为本主机对应的id值,也就是第4步中server.id中的id。例如:在hadoop0中的myid的内容应该写入0。

6.         将配置好的zookeeper安装文件及profile远程复制分发

scp –rq /usr/local/zookeeper hadoop1:/usr/local

scp –rq /etc/profile hadoop1:/etc

7.         拷贝完成后修改对应的机器上的myid。例如修改hadoop1中的myid为1

8.         启动ZooKeeper集群,在每一个节点上执行命令zkServer.sh start

9.         Jps验证,每个阶段均,输出如下结果:

其中,QuorumPeerMain是zookeeper进程,启动正常。

10.     其他常用命令:

a)         查看集群中角色的命令(或是Leader,或是Follower):zkServer.sh status

b)         客户端连接zookeeper:zkCli.sh –server hadoop0:2181,客户端成功后,可通过如下命令操作zk

ls(查看当前节点数据),

ls2(查看当前节点数据并能看到更新次数等数据) ,

create(创建一个节点) ,

get(得到一个节点,包含数据和更新次数等数据),

set(修改节点)

delete(删除一个节点)

c)         停止zookeeper进程:zkServer.sh stop

分布式Hadoop安装(二)的更多相关文章

  1. 分布式Hadoop安装(一)

    本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署 writen by Bob Pan@20140609 环境介绍: 主机名 机器IP 用途 描述 Hadoop0 192.168.80 ...

  2. VMwareWorkstation 平台 Ubuntu14 下安装配置 伪分布式 hadoop

    VMwareWorkstation平台Ubuntu14下安装配置伪分布式hadoop 安装VmwareStation 内含注册机. 链接:https://pan.baidu.com/s/1j-vKgD ...

  3. Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04

    摘自: http://www.cnblogs.com/kinglau/p/3796164.html http://www.powerxing.com/install-hadoop/ 当开始着手实践 H ...

  4. 高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南

    原文:http://my.oschina.net/wstone/blog/365010#OSC_h3_13 (WJW)高可用,完全分布式Hadoop集群HDFS和MapReduce安装配置指南 [X] ...

  5. hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏)

    hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏) 网上的文章99%都是垃圾,我凭良心书写,确保幼儿园同学也能安装成功! 查看系统环境    1.查看 ...

  6. Hadoop全分布式模式安装

    一.准备 1.准备至少三台linux服务器,并安装JDK 关闭防火墙如下 systemctl stop firewalld.service systemctl disable firewalld.se ...

  7. CentOS7 Hadoop 安装(完全分布式)

    一.hadoop集群安装模式   单机模式 直接解压,无需任何配置.主要用于测试代码.没有分布式文件系统.   伪分布式 完全分布式的一种形式,只是所有的进程都配置要一个节点上.有分布式文件系统,只不 ...

  8. 避坑之Hadoop安装伪分布式(Hadoop3.2.0/Ubuntu14.04 64位)

    一.安装JDK环境(这个可以网上随意搜一篇教程了照着弄,这里不赘述) 安装成功之后 输入 输入:java -version 显示如下说明jdk安装成功(我这里是安装JDK8) 二.安装Hadoop3. ...

  9. Hadoop安装教程_分布式

    Hadoop的分布式安装 hadoop安装伪分布式以后就可以进行启动和停止操作了. 首先需要格式化HDFS分布式文件系统.hadoop namenode -format 然后就可以启动了.start- ...

随机推荐

  1. HtmlHelper和强类型转换

    MVC HtmlHelper;1.Url():<%= Html.ActionLink("用户列表","方法","控制器") %> ...

  2. 【kd-tree】bzoj2648 SJY摆棋子

    #include<cstdio> #include<cmath> #include<algorithm> using namespace std; #define ...

  3. SQL到NOSQL的思维转变

    NOSQL系统一般都会宣传一个特性,那就是性能好,然后为什么呢?关系型数据库发展了这么多年,各种优化工作已经做得很深了,NOSQL系统一般都是吸收关系型数据库的技术,然后,到底是什么因素束缚了关系型数 ...

  4. cygwin下清屏的三种方法

    1. 做一个clear脚本,放到/bin下去 $vim /bin/clear #!/bin/bash cmd /c cls 2. ctrl + L 3. 在cygwind中install ncurse ...

  5. httpd 虚拟主机建立之访问机制及其日志定义

    注:关闭防火墙,selinux VirtualHost定义: 基于IP地址VirtualHost: 编辑httpd.conf文件: #DocumentRoot "/web/html" ...

  6. Java写的爬虫的基本程序

    这是一个web搜索的基本程序,从命令行输入搜索条件(起始的URL.处理url的最大数.要搜索的字符串),它就会逐个对Internet上的URL进行实时搜索,查找并输出匹配搜索条件的页面. 这个程序的原 ...

  7. C++混合编程之idlcpp教程Lua篇(5)

    上一篇在这 C++混合编程之idlcpp教程Lua篇(4) 第一篇在这 C++混合编程之idlcpp教程(一) 与前面的工程相似,工程LuaTutorial3中,同样加入了三个文件:LuaTutori ...

  8. Linq学习之操作符

    一.环境搭建 下面将逐步搭建我们学习的环境,这个环境不仅仅是这次需要使用,以后的教程一样需要使用这个环境.所以请大家务必按照 搭建这里的环境否则会影响你后面的学习. 我们用到的几张表 通知消息表: 用 ...

  9. Vertica笔记

    1.Table不做存储,本质是一个视图,真正存储在 Projection 里.可以针对一个Table建多个Projection . 查看表和 Projection 的个数: select anchor ...

  10. [Hyper-V]制作一个干净的操作系统模板

    描述: 在Hyper-V里创建虚拟机的时候,我们可以先来创建一个干净的操作系统,将其制作为操作系统模板,该虚拟机的磁盘文件也将被视作基础磁盘以方便基于它创建差异化磁盘 安装其它虚拟机的时候就可以差异化 ...