非HA的安装步骤

https://www.cnblogs.com/live41/p/15467263.html

一、部署设定

1.服务器

c1   192.168.100.105    zk、namenode、zkfc、datanode、nodemanager
c2   192.168.100.110    zk、namenode、zkfc、datanode、nodemanager、resourcemanager、journalnode
c3   192.168.100.115    zk、datanode、nodemanager、resourcemanager、journalnode
c4   192.168.100.120    zk、datanode、nodemanager、resourcemanager、journalnode

2.目录

Hadoop NameNode目录    /home/hadoop/hdfs/name
Hadoop DataNode目录      /home/hadoop/hdfs/data
Hadoop JournalNode目录  /home/hadoop/hdfs/journal
Hadoop临时目录                /home/hadoop/tmp
ZooKeeper数据目录           /home/zookeeper/data/
ZooKeeper日志目录           /home/zookeeper/logs/

* 以上目录在每台机都要手动创建

二、系统配置

* 每台机都要执行

https://www.cnblogs.com/live41/p/15467263.html

执行这篇文章的第二点的步骤

三、下载安装包及配置系统环境变量

* 每台机都要执行

1.下载及解压

https://downloads.apache.org/hadoop/common/

http://zookeeper.apache.org/releases.html

解压到/home/目录

2.配置环境变量

vim ~/.bashrc

在末尾加入以下内容：

export HADOOP_HOME=/home/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/home/zookeeper/bin

export HADOOP_COMMON_HOME=/home/hadoop

export HADOOP_HDFS_HOME=/home/hadoop

export HADOOP_MAPRED_HOME=/home/hadoop

export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop

export HDFS_DATANODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_HOME=/home/hadoop

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

更新环境变量

source ~/.bashrc

四、安装和配置ZooKeeper

* 每台机都要执行

1.创建data和logs目录

mkdir -pv /home/zookeeper/{data,logs}

2.编辑zoo.cfg

cd /home/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改属性或添加内容：

tickTime=2000

initLimit=10

syncLimit=5

clientPort=2181

dataDir=/home/zookeeper/data/

dataLogDir=/home/zookeeper/logs

server.1=c1:2888:3888

server.2=c2:2888:3888

server.3=c3:2888:3888

server.4=c4:2888:3888

3.创建myid

echo 1 > /home/zookeeper/data/myid

* 其中数字是每台机不同，例如第1台是1，第2台是2，第3台是3，第4台是4.

4.启动ZooKeeper节点

zkServer.sh start

5.测试状态

zkServer.sh status

不同节点会不同，有1个leader和多个follower

五、安装和配置Hadoop

* 不用每台机执行，只在c1机执行，再通过scp命令同步配置文件给其它机

1.进入配置目录

cd $HADOOP_HOME/etc/hadoop

2.编辑hadoop-env.sh

vim hadoop-env.sh

添加以下行（已有的不用改）：

export JAVA_HOME=/usr/bin/jdk1.8.0

export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}

* 这里的JAVA_HOME根据你安装的路径来修改。

3.编辑core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://ns6/</value> <!--该属性对应的是hdfs-site.xml的dfs.nameservices属性-->

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/tmp</value>

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>131072</value>

    </property>

    <property>

        <name>ha.zookeeper.quorum</name>

        <value>c1:2181,c2:2181,c3:2181,c4:2181</value>

    </property>

    <property>

        <name>ha.zookeeper.session-timeout.ms</name>

        <value>1000</value>

    </property>

</configuration>

4.编辑hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:///home/hadoop/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:///home/hadoop/hdfs/data</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <!-- core-site.xml中使用的是这里的配置值 -->

    <property>

        <name>dfs.nameservices</name>

        <value>ns6</value>

    </property>

    <property>

        <name>dfs.ha.namenodes.ns6</name>

        <value>nn1,nn2</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.ns6.nn1</name>

        <value>c1:9000</value>

    </property>

    <property>

        <name>dfs.namenode.http-address.ns6.nn1</name>

        <value>c1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.ns6.nn2</name>

        <value>c2:9000</value>

    </property>

    <property>

        <name>dfs.namenode.http-address.ns6.nn2</name>

        <value>c2:50070</value>

    </property>

    <!-- 就是JournalNode列表，url格式：

        qjournal://host1:port1;host2:port2;host3:port3/journalId

        journalId推荐使用nameservice，默认端口号是：8485 -->

    <property>

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://c1:8485;c2:8485;c3:8485;c4:8485/ns6</value>

    </property>

    <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/home/hadoop/hdfs/journal</value>

    </property>

    <property>

        <name>dfs.ha.automatic-failover.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.client.failover.proxy.provider.ns6</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

    <property>

        <name>dfs.ha.fencing.methods</name>

        <value>

            sshfence

            shell(/bin/true)

        </value>

    </property>

    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>~/.ssh/id_rsa</value> <!-- 或/root/.ssh/id_rsa -->

    </property>

    <property>

        <name>dfs.ha.fencing.ssh.connect-timeout</name>

        <value>30000</value>

    </property>

    <property>

        <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>

        <value>60000</value>

    </property>

</configuration>

5.编辑mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.jobtracker.http.address</name>

        <value>c1:50030</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>c1:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>c1:19888</value>

    </property>

    <property>

        <name>mapred.job.tracker</name>

        <value>http://c1:9001</value>

    </property>

</configuration>

6.编辑yarn-site.xml

<configuration>

    <property>

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.resourcemanager.cluster-id</name>

        <value>yn6</value> <!-- 可自行定义cluster-id -->

    </property>

    <property>

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>rm1,rm2</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname.rm1</name>

        <value>c1</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname.rm2</name>

        <value>c2</value>

    </property>

    <property>

        <name>yarn.resourcemanager.webapp.address.rm1</name>

        <value>c1:8088</value>

    </property>

    <property>

        <name>yarn.resourcemanager.webapp.address.rm2</name>

        <value>c2:8088</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>86400</value>

    </property>

    <property>

        <name>yarn.resourcemanager.zk-address</name>

        <value>c1:2181,c2:2181,c3:2181,c4:2181</value>

    </property>

    <property>

        <name>yarn.resourcemanager.recovery.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.resourcemanager.store.class</name>

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

    </property>

    <property>

        <name>yarn.application.classpath</name>

        <value>/home/hadoop/etc/hadoop:/home/hadoop/share/hadoop/common/lib/*:/home/hadoop/share/hadoop/common/*:/home/hadoop/share/hadoop/hdfs:/home/hadoop/share/hadoop/hdfs/lib/*:/home/hadoop/share/hadoop/hdfs/*:/home/hadoop/share/hadoop/mapreduce/*:/home/hadoop/share/hadoop/yarn:/home/hadoop/share/hadoop/yarn/lib/*:/home/hadoop/share/hadoop/yarn/*</value>

    </property>

</configuration>

7.配置workers

vim workers

添加以下内容：

c1

c2

c3

c4

8.同步配置文件

由于前面已经配置过免密登录，所以可以先配置c1机的文件，再通过scp同步给其它机。

cd /home/hadoop/etc/hadoop

scp *.* c2:/home/hadoop/etc/hadoop

scp *.* c3:/home/hadoop/etc/hadoop

scp *.* c4:/home/hadoop/etc/hadoop

六、启动Hadoop

* 只在c1机执行

1.启动JournalNode

hdfs --workers --daemon start journalnode

旧版命令如下：

hadoop-daemons.sh start journalnode

旧版命令也能执行，但会报警告信息。

* 有2个相似文件：hadoop-daemon.sh和hadoop-daemons.sh

* 前者(没带s)的是只执行本机的journalnode，后者（有带s）是执行所有机器的journalnode。

* 注意不要输错～！

2.格式化NameNode

hadoop namenode -format

格式化后同步namenode的信息文件给c2机。因为有2个NameNode节点，c1和c2

scp -r /home/hadoop/hdfs/name/current/ c2:/home/hadoop/hdfs/name/

3.格式化zkfc

hdfs zkfc -formatZK

zkfc = ZKFailoverController = ZooKeeper Failover Controller

zkfc用于监控NameNode状态信息，并进行自动切换。

4.启动HDFS和Yarn

start-dfs.sh

start-yarn.sh

* 这步是最经常报错的，部分错误及解决方法见下面附录。

5.检查进程

jps

6.检查节点状态

hdfs haadmin -getServiceState nn1

hdfs haadmin -getServiceState nn2

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

7.关闭Hadoop

stop-yarn.sh

stop-dfs.sh

七、使用Hadoop

* 只在c1机执行

1.Web页面

http://192.168.100.105:50070/

2.使用命令

https://www.cnblogs.com/xiaojianblogs/p/14281445.html

附录

* 每台机都要执行

1.没有配置用root启动Hadoop

错误提示信息：

Starting namenodes on [master]

ERROR: Attempting to operate on hdfs namenode as root

ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

Starting datanodes

ERROR: Attempting to operate on hdfs datanode as root

ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.

Starting secondary namenodes [slave1]

ERROR: Attempting to operate on hdfs secondarynamenode as root

ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

解决方法：

(1) 修改start-dfs.sh和stop-dfs.sh，在头部添加以下内容：

#!/usr/bin/env bash

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=root

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

(2) 修改start-yarn.sh和stop-yarn.sh，在头部添加以下内容：

#!/usr/bin/env bash

HADOOP_SECURE_DN_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

* 可以先在c1机修改，用scp同步给其它机器

2.重新格式化后的IO错误

错误提示信息（多种）：

Incompatible clusterIDs in /home/hadoop/hdfs/data
Failed to add storage directory [DISK]file
Directory /home/hadoop/hdfs/journal/ns6 is in an inconsistent state: Can't format the storage directory because the current directory is not empty.

解决方法：

在格式化之前，先把name、data、logs等目录里面的文件先清除掉。注意只是删除里面的文件，不删除目录

Hadoop的HA(ZooKeeper)安装与部署的更多相关文章

  1. Hadoop分布式HA的安装部署

    Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode,一般namenode出现问题,整个系统也就无法使用,所以高可用主要指的是namenode的高可用,即存在两个n ...

  2. Zookeeper安装和部署

    Zookeeper安装和部署:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用 ...

  3. zookeeper安装及部署

    安装及部署 一. 单机安装.配置 1.下载zookeeper二进制安装包 下载 curl -L -O http://apache.fayea.com/zookeeper/stable/zookeepe ...

  4. [hadoop][会装]zookeeper安装

    1.简介 分布式场景下的各个进程间的协调运作离不开zookeeper, zookeeper已经是大数据领域提供分布式协调服务的事实标准. 本文只介绍zookeeper的安装方法. 2. 节点规划如下: ...

  5. ZooKeeper安装、部署

    一.简介       ZK的安装和配置十分简单,既可以配置成单机模式,也可以配置成集群模式,zk使用java编写的运行在java环境上,3个ZK服务进程是建议的最小进程数量,而且建议部署在不通的物理机 ...

  6. Hadoop的伪分布式安装和部署的流程

    1.准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/ ...

  7. Hadoop的伪分布式安装和部署流程

    在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test ...

  8. [hadoop][会装]hadoop ha模式安装

    1.简介 2.X版本后namenode支持了HA特性,使得整个文件系统的可用性更加增强. 2.安装前提 zookeeper集群,zookeeper的安装参考[hadoop][会装]zookeeper安 ...

  9. hadoop 2.x HA(QJM)安装部署规划

    一.主机服务规划: db01                                             db02                                      ...

随机推荐

  1. 尚硅谷Java基础学习笔记

    综述: Java学习图谱: 常见dos命令: 操作案例: Java语言的特点: 面向对象 两个基本概念:类.对象 三个基本特性:封装.继承.多态 健壮性.可继承性 write once,run any ...

  2. C++吃金币小游戏

    上图: 游戏规则:按A,D键向左和向右移动小棍子,$表示金币,0表示炸弹,吃到金币+10分,吃到炸弹就GAME OVER. 大体思路和打字游戏相同,都是使用数组,refresh和run函数进行,做了一 ...

  3. HTML基本概念及基本标签

    HTML基本概念及基本语法 1.HTML的基本概念 1.1  B/S.C/S基本概念 B/S(Browser/Server):指的是浏览器端与服务器端工作模式,优点相对节省本地存储空间,不足是需要占用 ...

  4. 在PHP中使用SPL库中的对象方法进行XML与数组的转换

    虽说现在很多的服务提供商都会提供 JSON 接口供我们使用,但是,还是有不少的服务依然必须使用 XML 作为接口格式,这就需要我们来对 XML 格式的数据进行解析转换.而 PHP 中并没有像 json ...

  5. ActiveQq的代码实现

    ]从java代码开始再过渡到springboot Java代码的实现 1.activemq这个消息中间件有两种形式 1. p2p(生产者,消费者) 特点: 生产者: package com.lqh; ...

  6. python多线程与_thread模块

    进程与线程 1.进程:计算机程序只是存储在磁盘中的可执行二进制(或其他类型)的文件.只有把他们加载到内存中并被操作系统调用,才具有其生命周期.进程则是一个执行中的程序.每个进程都拥有自己的地址空间,内 ...

  7. centos7 kubeadm 搭建k8s

    Centos 7 搭建 kubernetes 集群环境 一.介绍 本次是centos7 搭建kubernetes1.15.9 通过kubeadm 的形式搭建 二.准备 > centos 7 (镜 ...

  8. CF960G-Bandit Blues【第一类斯特林数,分治,NTT】

    正题 题目链接:https://www.luogu.com.cn/problem/CF960G 题目大意 求有多少个长度为\(n\)的排列,使得有\(A\)个前缀最大值和\(B\)个后缀最大值. \( ...

  9. Spring Security 学习+实践

    Spring Security是Spring为解决应用安全所提供的一个全面的安全性解决方案.基于Spring AOP和Servlet过滤器,启动时在Spring上下文中注入了一组安全应用的Bean,并 ...

  10. 在Anaconda环境下安装Tensorflow

    安装Anaconda 下载Anaconda 个人版Individual Edition.如果下载速度慢,可以复制下载链接到迅雷或者在清华大学开源镜像站TUNA中找合适的版本. 注意在安装过程中的&qu ...