非HA的安装步骤

https://www.cnblogs.com/live41/p/15467263.html

一、部署设定

1.服务器

c1   192.168.100.105    zk、namenode、zkfc、datanode、nodemanager
c2   192.168.100.110    zk、namenode、zkfc、datanode、nodemanager、resourcemanager、journalnode
c3   192.168.100.115    zk、datanode、nodemanager、resourcemanager、journalnode
c4   192.168.100.120    zk、datanode、nodemanager、resourcemanager、journalnode

2.目录

Hadoop NameNode目录    /home/hadoop/hdfs/name
Hadoop DataNode目录      /home/hadoop/hdfs/data
Hadoop JournalNode目录  /home/hadoop/hdfs/journal
Hadoop临时目录                /home/hadoop/tmp
ZooKeeper数据目录           /home/zookeeper/data/
ZooKeeper日志目录           /home/zookeeper/logs/

* 以上目录在每台机都要手动创建

二、系统配置

* 每台机都要执行

https://www.cnblogs.com/live41/p/15467263.html

执行这篇文章的第二点的步骤

三、下载安装包及配置系统环境变量

* 每台机都要执行

1.下载及解压

https://downloads.apache.org/hadoop/common/

http://zookeeper.apache.org/releases.html

解压到/home/目录

2.配置环境变量

vim ~/.bashrc

在末尾加入以下内容：

export HADOOP_HOME=/home/hadoop

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:/home/zookeeper/bin

export HADOOP_COMMON_HOME=/home/hadoop

export HADOOP_HDFS_HOME=/home/hadoop

export HADOOP_MAPRED_HOME=/home/hadoop

export HADOOP_CONF_DIR=/home/hadoop/etc/hadoop

export HDFS_DATANODE_USER=root

export HDFS_NAMENODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export YARN_HOME=/home/hadoop

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

更新环境变量

source ~/.bashrc

四、安装和配置ZooKeeper

* 每台机都要执行

1.创建data和logs目录

mkdir -pv /home/zookeeper/{data,logs}

2.编辑zoo.cfg

cd /home/zookeeper/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改属性或添加内容：

tickTime=2000

initLimit=10

syncLimit=5

clientPort=2181

dataDir=/home/zookeeper/data/

dataLogDir=/home/zookeeper/logs

server.1=c1:2888:3888

server.2=c2:2888:3888

server.3=c3:2888:3888

server.4=c4:2888:3888

3.创建myid

echo 1 > /home/zookeeper/data/myid

* 其中数字是每台机不同，例如第1台是1，第2台是2，第3台是3，第4台是4.

4.启动ZooKeeper节点

zkServer.sh start

5.测试状态

zkServer.sh status

不同节点会不同，有1个leader和多个follower

五、安装和配置Hadoop

* 不用每台机执行，只在c1机执行，再通过scp命令同步配置文件给其它机

1.进入配置目录

cd $HADOOP_HOME/etc/hadoop

2.编辑hadoop-env.sh

vim hadoop-env.sh

添加以下行（已有的不用改）：

export JAVA_HOME=/usr/bin/jdk1.8.0

export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}

* 这里的JAVA_HOME根据你安装的路径来修改。

3.编辑core-site.xml

<configuration>

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://ns6/</value> <!--该属性对应的是hdfs-site.xml的dfs.nameservices属性-->

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/home/hadoop/tmp</value>

    </property>

    <property>

        <name>io.file.buffer.size</name>

        <value>131072</value>

    </property>

    <property>

        <name>ha.zookeeper.quorum</name>

        <value>c1:2181,c2:2181,c3:2181,c4:2181</value>

    </property>

    <property>

        <name>ha.zookeeper.session-timeout.ms</name>

        <value>1000</value>

    </property>

</configuration>

4.编辑hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>3</value>

    </property>

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:///home/hadoop/hdfs/name</value>

    </property>

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:///home/hadoop/hdfs/data</value>

    </property>

    <property>

        <name>dfs.webhdfs.enabled</name>

        <value>true</value>

    </property>

    <!-- core-site.xml中使用的是这里的配置值 -->

    <property>

        <name>dfs.nameservices</name>

        <value>ns6</value>

    </property>

    <property>

        <name>dfs.ha.namenodes.ns6</name>

        <value>nn1,nn2</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.ns6.nn1</name>

        <value>c1:9000</value>

    </property>

    <property>

        <name>dfs.namenode.http-address.ns6.nn1</name>

        <value>c1:50070</value>

    </property>

    <property>

        <name>dfs.namenode.rpc-address.ns6.nn2</name>

        <value>c2:9000</value>

    </property>

    <property>

        <name>dfs.namenode.http-address.ns6.nn2</name>

        <value>c2:50070</value>

    </property>

    <!-- 就是JournalNode列表，url格式：

        qjournal://host1:port1;host2:port2;host3:port3/journalId

        journalId推荐使用nameservice，默认端口号是：8485 -->

    <property>

        <name>dfs.namenode.shared.edits.dir</name>

        <value>qjournal://c1:8485;c2:8485;c3:8485;c4:8485/ns6</value>

    </property>

    <property>

        <name>dfs.journalnode.edits.dir</name>

        <value>/home/hadoop/hdfs/journal</value>

    </property>

    <property>

        <name>dfs.ha.automatic-failover.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>dfs.client.failover.proxy.provider.ns6</name>

        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

    </property>

    <property>

        <name>dfs.ha.fencing.methods</name>

        <value>

            sshfence

            shell(/bin/true)

        </value>

    </property>

    <property>

        <name>dfs.ha.fencing.ssh.private-key-files</name>

        <value>~/.ssh/id_rsa</value> <!-- 或/root/.ssh/id_rsa -->

    </property>

    <property>

        <name>dfs.ha.fencing.ssh.connect-timeout</name>

        <value>30000</value>

    </property>

    <property>

        <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>

        <value>60000</value>

    </property>

</configuration>

5.编辑mapred-site.xml

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.jobtracker.http.address</name>

        <value>c1:50030</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.address</name>

        <value>c1:10020</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.webapp.address</name>

        <value>c1:19888</value>

    </property>

    <property>

        <name>mapred.job.tracker</name>

        <value>http://c1:9001</value>

    </property>

</configuration>

6.编辑yarn-site.xml

<configuration>

    <property>

        <name>yarn.resourcemanager.ha.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.resourcemanager.cluster-id</name>

        <value>yn6</value> <!-- 可自行定义cluster-id -->

    </property>

    <property>

        <name>yarn.resourcemanager.ha.rm-ids</name>

        <value>rm1,rm2</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname.rm1</name>

        <value>c1</value>

    </property>

    <property>

        <name>yarn.resourcemanager.hostname.rm2</name>

        <value>c2</value>

    </property>

    <property>

        <name>yarn.resourcemanager.webapp.address.rm1</name>

        <value>c1:8088</value>

    </property>

    <property>

        <name>yarn.resourcemanager.webapp.address.rm2</name>

        <value>c2:8088</value>

    </property>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

    <property>

        <name>yarn.log-aggregation-enable</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.log-aggregation.retain-seconds</name>

        <value>86400</value>

    </property>

    <property>

        <name>yarn.resourcemanager.zk-address</name>

        <value>c1:2181,c2:2181,c3:2181,c4:2181</value>

    </property>

    <property>

        <name>yarn.resourcemanager.recovery.enabled</name>

        <value>true</value>

    </property>

    <property>

        <name>yarn.resourcemanager.store.class</name>

        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

    </property>

    <property>

        <name>yarn.application.classpath</name>

        <value>/home/hadoop/etc/hadoop:/home/hadoop/share/hadoop/common/lib/*:/home/hadoop/share/hadoop/common/*:/home/hadoop/share/hadoop/hdfs:/home/hadoop/share/hadoop/hdfs/lib/*:/home/hadoop/share/hadoop/hdfs/*:/home/hadoop/share/hadoop/mapreduce/*:/home/hadoop/share/hadoop/yarn:/home/hadoop/share/hadoop/yarn/lib/*:/home/hadoop/share/hadoop/yarn/*</value>

    </property>

</configuration>

7.配置workers

vim workers

添加以下内容：

c1

c2

c3

c4

8.同步配置文件

由于前面已经配置过免密登录，所以可以先配置c1机的文件，再通过scp同步给其它机。

cd /home/hadoop/etc/hadoop

scp *.* c2:/home/hadoop/etc/hadoop

scp *.* c3:/home/hadoop/etc/hadoop

scp *.* c4:/home/hadoop/etc/hadoop

六、启动Hadoop

* 只在c1机执行

1.启动JournalNode

hdfs --workers --daemon start journalnode

旧版命令如下：

hadoop-daemons.sh start journalnode

旧版命令也能执行，但会报警告信息。

* 有2个相似文件：hadoop-daemon.sh和hadoop-daemons.sh

* 前者(没带s)的是只执行本机的journalnode，后者（有带s）是执行所有机器的journalnode。

* 注意不要输错～！

2.格式化NameNode

hadoop namenode -format

格式化后同步namenode的信息文件给c2机。因为有2个NameNode节点，c1和c2

scp -r /home/hadoop/hdfs/name/current/ c2:/home/hadoop/hdfs/name/

3.格式化zkfc

hdfs zkfc -formatZK

zkfc = ZKFailoverController = ZooKeeper Failover Controller

zkfc用于监控NameNode状态信息，并进行自动切换。

4.启动HDFS和Yarn

start-dfs.sh

start-yarn.sh

* 这步是最经常报错的，部分错误及解决方法见下面附录。

5.检查进程

jps

6.检查节点状态

hdfs haadmin -getServiceState nn1

hdfs haadmin -getServiceState nn2

yarn rmadmin -getServiceState rm1

yarn rmadmin -getServiceState rm2

7.关闭Hadoop

stop-yarn.sh

stop-dfs.sh

七、使用Hadoop

* 只在c1机执行

1.Web页面

http://192.168.100.105:50070/

2.使用命令

https://www.cnblogs.com/xiaojianblogs/p/14281445.html

附录

* 每台机都要执行

1.没有配置用root启动Hadoop

错误提示信息：

Starting namenodes on [master]

ERROR: Attempting to operate on hdfs namenode as root

ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation.

Starting datanodes

ERROR: Attempting to operate on hdfs datanode as root

ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation.

Starting secondary namenodes [slave1]

ERROR: Attempting to operate on hdfs secondarynamenode as root

ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.

解决方法：

(1) 修改start-dfs.sh和stop-dfs.sh，在头部添加以下内容：

#!/usr/bin/env bash

HDFS_DATANODE_USER=root

HADOOP_SECURE_DN_USER=root

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

(2) 修改start-yarn.sh和stop-yarn.sh，在头部添加以下内容：

#!/usr/bin/env bash

HADOOP_SECURE_DN_USER=root

YARN_RESOURCEMANAGER_USER=root

YARN_NODEMANAGER_USER=root

* 可以先在c1机修改，用scp同步给其它机器

2.重新格式化后的IO错误

错误提示信息（多种）：

Incompatible clusterIDs in /home/hadoop/hdfs/data
Failed to add storage directory [DISK]file
Directory /home/hadoop/hdfs/journal/ns6 is in an inconsistent state: Can't format the storage directory because the current directory is not empty.

解决方法：

在格式化之前，先把name、data、logs等目录里面的文件先清除掉。注意只是删除里面的文件，不删除目录

Hadoop的HA(ZooKeeper)安装与部署的更多相关文章

  1. Hadoop分布式HA的安装部署

    Hadoop分布式HA的安装部署 前言 单机版的Hadoop环境只有一个namenode,一般namenode出现问题,整个系统也就无法使用,所以高可用主要指的是namenode的高可用,即存在两个n ...

  2. Zookeeper安装和部署

    Zookeeper安装和部署:ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用 ...

  3. zookeeper安装及部署

    安装及部署 一. 单机安装.配置 1.下载zookeeper二进制安装包 下载 curl -L -O http://apache.fayea.com/zookeeper/stable/zookeepe ...

  4. [hadoop][会装]zookeeper安装

    1.简介 分布式场景下的各个进程间的协调运作离不开zookeeper, zookeeper已经是大数据领域提供分布式协调服务的事实标准. 本文只介绍zookeeper的安装方法. 2. 节点规划如下: ...

  5. ZooKeeper安装、部署

    一.简介       ZK的安装和配置十分简单,既可以配置成单机模式,也可以配置成集群模式,zk使用java编写的运行在java环境上,3个ZK服务进程是建议的最小进程数量,而且建议部署在不通的物理机 ...

  6. Hadoop的伪分布式安装和部署的流程

    1.准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/ ...

  7. Hadoop的伪分布式安装和部署流程

    在opt目录创建install software test other四个目录 /opt/installed #安装包/opt/software #软件包/opt/other #其他/opt/test ...

  8. [hadoop][会装]hadoop ha模式安装

    1.简介 2.X版本后namenode支持了HA特性,使得整个文件系统的可用性更加增强. 2.安装前提 zookeeper集群,zookeeper的安装参考[hadoop][会装]zookeeper安 ...

  9. hadoop 2.x HA(QJM)安装部署规划

    一.主机服务规划: db01                                             db02                                      ...

随机推荐

  1. this关键字的理解

    this理解为:当前对象 或 当前正在创建的对象 this代表所在类的当前对象的引用(地址值),即对象对自己的引用. 备注:意思方法被那个对象调用,方法中的this就代表那个对象.即谁调用,this就 ...

  2. 【C++】特殊字符“\0”，以及NULL相关

    我们都知道,'\0'是字符串的结束标记.因此,执行这段代码: #include<bits/stdc++.h> using namespace std; int main(){ cout&l ...

  3. 致Python初学者，Python常用的基础函数你知道有哪些吗？

    Python基础函数: print()函数:打印字符串 raw_input()函数:从用户键盘捕获字符 len()函数:计算字符长度 format(12.3654,'6.2f'/'0.3%')函数:实 ...

  4. JMeter脚本开发

    什么是jmeter脚本 用户操作系统的动作流程 用户操作系统的请求 类似演戏的剧本 怎么快速开发漂亮的jmeter脚本 准确 快速 漂亮,脚本逻辑清晰,维护性高 脚本开发方案 代理 http代理服务器 ...

  5. CI框架 模糊查询，链表查询

    $data = $this->db->from('flash_news') ->select('xx,xx,xx,xx') ->limit(2) ->like('tags ...

  6. AVS 端能力之音频播放模块

    功能简介 音频播放 音频流播放 URL文件播放 播放控制 播放 暂停 继续 停止 其它功能(AVS服务器端实现) 支持播放列表 支持上一首下一首切换 支持电台 事件指令集 AudioPlayer 端能 ...

  7. vue three.js 结合tween.js 实现动画过渡

    参考地址:https://www.jianshu.com/p/d6e3b4b153bb https://www.jqhtml.com/10513.html 官方文档:https://github.co ...

  8. [转载]CentOS 下安装LEMP服务(Nginx、MariaDB/MySQL和PHP)

    LEMP 组合包是一款日益流行的网站服务组合软件包,在许多生产环境中的核心网站服务上起着强有力的作用.正如其名称所暗示的, LEMP 包是由 Linux.nginx.MariaDB/MySQL 和 P ...

  9. bzoj4025-二分图【线段树分治,并查集】

    正题 题目链接:https://darkbzoj.tk/problem/4025 题目大意 \(n\)个点\(m\)条边,每条边会在一个\(T\)以内的时间段内出现,对于任意一个\(T\)以内的时刻求 ...

  10. Flask SSTI利用方式的探索

    Flask SSTI利用方式的探索 一.SSTI简介&环境搭建 ​ 一个统一风格的站点,其大多数页面样式都是一致的,只是每个页面显示的内容各不相同.要是所有的逻辑都放在前端进行,无疑会影响响应 ...