一、准备安装介质

a)、hadoop-2.8.0.tar

b)、jdk-7u71-linux-x64.tar

二、节点部署图

三、安装步骤

环境介绍:

主服务器ip:192.168.80.128(master)  NameNode  SecondaryNameNode ResourceManager

从服务器ip:192.168.80.129(slave1)  DataNode NodeManager

从服务器ip: 192.168.80.130(slave2)  DataNode NodeManager

1、在三台机器上配置服务器域名

192.168.80.128 master
192.168.80.129 slave1
192.168.80.130 slave2

2、注意:关闭防火墙

systemctl stop firewalld.service #停止

firewall systemctl disable firewalld.service  #禁止firewall开机启动

firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)

3.上传安装包

1)JDK安装包 jdk-7u71-linux-x64.tar.gz

2)hadoop安装包 hadoop-2.8.0.tar.gz

4.安装JDK

1)解压JDK tar -zxvf jdk-7u71-linux-x64.tar.gz

5)配置环境变量 vi /etc/profile

6)在文件最后加入JDK配置

JAVA_HOME=/home/hadoop/jdk1.7.0_71

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:

$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

7)退出当前用户,重新登录,检查JDK安装是否成功 java -version

8)按照以上操作,重复安装其他两台机器

9、安装Hadoop

1)解压Hadoop tar -zxvf hadoop-2.8.0.tar.gz

2)配置环境变量 vi /etc/profile

export HADOOP_HOME=/home/hadoop/hadoop-2.8.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4)退出当前用户,重新登录,检查Hadoop安装是否成功 hadoop version

5)进入/home/hadoop/hadoop-2.8.0/etc/hadoop目录

6)打开hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件

export JAVA_HOME=/home/hadoop/jdk1.7.0_71

10)配置hadoop-2.8.0/etc/hadoop/slaves文件,增加slave主机名

slave1

slave2

11)配置hadoop-2.8.0/etc/hadoop/core-site.xml

<configuration>

<property>

  <name>fs.defaultFS</name>

  <value>hdfs://master:9000</value>

</property>

<!-- Size of read/write buffer used in SequenceFiles. -->

<property>

  <name>io.file.buffer.size</name>

  <value>131072</value>

</property>

<!-- 指定hadoop临时目录,自行创建 -->

<property>

  <name>hadoop.tmp.dir</name>

  <value>/home/chenyun/hadoop/tmp</value>

</property>

</configuration>

12)配置hadoop-2.8.0/etc/hadoop/hdfs-site.xml

<configuration>

<property>

  <name>dfs.namenode.secondary.http-address</name>

  <value>master:50090</value>

</property>

<property>

  <name>dfs.replication</name>

<value>2</value>

</property>

<!-- 指定namenode数据存放临时目录,自行创建 -->

<property>

  <name>dfs.namenode.name.dir</name>

  <value>file:/home/chenyun/hadoop/hdfs/name</value>

</property>

<!-- 指定datanode数据存放临时目录,自行创建 -->

<property>

  <name>dfs.datanode.data.dir</name>

  <value>file:/home/chenyun/hadoop/hdfs/data</value>

</property>

</configuration>

13)配置hadoop-2.8.0/etc/hadoop/yarn-site.xml <configuration>

<!-- Site specific YARN configuration properties -->

<!-- Configurations for ResourceManager -->

<property>

  <name>yarn.nodemanager.aux-services</name>

  <value>mapreduce_shuffle</value>

</property>

<property>

  <name>yarn.resourcemanager.address</name>

  <value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

  <name>yarn.resourcemanager.resource-tracker.address</name>

  <value>master:8031</value>

</property>

<property>

  <name>yarn.resourcemanager.admin.address</name>

  <value>master:8033</value>

</property>

<property>

  <name>yarn.resourcemanager.webapp.address</name>

  <value>master:8088</value>

</property>

</configuration>

14)配置hadoop-2.8.0/etc/hadoop/mapred-site.xml

注意: 因为默认没有mapred-site.xml,所以先要复制一份,shell命令如下:

cp mapred-site.xml.template mapred-site.xml

然后在mapred-site.xml加入以下配置

<configuration>

<property>

  <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

</configuration>

15)把配置好的文件,复制到从节点

scp -r hadoop root@slave1:/home/hadoop/hadoop-2.8.0/etc

scp -r hadoop root@slave2:/home/hadoop/hadoop-2.8.0/etc

注意:同时需要把文件夹也要给拷贝过去

scp -r hadoop root@slave1:/home/chenyun/

scp -r hadoop root@slave2:/home/chenyun/

16)格式化节点

cd hadoop-2.8.0/sbin

hdfs namenode -format

17)hadoop集群全部启动

cd hadoop-2.8.0/sbin

./start-all.sh

18)启动JobHistoryServer  备注(查看MapReduce历史执行记录,和hadoop关系不大,可忽略此步骤)

cd hadoop-2.8.0/sbin

./mr-jobhistory-daemon.sh   start historyserver

19)查看启动进程是否正常

在master节点输入 jps命令,将会显示以下进程:

3458 Jps
3150 SecondaryNameNode
2939 NameNode
3364 ResourceManager

在slave1、slave2上输入jps命名,将会显示以下进程:

2969 NodeManager
3191 Jps
2801 DataNode

如果进程不正常的话,进入hadoop-2.8.0/logs查看异常日志

master节点

1、hadoop-2.8.0/logs/hadoop-root-namenode-master.log    #namenode日志

2、hadoop-root-secondarynamenode-master.log                 #SecondaryNameNode日志

3、yarn-root-resourcemanager-master.log                          #ResourceManager日志

slave1、slave2节日

4、hadoop-root-datanode-slave1.log                                  #DataNode日志

5、yarn-root-nodemanager-slave1.log                                #NodeManager日志

20)通过web UI访问

hadoop http://192.168.80.128:50070  #整个集群

http://192.168.80.128:50090  #SecondaryNameNode的情况

http://192.168.80.128:8088   #resourcemanager的情况

http://192.168.80.128:19888  #historyserver(MapReduce历史运行情况)

注意:

如果master节点一直没有namenode进程的话,集群可以分开启动

1)启动namenode:sbin/hadoop-daemon.sh start namenode

2)sbin/hadoop-daemon.sh start datanode

Hadoop集群搭建-Hadoop2.8.0安装(三)的更多相关文章

  1. Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop环境的搭建

    Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 ...

  2. 分布式集群搭建(hadoop2.6.0+CentOS6.5)

    摘要:之前安装过hadoop1.2.1集群,发现比较老了,后来安装cloudera(hadoop2.6.0),发现集成度比较高,想知道原生的hadoop什么样子,于是着手搭建一个伪分布式集群(三台), ...

  3. Hadoop集群搭建-full完全分布式(三)

    环境:Hadoop-2.8.5 .centos7.jdk1.8 一.步骤 1).4台centos虚拟机 2). 将hadoop配置修改为完全分布式 3). 启动完全分布式集群 4). 在完全分布式集群 ...

  4. Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)

    1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建 ...

  5. hadoop集群搭建datenode为0问题的解决

       搭建了一个小的实验集群,一共4台机器,一台namenode,三台datenode.运行start-all,发如今namenode上没有报不论什么错误,可是启动后直接显示datenode数量为0. ...

  6. Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)

    Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...

  7. Hadoop集群搭建-04安装配置HDFS

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  8. Hadoop集群搭建-03编译安装hadoop

    Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...

  9. Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)

    Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...

随机推荐

  1. WebRTC VideoEngine综合应用示例(一)——视频通话的基本流程(转)

    本系列目前共三篇文章,后续还会更新 WebRTC VideoEngine综合应用示例(一)——视频通话的基本流程 WebRTC VideoEngine综合应用示例(二)——集成OPENH264编解码器 ...

  2. 20深入理解C指针之---程序的栈和堆

    一.程序在内存中的存储分段: 程序段主要包括:code段.data段.内核段.堆段和栈段 1.code段: 1).存储程序汇编后程序指令 2).此段中的数据是只读的 3).不能用于存储变量,可以存储常 ...

  3. url相关

    #测试网址: http://localhost/blog/testurl.php?id=5 //获取域名或主机地址 echo$_SERVER['HTTP_HOST']."<br> ...

  4. Scrollview总结:滑动问题、监听Scrollview实现头部局改变

    ScrollView就是一个可以滚动的View,这个滚动的方向是垂直方向的,而HorizontalScrollView则是一个水平方向的可以滚动的View. ScrollView的简单介绍 Scrol ...

  5. 2014 ACM/ICPC 亚洲区 北京站

    题目链接  2014北京区域赛 Problem A Problem B 直接DFS+剪枝 剪枝条件:当前剩余的方块数量cnt < 2 * max{a[i]} - 1,则停止往下搜. 因为这样搜下 ...

  6. HDU 5733 tetrahedron(计算几何)

    题目链接 tetrahedron 题目大意 输入一个四面体求其内心,若不存在内心则输出"O O O O" 解题思路 其实这道题思路很简单,只要类推一下三角形内心公式就可以了. 至于 ...

  7. ML | SVM

    What's xxx An SVM model is a representation of the examples as points in space, mapped so that the e ...

  8. "=="与equals的区别与联系

    "=="可作用于基本类型变量和引用类型变量: 1.当作用于基本类型变量时,比较的是变量的值是否相等. 2.当作用于引用变量时,比较的是该变量在内存中地址. "equals ...

  9. Redis集群设计原理

    ---恢复内容开始--- Redis集群设计包括2部分:哈希Slot和节点主从,本篇博文通过3张图来搞明白Redis的集群设计. 节点主从: 主从设计不算什么新鲜玩意,在数据库中我们也经常用主从来做读 ...

  10. 百科知识 tar文件如何打开

    tar 是什么文件格式,是干什么用的,用什么打开 tarball压缩格式,源于Linux的一个指令,Windows上可以用WinRAR打开 Linux的实用程序tar最初是为了制作磁带存档而设计的(把 ...