Hadoop集群搭建-Hadoop2.8.0安装(三)
一、准备安装介质
a)、hadoop-2.8.0.tar
b)、jdk-7u71-linux-x64.tar
二、节点部署图
三、安装步骤
环境介绍:
主服务器ip:192.168.80.128(master) NameNode SecondaryNameNode ResourceManager
从服务器ip:192.168.80.129(slave1) DataNode NodeManager
从服务器ip: 192.168.80.130(slave2) DataNode NodeManager
1、在三台机器上配置服务器域名
192.168.80.128 master
192.168.80.129 slave1
192.168.80.130 slave2
2、注意:关闭防火墙
systemctl stop firewalld.service #停止
firewall systemctl disable firewalld.service #禁止firewall开机启动
firewall-cmd --state #查看默认防火墙状态(关闭后显示notrunning,开启后显示running)
3.上传安装包
1)JDK安装包 jdk-7u71-linux-x64.tar.gz
2)hadoop安装包 hadoop-2.8.0.tar.gz
4.安装JDK
1)解压JDK tar -zxvf jdk-7u71-linux-x64.tar.gz
5)配置环境变量 vi /etc/profile
6)在文件最后加入JDK配置
JAVA_HOME=/home/hadoop/jdk1.7.0_71
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:
$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
7)退出当前用户,重新登录,检查JDK安装是否成功 java -version
8)按照以上操作,重复安装其他两台机器
9、安装Hadoop
1)解压Hadoop tar -zxvf hadoop-2.8.0.tar.gz
2)配置环境变量 vi /etc/profile
export HADOOP_HOME=/home/hadoop/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4)退出当前用户,重新登录,检查Hadoop安装是否成功 hadoop version
5)进入/home/hadoop/hadoop-2.8.0/etc/hadoop目录
6)打开hadoop-2.8.0/etc/hadoop/hadoop-env.sh文件
export JAVA_HOME=/home/hadoop/jdk1.7.0_71
10)配置hadoop-2.8.0/etc/hadoop/slaves文件,增加slave主机名
slave1
slave2
11)配置hadoop-2.8.0/etc/hadoop/core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- Size of read/write buffer used in SequenceFiles. -->
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<!-- 指定hadoop临时目录,自行创建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/home/chenyun/hadoop/tmp</value>
</property>
</configuration>
12)配置hadoop-2.8.0/etc/hadoop/hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!-- 指定namenode数据存放临时目录,自行创建 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/chenyun/hadoop/hdfs/name</value>
</property>
<!-- 指定datanode数据存放临时目录,自行创建 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/chenyun/hadoop/hdfs/data</value>
</property>
</configuration>
13)配置hadoop-2.8.0/etc/hadoop/yarn-site.xml <configuration>
<!-- Site specific YARN configuration properties -->
<!-- Configurations for ResourceManager -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
14)配置hadoop-2.8.0/etc/hadoop/mapred-site.xml
注意: 因为默认没有mapred-site.xml,所以先要复制一份,shell命令如下:
cp mapred-site.xml.template mapred-site.xml
然后在mapred-site.xml加入以下配置
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
15)把配置好的文件,复制到从节点
scp -r hadoop root@slave1:/home/hadoop/hadoop-2.8.0/etc
scp -r hadoop root@slave2:/home/hadoop/hadoop-2.8.0/etc
注意:同时需要把文件夹也要给拷贝过去
scp -r hadoop root@slave1:/home/chenyun/
scp -r hadoop root@slave2:/home/chenyun/
16)格式化节点
cd hadoop-2.8.0/sbin
hdfs namenode -format
17)hadoop集群全部启动
cd hadoop-2.8.0/sbin
./start-all.sh
18)启动JobHistoryServer 备注(查看MapReduce历史执行记录,和hadoop关系不大,可忽略此步骤)
cd hadoop-2.8.0/sbin
./mr-jobhistory-daemon.sh start historyserver
19)查看启动进程是否正常
在master节点输入 jps命令,将会显示以下进程:
3458 Jps
3150 SecondaryNameNode
2939 NameNode
3364 ResourceManager
在slave1、slave2上输入jps命名,将会显示以下进程:
2969 NodeManager
3191 Jps
2801 DataNode
如果进程不正常的话,进入hadoop-2.8.0/logs查看异常日志
master节点
1、hadoop-2.8.0/logs/hadoop-root-namenode-master.log #namenode日志
2、hadoop-root-secondarynamenode-master.log #SecondaryNameNode日志
3、yarn-root-resourcemanager-master.log #ResourceManager日志
slave1、slave2节日
4、hadoop-root-datanode-slave1.log #DataNode日志
5、yarn-root-nodemanager-slave1.log #NodeManager日志
20)通过web UI访问
hadoop http://192.168.80.128:50070 #整个集群
http://192.168.80.128:50090 #SecondaryNameNode的情况
http://192.168.80.128:8088 #resourcemanager的情况
http://192.168.80.128:19888 #historyserver(MapReduce历史运行情况)
注意:
如果master节点一直没有namenode进程的话,集群可以分开启动
1)启动namenode:sbin/hadoop-daemon.sh start namenode
2)sbin/hadoop-daemon.sh start datanode
Hadoop集群搭建-Hadoop2.8.0安装(三)的更多相关文章
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)--------hadoop环境的搭建
Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)------https://blog.csdn.net/pucao_cug/article/details/71698903 ...
- 分布式集群搭建(hadoop2.6.0+CentOS6.5)
摘要:之前安装过hadoop1.2.1集群,发现比较老了,后来安装cloudera(hadoop2.6.0),发现集成度比较高,想知道原生的hadoop什么样子,于是着手搭建一个伪分布式集群(三台), ...
- Hadoop集群搭建-full完全分布式(三)
环境:Hadoop-2.8.5 .centos7.jdk1.8 一.步骤 1).4台centos虚拟机 2). 将hadoop配置修改为完全分布式 3). 启动完全分布式集群 4). 在完全分布式集群 ...
- Linux上安装Hadoop集群(CentOS7+hadoop-2.8.0)
1下载hadoop 2安装3个虚拟机并实现ssh免密码登录 2.1安装3个机器 2.2检查机器名称 2.3修改/etc/hosts文件 2.4 给3个机器生成秘钥文件 2.5 在hserver1上创建 ...
- hadoop集群搭建datenode为0问题的解决
搭建了一个小的实验集群,一共4台机器,一台namenode,三台datenode.运行start-all,发如今namenode上没有报不论什么错误,可是启动后直接显示datenode数量为0. ...
- Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!)
Hadoop集群搭建安装过程(三)(图文详解---尽情点击!!!) 一.JDK的安装 安装位置都在同一位置(/usr/tools/jdk1.8.0_73) jdk的安装在克隆三台机器的时候可以提前安装 ...
- Hadoop集群搭建-04安装配置HDFS
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- Hadoop集群搭建-03编译安装hadoop
Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hado ...
- Hadoop集群搭建安装过程(一)(图文详解---尽情点击!!!)
Hadoop集群搭建(一)(上篇中讲到了Linux虚拟机的安装) 一.安装所需插件(以hadoop2.6.4为例,如果需要可以到官方网站进行下载:http://hadoop.apache.org) h ...
随机推荐
- WebRTC VideoEngine综合应用示例(一)——视频通话的基本流程(转)
本系列目前共三篇文章,后续还会更新 WebRTC VideoEngine综合应用示例(一)——视频通话的基本流程 WebRTC VideoEngine综合应用示例(二)——集成OPENH264编解码器 ...
- 20深入理解C指针之---程序的栈和堆
一.程序在内存中的存储分段: 程序段主要包括:code段.data段.内核段.堆段和栈段 1.code段: 1).存储程序汇编后程序指令 2).此段中的数据是只读的 3).不能用于存储变量,可以存储常 ...
- url相关
#测试网址: http://localhost/blog/testurl.php?id=5 //获取域名或主机地址 echo$_SERVER['HTTP_HOST']."<br> ...
- Scrollview总结:滑动问题、监听Scrollview实现头部局改变
ScrollView就是一个可以滚动的View,这个滚动的方向是垂直方向的,而HorizontalScrollView则是一个水平方向的可以滚动的View. ScrollView的简单介绍 Scrol ...
- 2014 ACM/ICPC 亚洲区 北京站
题目链接 2014北京区域赛 Problem A Problem B 直接DFS+剪枝 剪枝条件:当前剩余的方块数量cnt < 2 * max{a[i]} - 1,则停止往下搜. 因为这样搜下 ...
- HDU 5733 tetrahedron(计算几何)
题目链接 tetrahedron 题目大意 输入一个四面体求其内心,若不存在内心则输出"O O O O" 解题思路 其实这道题思路很简单,只要类推一下三角形内心公式就可以了. 至于 ...
- ML | SVM
What's xxx An SVM model is a representation of the examples as points in space, mapped so that the e ...
- "=="与equals的区别与联系
"=="可作用于基本类型变量和引用类型变量: 1.当作用于基本类型变量时,比较的是变量的值是否相等. 2.当作用于引用变量时,比较的是该变量在内存中地址. "equals ...
- Redis集群设计原理
---恢复内容开始--- Redis集群设计包括2部分:哈希Slot和节点主从,本篇博文通过3张图来搞明白Redis的集群设计. 节点主从: 主从设计不算什么新鲜玩意,在数据库中我们也经常用主从来做读 ...
- 百科知识 tar文件如何打开
tar 是什么文件格式,是干什么用的,用什么打开 tarball压缩格式,源于Linux的一个指令,Windows上可以用WinRAR打开 Linux的实用程序tar最初是为了制作磁带存档而设计的(把 ...