Hadoop 2.6.1 集群安装配置教程

集群环境：

192.168.56.10 master

192.168.56.11 slave1

192.168.56.12 slave2

1. 下载安装包/拷贝安装包

# 存放路径：
cd /usr/local/src
# 下载：
> wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.8.2/hadoop-2.8.2.tar.gz
# 解压：
> tar zxvf hadoop-2.6.1

1. 修改 hadoop 配置文件

#Master  节点
> cd /usr/local/src/hadoop-2.6.1/etc/hadoop

# 配置环境hadoop环境
> vim hadoop-env.sh
# 添加Java 路径
> export JAVA_HOME=/usr/local/src/jdk1.8.0_181

# 配置 yarn 的环境
>vim yarn-env.sh
# 添加Java路径
export JAVA_HOME=/usr/local/src/jdk1.8.0_181

# 在 slaves 文件配置从节点
> vim slaves
slave1
slave2

# 配置 core-site.xml，添加下面的内容
> vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.56.10:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/tmp</value>
</property>
</configuration>

# 配置hdfs-site.xml, 添加下面的内容
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

# 配置mapred-site.xml，添加下面的内容
> vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

#配置yarn-site.xml，添加下面的内容
> vim yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>

#创建临时目录和文件目录
mkdir /usr/local/src/hadoop-2.6.1/tmp
mkdir -p /usr/local/src/hadoop-2.6.1/dfs/name
mkdir -p /usr/local/src/hadoop-2.6.1/dfs/data

1. 配置环境变量

#Master、Slave1、Slave2
vim ~/.bashrc
HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin
#刷新环境变量
source ~/.bashrc

1. 拷贝安装包，把安装目录连同已经配置好的配置文件一起传输到从节点

# Master
scp -r /usr/local/src/hadoop-2.6.1 root@slave1:/usr/local/src/hadoop-2.6.1
scp -r /usr/local/src/hadoop-2.6.1 root@slave2:/usr/local/src/hadoop-2.6.1

1. 启动集群

# Master
# 初始化Namenode
hadoop namenode -format
# 启动集群
cd /usr/local/src/hadoop-2.6.1/sbin
./start-all.sh

1. 查看集群状态

# Master
> jps
10624 NameNode
26517 Jps
10825 SecondaryNameNode
10969 ResourceManager

# Slave1 & Slave2
> jps
23760 Jps
7197 NodeManager
7102 DataNode

1. 监控网页

http://192.168.56.10:8088

1. 操作命令

1) 查看HDFS的文件
hadoop fs -ls /
2) 查看文件内容
hadoop fs -cat /filename
3) 上传文件
hadoop fs -put 本机文件  /fs文件路径
hadoop fs -put /usr/local/src/tmp/test.java /

1. 关闭集群

> cd  /usr/local/src/hadoop-2.6.1/sbin
> ./stop-all.sh

注意！！！

1. 如果配置完成后，启动hadoop报错，那么根据报错的内容去logs文件夹中找到对应的文件，查看并分析日志。改完错误后，需要清除dfs文件夹和tmp文件夹里面的内容，master、slave1、slave2都要清除，不只是清理master而已。
2. Centos7关闭防火墙的方法
   
   临时关闭
   
   systemctl stop firewalld
   
   禁止开机自启
   
   systemctl disable firewalld