Hadoop集群的构建和安装

1.安装Java

$ yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

上述命令默认安装位置/usr/lib/jvm/java-1.8.0-openjdk

设置环境变量:

$ vim ./.bashrc

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:JAVA_HOME/bin

测试：

$ java -version

2.创建unix用户账号

HDFS,MapReduce,YARN通常作为独立的用户运行，分别命名为hdfs,mapred,yarn，都属于同一组hadoop。

3.hadoop的安装

CDH : http://archive-primary.cloudera.com/cdh5/cdh/5/

Hadoop : wget https://archive.apache.org/dist/hadoop/common/hadoop-2.6.4/hadoop-2.6.4.tar.gz

步骤：

$ tar -zxf hadoop-2.x.x -C /usr/local
$ cd /usr/local
$ mv hadoop-2.x.x hadoop

设置环境变量：

$ vim ./.bashrc
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

$ source ./.bashrc

4. ssh配置

# 这一部分比较关键，因为我们是根据别名来连接slaves

master:

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
# 确保公钥存放在用户所要连接的所有机器上(包括本机master)~/.ssh/authorized_keys

这里还有一个点，我们ssh连接slaves服务器时,想要使用slaves服务器的别名（hostname），

这就需要我们编辑/etc/hosts文件

$ vim /etc/hosts
192.168.31.111 data1
192.168.31.112 data2
192.168.31.113 data3
192.168.31.110 master

5.hadoop的配置

hadoop 各版本配置详见hadoop 官网对应版本的document或见hadoop文件配置

主要配置文件：

hadoop-env.sh:脚本中要用到的环境变量，以运行Hadoop。

mapred-env.sh:脚本中要用到的环境变量，以运行MapReduce。

yarn-env.sh:脚本中要用到的环境变量，以运行YARN。

core-site.xml:Hadoop Core配置项，例如HDFS,MapReduce和YARN常用的IO设置。

hdfs-site.xml:Hadoop守护进程的配置项，包括namenode，辅助namenode和datanode等。

mapred-site.xml:MapReduce守护进程的配置项，包括作业历史服务器。

yarn-site.xml:YARN守护进程的配置项，包括资源管理器，web应用代理服务器，和节点管理器。

slaves:纯文本，运行datanode和节点管理器的机器列表。

https://hadoop.apache.org/docs/r2.5.2/
# 文档地址,各版本文档不同

6.hdfs的格式化

以hdfs用户身份运行以下命令

$ hdfs namenode -format

7.启动和停止守护进程

当然也可以start-all.sh。

# 以hdfs用户身份运行以下命令可启动HDFS守护进程
$ start-dfs.sh

start-dfs.sh 所做事情如下：

1. 在每台机器上运行一个namenode,这些机器由hdfs getconf -namenodes得到的返回值确定

2. 在slaves 文件所列举的每台机器上启动一个datanode

3. 在每台机器上启动一个辅助namenode,这些机器由hdfs getconf -secondarynamenodes得到的返回值确定

hadoop的集群是基于master/slave模式，namenode、ResourceManager、jobtracker属于master，datanode、NodeManager、tasktracker属于slave，master只有一个，而slave有多个

# yarn守护进程以相同的方式启动，
# 以yarn用户身份在托管资源管理器的机器上运行
$ start-yarn.sh

在这种情况下，资源管理器总是和start-yarn.sh运行在同一机器上，脚本明确完成以下两件事：

1. 在本地机器上运行一个资源管理器ResourceManager

2. 在slaves文件列举的每台机器上启动一个节点管理器NodeManager

7. 创建用户目录

$ hadoop fs -mkdir /user/username
$ hadoop fs -chown username:username /user/username

# 给用户目录设置最大空间
$ hdfs dfsadmin -setSpaceQuota 1t /user/username