《Hadoop》大数据技术开发实战学习笔记（二）

搭建Hadoop 2.x分布式集群

---

1、Hadoop集群角色分配

2、上传Hadoop并解压
在centos01中，将安装文件上传到/opt/softwares/目录，然后解压安装文件到/opt/modules/

cd /opt/softwares/
tar -zxf hadoop-2.9.2.tar.gz -C /opt/modules/

3、配置环境变量
只需配置centos01节点即可，后续可通过远程复制。
a、修改文件/etc/profile

sudo nano /etc/profile

在文件末尾加入以下内容

export HADOOP_HOME=/opt/modules/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新profile文件，使修改生效

source /etc/profile

执行hadoop命令，若能成功输出信息，说明配置生效。

4、配置Hadoop环境变量
在安装目录下的etc/hadoop目录中，修改配置文件：

hadoop_env.sh
mapred-env.sh
yarn-env.sh

在以上的三个文件中加入JAVE_HOME环境变量

export JAVE_HOME=/opt/modules/jdk1.8.0_144

5、配置HDFS（略）

6、配置YARN(略）

7、复制Hadoop文件到其他主机

8、格式化NameNode

hadoop namenode -format

9、启动Hadoop

start-all.sh

（之后的笔记需要JAVA和SCALA基础，暂时弃坑）